Чем занимаются инженеры по качеству данных и почему их не заменить машинами

Управление качеством

Понятие качества

Проблема качества является важнейшим фактором повышения уровня жизни, экономической, социальной и экологической безопасности. Качество – комплексное понятие, характеризующее организацию производства и эффективность всех сторон деятельности организации. Важнейшей составляющей всей системы качества является качество продукции.

Международная организация стандартизации определяет качество как совокупность свойств и характеристик продукции или услуги, которые придают им способность удовлетворять обусловленные или предполагаемые потребности.

Значение повышения качества

Повышение качества является важнейшим фактором успешного функционирования организации. Высокое качество продукции способствует удовлетворению потребностей клиентов, улучшению конкурентоспособности и обеспечению стабильности прибыли.

Становление менеджмента качества. Развитие систем качества

Международные стандарты ИСО серии 9000 установили единый признанный в мире подход к оценке систем качества. Это ознаменовало выход международной стандартизации на качественно новый уровень, положив начало сертификации качества и развитию направления менеджмента качества.

Методологические основы управления качеством

Современные методы менеджмента качества связаны с методологией TQM (Total Quality Management) – всеобщим менеджментом качества, который предполагает высокое качество всей работы для достижения требуемого качества продукции.

Сертификация продукции

Стандарты ИСО серии 9000 регламентировали отношения между производителями и потребителями продукции, ориентируясь на потребителя и соблюдая культуру производства.

Вопросы для самопроверки

1. Что включает в себя понятие качества?
2. Какие методы управления качеством существуют?
3. Чем определяется успешность функционирования организации?

Таблица 1: Пример таблицы данных

Примечание: Пример таблицы данных в статье.

Качество работы и его влияние на функционирование фирмы

Качество работы непосредственно связано с обеспечением функционирования фирмы. Это – качество руководства (планирование, анализ, контроль). От качества планирования (разработки стратегии, системы планов) зависят достижение поставленных целей и качество фирмы.

Формирование понятия качества

Понятие качества формировалось под воздействием историко-производственных обстоятельств. Каждое общественное производство имело свои объективные требования к качеству продукции. На первых порах крупного промышленного производства проверка качества предполагала определение точности и прочности (точность размеров, прочность ткани).

Эволюция понимания качества

Повышение сложности изделий привело к увеличению числа оцениваемых свойств. Центр тяжести сместился к комплексной проверке функциональных способностей изделия. В условиях массового производства качество стало рассматриваться не с позиции отдельного экземпляра, а с позиции стандарта качества всех производимых в массовом производстве изделий.

Развитие понятия качества

С развитием научно-технического прогресса, следствием которого стала автоматизация производства, появились автоматические устройства для управления сложным оборудованием и другими системами. Возникло понятие надежности. Таким образом, понятие качества постоянно развивалось и уточнялось.

Роль качества в современной экономике

В связи с необходимостью контроля качества были разработаны методы сбора, обработки и анализа информации о качестве. Фирмы, функционировавшие в условиях рыночной экономики, стремились организовать наблюдения за качеством в процессе производства и потребления. Упор был сделан на предупреждение дефектов.

Различные подходы к определению качества

Качество, как его понимает производитель, и качество, как его понимает потребитель, понятия взаимосвязанные. В литературе понятие качества трактуется по-разному. Мы пользовались определением качества, данным ГОСТом. Однако основное различие в понимании качества определяется различиями в условиях административно управляемой и рыночной экономик.

Качество в административных и рыночных экономиках

В условиях административно управляемой экономики качество трактуется с позиции производителя. В рыночной экономике качество рассматривается с позиции потребителя.

Значение качества продукции

Качество изделия может проявляться в процессе потребления. Понятие качества продукта с позиций его соответствия требованиям потребителя сложилось именно в условиях рыночной экономики. Идея такого подхода содержится в специальной науке – квалиметрии.

Квалиметрия – наука о качестве продукции

Квалиметрия позволяет давать количественные оценки качественным характеристикам товара. Качество зависит от большого числа свойств рассматриваемого продукта, для того чтобы судить о качестве продукта, недостаточно данных только о его свойства. Нужно учитывать и условия, в которых продукт будет использован.

Измерение качества в квалиметрии

Суть измерения качества в квалиметрии состоит в следующем:

Уровни качества

1. Для каждого вида продукции учитываются свои специфические уровни качества, зафиксированные в стандартах действующих технических условиях. Качество характеризуется определенным технико-экономическим параметром /потребительным свойством/: емкость холодильника, скорость автомобиля, содержание основного компонента активного вещества и т. д.

Эталон качества

2. Выбирается эталон качества.
3. Достигнутое качество сопоставляется с эталоном.

Пример

Средняя продолжительность горения электролампы определенной мощности, изготовленной на предприятии, 400 часов. Эталонное значение срока службы 450 часов.

Тогда оценка качества /коэффициент качества/ 400/50 = 0.39. Качество не соответствует эталону.

Оценка качества по параметрам

Качество может быть оценено по нескольким параметрам. Пусть в приведенном примере коэффициент полезного действия лампы имеет эталонное значение 20 Лм/Вт, а фактический коэффициент равен – 18. Коэффициент качества по второму параметру – 0.90. Для сводной или обобщенной оценки качества Госстандартами рекомендуется использовать среднюю геометрическую, т.е. извлечь квадратный корень из произведения индивидуальных коэффициентов, /индексов/ качества 0.89 * 0.90 = 0.895. Это говорит о несоответствии качества эталону.

Таким образом, качество может соответствовать эталону, быть ниже или выше эталона.

Интегральное качество

Сводная оценка связана с так называемым интегральным качеством.

Факторы оценки качества

Важными свойствами для оценки качества являются:

• технический уровень
• эстетический уровень
• эксплуатационный уровень
• техническое качество

Преобладающая часть современного мирового производства представлена производством товаров. Поэтому то или иное изготовленное изделие воплощает в себе как потребительную стоимость, так и стоимость.

Следовательно, качество является комплексным понятием, отражающим эффективность всех сторон деятельности фирмы.

Сегодня сформировалось концептуальное видение качества как одной из фундаментальных категорий, определяющих образ жизни, социальную и экономическую основу для успешного развития человека и общества.

Значение повышения качества

Повышение качества продукции: важный шаг для российских предприятий

Одной из серьезных проблем для отечественных предприятий является создание системы качества, позволяющей обеспечить производство конкурентоспособной продукции. Система качества является важной при проведении переговоров с зарубежными заказчиками, которые считают наличие у производителя системы качества и сертификата на эту систему обязательным условием. Эти сертификаты выдаются авторитетными сертифицирующими органами. Цель системы качества – учитывать особенности предприятия, обеспечивать минимизацию затрат на разработку и внедрение продукции, а также гарантировать стабильное качество поставляемой продукции.

Проблемы качества и управления им

В теории управления качеством выделяют две основные проблемы: обеспечение качества и управление качеством. Обеспечение качества требует значительных затрат, которые ранее в основном сводились к человеческому труду. В настоящее время высокая доля затрат связана с интеллектуальным трудом. Решение проблемы качества невозможно без участия ученых, инженеров и менеджеров, и важно достичь гармонии между всеми профессиональными составляющими, влияющими на качество продукции.

Конкурсы производителей товаров

В мировой практике широко используются различные конкурсы производителей товаров, где присуждаются почетные награды за качество изделий. Качество продукции является важным инструментом в борьбе за рынки сбыта, поскольку оно обеспечивает конкурентоспособность товара. Конкурентоспособность товара зависит от технического уровня продукции, ее полезности для потребителя через различные свойства.

Значение повышения качества

Значение повышения качества продукции многообразно. Решение этой проблемы на микроуровне важно не только для предприятия, но и для всей экономики в целом. Повышение качества продукции машиностроения, например, имеет значение для автоматизации производства в других отраслях. Необходимо изучать опыт ведущих компаний мира в области управления качеством, чтобы достичь высокого уровня качества.

Выводы

Повышение качества продукции – необходимый шаг для российских предприятий, желающих конкурировать на мировом рынке. Это требует серьезных усилий, но в конечном итоге принесет прибыль и укрепит позиции компании. Разработка новых продуктов и улучшение качества существующих играют важную роль в процессе достижения конкурентных преимуществ.

Исследования, проведенные в ряде стран, показали, что в компаниях уделяющих мало внимания качеству, до 60 % времени уходит на исправление брака.

Значение повышения, качества хорошо иллюстрируется на примере Японии.. После Второй, мировой войны японские, промышленники занимались активно поисками повышения путей эффективности производства и качества продукции. Группы японских управляющих изучали опыт по всему миру, встречались с руководителями ведущих промышленных фирм США и Европы. Все рациональное переносилось на национальную почву. Внимание японских управляющих привлекли такие понятия, как статистический контроль качества и комплексное управление качеством. Они обратили внимание на то, что преуспевающие фирмы предъявляют высокие требования к своим работникам и качеству продукции.

В итоге исследований и выполненных разработок появились так называемые японские стандартны качества. В Японии возникло новое понятие "культура качества". Культура качества – комплексное понятие, включающее качество сервисного обслуживания, качество отчетной документации, качество выполнения производственных операций и др, Япония стала .родоначальником новой методологий деятельности предприятия и перешла к тотальному /всеобщему/ контролю качества. Новая система выходит за рамки микроуровня и включает контроль рынка сбыта продукции, анализ рыночной конъюнктуры, послепродажное обслуживание. Традиционное управление качеством не устраняется, а совершенствуется. Тотальное качество усиливает воздействие запросов потребителей на качество продукции и входит в число критериев оценки работы менеджеров. Менеджеры отдают управлению качеством приоритетное значение.

Становление менеджмента качества. Развитие систем качества

До середины 1960-х годов главная роль в обеспечении качества отводилась контролю и отбраковке дефектной продукции. Методы контроля и отбраковки совершенствовались под влиянием достижение НТП. Организационно система контроля качества соответствовала структуре производственного процесса и отвечала его требованиям. При этом, если производственный, процесс /от закупки сырья до изготовления готовой продукции/ осуществлялся на одном предприятии, продукция переотправкой потребителю проходила приемочный контроль качества. Изготовление продукции могло состоять из большого числа операций и отличаться большой сложностью. В этом случае приемочный контроль сочетался с операционным. Значительная роль отводилась входному контролю закупаемого сырья. Система контроле строилась по следующему принципу: обнаружение дефекта и изъятие бракованного изделия из процесса производства должны происходить как, можно раньше, так как последующая обработка дефектного продукта приводила к серьезным потерям.

Подход лишь с позиций контроля требовал при стопроцентном контроле параметров деталей и изделия большого числа квалифицированных контролеров. В крупных промышленных компаниях США количество контролеров стало соизмеримо по численности с производственным персоналом. Неоценимую помощь в контроле качества оказали методы математической статистики. Эти методы позволяли с заданной вероятностью оценивать качество изделий с применением выборочного метода. Статистические методы контроля качества получили широкое распространение в промышленности развитых стран. Они способствовали сокращению затрат времени на контроль и повышению эффективности контроля. Впоследствии новые условия производства потребовали поиска адекватных, методов обеспечения качества. Кибернетический подход послужил основой появления концепции управления качеством, которая пришла на смену традиционной концепции контроля. Эта концепция появилась в начале I960-х годов и одним из ее основоположников был американский ученый А.В.Фейгенбаум, который предложил paссматривать каждый этап в процессе создания изделия, а не только его конечный результат.

Такой анализ позволял не ограничиваться констатацией брака, а выявлять и анализировать причины его возникновения, и разрабатывать меры по стабилизации уровня качества. Появилась возможность управлять качеством.

Производство продукции – это в сущности создание или рождение качества, т.е. суммы определенных свойств или "функциональной совокупности". Следовательно, процесс создания изделия /качества/ и есть управляемый процесс.

В этой новой концепции было уточнено место контроля обеспечении качества. Контроль продолжает оставаться важной необходимой операцией, но как одно из звеньев в общей системе обеспечения качества. Главная цель системы обеспечить требуемый уровень качества и поддерживать его /а часто и повышать/ в течение всего периода изготовления продукции. Достигнуть этой: цели возможно при оптимизации по критерию качества всего процесса создания изделия.

Процесс обеспечения качества состоит из следующих укрупненных этапов:

– оценка уровня качества имеющихся на рынке аналогичных изделий, анализ требований покупателей;

– долгосрочное прогнозирование;

– планирование уровня качества;

– разработка стандартов;

– проектирование качества в процессе конструирования и разработка технологии;

– контроль качества исходного сырья и покупных материалов;

– пооперационный контроль в процессе производства;

– приемочный контроль;

– контроль качества изделия в условиях эксплуатации;

Предложенная А.Фейгенбаумом система управления качеством внесла значительные изменения во внутрифирменное управление. Изменились организационные структуры, появились центральные органы управления качеством в научных, проектно-конструкторских, производственных, обеспечивающих и сбытовых подразделениях. Повысился статус работ по обеспечению качества. Систему управления качеством стал возглавлять управляющий самого высокого ранга – вице-президент по качеству. Практическую реализацию в полном объеме эта система получила в Японии в рамках системы к а н б а н.

Система всестороннего управления качеством (СВУК) основана на так называемых циклах Деминга. Цикл Деминга состоит из четырех этапов планирование, производство, контроль, совершенствование продукции. Объектом СВУК является весь жизненный цикл изделия, что означает системный подход ко всем этапам жизненного цикла: изучение требований рынка, доставка готовой продукции потребителю и ее техническое обслуживание в процессе эксплуатации.

Исследования, выполненные учеными разных стран, подтвердили, что качество конечной продукции определяется и зависит от качества НИОКР, техники и технологии. Никакими организационными мерами невозможно достичь требуемого качества, если не обеспечены соответствующие уровни конструкторских разработок, качество техники, технологии.

Изменились взгляда на распределение ответственности за качество. Многочисленные исследования выявили количественное соотношение ответственности за брак исполнителей и руководства.

В середине 1950-х годов в Советском Союзе возникла Саратовская система бездефектного изготовления продукции и сдачи ее с первого предъявления. Она предусматривала постоянное внимание всего коллектива предприятия к качеству продукции.

В США и странах Западной Европы в конце-1950-х годов возникли различные системы самоконтроля качества. Одна из них получила название "нулевых дефектов" или "бездефектного труда". Введение определенных мер организационного характера, материального и морального стимулирования способствовали условия, чтобы весь персонал работал качественно без дефектов и переделок. Контроль осуществлял сам исполнитель. В системе бездефектного труда возникли движения "сдача продукции с первого предъявления", "работа с личным клеймом " и т.п.

В 1950-е годы в Японии стали активно функционировать кружки качества. Они возникли как логическое продолжение и развитие японских концепций управления персоналом и качеством. Их создание потребовало больших организационных усилий и. затрат. Важнейшей формой их деятельности было обучение рабочих и мастеров. Отцом кружков качества считается профессор Исикава Каору. В 1962г. вышел первый номер японского журнала "Контроль качества для мастеров". К началу. I965г. в Японии было зарегистрировано 3700 кружков качества. Сейчас их там боле 300 тыс. Разработанная американскими учеными концепция отсутствия недостатков была трансформирована в Японии в общенациональное движение.

Появление международных стандартов ИСО серии 9000 на системы качества явилось дальнейшим развитием теории и практики современного менеджмента качества. С конца 1980-х годов страны с рыночной экономикой стали заниматься сертификацией систем менеджмента качества.

Основой и общего менеджмента и менеджмента качества является система Ф.У.Тейлора. Именно он создал концепцию научного менеджмента, обратил внимание на необходимость учета вариабельности производственного процесса, оценил важность ее контроля. Система Тейлора включала понятия верхнего и нижнего пределов качества, поля допуска, вводила такие измерительные инструменты, как шаблоны и калибры, обосновывала необходимость независимой должности инспектора по качеству, систему штрафов для бракоделов.

В дальнейшем на длительный период времени /с 1920-х до 80-х годов/ пути развития общего менеджмента и менеджмента качества разошлись. Главная проблема качества воспринималась и разрабатывалась специалистами как инженерно-техническая проблема контроля и управления вариабельностью продукции и процессов производства, а проблема менеджмента- как проблема в основном организационного и даже социально-психологического характера.

На втором этапе /1920-е – 1950-е годы/ развитие получили статистические методы контроля качества SОC*. Появились контрольные карты, обосновывались выборочные методы контроля.

Крупнейшие специалисты в области качества Э.У.Деминг и Д.М. Джуран активно пропагандировали статистические походы к производству, но именно они первыми обратили внимание на организационные вопросы обеспечения качества, сделали акцент на роль высшего руководства в решении проблем качества. В знаменитых 14 принципах Демиига трудно отделить инженерные методы обеспечения качества от организационных проблем менеджмента. Слово "менеджмент" еще не присутствовало в лексиконе этих специалистов,но оно уже находилось на кончике их пера.

В 1950-е – 80-е годы даже самые широкомасштабные фирменные системы еще назывались системами контроля качества. Именно в это время сложилось направление, которое в отличие от менеджмента качества имеет смысл назвать инжиниринг качества. Однако именно в этот период начинается активное сближение методов обеспечения качества с представлениями общего менеджмента. Все системы качества начинают широко использовать инструментарий "науки менеджмента". В СССР эта тенденция проявлялась наиболее отчетливо в Саратовской системе БИП, Горьковской КАНАРСПИ /качество, ресурс, надежность с первых изделий/, Ярославской НОРМ, Львовской СБТ и, наконец, в общесоюзном феномене Комплексной системе управления качеством продукции КС УКП.

В это время представления о менеджменте качества включали в с свою орбиту новые и новые элементы производственной системы, а общий менеджмент, напротив, распадается на ряд отраслевых, достаточно независимых дисциплин /финансы, персонал, инновации, маркетинг и т.п./, а в теоретическом плане предстает как управление по целям /МВО/. Основная идея этой концепции заключается в структуризации и развертывании целей /создание дерева целей/, а затем проектировании системы организации и мотивации достижения этих целей.

В это же время сформировался мощный набор теоретических и практических средств, который получил название, менеджмент на основе качества /MBQ/ – Manadement bu qualitu. В активе менеджмента качества сегодня:

– 24 международных стандарта ИСО семейства 9000 /включая ИСО 14000 в области экологического менеджмента/;

– международная система сертификации систем качества;

– международный реестр сертифицированных аудиторов систем качества;

– практически сложившаяся система аудита менеджмента;

– аналогичная система аудита во многих региональных и национальных уровнях;

– 70000 фирм мира, имеющих сертификаты на внутрифирменные систем качества.

Можно констатировать, что менеджмент качества -менеджмент четвертого поколения становится в наше время ведущим менеджментом фирм. Стандарты ИСО находятся на пересечении двух направлений: развития менеджмента качества и защиты прав потребителя на информацию. Собственно стандарты и построены по этому принципу МС – 9001 – 9003 – это модели для целей сертификации а МС 9004-1,-2,-3,-4 -это руководства по построению систем и элементов систем качества.

Методологические основы управления качеством

В современной теории и практике управления качеством выделяют следующие пять основных этапов:

1. Принятие решений "что производить" и подготовка технических условий.

2. Проверка готовности производства и распределение организационной ответственности.

3. Процесс изготовления продукции или предоставления услуг.

4. Устранение дефектов и обеспечение информацией обратной связи в целях внесения в процесс производства и контроля: изменений, позволяющих избегать выявленных дефектов в будущем.

5. Разработка планов по качеству.

Осуществление перечисленных этапов невозможно без взаимодействия всех отделов, органов управления фирмы. Такое взаимодействие называют единой системой управления качеством. Это обеспечивает системный подход к управлению качеством.

Рассмотрим более подробно содержание этапов управления качеством.

Па первом этапе качество означает ту степень, в которой товары или услуги фирмы соответствуют ее внутренним техническим условиям. Этот аспект качества называют качеством соответствия техническим условиям.

На втором этапе оценивается качество конструкции. Качество может отвечать техническим условиям фирмы на конструкцию изделия, однако сама конструкция может быть как высокого, так и низкого качества.

На третьем этапе качество означает ту степень, в которой работа или функционирование услуг /товаров/ фирмы удовлетворяют реальные потребности потребителей.

Рассмотренные три этапа в практике управления качеством одинаково важны, и малейшие недоработки в любом из них могут создать проблемы.

Система управления качеством опирается на следующие взаимосвязанные категории управления: объект, цели, факторы, субъект, методы, функции, средства, принцип, вид, тип критериев и др.

Под управлением качеством продукции понимают планомерный, целеустремленный процесс воздействия на всех уровнях на факторы и условия, обеспечивающий создание продукции оптимального качества и полноценное ее использование.

Система управления качеством включает следующие функции:

1. Функция стратегического, тактического и оперативного воздействия

2. Функция принятия решений, управляющих воздействий.

3. Функции принятия решений, управляющих воздействия, анализа и учета, информационно-контрольные.

4. Функции специализированные и общие для всех стадий жизненного цикла продукции.

5. Функции управления по научно-техническим, производственным, экономическим и социальным факторам и условиям.

Стратегическое функции включают:

– прогнозирование и анализ базовых показателей качества;

– определение направлении проектных и конструкторских работ;

– анализ достигнутых результатов качества производства;

– анализ информации о потребительском спросе.

– управление сферой производства;

– поддержание на уровне заданных показателей качества;

– взаимодействие с управляемыми объектами и внешней средой.

Система управления качеством продукции представляет собой совокупность управленческих органов объектов управления, мероприятий, методов и средств, направленных на установление, обеспечение и поддержание высокого уровня качества продукции.

В 1987 г.Техническим комитетом Международной организации по стандартизации при участии США, Канады, ФРГ были разработаны и утверждены пять международных стандартов серии 9000 /по системам качества/, в которых были установлены требования к системам обеспечения качества продукции, в том числе к разработке продукции, изготовлению, к организации контроля и испытаний продукции, к ее эксплуатации, хранению и транспортированию. Международные стандарты ИСО 9000 по системам качества включают пять наименований:

1. ИСО 9001 «Общее руководство качеством и стандарты по обеспечению качества. Руководящие указания по выбору и применению".

2. ИСО 9001 "Система качества. Модель для обеспечения качества при проектировании и /или/ разработке, производстве, монтаже и обслуживании".

3. ИСО 9002 "Система качества. Модель для обеспечения качества при производстве и монтаже".

4. ИСО 9003 "Система качества. Модель для обеспечения" качества при окончательном контроле и испытаниях".

5. ИСО 9004 "Общее руководство качеством и элементы системы качества. Руководящие указания".

Система управления качеством включает:

I. Задачи руководства /политика в области качества, организация/.

2. Система документации и планирования.

3. Документация требований и их выполнимость.

4. Качество во время разработки /планирование, компетентность, документация, проверка, результат, изменения/.

5. Качество во время закупок /документация, контроль/.

6. Обозначение изделий и возможность их контроля.

7. Качество во время производства /планирование, инструкции, квалификация, контроль/.

8. Проверка качества /входные проверки, межоперационный контроль, окончательный контроль, документация испытаний/.

9. Контроль за испытательными средствами.

11.Качество при хранении, перемещении, упаковке, отправке.

13.Внутрифирменный контроль за системой поддержания качества.

15.Применение статистических методов.

16.Анализ качества и систем принимаемых мер. Контролируемые показатели качества устанавливаются в зависимости от специфики продукции.

Пример. Система показателей качества,

Качество машин. Технические /мощность, точность удельный расход ресурсов и т.п./.

Качество труда. Причины образования брака.

Качество продукции. Производственные, потребительские, экономические.

Качество проекта. Число исправлений при реализации.

Политика в области качества может быть сформулирована в виде направления деятельности или долгосрочной цели и может предусматривать:

– улучшение экономического положения предприятия;

– расширение или завоевание новых рынков сбыта;

– достижение технического уровня продукции, превышающего уровень ведущих фирм: ориентацию на удовлетворение требований потребителей определенных отраслей или определенных регионов;

– развитие сервиса и т.п.

В соответствии со стандартом ИСО жизненный цикл продукции включает II этапов:

1. Маркетинг, поиск и изучение рынка.

2. Проектирование и разработка технических требований, разработка продукции.

3. Материально-техническое снабжение.

4. Подготовка и разработка производственных процессов.

6. Контроль, проведение испытаний и обследований.

7. Упаковка и хранение.

8. Реализация и распределение продукции.

9. Монтаж и эксплуатация.

10.Техническая помощь и обслуживание.

11.Утилизация после испытания.

Стремление к интеграции в мировое сообщество, а также развитие рыночных отношений внутри страны предполагают всестороннее и полное выявление свойств и оценку показателей, определяющих и характеризующих качество продукции и технический уровень производства.

По мнению отечественных и зарубежных специалистов, качество продукции закладывается с конструкторской; и технологической документации, поэтому и та и другая должны соответствующим образом оцениваться.

Контроль качества независимо от совершенства применяемых методик предполагает прежде всего отделение хороших изделий от плохих. В ряде случаев исправить брак вообще невозможно. Поэтому современные фирмы сосредоточивают внимание не на выявлении брака, а на его предупреждении.

Большую роль в обеспечении качества продукции играет статистический метод.

Целью методов статистического контроля является исключение случайных изменений качества продукции.

Статистический контроль качества хорошо известен в нашей стране.

Сущность статистического контроля качества заключается в отборе и проверке выборки из предъявленной на контроль партии продукции. На основе оценки качества выбранных экземпляров делается заключение о качестве всей партии продукции. Этот вид контроля основан на применении методов математической статистики.

Сертификация продукции

В условиях, когда предприятиям предоставлено право самостоятельного выхода на внешний рынок, они сталкиваются с проблемами оценки качества своей продукции.

Необходимым инструментом, гарантирующим соответствие качества продукции требованиям нормативно-технической документации /НТД/ является сертификация.

Сертификация в международной терминологии определяется как установление соответствия. Национальные законодательные акты различных, стран конкретизируют: соответствие чему устанавливается, и кто устанавливает это соответствие.

Сертификация – документальное подтверждение соответствия продукции определенным требованиям, конкретным стандартом или техническим условиям.

Сертификация – дорогостоящее мероприятие, но она является эффективным средством продвижения продукции на рынок.

При получении в процессе сертификации положительного результата выдается документ, называемый "сертификат соответствия", который подтверждает соответствие продукции всем минимальным требованиям, установленным национальным законодательством.

Международной организацией стандартизации определено восемь схем сертификации третьей стороной. Первая модель предусматривает испытание образца промышленной продукции в независимой испытательной лаборатории или центре. Последующие модели содержат более глубокие испытания с последующим контролем и надзором за заводским управлением качеством.

– обеспечение реализации прав граждан на безопасность продукции для жизни, здоровья, имущества и окружающей среды;

– создание условий для деятельности юридических лиц и индивидуальных предпринимателей на едином товарном рынке страны, а также в международном сотрудничестве;

– подтверждение характеристик продукции, заявленных изготовителем.

Национальными органами по сертификации республик СНГ являются Госстандарты /Государственные комитеты по стандартизации/.

Вопросы для самопроверки

1. Дайте определение понятию "качество".

2. Можно ли рассматривать качество изолированно от позиций производителя и потребителя?

3. Какую роль сыграли стандарты ИСО серии 9000 в становлении менеджмента качества?

4. Как развивались системы управления качеством в последние десятилетия ХX века?

5. Каковы цель и метода статистического контроля качества?

6. Перечислите этапы процесса обеспечения качества.

7. Что представляет собой сертификация продукции?

Процессы и инциденты контроля качества данных

Сейчас мы сконцентрированы на ежемесячных моделях, для которых установлен регламент — три рабочих дня на анализ инцидентов. Но уже в работе витрина данных заявок из РКК (розничного кредитного конвейера), которая обновляется ежедневно, и одна из наших текущих задач — согласовать с заказчиком регламент анализа инцидентов.

Вообще, обработка инцидентов с качеством данных (ИКД) — захватывающее занятие. С одной стороны, все просто: мы видим, что конкретное поле или ряд полей витрины (а может и вся витрина) заполнены не верно. С другой стороны, оценка влияния такого инцидента на бизнес — сложный процесс, и именно здесь открывается простор для творческих аналитических упражнений.

Например, сейчас в Газпромбанке проходит исследовательский проект по оценке влияния ИКД на модель. Если коротко, мы искусственно искажаем данные по нескольким полям, и прогоняем модель по этим данным. То же самое делаем с качественными данными. Затем сравниваем результаты работы модели и пытаемся оцифровать расхождение в разных показателях: например, не выдали Х кредитов на сумму Y рублей. Детали раскрыть не могу, потому что сама методология обработки ИКД развивается вместе с этим проектом.

Процессы обеспечения качества данных имеют специфический характер и требуют для формализации специфических инструментов. Для управления подготовкой данных мы используем известный подход — матрица RACI, которую мы расширили пунктами, относящимися к процессу контроля КД.

Напомню, что матрица RACI (или матрица ответственности) — инструмент для управления отношениями в команде. Это таблица, с помощью которой по всем задачам проекта распределяются роли исполнителей, их полномочия и ответственность. Собственно, основные роли и составляют название метода: Responsible (ответственный сотрудник), Accountable — исполнитель, Consult — консультант, Iinformed — тот, кого нужно проинформировать после произведенного действия.

В нашей матрице RACI появились два новых пункта:

· Первичная оценка качества данных витрины. После того, как разработан прототип витрины, и еще до передачи ее заказчику на изучение мы оцениваем качество данных по ключевым метрикам. То есть за короткий отрезок времени можно увидеть состояние данных в витрине, их качество, имеющиеся отклонения.

· Проверка качества данных после после обновления витрины в промышленной эксплуатации.

На оценку качества данных витрины уходит неполный рабочий день, а для промышленной оценки КД нужно 3 часа на запуск проверок. Выявленные аномалии разбирают инженеры по качеству данных.

Главное для нас при работе с витринами для моделирования — проверка данных на предмет аномалий. Поскольку поля витрины — это некие агрегаты, а не сырые данные, не всегда можно проверить их как-то иначе на полноту, логику и другие параметры. Хорошо то, что здесь есть возможность использовать готовые программные инструменты, например, библиотеки на языке Python или решения, позволяющие оценивать дрейф данных. Правда, мы оказались очень взыскательными пользователями и отбросили многие инструменты: одни не поддерживали нужные нам объемы данных, у других был неудобный интерфейс.

В итоге мы активно используем метод Isolation Forest, который показывает очень хорошие результаты в выявлении аномалий в данных. Впрочем, для этого также потребуется аналитическое чутье, поскольку допустимый уровень отклонения в изолирующем лесе устанавливается на основе экспертного мнения.

В дополнение к библиотеке Isolation Forest применяем Apache Superset для визуализации результатов. Процесс автоматизирован: запустить его и получить результаты может любой аналитик с минимальными знаниями программирования.

Наш подход — сплошной контроль качества данных

Чтобы контролировать КД на всех этапах работы бизнес-приложений, в «Газпромбанке» практикуют сплошной контроль качества внешних данных, которые используются в моделях.

Теоретическое обоснование такого подхода дает концепция Data Governance.

Также есть стандарт DMBOK (Data Management Body of Knowledge), в котором прописаны все этапы взаимодействия с данными от момента их появления до утилизации. В 2009 году эксперты Международной ассоциации управления данными DAMA выпустили «Руководство DAMA к своду знаний по управлению данными (DMBOK)». Книга фактически заложила фундамент для развития новых профессий, относящихся к управлению данными. Позже вышло второе издание — DAMA-DMBOK2, есть перевод на русский язык. DAMA-DMBOK2 можно назвать сводом знаний — это полное и актуальное введение в дисциплину управления данными с обзором лучших практик. Рекомендую прочитать книгу всем, кто хочет профессионально заниматься задачами качества данных и другими вопросами из области управления данными.

Например, для практических шагов в Data Quality удобно использовать «пирамиду DMBOK2». Она включает все области знаний об управлении данными из DAMA DMBOK2 и помогает понять: на каком этапе компания находится сейчас и как двигаться дальше, чтобы выстроить надежные процессы управления данными.

Применительно к конкретному стриму «Качество данных моделей» концепция сплошного контроля КД включает такие основные элементы:

Обеспечение качества данных

Сфера качества данных для моделей хайповая и молодая, в России ей нет и 10 лет. Большинство компаний уже поняли, что для эффективной работы качественных моделей нужны качественные данные. Сегодня идет переход на новый уровень постижения проблематики Data Quality — осознание того, что управление качеством данных не может быть разовой операцией или небольшим IT-проектом, реализуемым однажды.

Ведь даже при работе с внутренними данными регулярно происходят инциденты качества данных. Типичный пример: IT-специалисты обновили систему, но не учли, что это повлияет на какой-то процесс. Или одно из полей обнулилось. Или выносили обновления, и витрина-источник не собралась вовремя, новые данные не поступили. Продолжать можно бесконечно. Мораль: данных с «вечным» качеством не бывает, работать над улучшением нужно постоянно. И заниматься этим должна специализированная команда профессионалов, пусть даже небольшая.

Заменить специалистов по качеству данных каким-нибудь программным роботом (RPA) невозможно, потому что ежедневное управление качеством данных — далеко не рутинные процедуры «нажимания кнопок». Специалист в области Data Quality должен точно понимать процессы, особенности данных, разбираться в предметной области. Иными словами, разбирая инциденты КД, инженер глубоко погружается в специфику бизнес-процесса и основное время при разборе тратит на понимание глубинных причин проблем с данными. Для этого требуются аналитические способности, которые есть только у человеческого ума.

Для разных задач нужен свой уровень качества данных

«Вишенка на торте» при перечислении проблем с КД — большая вариативность допустимого уровня качества. Он сильно зависит от специфики конкретных задач. Так, при оперативной оценке продаж кредитов в банке можно условно сказать, что за день выдали 100 млн рублей (плюс-минус один миллион). А в бухгалтерской отчетности даже плюс-минус одна копейка — недопустимая ошибка.

Все зависит от того, какие данные считаются качественными в конкретной ситуации. А это зависит от того, можно ли с их помощью решить поставленную задачу. Для одних задач количество ошибок на уровне 20% считается нормой, а для других даже 1% ошибочных данных — недопустимо много (при том, что абсолютного нуля не бывает).

На практике выбор приемлемого уровня качества — это результат договоренности с заказчиком. Личный опыт говорит, что уровень отклонений в 3% достаточен для решения почти любой задачи, но окончательное решение всегда остается за заказчиком.

Итак, проблем с КД для моделей — огромное количество. Для их устранения нет простых и гарантированных решений. Что делать?

Чем больше данных, тем больше проблем, связанных с их качеством, причем к ошибкам может привести огромное количество причин.

Некоторые — банальные. Например, оператор при вводе персональных данных неправильно перепечатал ФИО из паспорта.

Есть ошибки в проектировании систем. Скажем, разработчики проигнорировали требование к длине поля ввода данных. Например, поле «Паспорт выдан» ограничили 35 символами. Понятно, что нужно больше, но в системе сохраняются только первые 35 введенных символов: «ФМС Тверского района по городу Моск».

Бывает, не учли, что какие-то данные вообще надо сохранять, а они потом потребовались. Например, пол клиента.

Могут возникнуть сложности, связанные с потерей части данных при передаче информации из системы в систему в ходе ETL/ELT-процессов.

При этом стоит разделять проблемы с качеством внутренних данных, которые находятся во внутрикорпоративных системах, и внешних, поступающих из сторонних источников.

В «Газпромбанке» отлажены процессы по улучшению качества данных (КД), поэтому оно постоянно растет и стабильно выше, чем КД из внешних источников.

Данные для моделей — в чем главный подвох? В теории и на практике

Теоретически задача взять под контроль качество внешних данных вполне решаемая. И понятно, как: сравнивать текущее качество данных с неким эталоном. Процесс можно автоматизировать, а человека подключать только в том случае, когда выявлены отклонения и нужно проанализировать их причины. Но есть нюансы. Вот как это работает в Газпромбанке.

Данные для моделирования — не сырые: это агрегированные данные из витрин, каждая из которых строится на десяти и более источниках, как внешних, так и внутренних, и хранит 1000 и более столбцов. При этом в каждой витрине обычно более 10 млн строк, а поддержка истории данных составляет от четырех лет, и чем глубже, тем лучше.

Доверительный интервал отклонений в сравнении с предыдущим срезом по ключевым метрикам установлен по умолчанию на уровне 10%. Есть три рабочих дня — время на анализ инцидентов для ежемесячных моделей. То есть в течение трех дней надо проанализировать все эти тысячу с лишним столбцов в витрине на предмет расхождений с эталоном.

Подвох в том, что при таких условиях прямая сверка данных с эталонными невозможна. Опять вопрос: что делать?

Сила контроля — в метриках качества

Мы решили использовать оценочные метрики. И сверку производим по этим оценочным метрикам. За условный эталон берем витрину с качественными данными в том виде, какой она имела сразу после разработки. Следующий срез проверяем на уровень качества также в сравнении с эталоном.

Всего мы используем около двух десятков метрик для контроля КД входного вектора моделей. В том числе, для числовых переменных: минимальное, максимальное, медианное и среднее значения, суммарное значение переменной за текущий срез, а для таблицы — количество пустых и заполненных значений по переменной в абсолютном и относительном выражении, а также отклонение. Порог допустимых отклонений мы приняли на уровне 10%. Иными словами, если отклонение в количестве построенных строк по сравнению с предыдущим срезом превышает 10%, это уже инцидент с КД, который требует дополнительного исследования.

Иногда коллеги задают вопрос: как можно достичь максимальной «объективности» в оценках метрик качества разных типов данных? Ответ простой: личный опыт работы с этими типами данных и аналитическое чутье — вот лучшие помощники в деле контроля качества данных.

Отдельно отмечу интересную метрику — индекс стабильности популяции (Population Stability Index, PSI). Он полезен для анализа изменений входных данных для розничных моделей. Скажем, при разработке модели популяцию клиентов составляли мужчины и женщины: 60% и 40% соответственно, при этом возраст половины клиентов составлял 30–45 лет, 30% — старше 50 лет и 20% — молодая аудитория в возрасте 20–30 лет. Если на очередном срезе мы увидим существенные изменения в наполнении переменных, например, выросла доля молодежи или женщин, значит, произошло изменение популяции клиентов (а на уровне данных — дрейф данных, data drift), и текущая модель для нее работает плохо.

Коллеги говорят, что бывали ситуации, когда значение PSI превышало 0,2 и модель приходилось перестраивать. Однако за время моей работы в департаменте анализа данных и моделирования, а это уже больше года, такого не случалось.