Две ошибки, две стоимости: баланс ложных срабатываний и пропусков

Обзор

Каждая контрольная станция допускает два типа ошибок: пропускает существующий дефект и отбраковывает исправную деталь. Обе ошибки обусловлены одним пороговым значением, и изменение этого порога приводит к компенсации одной ошибки за счёт другой. Техническое задание, требующее одновременно очень низких значений обоих показателей, не предполагает приобретение более совершенного оборудования — оно требует невозможного.

Управление этим компромиссом становится возможным благодаря тому, что стоимость двух типов ошибок редко совпадает. Пропуск дефекта на элементе, влияющем на безопасность, может повлечь отзыв продукции; ложное срабатывание обычно обходится в несколько минут повторного контроля. Когда разница в стоимости ошибок составляет несколько порядков, правильная настройка очевидна, и техническое задание должно прямо указывать на это, а не требовать одновременно низких значений обоих показателей.

В этой статье объясняется, как взаимодействуют два типа ошибок, сколько стоит каждая из них на практике и как составить техническое задание, в котором чётко указано, какую из этих ошибок линия может допустить. Компания Big Bird Industrial (ранее — Shimada Big Bird Industrial) производит системы очистки и зачистки компонентов автомобильных силовых агрегатов с 2001 года; приведённые здесь показатели обнаружения получены на действующих производственных участках.

1. Два типа ошибок

Терминологию стоит уточнить, поскольку разные специалисты зачастую используют одни и те же слова для описания двух различных ошибок.

Пропуск дефекта

Наличие дефекта на детали остаётся незамеченным, и деталь продолжает движение по линии. Доля пропущенных дефектов — это доля бракованных деталей, прошедших контроль; на производственных участках обычно указывают значение около одной детали на тысячу, а в наиболее строгих случаях — одну деталь на десять тысяч.

Ложное срабатывание

Соответствующая деталь помечается и удаляется с линии для проверки, доработки или утилизации. Доля ложных срабатываний на реальных поверхностях составляет от одного до семи процентов в зависимости от класса дефекта и типа поверхности; станция, сообщающая о нулевом показателе, как правило, измеряет что-то более простое по сравнению с предъявляемыми требованиями.

2. Почему они изменяются совместно

Детектор принимает решение, сравнивая сигнал с пороговым значением. Понижение порога позволяет выявить больше дефектов, но одновременно приводит к большему числу ложных срабатываний на исправных деталях, поскольку распределение исправных деталей перекрывается с распределением дефектных деталей по тому признаку, который измеряет детектор.

Перекрытие является физическим

Это перекрытие — не недостаток моделирования, устранимый с помощью более совершенного алгоритма. Мелкая царапина и след инструмента создают схожий контраст; мелкое пористое образование и частица пыли — схожую степень затемнения. Там, где распределения действительно перекрываются, никакое пороговое значение не обеспечит их идеального разделения, и единственный способ одновременно улучшить оба показателя — изменить измеряемый параметр, а не положение пороговой границы.

Изменение измеряемого параметра

Добавление второго источника освещения, второго ракурса или импульса воздуха позволяет разделить популяции, которые невозможно различить при одном измерении. Это корректный способ одновременного повышения обоих показателей, и он предполагает изменение аппаратного обеспечения, а не настройку параметров.

3. Стоимость каждой ошибки

Стоимость ошибок асимметрична, и её количественная оценка превращает компромисс в обоснованное решение.

Стоимость пропущенного дефекта

Пропущенный дефект перемещается по производственной цепочке. На механической детали его могут обнаружить на этапе сборки — тогда стоимость составит просто простой линии; на детали, связанной с безопасностью, он может попасть в эксплуатацию — тогда стоимость будет равна расходам на отзыв продукции. Чем дальше дефект проходит по цепочке, тем выше его стоимость, поэтому доля пропущенных дефектов нормируется именно на том операционном этапе, где их обнаружение обходится дешевле всего.

Стоимость ложного срабатывания

Ложный срабатывание потребляет одну проверку, повторный осмотр или переделку. Оно также подрывает доверие: оператор, который неоднократно видит, как исправные детали отклоняются, учится обходить контрольную станцию, а обойденная станция вообще не обеспечивает никакой защиты. Эта вторая стоимость никогда не учитывается при расчётах, но всегда проявляется в результатах.

4. Где должна находиться точка баланса

Правильный баланс определяется соотношением двух видов затрат; обычно это соотношение велико.

Когда пропуск является катастрофическим

При проверке последовательности, на поверхности, важной для безопасности, или в гидравлическом канале пропуск может привести к отказу в эксплуатации и отзыву продукции. На таком участке следует резко смещать настройку в сторону отклонения, принимая более высокий уровень ложных срабатываний как необходимую плату. Участок контроля крышки подшипника с частотой одного пропуска на десять тысяч деталей и одного ложного срабатывания на сто деталей настроен правильно.

Когда ложное срабатывание обходится дороже

На участке визуального контроля косметической поверхности при высоком объёме выпуска каждое ложное срабатывание направляет деталь на полировку в каждой смене, и совокупные затраты могут превысить стоимость устранённых дефектов. Такие участки настраиваются ближе к балансу — именно поэтому участок контроля окраски работает с меньшей частотой пропусков и большей частотой ложных срабатываний по сравнению с участком контроля безопасности.

5. Измерение обоих показателей

Станция характеризуется двумя числами; поставщик, указывающий только одно из них, описывает лишь половину её характеристик.

Валидационный набор должен включать оба показателя

Тестовый набор бракованных деталей измеряет долю пропущенных дефектов. Тестовый набор годных деталей измеряет долю ложных срабатываний. Без второго теста станция, отклоняющая все детали, получит идеальный результат по первому показателю; именно поэтому приёмочный тест должен включать стандартные производственные детали.

Измерение в ходе эксплуатации, а не при передаче в эксплуатацию

Оба показателя изменяются после ввода станции в эксплуатацию: лампы стареют, а состав партии деталей меняется. Отслеживание количества флагов на сто деталей и подтверждённых дефектов на тысячу деталей позволяет выявить дрейф показателей до того, как станция будет обойдена.

6. Организационная половина

Техническая сторона проблемы составляет лишь половину задачи. Вторая половина — это то, что организация делает с зафиксированными флагами.

Станция, флаги которой проверяет лицо, уполномоченное выпускать деталь, будет считаться надёжной. Станция, чьи флаги попадают в очередь, которую никто не очищает, будет переопределена, и после переопределения доля ложных срабатываний перестаёт быть издержкой и превращается в привычку. Таким образом, позиция проверки входит в бюджет ошибок, а не является административной деталью.

7. Оформление в виде спецификации

Спецификация, в которой указаны обе доли, определено, какая из них может изменяться, и заданы наборы тестов для их измерения, — это спецификация, на основе которой поставщик может выполнять проектирование.

Спецификация, требующая минимизации обеих долей, получит в ответ значение, описывающее лабораторные условия, а не производственную линию. Важно задавать не вопрос о самой низкой достижимой доле пропусков, а вопрос о том, какая доля пропусков необходима приложению и какую долю ложных срабатываний производственная линия может выдержать, сохраняя требуемую долю пропусков.

8. Стоимость станции, которой никто не пользуется

Наибольшие затраты в бюджете ошибок связаны не с пропуском дефекта и не с ложным срабатыванием. Они возникают, когда станция перестаёт использоваться: в этот момент доля пропущенных дефектов становится равной той, что генерирует сам процесс без контроля.

Как станция перестаёт использоваться

Это происходит в три этапа. Доля ложных срабатываний превышает ту, которую линия может компенсировать, поэтому операторы начинают ожидать отбраковки исправных деталей. Очередь на повторную проверку растёт, поскольку никто не уполномочен быстро одобрять помеченные детали. Кто-то находит функцию обхода, и после этого каждая неоднозначная деталь проходит ручную проверку. Ни один из этих этапов не является осознанным решением — каждый представляет собой реакцию на давление.

Противодействие носит организационный, а не технический характер: назначенный ответственный сотрудник с правом принятия решений, целевое время проверки и ежемесячный показатель частоты обхода станции. Станция, прошедшая проверку и заслужившая доверие, может работать при уровне ложных срабатываний, допустимом для линии. Станция, которую регулярно обходят, не имеет измеримого уровня ошибок.

Часто задаваемые вопросы

Может ли станция обеспечивать низкие значения обоих показателей?

Только в тех случаях, когда дефект и фон не перекрываются оптически. Там, где они перекрываются, улучшение обоих параметров требует добавления информации — например, дополнительного освещения или ракурса наблюдения — а не настройки порогового значения.

Какой показатель следует указать в первую очередь?

Показатель пропусков, поскольку он определяется тем, какие последствия дефект может вызвать на последующих этапах производства. Показатель ложных срабатываний вытекает из того, сколько таких срабатываний линия способна принять, обеспечивая заданный показатель пропусков.

Почему показатели ложных срабатываний кажутся высокими?

Потому что они измеряются на реальных производственных поверхностях с присущей им естественной вариацией. Показатель в низких однозначных цифрах для литой детали или окрашенной панели является нормальным; показатель, заявленный как ноль, обычно означает, что тестовый набор был слишком простым.

Что произойдёт, если операторы будут игнорировать станцию?

Это и есть реальный режим отказа. Он вызывается либо непросмотренной очередью флагов, либо показателем ложных срабатываний, который линия не в состоянии принять, и превращает работоспособную станцию в рутинное занятие по ведению документации.

Заключение

Промах и ложное срабатывание возникают при одном и том же пороговом значении, но их стоимость сильно различается. Полезная спецификация указывает, какой из этих параметров линия может позволить себе, а не требует одновременного уменьшения обоих.

Одновременное улучшение обоих параметров — это вопрос аппаратного обеспечения, а не настройки. А решающее значение имеет именно та скорость, которая измеряется в ходе эксплуатации, поскольку станция, которой никто не доверяет, имеет частоту промахов сто процентов.