두 가지 오류, 두 가지 비용: 잘못된 탐지와 놓친 결함 사이의 균형 맞추기

개요

모든 검사 공정은 두 가지 유형의 오류를 발생시킨다. 하나는 실제 존재하는 결함을 놓치는 것이고, 다른 하나는 양호한 부품을 결함으로 잘못 판정하는 것이다. 이 두 오류는 동일한 판정 기준값에서 발생하며, 이 기준값을 조정하면 한쪽 오류는 줄고 다른 쪽은 늘어난다. 따라서 두 오류 모두를 매우 낮게 요구하는 사양은 단순히 더 우수한 장비를 요구하는 것이 아니라, 실존하지 않는 장비를 요구하는 것이다.

이러한 균형 조정이 가능하게 만드는 핵심은 두 오류의 비용이 일반적으로 크게 다르다는 점이다. 안전 부품에서 결함을 놓치면 리콜로 이어질 수 있지만, 오검출은 보통 재검사에 소요되는 몇 분 정도의 시간만 소모한다. 비용 차이가 수십 배 이상 나면 최적의 기준값 설정은 명확해지며, 사양서는 두 수치를 모두 작게 하라고 요구하기보다는 이 비용 차이를 명시해야 한다.

이 기사에서는 두 가지 오류율이 어떻게 상호작용하는지, 각각의 실제 비용은 얼마인지, 그리고 라인에서 허용할 수 있는 오류 유형을 명시하는 사양서를 작성하는 방법을 설명한다. 빅버드 인더스트리얼(Big Bird Industrial, 이전 이름: 시마다 빅버드 인더스트리얼)은 2001년 이래 자동차 파워트레인 부품용 세정 및 드버링 시스템을 제조해 왔으며, 여기서 사용된 탐지 성능 수치는 실제 양산 공정에서 측정된 것이다.

1. 두 가지 오류

용어를 명확히 정의할 필요가 있다. 왜냐하면 동일한 용어를 서로 다른 사람들이 각기 다른 의미로 사용하는 경우가 흔하기 때문이다.

누락

부품에 결함이 있음에도 불구하고 이를 탐지하지 못하고, 부품이 생산 라인을 계속 통과하는 경우이다. 누락률은 결함이 있는 부품 중 통과한 부품의 비율을 말하며, 일반적으로 양산 공정에서는 천 개당 한 개 수준으로 지정되며, 가장 엄격한 적용 사례에서는 만 개당 한 개 수준까지 요구된다.

오탐

적합 부품은 표시되며, 검토, 재작업 또는 폐기 위해 라인에서 제거된다. 실제 표면에 대한 오진율은 결함 종류와 표면에 따라 약 1%에서 7% 사이로 나타나며, 0%를 보고하는 공정장치는 일반적으로 요구사항보다 측정이 쉬운 대상을 측정하고 있다.

2. 왜 함께 움직이는가

검출기는 신호를 임계값과 비교하여 결정한다. 임계값을 낮추면 더 많은 결함을 탐지하지만, 양호 부품도 더 많이 오진하게 된다. 이는 양호 부품 집단과 결함 부품 집단이 검출기가 측정하는 특성에서 서로 겹쳐 있기 때문이다.

겹침은 물리적이다

이 겹침은 더 나은 알고리즘으로 제거할 수 있는 모델링의 약점이 아니다. 얕은 흠집과 공구 자국은 유사한 대비를 만들고, 작은 기공과 먼지 입자는 유사한 어두움을 만든다. 두 집단이 실제로 겹치는 영역에서는 어떤 임계값도 완벽히 구분할 수 없으며, 양쪽 모두를 개선하는 유일한 방법은 선을 그리는 위치를 바꾸는 것이 아니라 측정 대상을 바꾸는 것이다.

측정 대상 변경하기

두 번째 조명, 두 번째 관점 또는 공기 펄스를 추가하면 단일 측정으로는 구분할 수 없는 집단을 분리할 수 있다. 이는 두 비율 모두를 개선하는 정당한 방법이며, 튜닝이 아니라 하드웨어 변경이다.

3. 각 오류가 초래하는 비용

비용은 비대칭적이며, 이를 정량화하는 것이 거래를 의사결정으로 전환시킨다.

미검출 결함의 비용

미검출 결함은 이동한다. 기계 가공 부품의 경우 조립 공정에서 발견될 수 있으며, 이때 비용은 라인 정지이다. 안전 관련 부품의 경우 시장에까지 유입되어 리콜로 이어질 수 있다. 결함이 이동할수록 비용은 증가하므로, 미검출률은 결함을 가장 저렴하게 탐지할 수 있는 공정에서 규정된다.

오진의 비용

잘못된 불량 판정은 검사 기회 하나를 소모하며, 재검사 또는 재작업을 유발한다. 또한 신뢰도도 훼손된다. 반복적으로 양품을 불량으로 잘못 판정하는 상황을 목격한 작업자는 점차 해당 공정을 우회하게 되고, 우회된 공정은 전혀 보호 기능을 하지 못한다. 이 두 번째 비용은 계산에 결코 포함되지 않지만 결과에는 항상 반영된다.

4. 균형이 맞춰져야 할 위치

올바른 균형은 두 비용의 비율에서 자연스럽게 도출되며, 이 비율은 일반적으로 크다.

오인식이 치명적일 때

순차 점검 시 안전 표면 또는 유압 통로에서 오인식이 발생하면 현장 고장 및 리콜로 이어질 수 있다. 따라서 해당 공정 구역은 거부 쪽으로 강하게 편향되어야 하며, 더 높은 허위 경보율을 감수하는 것이 적절한 대가이다. 베어링 캡 공정 구역에서 1만 개당 1건의 오인식과 100개당 1건의 허위 경보가 발생한다면, 이는 올바르게 편향된 상태이다.

허위 경보가 더 큰 비용을 초래할 때

대량 생산되는 외관 표면 검사에서는 허위 경보가 매 교대마다 부품을 연마 공정으로 보내게 되며, 누적된 비용이 탐지된 결함의 가치를 초과할 수 있다. 따라서 이러한 공정 구역은 균형에 가깝게 조정되며, 이것이 페인트 검사 공정이 안전 검사보다 낮은 오인식률과 높은 허위 경보률을 보이는 이유이다.

5. 둘 다 측정하기

공정장치는 두 개의 수치로 특징지어지며, 하나만 제시하는 공급업체는 그 절반만 설명하고 있는 것이다.

검증 세트에는 둘 다 포함되어야 한다

불량 부품으로 구성된 테스트 세트는 놓침률을 측정한다. 양호 부품으로 구성된 테스트 세트는 오진률을 측정한다. 후자를 포함하지 않으면, 모든 부품을 불합격 처리하는 공정장치가 전자 측정에서는 완벽한 점수를 받게 되므로, 승인 테스트에는 정상 생산 부품도 반드시 포함되어야 한다.

인수인계 시점이 아니라 실운전 중에 측정하기

설치 완료 후에는 램프의 노후화와 부품 집단의 변화로 인해 두 가지 비율 모두 변동된다. 백 개 부품당 플래그 수와 천 개 부품당 확인된 결함 수를 추적하면, 공정장치가 우회되기 전에 이러한 편차를 파악할 수 있다.

6. 조직적 측면

기술적 측면은 문제의 절반에 불과하다. 나머지 절반은 조직이 플래그를 어떻게 활용하느냐에 달려 있다.

부품을 승인할 권한이 있는 사람이 검토한 플래그가 있는 공정은 신뢰받는다. 반면, 아무도 처리하지 않는 대기열로 들어가는 플래그가 있는 공정은 무시되며, 일단 무시되면 오진률은 더 이상 비용이 아니라 습관이 된다. 따라서 검토 역할은 오류 예산의 일부이며, 단순한 행정적 세부 사항이 아니다.

7. 사양서에 명시하기

두 가지 비율을 모두 명시하고, 어느 쪽이 변동 가능하며, 이를 측정할 테스트 세트를 정의하는 사양서는 협력사가 설계 기준으로 삼을 수 있는 사양서이다.

두 비율 모두 최소화하라고 요구하는 사양서에는 실험실 수준을 설명하는 숫자만 제시될 뿐, 실제 생산 라인 수준은 반영되지 않는다. 진정으로 고민해야 할 질문은 ‘달성 가능한 최저 미검출률은 얼마인가’가 아니라 ‘해당 응용 분야가 필요로 하는 미검출률은 얼마이며, 이를 유지하면서 생산 라인이 허용할 수 있는 오진률은 얼마인가’이다.

8. 아무도 사용하지 않는 공정의 비용

오차 예산에서 가장 큰 비용은 놓친 오류도, 잘못된 경고도 아니다. 문제는 검사장치가 사용되지 않게 되는 순간이다. 이 시점에서 놓친 오류율은 검사를 하지 않을 때 공정이 자연스럽게 만들어내는 수준이 된다.

검사장치가 사용되지 않게 되는 과정

이 과정은 세 단계로 진행된다. 먼저, 잘못된 경고율이 라인에서 감당할 수 있는 수준을 넘어서면서 작업자들이 양호 부품에도 불량 판정이 내려질 것이라고 기대하기 시작한다. 다음으로, 누군가도 승인할 권한이 없어 표시된 부품을 신속히 승인해 줄 수 없기 때문에 검토 대기열이 길어진다. 마지막으로, 누군가 우회 절차를 발견하게 되고, 그 이후부터는 애매한 부품마다 수동으로 통과시킨다. 이 세 단계 중 어느 하나도 의도적인 결정이 아니라, 모두 압박에 대한 반응이다.

이에 대한 대책은 기술적보다는 조직적이다. 즉, 명명된 검토 담당자와 그에 대한 명확한 권한, 목표 검토 시간, 그리고 매월 검사장치가 우회된 빈도를 정기적으로 측정·공개하는 것이다. 검토를 거쳐 신뢰받는 검사장치는 라인이 허용하는 수준의 잘못된 경고율로도 안정적으로 운영될 수 있다. 반면, 우회된 검사장치는 측정할 가치조차 없는 오류율을 갖게 된다.

자주 묻는 질문

검사장치가 두 가지 오류율 모두 낮게 유지될 수 있을까?

결함과 배경이 광학적으로 겹치지 않을 때만 가능하다. 겹칠 경우, 둘 다 개선하려면 임계값 조정보다는 추가 조명이나 다른 관측 각도처럼 정보를 더하는 것이 필요하다.

어떤 비율을 먼저 지정해야 하나요?

누락률을 먼저 지정해야 한다. 이는 결함이 후공정에서 초래할 수 있는 영향에 따라 결정되기 때문이다. 오진률은 해당 라인이 누락률을 달성하면서 허용할 수 있는 수준에 따라 자연스럽게 도출된다.

왜 오진률이 높아 보일까요?

실제 양산 부품의 실제 변동성을 반영해 측정하기 때문이다. 주조 부품이나 도장 패널에서 한 자릿수 초반대의 오진률은 정상이며, 오진률이 0으로 보고된 경우는 일반적으로 검사용 샘플 세트가 지나치게 쉬웠음을 의미한다.

운전원들이 검사 구역을 무시한다면 어떻게 되나요?

그것이 진정한 고장 모드이다. 검토되지 않은 경고 대기열 또는 라인이 감당할 수 없는 오진률로 인해 발생하며, 제대로 작동하던 검사 구역이 단순 기록 작업으로 전락하게 된다.

결론

오차와 잘못된 경고는 동일한 임계값에서 발생하지만, 비용 측면에서 매우 큰 차이를 보인다. 유용한 사양은 두 가지 중 어느 하나를 시스템이 감당할 수 있는지를 명시하며, 둘 다 작아야 한다고 요구하지 않는다.

두 지표를 동시에 개선하는 것은 튜닝 문제가 아니라 하드웨어 문제이다. 그리고 궁극적으로 중요한 비율은 실제 운영 환경에서 측정된 비율이다. 왜냐하면 누구도 신뢰하지 않는 정류장은 오차율이 100퍼센트이기 때문이다.