Zwei Fehler, zwei Kosten: Falsch-Positiv-Aufrufe gegen Nicht-Erkennungen abwägen

Übersicht

Jede Inspektionsstation macht zwei Arten von Fehlern: Sie übergeht einen vorhandenen Fehler und kennzeichnet ein einwandfreies Teil als fehlerhaft. Beide Fehler entstehen durch dieselbe Schwellenwert-Einstellung; eine Veränderung dieses Schwellenwerts führt stets zu einem Kompromiss zwischen den beiden Fehlertypen. Eine Spezifikation, die beide Fehlerquoten sehr niedrig verlangt, fordert nicht einfach eine bessere Maschine – sie fordert eine Maschine, die es nicht gibt.

Was diesen Kompromiss beherrschbar macht, ist die Tatsache, dass die beiden Fehlerarten selten gleiche Kosten verursachen. Ein übersehener Fehler an einer Sicherheitskomponente kann einen Rückruf nach sich ziehen; ein Fehlalarm kostet in der Regel nur wenige Minuten für eine erneute Inspektion. Wenn die Kosten um Größenordnungen voneinander abweichen, ist die richtige Einstellung offensichtlich – und die Spezifikation sollte dies ausdrücklich festlegen, statt zu verlangen, dass beide Werte klein sind.

Dieser Artikel erläutert, wie die beiden Fehlerquoten miteinander interagieren, welche Kosten jeweils in der Praxis entstehen und wie eine Spezifikation formuliert wird, die angibt, welchen Fehler die Prüfstation tolerieren kann. Big Bird Industrial (ehemals Shimada Big Bird Industrial) baut seit 2001 Reinigungs- und Entgratsysteme für Krafttrain-Komponenten der Automobilindustrie; die hier verwendeten Erkennungswerte stammen von Serienprüfstationen.

1. Die beiden Fehler

Die Terminologie sollte geklärt werden, da verschiedene Personen die beiden Fehler häufig mit denselben Begriffen beschreiben.

Ein Nichterkennen

Ein am Bauteil vorhandener Fehler wird nicht erkannt, und das Bauteil läuft weiter durch die Fertigungslinie. Die Nichterkennungsquote ist der Anteil fehlerhafter Teile, die durchschlüpfen; bei Serienprüfstationen liegt sie üblicherweise bei einem Teil pro tausend, während die anspruchsvollsten Anwendungen bis zu einem Teil pro zehntausend erreichen.

Eine Fehlalarmierung

Ein konformes Teil wird markiert und verlässt die Linie zur Überprüfung, Nacharbeit oder Ausschuss. Die Fehlalarmraten auf realen Oberflächen liegen je nach Defektklasse und Oberfläche zwischen etwa ein und sieben Prozent; eine Station, die null meldet, misst in der Regel etwas Einfacheres als die Anforderung vorsieht.

2. Warum sie gemeinsam variieren

Ein Detektor trifft seine Entscheidung durch den Vergleich eines Signals mit einer Schwelle. Eine Senkung der Schwelle erfasst mehr Defekte, markiert aber auch mehr gute Teile, da sich die Population der guten Teile mit der Population der Defekte in jener Eigenschaft überlappt, die der Detektor misst.

Die Überlappung ist physikalisch bedingt

Die Überlappung ist keine Modellierungs­schwäche, die ein besserer Algorithmus beseitigen könnte. Ein flacher Kratzer und eine Werkzeugmarke erzeugen einen ähnlichen Kontrast; ein kleines Poren und ein Staubteilchen erzeugen eine ähnliche Dunkelheit. Wo sich die beiden Populationen tatsächlich überlappen, lässt sich keine Schwelle finden, die sie perfekt trennt; der einzige Weg, beide Kenngrößen zu verbessern, besteht darin, nicht die Lage der Schwelle, sondern die gemessene Größe selbst zu ändern.

Änderung der gemessenen Größe

Das Hinzufügen einer zweiten Beleuchtung, einer zweiten Sicht oder eines Luftstoßes kann Populationen trennen, die durch eine einzelne Messung nicht unterscheidbar sind. Das ist der legitime Weg, beide Raten zu verbessern – und es handelt sich dabei um eine Hardware-Änderung statt um eine Abstimmungsübung.

3. Was jeder Fehler kostet

Die Kosten sind asymmetrisch, und ihre Quantifizierung verwandelt den Kompromiss in eine Entscheidung.

Die Kosten eines Fehlers vom Typ ‚Verpasst‘

Ein verpasster Fehler wandert weiter. Bei einem bearbeiteten Bauteil wird er möglicherweise bei der Montage entdeckt, wobei die Kosten eine Produktionslinien-Stilllegung darstellen; bei einem Sicherheitsbauteil kann er bis in den Feldbetrieb gelangen, wobei die Kosten einen Rückruf bedeuten. Je weiter er wandert, desto höher steigen die Kosten – deshalb wird die Rate verpasster Fehler an derjenigen Station spezifiziert, an der der Fehler am kostengünstigsten entdeckt werden kann.

Die Kosten eines Fehlers vom Typ ‚Falschalarm‘

Ein falscher Alarm verbraucht eine Prüfung, eine erneute Inspektion oder eine Nacharbeit. Er verbraucht auch Vertrauen: Ein Operator, der wiederholt gute Teile abgelehnt sieht, lernt, die Station zu umgehen, und eine umgangene Station bietet überhaupt keinen Schutz. Diese zweite Kostenart wird niemals in die Berechnung einbezogen – doch sie tritt stets im Ergebnis auf.

4. Wo die Balance liegen sollte

Die richtige Balance ergibt sich aus dem Verhältnis der beiden Kosten; dieses Verhältnis ist in der Regel groß.

Wenn der Fehler katastrophal ist

Bei einer Reihenfolgeprüfung, einer Sicherheitsfläche oder einem hydraulischen Durchgang kann ein übersehener Fehler zu einem Feldausfall und einem Rückruf führen. Die Prüfstelle sollte daher stark auf Ablehnung ausgelegt sein und eine höhere Rate falsch-positiver Entscheidungen in Kauf nehmen. Eine Lagerdeckel-Prüfstelle mit einem Fehler pro zehntausend Teilen und einer falsch-positiven Entscheidung pro hundert Teilen ist korrekt ausgeglichen.

Wenn die falsch-positive Entscheidung die größeren Kosten verursacht

Bei einer kosmetischen Oberfläche, die in hoher Stückzahl geprüft wird, führt eine falsch-positive Entscheidung dazu, dass jedes Schicht einen Teil zur Politur geschickt wird; die angesammelten Kosten können den Wert der erfassten Fehler übertreffen. Solche Prüfstellen werden näher an der Balance eingestellt – daher weist eine Lackierungsprüfstelle eine niedrigere Fehler-Rate und eine höhere Rate falsch-positiver Entscheidungen auf als eine Sicherheitsprüfung.

5. Beide Messungen

Eine Station wird durch zwei Zahlen charakterisiert – und ein Lieferant, der nur eine angibt, beschreibt lediglich die Hälfte davon.

Der Validierungssatz muss beide enthalten

Ein Prüfsatz fehlerhafter Teile misst die Auslassrate. Ein Prüfsatz konformer Teile misst die Fehlauslöserate. Ohne den zweiten Prüfsatz erzielt eine Station, die sämtliche Teile ablehnt, auf dem ersten Test eine perfekte Bewertung – weshalb der Abnahmetest auch normale Serienteile umfassen muss.

Messung im Betrieb statt bei Übergabe

Beide Raten verschieben sich nach Inbetriebnahme, da Lampen altern und sich die Teilepopulation verändert. Die Verfolgung von Flaggen pro hundert Teile sowie bestätigten Fehlern pro tausend Teile zeigt diese Drift bereits vor einer Umgehung der Station an.

6. Die organisatorische Hälfte

Der technische Aspekt ist nur die Hälfte des Problems. Die andere Hälfte betrifft das, was die Organisation mit den Flaggen macht.

Eine Station, deren Kennzeichnungen von einer Person mit der Befugnis zur Freigabe eines Teils überprüft werden, gilt als vertrauenswürdig. Eine Station, deren Kennzeichnungen in eine Warteschlange gelangen, die niemand abarbeitet, wird überschrieben; und sobald sie überschrieben ist, hört die Rate falsch positiver Entscheidungen auf, eine Kostenursache zu sein, und wird stattdessen zur Gewohnheit. Die Prüfposition ist daher Teil des Fehlerbudgets und nicht lediglich ein administratives Detail.

7. Die Formulierung in einer Spezifikation

Eine Spezifikation, die beide Raten benennt, angibt, welche davon variabel sein darf, und die Testreihen definiert, mit denen sie gemessen werden, ist eine Spezifikation, nach der ein Zulieferer tatsächlich konstruieren kann.

Eine Spezifikation, die minimale Werte für beide Raten vorschreibt, wird mit einer Zahl beantwortet werden, die eher ein Labor denn eine Fertigungslinie beschreibt. Die entscheidende Frage lautet nicht, wie niedrig die erreichbare Auslassrate ist, sondern vielmehr: Welche Auslassrate benötigt die Anwendung, und welche Rate falsch positiver Entscheidungen kann die Linie aufrechterhalten, ohne diese Anforderung zu gefährden?

8. Die Kosten einer ungenutzten Station

Die größten Kosten im Fehlerbudget entstehen weder durch Fehlalarme noch durch verpasste Fehler. Sie entstehen vielmehr durch die Station, die nicht mehr genutzt wird – denn ab diesem Zeitpunkt entspricht die Ausfallrate genau der Rate, mit der der Prozess ohne Prüfung Fehler produziert.

Wie eine Station aufhört, genutzt zu werden

Dies geschieht in drei Schritten: Die Fehlalarmrate steigt über das hinaus, was die Linie verkraften kann; daher erwarten die Bediener bei einwandfreien Teilen bereits Ablehnungen. Die Warteschlange für die Nachprüfung wächst, weil niemand befugt ist, ein markiertes Teil rasch freizugeben. Jemand entdeckt die Bypass-Funktion – und fortan wird jedes zweifelhafte Teil manuell freigegeben. Keiner dieser Schritte stellt eine bewusste Entscheidung dar; jeder ist eine Reaktion auf Druck.

Die Gegenmaßnahme ist organisatorischer statt technischer Natur: Eine benannte Nachprüferin oder ein benannter Nachprüfer mit Entscheidungsbefugnis, eine Zielvorgabe für die Dauer der Nachprüfung sowie eine monatliche Kennzahl, wie oft die Station umgangen wurde. Eine Station, die regelmäßig nachgeprüft und als vertrauenswürdig eingestuft wird, kann mit einer Fehlalarmrate betrieben werden, die die Linie akzeptiert. Eine umgangene Station besitzt keine messbare Fehlerquote mehr.

Häufig gestellte Fragen

Kann eine Station beide Raten niedrig halten?

Nur dort, wo der Fehler und der Hintergrund sich optisch nicht überlagern. Wo sie sich überlagern, erfordert die Verbesserung beider Maßnahmen zur Informationszufuhr – etwa eine zusätzliche Beleuchtung oder Sicht – statt einer Schwellenwertanpassung.

Welche Rate soll ich zuerst angeben?

Die Auslassrate, denn sie ergibt sich aus den Folgen, die der Fehler in nachgeschalteten Prozessen haben kann. Die Fehlalarmrate ergibt sich daraus, wie viele Fehlalarme die Produktionslinie bei Erreichung dieser Auslassrate noch verkraften kann.

Warum erscheinen die Fehlalarmraten oft hoch?

Weil sie an realen Produktionsoberflächen mit realer Variation gemessen werden. Eine Rate im unteren einstelligen Bereich bei einem Gussbauteil oder einer lackierten Karosserie ist normal; eine als null angegebene Rate bedeutet meist, dass der Testdatensatz zu einfach war.

Was geschieht, wenn die Bediener die Station ignorieren?

Das ist der eigentliche Ausfallmodus. Er entsteht durch eine unüberprüfte Alarmwarteschlange oder durch eine Fehlalarmrate, die die Linie nicht verkraften kann, und verwandelt eine funktionierende Station in eine reine Dokumentationsaufgabe.

Fazit

Ein Fehlauslöser und ein Nichterkennen entstehen durch dieselbe Schwelle und verursachen sehr unterschiedliche Kosten. Die sinnvolle Spezifikation legt fest, welcher der beiden Fehler für die Anlage akzeptabel ist, statt zu fordern, dass beide klein gehalten werden.

Beide Fehler gleichzeitig zu verbessern, ist eine Hardware-Frage, keine Abstimmungsfrage. Und die entscheidende Rate ist diejenige, die im Betrieb gemessen wird, denn eine Station, der niemand vertraut, weist eine Nichterkennungsrate von hundert Prozent auf.