Twee fouten, twee kosten: balans tussen valse alarmen en gemiste gebreken

Overzicht

Elke inspectiestation maakt twee soorten fouten. Het mist een aanwezig gebrek, en het markeert een goede onderdelen als afgekeurd. Beide fouten worden veroorzaakt door dezelfde drempelwaarde, en het verplaatsen van die drempelwaarde betekent een afweging tussen de twee. Een specificatie die vereist dat beide waarden zeer laag zijn, vraagt niet om een betere machine; ze vraagt om een machine die niet bestaat.

Wat de afweging beheersbaar maakt, is dat de twee fouten zelden even duur zijn. Een gemist gebrek bij een veiligheidscomponent kan een terugroepactie tot gevolg hebben; een vals alarm kost meestal slechts een paar minuten extra inspectie. Wanneer de kosten met meerdere ordes van grootte verschillen, is de juiste instelling duidelijk, en de specificatie zou dit moeten vermelden in plaats van te eisen dat beide cijfers laag zijn.

Dit artikel legt uit hoe de twee foutpercentages op elkaar inwerken, wat elk in de praktijk kost en hoe u een specificatie kunt opstellen waarin wordt aangegeven welke fout de lijn kan absorberen. Big Bird Industrial (voorheen Shimada Big Bird Industrial) bouwt sinds 2001 reinigings- en ontbramingssystemen voor automotive aandrijflijncomponenten, en de hier gebruikte detectiecijfers zijn afkomstig van productiestations.

1. De twee fouten

De terminologie verdient aandacht, omdat verschillende mensen vaak dezelfde woorden gebruiken om de twee fouten te beschrijven.

Een niet-opgemerkte fout

Een gebrek dat aanwezig is op het onderdeel wordt niet gedetecteerd, waardoor het onderdeel verdergaat op de lijn. Het percentage niet-opgemerkte fouten is het aandeel defecte onderdelen dat doorgaat, en productiestations geven dit meestal aan als één onderdeel per duizend, terwijl de strengste toepassingen één per tienduizend bereiken.

Een valse melding

Een conform onderdeel wordt gemarkeerd en verlaat de lijn voor beoordeling, herstel of afkeuring. Het percentage valse alarmen op echte oppervlakken ligt tussen ongeveer één en zeven procent, afhankelijk van de klasse van het gebrek en het betreffende oppervlak; een station dat nul meldt, meet meestal iets eenvoudigers dan wat vereist is.

2. Waarom ze samen bewegen

Een detector neemt een beslissing door een signaal te vergelijken met een drempelwaarde. Een lagere drempelwaarde detecteert meer gebreken, maar markeert ook meer goede onderdelen, omdat de populatie van goede onderdelen overlapt met de populatie van gebreken in de eigenschap die de detector meet.

De overlapping is fysiek

Deze overlapping is geen tekortkoming in het model die een beter algoritme zou kunnen opheffen. Een oppervlakkige kras en een gereedschapsaanduiding veroorzaken een vergelijkbare contrastverschillen; een kleine porie en een stofdeeltje veroorzaken een vergelijkbare donkerheid. Waar de twee populaties daadwerkelijk overlappen, kan geen enkele drempelwaarde ze perfect scheiden, en de enige manier om beide prestaties te verbeteren, is om te veranderen wat wordt gemeten in plaats van waar de scheiding wordt getrokken.

Veranderen van wat wordt gemeten

Het toevoegen van een tweede belichting, een tweede beeld of een luchtstoot kan populaties scheiden die met één meting niet te onderscheiden zijn. Dat is de legitieme manier om beide percentages te verbeteren, en het betreft een hardwareaanpassing in plaats van een afstemmingstaak.

3. Wat elke fout kost

De kosten zijn asymmetrisch, en het kwantificeren ervan is wat de afweging omzet in een beslissing.

De kosten van een gemiste fout

Een gemiste fout reist mee. Bij een bewerkte component kan deze tijdens de assemblage worden ontdekt, waarbij de kosten bestaan uit een stilstand van de productielijn; bij een veiligheidscomponent kan deze zelfs op het veld terechtkomen, waarbij de kosten een terugroepactie zijn. Hoe verder de fout reist, hoe hoger de kosten stijgen, wat de reden is waarom het percentage gemiste fouten wordt gespecificeerd bij de bewerking waarbij de fout het goedkoopst te detecteren is.

De kosten van een valse melding

Een valse alarmmelding verbruikt een inspectie, een herinspectie of een herbewerking. Het verbruikt ook vertrouwen: een operator die herhaaldelijk goede onderdelen ziet afkeuren, leert het controlestation te omzeilen, en een omzeild controlestation biedt helemaal geen bescherming. Deze tweede kostenpost staat nooit in de berekening, maar is altijd aanwezig in het resultaat.

4. Waar het evenwicht moet liggen

Het juiste evenwicht volgt uit de verhouding tussen de twee kosten, en die verhouding is meestal groot.

Wanneer de niet-opgemerkte fout catastrofaal is

Bij een volgordecontrole, een veiligheidsoppervlak of een hydraulische doorvoer kan een niet-opgemerkte fout leiden tot een storing in gebruik en een terugroepactie. De controlepost moet sterk geneigd zijn tot afkeuring, waarbij een hoger percentage valse alarmen wordt geaccepteerd als prijs hiervoor. Een controlepost voor lagerkappen die één niet-opgemerkte fout per tienduizend onderdelen en één vals alarm per honderd onderdelen registreert, is correct ingesteld.

Wanneer het valse alarm de grotere kosten veroorzaakt

Bij een cosmetisch oppervlak dat in grote volumes wordt geïnspecteerd, leidt een vals alarm ernaar dat een onderdeel elke ploeg naar de polijstafdeling gaat, en de cumulatieve kosten kunnen de waarde van de opgespoorde gebreken overschrijden. Dergelijke controleposten worden dichter bij het evenwicht afgesteld, wat verklaart waarom een lakcontrolepost een lagere niet-opgemerkte-foutfrequentie en een hogere valse-alarmfrequentie heeft dan een veiligheidscontrole.

5. Beide meten

Een station wordt gekenmerkt door twee cijfers, en een leverancier die er één noemt, beschrijft de helft ervan.

De validatieverzameling moet beide bevatten

Een testset met defecte onderdelen meet het gemiste-ratio. Een testset met conforme onderdelen meet het valse-alarm-ratio. Zonder de tweede zou een station dat alles afkeurt perfect scoren op de eerste, wat de reden is waarom de acceptatietest ook normale productie-onderdelen moet omvatten.

Meten tijdens bedrijf in plaats van bij oplevering

Beide ratios veranderen na inbedrijfstelling, doordat lampen ouder worden en de populatie onderdelen verandert. Het bijhouden van vlaggen per honderd onderdelen en bevestigde defecten per duizend toont de drift voordat het station wordt omzeild.

6. De organisatorische helft

De technische kant is slechts de helft van het probleem. De andere helft is wat de organisatie met de vlaggen doet.

Een station waarvan de vlaggen worden beoordeeld door iemand met de bevoegdheid om een onderdeel vrij te geven, wordt vertrouwd. Een station waarvan de vlaggen in een wachtrij terechtkomen die niemand afhandelt, wordt genegeerd; en zodra dat gebeurt, stopt het percentage valse alarmen met een kostenpost te zijn en wordt het een gewoonte. De beoordelingspositie maakt daarom deel uit van de foutenmarge, niet van de administratieve details.

7. Het opnemen in een specificatie

Een specificatie die beide percentages noemt, aangeeft welk percentage mag variëren en definieert de testsets waarmee ze worden gemeten, is een specificatie waarop een leverancier kan ontwerpen.

Een specificatie die vereist dat beide percentages zo laag mogelijk zijn, wordt beantwoord met een cijfer dat een laboratorium beschrijft in plaats van een productielijn. De werkelijk relevante vraag is niet wat het laagst haalbare percentage onopgemerkte fouten is, maar welk percentage onopgemerkte fouten de toepassing nodig heeft en welk percentage valse alarmen de lijn kan verdragen terwijl dat percentage behouden blijft.

8. De kosten van een station dat niemand gebruikt

De grootste kosten in de foutenbudget zijn noch het niet-detecteren van een fout, noch het onterecht signaleren van een fout. Het is de inspectiestation die niet meer wordt gebruikt, want op dat moment wordt het niet-detecteringspercentage gelijk aan wat het proces produceert zonder inspectie.

Hoe een station ophoudt met worden gebruikt

Dit gebeurt in drie stappen. Het percentage onterechte signaleringen stijgt boven het niveau dat de productielijn kan verdragen, waardoor operators beginnen te verwachten dat goede onderdelen toch worden afgewezen. De wachtrij voor herbeoordeling groeit, omdat niemand bevoegd is om een gemarkeerd onderdeel snel vrij te geven. Iemand ontdekt de handmatige overschrijvingsoptie, en daarna wordt elk dubieus onderdeel handmatig goedgekeurd. Geen van deze stappen is een bewuste beslissing; elke stap is een reactie op druk.

De tegenmaatregel is organisatorisch in plaats van technisch: een benoemde herbeoordelaar met bevoegdheid, een doeltijd voor herbeoordeling en een maandelijkse cijfergegevens over hoe vaak de station is omzeild. Een station dat regelmatig wordt herbeoordeeld en waarop vertrouwd wordt, kan functioneren met een percentage onterechte signaleringen dat de lijn verdraagt. Een station dat wordt omzeild, heeft geen meetbaar foutpercentage meer.

Veelgestelde vragen

Kan een station zowel een laag percentage niet-detectering als een laag percentage onterechte signalering hebben?

Alleen waar het gebrek en de achtergrond zich optisch niet overlappen. Waar ze wel overlappen, vereist het verbeteren van beide het toevoegen van informatie, zoals een andere belichting of een andere kijkrichting, in plaats van het aanpassen van een drempelwaarde.

Welk percentage moet ik eerst opgeven?

Het gemiste-percentage, omdat dit wordt bepaald door wat het gebrek downstream kan veroorzaken. Het percentage valse meldingen volgt uit wat de productielijn kan verwerken om dit te bereiken.

Waarom lijken de percentages valse meldingen hoog?

Omdat ze worden gemeten op echte productieoppervlakken met echte variatie. Een percentage in de lage eenheden op een gietstuk of een geschilderd paneel is normaal, en een percentage dat als nul wordt gerapporteerd betekent meestal dat de testset te eenvoudig was.

Wat gebeurt er als operators de inspectiestation negeren?

Dat is de werkelijke foutmodus. Het wordt veroorzaakt door een onbeoordeelde wachtrij van meldingen of een percentage valse meldingen dat de productielijn niet kan verwerken, en het verandert een functionerende inspectiestation in een administratieve taak.

Conclusie

Een gemiste detectie en een valse alarm worden veroorzaakt door dezelfde drempelwaarde en kosten zeer verschillende bedragen. De nuttige specificatie geeft aan welke van beide de lijn zich kan veroorloven, in plaats van te eisen dat beide klein zijn.

Beide tegelijk verbeteren is een hardwarevraag, geen afstemvraag. En de snelheid die uiteindelijk van belang is, is degene die tijdens werking wordt gemeten, want een station waar niemand op vertrouwt, heeft een gemiste-detectiesnelheid van honderd procent.