Deux erreurs, deux coûts : équilibrer les détections erronées et les défauts manqués

Aperçu

Chaque poste d'inspection commet deux types d'erreur : il ne détecte pas un défaut présent, et il rejette une pièce conforme. Ces deux erreurs résultent du même seuil de détection, et modifier ce seuil implique un compromis entre l'une et l'autre. Une spécification exigeant que les deux taux soient très faibles ne réclame pas une machine plus performante ; elle exige une machine qui n'existe pas.

Ce qui rend ce compromis gérable, c'est que ces deux erreurs ont rarement le même coût. Un défaut non détecté sur un composant de sécurité peut entraîner un rappel ; un faux positif coûte généralement quelques minutes de réinspection. Lorsque ces coûts diffèrent de plusieurs ordres de grandeur, le réglage optimal est évident, et la spécification devrait l'indiquer explicitement plutôt que d'exiger que les deux valeurs soient faibles.

Cet article explique comment les deux taux interagissent, ce que chacun coûte concrètement et comment rédiger une spécification indiquant quelle erreur la ligne peut tolérer. Big Bird Industrial (anciennement Shimada Big Bird Industrial) conçoit des systèmes de nettoyage et d’ébavurage pour les composants de groupe motopropulseur automobile depuis 2001, et les chiffres de détection utilisés ici proviennent de postes de production.

1. Les deux erreurs

Il convient de clarifier la terminologie, car ces deux erreurs sont souvent désignées par les mêmes termes, selon les interlocuteurs.

Une absence de détection

Un défaut présent sur la pièce n’est pas détecté, et la pièce poursuit son cheminement sur la ligne. Le taux d’absence de détection correspond à la fraction de pièces défectueuses qui passent sans être identifiées ; les postes de production le spécifient couramment à raison d’une pièce sur mille, les applications les plus exigeantes atteignant une pièce sur dix mille.

Un appel faux

Une pièce conforme est signalée et quitte la ligne pour examen, retouche ou mise au rebut. Les taux de faux positifs sur des surfaces réelles varient d’environ un à sept pour cent, selon la classe de défaut et la surface concernée ; une station qui signale zéro faux positif mesure généralement quelque chose de plus simple que ce que la spécification exige.

2. Pourquoi ils évoluent ensemble

Un détecteur prend sa décision en comparant un signal à un seuil. Abaisser ce seuil permet de détecter davantage de défauts, mais entraîne aussi le signalement d’un plus grand nombre de pièces bonnes, car la population des pièces bonnes chevauche celle des défauts dans la caractéristique mesurée par le détecteur.

Le chevauchement est physique

Ce chevauchement n’est pas une faiblesse de modélisation qu’un algorithme amélioré pourrait éliminer. Une rayure superficielle et une marque d’outil produisent un contraste similaire ; un petit pore et une particule de poussière produisent une obscurité similaire. Là où les deux populations se chevauchent effectivement, aucun seuil ne permet de les séparer parfaitement, et la seule façon d’améliorer simultanément les deux performances consiste à modifier la caractéristique mesurée, plutôt que la position du seuil.

Modifier la caractéristique mesurée

L’ajout d’une deuxième illumination, d’une deuxième vue ou d’une impulsion d’air permet de séparer des populations qu’une seule mesure ne parvient pas à distinguer. C’est la méthode légitime pour améliorer simultanément les deux taux, et il s’agit d’une modification matérielle plutôt que d’un simple réglage.

3. Ce que coûte chaque erreur

Les coûts sont asymétriques, et leur quantification est ce qui transforme un compromis en une décision.

Le coût d’un défaut non détecté

Un défaut non détecté progresse dans le processus. Sur une pièce usinée, il peut être identifié lors du montage, entraînant l’arrêt de la ligne ; sur un composant de sécurité, il peut atteindre le marché, entraînant un rappel. Plus il progresse, plus son coût augmente, ce qui explique pourquoi le taux de défauts non détectés est spécifié à l’opération où le défaut est le moins coûteux à détecter.

Le coût d’un faux appel

Un appel erroné consomme une révision, une nouvelle inspection ou une retouche. Il érode également la confiance : un opérateur qui voit des pièces conformes rejetées à répétition apprend à contourner le poste, et un poste contourné n’offre aucune protection du tout. Ce deuxième coût n’apparaît jamais dans les calculs, mais il est toujours présent dans les résultats.

4. Où doit se situer l’équilibre

L’équilibre correct découle du rapport entre les deux coûts, et ce rapport est généralement élevé.

Lorsque l’erreur non détectée est catastrophique

Lors d’un contrôle de séquence, sur une surface de sécurité ou un passage hydraulique, une erreur non détectée peut entraîner une défaillance en service et un rappel. Le poste doit être fortement orienté vers le rejet, acceptant un taux plus élevé d’alarmes fausses comme prix à payer. Un poste de contrôle des capots de roulement fonctionnant avec une erreur non détectée tous les dix mille pièces et une alarme fausse toutes les cent pièces est correctement orienté.

Lorsque l’alarme fausse représente le coût le plus élevé

Sur une surface cosmétique inspectée à grand volume, une alarme fausse envoie une pièce vers le polissage à chaque poste, et le coût accumulé peut dépasser la valeur des défauts détectés. Ces postes sont réglés plus près de l’équilibre, ce qui explique pourquoi un poste de contrôle de peinture fonctionne avec un taux d’erreurs non détectées plus faible et un taux d’alarmes fausses plus élevé qu’un contrôle de sécurité.

5. Mesurer les deux

Une station est caractérisée par deux chiffres, et un fournisseur qui n’en cite qu’un décrit seulement la moitié.

L’ensemble de validation doit inclure les deux

Un jeu d’essai composé de pièces défectueuses mesure le taux de non-détection. Un jeu d’essai composé de pièces conformes mesure le taux de faux positifs. En l’absence de ce second jeu, une station rejetant systématiquement toutes les pièces obtient un score parfait sur le premier critère, ce qui explique pourquoi le test d’acceptation doit inclure des pièces issues de la production normale.

Mesurer en cours d’exploitation plutôt qu’au moment de la remise

Ces deux taux évoluent après la mise en service, à mesure que les lampes vieillissent et que la population de pièces change. Le suivi du nombre de signalements pour cent pièces et des défauts confirmés pour mille pièces permet de détecter cette dérive avant que la station ne soit contournée.

6. La moitié organisationnelle

Le volet technique ne représente qu’une moitié du problème. L’autre moitié concerne ce que l’organisation fait des signalements.

Une station dont les indicateurs sont examinés par une personne habilitée à libérer une pièce sera considérée comme fiable. Une station dont les indicateurs aboutissent dans une file d’attente que personne ne traite sera outrepassée, et une fois outrepassée, le taux de faux positifs cesse d’être un coût pour devenir une habitude. La fonction d’examen fait donc partie du budget d’erreurs, et non d’un détail administratif.

7. L’intégration dans une spécification

Une spécification qui nomme les deux taux, précise lequel est autorisé à varier et définit les jeux d’essais permettant de les mesurer constitue une spécification contre laquelle un fournisseur peut concevoir son produit.

Une spécification exigeant que les deux taux soient minimaux recevra en réponse une valeur décrivant un laboratoire plutôt qu’une ligne de production. La question pertinente n’est pas de savoir quel est le taux de non-détection le plus faible réalisable, mais quel taux de non-détection l’application requiert et quel taux de faux positifs la ligne peut absorber tout en le maintenant.

8. Le coût d’une station que personne n’utilise

Le coût le plus élevé dans le budget d’erreur n’est ni la non-détection ni le faux appel. C’est la station qui cesse d’être utilisée, car, à ce moment-là, le taux de non-détection devient celui que le procédé génère naturellement, en l’absence d’inspection.

Comment une station cesse d’être utilisée

Cela se produit en trois étapes. Le taux de faux appels augmente au-delà de ce que la ligne peut absorber, si bien que les opérateurs commencent à s’attendre à des rejets de pièces bonnes. La file d’attente d’examen s’allonge, car personne n’a l’autorité pour libérer rapidement une pièce signalée. Quelqu’un découvre la fonction de contournement, et dès lors, chaque pièce ambiguë est validée manuellement. Aucune de ces étapes ne résulte d’une décision ; chacune est une réaction à une pression.

La contre-mesure est organisationnelle, non technique : un examinateur désigné, doté d’une autorité claire, un délai cible pour chaque examen, et un indicateur mensuel du nombre de fois où la station a été contournée. Une station qui fait l’objet d’un examen régulier et dont la fiabilité est établie peut fonctionner avec un taux de faux appels que la ligne tolère. En revanche, une station contournée n’a plus de taux d’erreur digne d’être mesuré.

Questions fréquemment posées

Une station peut-elle présenter simultanément des taux faibles de non-détection et de faux appel ?

Uniquement là où le défaut et le fond ne se chevauchent pas optiquement. Lorsqu’ils se chevauchent, l’amélioration des deux exige l’ajout d’informations, par exemple un autre éclairage ou un autre angle de vue, plutôt qu’un simple réglage du seuil.

Quel taux dois-je spécifier en premier ?

Le taux de non-détection, car il est déterminé par les conséquences potentielles du défaut en aval. Le taux de faux positifs en découle, selon la capacité d’absorption de la ligne tout en atteignant ce taux de non-détection.

Pourquoi les taux de faux positifs semblent-ils élevés ?

Parce qu’ils sont mesurés sur des surfaces réelles de production, avec leur variabilité réelle. Un taux à un seul chiffre faible sur une pièce moulée ou un panneau peint est normal, et un taux annoncé comme nul signifie généralement que l’ensemble de test était trop facile.

Que se passe-t-il si les opérateurs ignorent le poste ?

C’est là le véritable mode de défaillance. Il résulte d’une file d’alertes non examinée ou d’un taux de faux positifs que la ligne ne peut pas absorber, transformant ainsi un poste fonctionnel en simple exercice de tenue de registres.

Conclusion

Un faux négatif et un faux positif sont générés par le même seuil et coûtent des montants très différents. La spécification utile indique lequel des deux la ligne peut se permettre, plutôt que de demander que les deux soient faibles.

Améliorer simultanément les deux est une question matérielle, pas une question de réglage. Et le taux qui compte finalement est celui mesuré en fonctionnement, car une station en laquelle personne n’a confiance a un taux de faux négatifs de cent pour cent.