Biais et ratios : lire un chiffre sans se faire piéger — Cours — Académie

Le cœur technique. Un ratio ne se prend jamais au pied de la lettre : il faut savoir d'où il vient, et distinguer un vrai biais d'un mirage statistique.

1Le disparity ratio et le piège des petits groupes

La mesure de base compare, entre groupes, le taux de la classe positive (obtenir le crédit, passer le tri…). Le disparity ratio = taux du groupe le plus favorisé ÷ taux du moins favorisé. 60 % vs 30 % → ratio 2,0.

Le piège des petits groupes. Un ratio spectaculaire peut être porté par une poignée d'individus. Un taux sur n = 18 est fragile : deux cas de plus le font basculer. On regarde toujours le n, jamais le ratio seul. Un max/min extrême sur un groupe minuscule est un artefact.

Justifier n'est pas excuser. « C'est ce que produisent les données historiques » n'est pas recevable : l'historique peut encoder une discrimination passée. Une disparité se justifie (nécessité légitime documentée) ou s'atténue. Et si mappingValidated:false, le biais est « à confirmer » : on ne signe pas.

2Quoi mesurer, et les notions d'équité

Le bon taux

On compare, entre groupes, le taux de la classe positive (obtenir le crédit, passer le tri). Pas le taux d'erreur global, pas le revenu, pas l'effectif — ces derniers sont des caractéristiques, pas le résultat comparé.

Plusieurs équités, parfois incompatibles

Parité démographique : mêmes taux de sélection entre groupes.
Égalité des chances : mêmes taux de vrais positifs (ne pas rater les bons candidats d'un groupe).

Impossible de tout satisfaire. Ces notions divergent, et des résultats mathématiques montrent qu'elles sont incompatibles dès que les taux de base diffèrent. L'expert choisit la notion pertinente et la justifie — il n'existe pas d'optimum universel. Choisir n'est pas s'aveugler : on croise plusieurs métriques pour ne pas passer à côté d'un problème qu'une seule masquerait.

Le piège de la moyenne

Une précision globale élevée (92 %) peut masquer une défaillance sur un sous-groupe (60 %) : la performance moyenne ne dit rien de l'équité. De même, un ratio global équilibré peut cacher une disparité intra-groupe (ex. chez les moins de 30 ans) — d'où l'examen des sous-groupes (après avoir vérifié leur effectif).

3D'où vient le biais, et comment l'atténuer

Les sources

Échantillon non représentatif de la population visée.
Labels issus de décisions humaines passées biaisées (une « évaluation » n'est pas une vérité neutre) : le modèle apprend le biais.
Proxies : des variables corrélées à un attribut sensible le réencodent.

Masquer ne suffit pas. Retirer l'attribut sensible du dataset ne supprime pas le biais : les proxies le portent encore. L'« équité par l'ignorance » est insuffisante — il faut mesurer les résultats par groupe (donc connaître l'attribut, cf. §5).

Les familles d'atténuation

Pré-traitement : rééquilibrer / repondérer les données.
In-traitement : imposer des contraintes d'équité pendant l'apprentissage.
Post-traitement : ajuster les seuils de décision par groupe.

Limite : « égaliser mécaniquement les taux » (parité forcée) a des effets pervers (discrimination inverse, perte de pertinence). On comprend la source avant de corriger.

4Lire un chiffre en expert

Petits effectifs

Un taux sur un petit groupe est fragile : on l'accompagne d'un intervalle de confiance (large), et on se méfie d'un ratio extrême qui n'en est qu'un artefact. On compare d'abord les groupes robustes.

La leçon COMPAS

Dans l'affaire COMPAS (récidive), le biais documenté portait sur des taux de faux positifs nettement inégaux entre groupes — pas sur la précision globale, qui pouvait sembler comparable.

Pas de seuil magique. Un écart réel sur des groupes robustes (ex. ratio 1,3) s'instruit : on cherche la cause, puis on justifie (facteur légitime, non-proxy) ou on atténue, en documentant. C'est le jugement qui tranche, pas un seuil binaire. Et jamais de signature sur un mappingValidated:false.