Validation sur données publiques
Une plateforme de gouvernance vous fait déclarer votre conformité. Nous, on mesure la donnée. Pour le prouver sans vous demander de nous croire, nous avons lancé le moteur sur quatre jeux de données publics et célèbres, aux biais documentés — et il les a retrouvés.
Ces quatre jeux couvrent, comme par hasard, quatre domaines à haut risque de l’Annexe III de l’AI Act.
Ce que le moteur mesure
| Domaine (Annexe III) | Jeu de données | Biais documenté | Ce que Conformlex mesure |
|---|---|---|---|
| Justice pénale | COMPAS (ProPublica) | le score de risque étiquette les Noirs « à haut risque » plus souvent | score « High » : Afro-Américains 27,7 % vs Blancs 11,2 % (×2,5) |
| Emploi & revenu | Adult / Census Income (UCI) | biais de genre et d’origine sur le revenu | sex ×2,8 · race ×2,9 |
| Crédit / finance | German Credit — Statlog (UCI) | historique de crédit, statut/sexe | credit_history ×2,2 · personal_status_sex |
| Santé | Heart Disease — Cleveland (UCI) | écart selon le sexe | sex ×2,4 |
Ciblé sur le score de risque COMPAS, le moteur mesure — sans qu’on le lui indique — que les défendeurs afro-américains reçoivent un score « High » 2,5× plus souvent que les blancs (27,7 % contre 11,2 %). C’est la disparité de score qu’a exposée ProPublica.
Ce ne sont pas nos affirmations : ce sont des biais déjà documentés dans la littérature et les enquêtes publiques. Le moteur les mesure automatiquement, à partir des seules données — sans qu’on lui indique quel biais chercher. Notre ratio est brut (sans contrôle statistique) : il pointe la même disparité que ProPublica, sans prétendre reproduire leurs chiffres ajustés (modèle contrôlé, taux de faux positifs).
Pourquoi ça compte pour l’article 10
L’article 10 exige que vos données d’entraînement soient examinées pour les biais. Ces quatre domaines sont ceux que l’AI Act classe à haut risque. Si le moteur retrouve les biais connus de COMPAS ou d’Adult, il mesurera les vôtres — sur vos données, in-place (elles ne quittent pas votre périmètre).
Reproduisez-le vous-même
Fidèle à notre posture — vous gardez le contrôle, pas nous — chaque preuve est rejouable. Prenons COMPAS. Récupérez le CSV public (propublica/compas-analysis), puis deux fichiers lisibles décrivent toute l’analyse.
Le premier désigne la source :
# source.yaml
source: COMPAS (récidive)
inputs:
- name: compas
kind: file
path: compas.csvLe second est le dictionnaire de colonnes — quelle colonne est l’issue mesurée (ici le score de risque COMPAS, pas la récidive réelle), lesquelles sont des attributs protégés, lesquelles sont des données personnelles à ne jamais analyser :
# mapping.yaml
validated: true
target: score_text # le score de risque COMPAS (Low/Medium/High) — l'objet du constat de ProPublica
sensitive: # attributs protégés → analysés pour le biais
- race
- sex
- age_cat
pii: # données personnelles → jamais analysées
- name
- first
- last
- dob
ignore:
- id
# (toute colonne non listée = "feature", exclue de l'analyse de biais)Une commande, aucun accès réseau, et le moteur n’émet qu’un report.json d’agrégats — jamais
une ligne brute :
./conformlex-engine --source source.yaml --mapping mapping.yaml --out ./out
# → ./out/report.json — taux de score « High » par groupe racial :
# African-American 27,7 % vs Caucasian 11,2 % ≈ ×2,5Ce sont exactement les fichiers que vous éditeriez sur vos données — et ceux que nous livrons avec la suite de tests du moteur pour les quatre jeux ci-dessus. La méthode est agnostique du domaine et de la géographie : ces jeux sont des benchmarks internationaux, pas une limite.
Nous montrons des agrégats ; nous ne redistribuons pas les jeux (récupérez-les depuis leurs sources publiques). Conformlex détecte des biais documentés — ce n’est pas une certification réglementaire.