Auditer les biais d'un outil de matching recrutement

Pourquoi auditer un outil de matching recrutement

Auditer un outil de matching recrutement consiste à vérifier, avec des données et des métriques précises, si l'algorithme désavantage systématiquement un groupe de candidats (genre, âge, origine) par rapport à un autre, indépendamment de leurs compétences réelles. Ce n'est plus une précaution théorique : c'est devenu une nécessité opérationnelle et, avec l'AI Act, une obligation qui monte en puissance pour les systèmes de recrutement à haut risque.

Le cas le plus documenté reste celui d'Amazon. En 2018, l'entreprise a abandonné un outil de tri de CV expérimental après avoir découvert qu'il déclassait systématiquement les candidatures contenant le mot "féminin" ou mentionnant des cursus dans des établissements non-mixtes. Le modèle avait été entraîné sur dix ans de CV reçus, majoritairement masculins dans les métiers techniques, et avait appris à reproduire cette surreprésentation plutôt qu'à évaluer les compétences (MIT Technology Review, 2018).

Ce précédent illustre un point que la CNIL et le Défenseur des droits rappellent conjointement : un algorithme entraîné sur des décisions d'embauche passées reproduit, voire amplifie, les biais discriminatoires déjà présents dans ces décisions, y compris quand aucune donnée protégée n'est utilisée directement (CNIL et Défenseur des droits). Pour situer cet audit dans une démarche de conformité plus large, consultez notre guide complet sur l'IA dans les ressources humaines.

Quels biais rechercher : genre, âge, origine et proxies

Un audit sérieux distingue deux mécanismes. La discrimination directe utilise une caractéristique protégée comme critère de décision : elle est rare dans les outils modernes, qui excluent explicitement le genre, l'âge ou l'origine de leurs variables d'entrée. La discrimination indirecte est bien plus fréquente : elle survient quand un critère neutre en apparence est statistiquement corrélé à une caractéristique protégée.

Le Défenseur des droits insiste sur ce point dans sa fiche dédiée aux algorithmes : des critères neutres en apparence peuvent produire des effets discriminatoires dès lors qu'ils désavantagent de façon disproportionnée des personnes partageant une caractéristique commune (Défenseur des droits, fiche Algorithmes et IA). Les variables les plus souvent identifiées comme proxies en recrutement sont :

• -- Code postal ou quartier de résidence : proxy fréquent de l'origine sociale ou ethnique.
• -- Nom et prénom : proxy direct de l'origine perçue et parfois du genre.
• -- Établissement de formation : proxy indirect de l'origine sociale et, pour certains cursus non-mixtes, du genre.
• -- Trous dans le parcours : proxy fréquent d'un congé maternité, d'une longue maladie ou d'un aidant familial.
• -- Date de diplôme : proxy quasi direct de l'âge du candidat.

Ces variables ne doivent pas nécessairement être supprimées : elles doivent être identifiées, testées et surveillées. C'est aussi une exigence de minimisation des données au sens du RGPD, que nous détaillons dans notre article sur le RGPD appliqué au tri de CV.

Construire un jeu de test pour l'audit de biais

La méthode la plus fiable reprend une technique éprouvée en économie du travail : le testing par CV appariés. On génère des paires de profils strictement identiques en compétences, diplômes et expérience, mais qui diffèrent uniquement sur une variable sensible ou un proxy (un prénom à consonance différente, une adresse, un établissement). Si l'outil attribue des scores différents à ces paires, l'écart révèle un biais imputable à cette seule variable.

Un audit complet combine trois jeux de test complémentaires. Un jeu de CV synthétiques appariés pour isoler chaque variable sensible une à une. Un échantillon historique réel, anonymisé, représentatif de la diversité effective des candidatures reçues. Et un test de sensibilité aux proxies, qui mesure si le retrait d'une variable protégée fait réellement disparaître l'écart de traitement, ou si l'algorithme le retrouve via une autre variable corrélée.

"Un score de matching qui n'a jamais été confronté à un jeu de test contradictoire n'est pas un score fiable, c'est une hypothèse non vérifiée." — Anas Rabhi, fondateur de Profilya.

Cette étape doit être rejouée à chaque changement de modèle, de version de l'outil ou de population de candidats visée, et pas seulement au moment de la signature du contrat avec l'éditeur.

Calculer les métriques d'équité et la règle des 4/5

Une fois les tests menés, l'audit se traduit en métriques chiffrées. La plus utilisée reste le taux de sélection par groupe (part des candidats d'un groupe qui passent une étape), comparé via la règle des 4/5 (four-fifths rule) : le taux de sélection du groupe le moins favorisé doit représenter au moins 80% de celui du groupe le plus favorisé, sous peine de constituer une présomption de disparate impact (Uniform Guidelines, 29 CFR 1607.4(D)).

Dans cet exemple pédagogique, le ratio d'impact est de 18/30 = 0,60, soit 60%, bien en dessous du seuil de 80% : l'écart mérite une investigation immédiate, même si aucune donnée protégée n'a été utilisée par le modèle. D'autres métriques complètent utilement l'analyse : la parité démographique (proportion de candidats retenus par groupe rapportée à leur poids dans le vivier), l'égalité des chances (taux de vrais positifs par groupe pour les candidats réellement qualifiés), et le taux de faux négatifs, qui mesure les bons profils écartés à tort.

Documenter l'audit et respecter l'AI Act et la CNIL

Le règlement européen sur l'intelligence artificielle classe explicitement les systèmes utilisés pour "le recrutement ou la sélection de personnes physiques", notamment pour filtrer les candidatures ou évaluer les candidats, parmi les systèmes d'IA à haut risque de son Annexe III (Règlement (UE) 2024/1689). Cette classification impose une gestion des risques documentée, une gouvernance des données d'entraînement, une documentation technique conservée et une supervision humaine effective, c'est-à-dire un recruteur formé, capable de comprendre le score produit et autorisé à le contester.

Une réforme dite Digital Omnibus, validée par le Parlement européen en 2026, a reporté l'échéance de ces obligations pour les systèmes autonomes de l'Annexe III à décembre 2027. Ce report ne dispense pas d'agir : les recommandations de la CNIL sur l'IA en ressources humaines s'appliquent dès aujourd'hui au titre du RGPD, notamment sur le profilage et le droit d'opposition. Nous détaillons l'ensemble de ces obligations dans notre article sur l'AI Act et les obligations des employeurs en recrutement.

Concrètement, la documentation d'audit doit conserver : la méthodologie retenue, les jeux de test utilisés, les métriques calculées et leur date, les décisions de correction prises et leur suivi dans le temps. Négociez également, dès la signature du contrat, un droit d'audit indépendant auprès de votre éditeur : c'est aujourd'hui une clause standard chez les fournisseurs sérieux du comparatif des logiciels de tri de CV IA.

Plan de remédiation : que faire si un biais est détecté

Détecter un biais n'est pas un échec, c'est le résultat attendu d'un audit qui fonctionne. La remédiation suit une séquence claire, à documenter à chaque étape :

1. Isoler la variable en cause : retirer ou neutraliser le proxy identifié (code postal, établissement, date de diplôme) et retester immédiatement les métriques d'équité.
2. Réajuster les seuils de décision : recalibrer le seuil de score par groupe si l'écart provient d'une calibration et non de la donnée d'entrée elle-même.
3. Renforcer la supervision humaine : interdire toute décision de rejet fondée uniquement sur le score algorithmique, conformément au cadre applicable aux décisions automatisées en recrutement.
4. Re-tester avant remise en production : aucune correction ne doit être déployée sans repasser l'intégralité du jeu de test qui a révélé le biais initial.
5. Planifier le prochain audit : fixer une échéance de re-contrôle, au minimum annuelle, et à chaque changement de modèle ou de source de données.

Pour structurer cette démarche point par point, notre checklist de conformité IA RH reprend l'ensemble des points de contrôle à valider avant, pendant et après le déploiement d'un outil de matching recrutement.