Même après que les algorithmes ont été ajustés pour tenir compte de la discrimination manifeste à l'embauche, ils peuvent montrer un type plus subtil : préférer les travailleurs qui reflètent les groupes dominants, selon une nouvelle étude de chercheurs de l'Université du Texas à Austin.

Par exemple, lors du recrutement dans un domaine qui compte plus d'hommes, les algorithmes peuvent favoriser les personnes qui ressemblent davantage aux stéréotypes masculins. Cette tendance, ou « biais des normes sociales », aggrave les modèles existants sur le lieu de travail.

Il peut y avoir une meilleure approche pour les employeurs à la recherche de solutions technologiques pour lutter contre les biais des algorithmes - la tendance des algorithmes d'embauche et de recrutement à filtrer les candidats par race ou par sexe, selon l'auteur de l'étude Maria De-Arteaga, professeure adjointe d'information, risque et gestion des opérations à la McCombs School of Business.

La recherche est en ligne à l'avance dans Exploration de données et découverte de connaissances.

Avec Myra Cheng de l'Université de Stanford et Adam Tauman Kalai et Lester Mackey de Microsoft Research, De-Arteaga a testé trois techniques courantes pour rendre les algorithmes plus justes. Les chercheurs ont utilisé un ensemble de données avec 397 340 biographies, couvrant 28 professions. Parce que les biographies étaient à la troisième personne, chaque biographie avait un pronom « elle » ou « il » qui lui était associé. Un ensemble de données supplémentaires de biographies utilisait des pronoms non binaires.

Ils ont ensuite appliqué les trois différents types d'interventions. La question centrale : les résultats ajustés afficheraient-ils un biais lié aux normes sociales lors de l'utilisation de la biographie d'une personne pour prédire sa profession ?

Malheureusement, le biais a persisté. Pour les professions à prédominance masculine, l'algorithme a recherché la langue associée aux hommes. S'il ne trouvait pas un tel langage, il était moins précis pour deviner la profession d'une personne.

Par exemple, l'algorithme associait le mot "empowerment" aux femmes. Les chirurgiennes qui utilisaient ce mot dans leur biographie étaient moins susceptibles d'être identifiées comme chirurgiennes.

"Lorsqu'il y a un biais lié aux normes sociales, les individus de la minorité qui bénéficient d'une intervention seront ceux qui adhèrent le plus aux normes sociales de la majorité", a déclaré De-Arteaga. "Les résultats ont des implications étendues pour corriger le biais de l'algorithme."

En utilisant les techniques actuelles, les entreprises peuvent penser qu'elles ont traité la discrimination sexuelle. Mais parce que ces techniques sont basées sur des caractéristiques rigides associées à un groupe, elles ne montrent pas l'ensemble du tableau. Ils peuvent pénaliser les personnes qui ne correspondent pas aux stéréotypes de la majorité.

Pour aider à compenser ces problèmes, De-Arteaga et ses collègues proposent une formule pour mesurer directement le degré de biais des normes sociales dans un algorithme. Les départements de science des données ou d'apprentissage automatique pourraient utiliser la formule pour guider la sélection des algorithmes, ont déclaré les chercheurs.