Les préjugés sexistes sont profondément ancrés dans l'embauche et le travail.

En Australie, les femmes en moyenne gagnent 23% de moins que les hommessont sont moins souvent invités à un entretien d'embauche et sont évalués plus sévèrement.

Examen de CV à l'aveugle ou embauche à l'aveugle, qui masque les noms des candidats des CV pendant le processus de candidature, est une stratégie courante utilisée pour remédier à ce biais. Un autre utilise l'apprentissage automatique (ML) ou l'intelligence artificielle (IA) pour rationaliser au moins une partie de la prise de décision. Après tout, l'IA devrait être inconsciente des stéréotypes humains.

Droite? Faux.

Nos recherches montrent que des stratégies telles que la mise en aveugle des CV, qui peuvent fonctionner pour les recruteurs humains, ne fonctionnent pas pour l'IA.

Que l'IA reproduise le biais inhérent à ses données d'entraînement est déjà bien connu.

Amazon, par exemple, a présenté un système de sélection automatique des CV pour les candidats ingénieurs. Le système était s'est ensuite révélé sexiste (et rapidement désactivé). Il avait appris une association entre la "masculinité" et la qualité du candidat.

Notre recherche examine de près les différents niveaux de préjugés sexistes dans les algorithmes de recrutement.

Nous avons constaté que les signaux de genre - beaucoup plus subtils qu'un nom - sont ingérés et utilisés par l'IA, ce qui devient un problème de plus en plus pressant avec une puissante IA générative, comme ChatGPT, en augmentation.

Nous constatons que le genre est si profondément ancré dans notre société - comment nous parlons, où nous travaillons, ce que nous étudions - qu'il est presque impossible d'ignorer le genre d'un CV de l'IA et des humains.

Qu'est-ce que cela signifie? Eh bien, même avec nos meilleures intentions, l'algorithme peut détecter votre sexe. Et les algorithmes capables de détecter le sexe peuvent l'utiliser pour faire des prédictions en ce qui concerne la qualité d'un candidat.

Le mandataire de la parentalité

ChatGPT (actuellement, l'IA basée sur le langage la plus puissante) a un impact sur tant de facettes de la société à une vitesse sans précédent qui les développeurs ont appelé à l'arrêt des expériences d'IA pour mieux comprendre ses effets et ses conséquences.

Notre recherche récente a examiné les préjugés sexistes dans ChatGPT dans le contexte de l'embauche pour un emploi et lui a demandé d'évaluer les CV des candidats.

Nous avons construit des CV pour une gamme de professions différentes. Nos CV étaient de haute qualité et très compétitifs, mais nous avons apporté deux changements importants.

Tout d'abord, nous avons échangé le nom du candidat pour indiquer si un homme ou une femme postulait pour le poste. Deuxièmement, nous avons ajouté un écart de congé parental pour la moitié de nos répondants.

Tous nos candidats avaient les mêmes qualifications et expériences professionnelles, mais certains étaient des hommes, d'autres des femmes, certains étaient des parents et d'autres non.

Nous avons montré les CV à ChatGPT et lui avons demandé d'évaluer la qualification de la personne pour un emploi sur une échelle de zéro à 100. Nous avons répété cela pour six professions différentes et 30 fois par CV pour nous assurer que nos résultats sont robustes.

C'est là que quelque chose d'intéressant s'est produit.

Nous avons constaté que ChatGPT ne classait pas différemment les CV des hommes et des femmes. Indépendamment de notre changement de nom, le classement de nos scores était équivalent pour les hommes et les femmes postulant pour le poste.

Mais, lorsque nous avons ajouté un écart pour le congé parental, nous avons constaté que ChatGPT classait nos parents plus bas dans chaque profession. Cela était vrai pour les pères et les mères - un écart pour le congé de soins a indiqué à l'algorithme que cette personne était moins qualifiée pour le poste.

Les préjugés sexistes peuvent être éliminés de la capacité prédictive de ChatGPT, mais la parentalité ne l'est pas.

Pourquoi est-ce important?

Même si ChatGPT est empêché d'être biaisé par ses développeurs, ce même biais se faufilera à travers un mécanisme différent - la parentalité. Nous savons que les femmes assument l'essentiel du travail de soins dans nos sociétés et les CV des femmes sont plus susceptibles d'avoir des lacunes en matière de congé parental que celle des hommes.

Bien que nous ne sachions pas si ChatGPT évaluera réellement les CV dans la vie réelle, nos recherches montrent à quel point les biais peuvent facilement s'infiltrer dans les modèles et qu'il est presque impossible pour les développeurs d'IA d'anticiper tous ces biais ou combinaisons de variables qui conduisent à des biais, en particulier dans des modèles complexes comme ChatGPT.

La responsabilité linguistique

Imaginez deux CV identiques en tous points à l'exception de l'identité du candidat : ​​l'un a été rédigé par un homme, l'autre par une femme. Si nous cachons l'identité du candidat à un panel de recrutement, y aura-t-il une place pour la discrimination ?

Nos recherches montrent que la réponse est un "oui" retentissant - si le panel de recrutement est l'IA.

En analysant les données de 2 000 CV, nous avons constaté que les hommes et les femmes, dans la même profession, utilisent un langage subtilement différent pour décrire leurs compétences et leur formation.

Par exemple, nous avons constaté que les femmes utilisent beaucoup plus de verbes qui évoquent une impression de faible puissance (comme « aider », « apprendre » ou « avoir besoin ») que les hommes.

Maintenant, voici le problème.

Dans une expérience de suivi, notre équipe a découvert que les représentations de l'IA relient ces subtiles différences linguistiques au genre. Cela signifie que les modèles d'apprentissage automatique peuvent identifier le sexe dans un CV même après la suppression des noms et des pronoms.

Si l'IA peut prédire le sexe en fonction de la langue, elle peut alors l'utiliser comme élément de preuve dans la notation des CV.

Une réponse politique forte

Alors qu'est-ce que cela signifie alors que nous commençons à intégrer l'IA dans notre vie professionnelle ?

Eh bien, nos recherches montrent que si le « dépistage de CV à l'aveugle » peut fonctionner pour les humains, ce n'est pas le cas pour l'IA. Même si nous abandonnons tout langage d'identification - le shes, le sien et les noms - un autre langage signale le genre.

Un audit minutieux des préjugés peut éliminer la couche de discrimination la plus évidente, mais des travaux supplémentaires doivent être effectués sur les proxys qui peuvent conduire à des préjugés mais qui peuvent ne pas être aussi évidents.

C'est là que nous avons besoin de contrôles réglementaires en réponse à cette compréhension plus nuancée de la capacité de l'IA à discriminer et à s'assurer que tout le monde comprend que l'IA n'est ni neutre ni juste.

Nous devons tous faire notre part pour garantir une IA juste et bénéfique pour tous, y compris les femmes et les parents.