Les entreprises de médias sociaux utilisent de plus en plus des algorithmes complexes et l'intelligence artificielle pour détecter les comportements offensants en ligne.

Ces algorithmes et systèmes d'IA s'appuient tous sur des données pour savoir ce qui est offensant. Mais qui se cache derrière les données et comment leurs antécédents influencent-ils leurs décisions ?

Dans une nouvelle étude, David Jurgens, professeur adjoint à la School of Information de l'Université du Michigan, et Jiaxin Pei, doctorant, ont découvert que les antécédents des annotateurs de données - les personnes qui étiquettent les textes, les vidéos et les médias en ligne - comptent beaucoup.

"Les annotateurs ne sont pas fongibles", a déclaré Jurgens. "Leurs données démographiques, leurs expériences de vie et leurs antécédents contribuent tous à la façon dont ils étiquettent les données. Notre étude suggère que la compréhension des antécédents des annotateurs et la collecte d'étiquettes à partir d'un groupe démographiquement équilibré de crowdworkers sont importantes pour réduire le biais des ensembles de données."

Grâce à une analyse de 6 000 commentaires Reddit, l'étude montre que les croyances et les décisions des annotateurs concernant la politesse et l'offense ont un impact sur les modèles d'apprentissage utilisés pour signaler le contenu en ligne que nous voyons chaque jour. Ce qui est considéré comme poli par une partie de la population peut être jugé beaucoup moins poli par une autre.

"Les systèmes d'IA utilisent tous ce type de données et notre étude aide à souligner l'importance de savoir qui étiquette les données", a déclaré Pei. "Lorsque des personnes appartenant à une seule partie de la population étiquettent les données, le système d'IA qui en résulte peut ne pas représenter le point de vue moyen."

Grâce à leurs recherches, Jurgens et Pei ont cherché à mieux comprendre les différences entre les identités des annotateurs et l'impact de leurs expériences sur leurs décisions. Des études antérieures n'ont examiné qu'un seul aspect de l'identité, comme le sexe. Leur espoir est d'aider les modèles d'IA à mieux modéliser les croyances et les opinions de tous.

Les résultats démontrent :

• Alors que certaines études existantes suggèrent que les hommes et les femmes peuvent avoir des évaluations différentes du langage toxique, leurs recherches n'ont trouvé aucune différence statistiquement significative entre les hommes et les femmes. Cependant, les participants ayant des identités de genre non binaires avaient tendance à évaluer les messages comme moins offensants que ceux s'identifiant comme hommes et femmes.
• Les personnes de plus de 60 ans ont tendance à percevoir des scores d'offense plus élevés que les participants d'âge moyen.
• L'étude a révélé des différences raciales significatives dans les cotes d'offensivité. Les participants noirs avaient tendance à évaluer les mêmes commentaires avec beaucoup plus d'offense que tous les autres groupes raciaux. En ce sens, les classificateurs formés sur des données annotées par des Blancs peuvent systématiquement sous-estimer le caractère offensant d'un commentaire pour les Noirs et les Asiatiques.
• Aucune différence significative n'a été trouvée en ce qui concerne la formation des annotateurs.

À l'aide de ces résultats, Jurgens et Pei ont créé POPQUORN, l'ensemble de données Potato-Prolific pour la réponse aux questions, l'offense, la réécriture de texte et l'évaluation de la politesse avec une nuance démographique. L'ensemble de données offre aux entreprises de médias sociaux et d'IA l'occasion d'explorer un modèle qui tient compte des perspectives et des croyances intersectionnelles.

"Les systèmes comme ChatGPT sont de plus en plus utilisés par les gens pour les tâches quotidiennes", a déclaré Jurgens. "Mais quelles valeurs inculquons-nous au modèle entraîné ? Si nous continuons à prendre un échantillon représentatif sans tenir compte des différences, nous continuons à marginaliser certains groupes de personnes."

Pei a déclaré que POPQUORN aide à garantir que chacun dispose de systèmes équitables qui correspondent à ses croyances et à ses origines.

L'étude est publiée sur le arXiv serveur de préimpression.