Quand j'ai demandé à ChatGPT une blague sur les Siciliens l'autre jour, cela impliquait que les Siciliens sont puants.

En tant que personne née et élevée en Sicile, j'ai réagi à la blague de ChatGPT avec dégoût. Mais en même temps, mon cerveau d'informaticien a commencé à tourner autour d'une question apparemment simple : ChatGPT et d'autres systèmes d'intelligence artificielle devraient-ils être autorisés à être biaisés ?

Vous pourriez dire : "Bien sûr que non !" Et ce serait une réponse raisonnable. Mais il y a des chercheurs, comme moi, qui soutiennent le contraire : des systèmes d'IA comme ChatGPT devrait en effet être biaisé- mais pas de la manière que vous pourriez penser.

Éliminer les préjugés de l'IA est un objectif louable, mais l'élimination aveugle des préjugés peut avoir des conséquences imprévues. Au lieu de cela, le biais de l'IA peut être contrôlé pour atteindre un objectif plus élevé : l'équité.

Découvrir les biais de l'IA

Alors que l'IA est de plus en plus intégré dans technologie de tous les jours, de nombreuses personnes conviennent que la lutte contre les biais dans l'IA est un problème important. Mais que signifie réellement "biais IA" ?

Les informaticiens disent qu'un modèle d'IA est biaisé s'il produit de manière inattendue des résultats faussés. Ces résultats pourraient montrer des préjugés contre des individus ou des groupes, ou autrement ne pas être conformes aux valeurs humaines positives telles que l'équité et la vérité. Même de petites divergences par rapport au comportement attendu peuvent avoir un "effet papillon", dans lequel des biais apparemment mineurs peuvent être amplifiés par l'IA générative et avoir des conséquences considérables.

Biais dans les systèmes d'IA générative peut provenir de diverses sources. Problématique données d'entraînement peut associer certaines professions à des sexes spécifiques ou perpétuer les préjugés raciaux. Apprendre les algorithmes eux-mêmes peut être biaisé puis amplifier les biais existants dans les données.

Mais les systèmes pourrait également être biaisé par la conception. Par exemple, une entreprise peut concevoir son système d'IA générative pour donner la priorité à l'écriture formelle par rapport à l'écriture créative, ou pour servir spécifiquement les industries gouvernementales, renforçant ainsi par inadvertance les préjugés existants et excluant différents points de vue. D'autres facteurs sociétaux, comme un manque de réglementation ou des incitations financières mal alignées, peuvent également conduire à des biais d'IA.

Les défis de la suppression des préjugés

Il n'est pas clair si les biais peuvent – ​​ou même devraient – ​​être entièrement éliminés des systèmes d'IA.

Imaginez que vous êtes un ingénieur en IA et que vous remarquez que votre modèle produit une réponse stéréotypée, comme si les Siciliens étaient "puants". Vous pourriez penser que la solution consiste à supprimer certains mauvais exemples dans les données d'entraînement, peut-être des blagues sur l'odeur de la nourriture sicilienne. Recherche récente a identifié comment effectuer ce type de « neurochirurgie IA » pour minimiser les associations entre certains concepts.

Mais ces changements bien intentionnés peuvent avoir des effets imprévisibles, voire négatifs. Même de petites variations dans les données de formation ou dans une configuration de modèle d'IA peut conduire à des résultats système très différents, et ces changements sont impossibles à prévoir à l'avance. Vous ne savez pas quelles autres associations votre système d'IA a apprises à la suite du "désapprentissage" du biais que vous venez d'aborder.

D'autres tentatives d'atténuation des biais courent des risques similaires. Un système d'IA formé pour éviter complètement certains sujets sensibles pourrait produire des réponses incomplètes ou trompeuses. Des réglementations erronées peuvent aggraver, plutôt qu'améliorer, les problèmes de biais et de sécurité de l'IA. Mauvais acteurs pourraient échapper aux garanties pour susciter des comportements d'IA malveillants, rendant les escroqueries par hameçonnage plus convaincantes ou utilisant des deepfakes pour manipuler les élections.

Avec ces défis à l'esprit, les chercheurs travaillent à améliorer les techniques d'échantillonnage des données et équité algorithmiqueen particulier dans les paramètres où certaines données sensibles n'est pas disponible. Certaines entreprises, comme OpenAIont choisi d'avoir les travailleurs humains annotent les données.

D'une part, ces stratégies peuvent aider le modèle à mieux s'aligner sur les valeurs humaines. Cependant, en mettant en œuvre l'une de ces approches, les développeurs courent également le risque d'introduire de nouveaux préjugés culturels, idéologiques ou politiques.

Contrôler les biais

Il y a un compromis entre réduire les biais et s'assurer que le système d'IA est toujours utile et précis. Certains chercheurs, dont moi, pensent que les systèmes d'IA générative devraient être autorisés à être biaisés, mais de manière soigneusement contrôlée.

Par exemple, mes collaborateurs et moi avons développé des techniques qui laisser les utilisateurs spécifier quel niveau de biais un système d'IA doit tolérer. Ce modèle peut détecter la toxicité dans un texte écrit en tenant compte des normes linguistiques intra-groupe ou culturelles. Alors que les approches traditionnelles peuvent signaler de manière inexacte certains messages ou commentaires écrits dans L'anglais afro-américain comme offensant et par Les communautés LGBTQ+ aussi toxiquesce modèle d'IA "contrôlable" fournit une classification beaucoup plus juste.

Une IA générative contrôlable et sûre est importante pour garantir que les modèles d'IA produisent des résultats conformes aux valeurs humaines, tout en permettant des nuances et de la flexibilité.

Vers l'équité

Même si les chercheurs pouvaient parvenir à une IA générative sans biais, ce ne serait qu'une étape vers l'objectif plus large d'équité. La poursuite de l'équité dans l'IA générative nécessite une approche holistique, non seulement de meilleurs algorithmes de traitement des données, d'annotation et de débiaisation, mais également une collaboration humaine entre les développeurs, les utilisateurs et les communautés concernées.

Alors que la technologie de l'IA continue de proliférer, il est important de se rappeler que la suppression des biais n'est pas une solution ponctuelle. Il s'agit plutôt d'un processus continu qui exige une surveillance, un raffinement et une adaptation constants. Bien que les développeurs puissent être incapables d'anticiper ou de contenir facilement les effet papillonils peuvent continuer à être vigilants et réfléchis dans leur approche du biais de l'IA.

Cet article est republié de La conversation sous licence Creative Commons. Lis le article original.