Les mauvaises données ne produisent pas seulement de mauvais résultats. Cela peut également contribuer à réprimer des pans de la société, par exemple les femmes vulnérables et les minorités.

C'est l'argument de mon nouveau livre sur la relation entre diverses formes de racisme et de sexisme et l’intelligence artificielle (IA). Le problème est aigu. Les algorithmes doivent généralement être exposés à des données, souvent extraites d'Internet, afin de s'améliorer dans tout ce qu'ils font, comme sélection des candidaturesou souscrire des prêts hypothécaires.

Mais les données de formation contiennent souvent de nombreux biais qui existent dans le monde réel. Par exemple, les algorithmes pourraient apprendre que la plupart des personnes occupant un poste particulier sont des hommes et privilégient donc les hommes dans les candidatures. Nos données sont polluées par un ensemble de mythes datant de l'âge de "éclaircissement"y compris les préjugés qui conduisent à discrimination fondée sur le genre et l’identité sexuelle.

À en juger par l'histoire des sociétés dans lesquelles le racisme a joué un rôle dans établir l'ordre social et politiqueétendant des privilèges aux hommes blancs – en Europe, en Amérique du Nord et en Australie, par exemple – il est simple de supposer que les résidus de discrimination raciste alimentent notre technologie.

Dans mes recherches pour le livre, j’ai documenté quelques exemples marquants. Logiciel de reconnaissance faciale les minorités noires et asiatiques sont plus souvent mal identifiéesconduisant à de fausses arrestations aux États-Unis et ailleurs.

Les logiciels utilisés dans le système de justice pénale ont prédit que les délinquants noirs taux de récidive plus élevés qu'eux. Il y a eu de fausses décisions en matière de soins de santé. Une étude a révélé que Parmi les patients noirs et blancs auxquels était attribué le même score de risque pour la santé selon un algorithme utilisé dans la gestion de la santé aux États-Unis, les patients noirs étaient souvent plus malades que leurs homologues blancs.

Cela a réduit de plus de moitié le nombre de patients noirs identifiés pour des soins supplémentaires. Parce que moins d’argent a été dépensé pour les patients noirs qui ont le même niveau de besoins que les patients blancs, l’algorithme a conclu à tort que les patients noirs étaient en meilleure santé que les patients blancs tout aussi malades. Le refus d’accorder des prêts hypothécaires aux populations minoritaires est facilité par des ensembles de données biaisés. La liste continue.

Les machines ne mentent pas ?

De tels algorithmes oppressifs s’immiscent dans presque tous les domaines. domaine de notre vie. L’IA ne fait qu’empirer les choses, car elle nous est présentée comme étant essentiellement impartiale. On nous dit que les machines ne mentent pas. La logique veut donc que personne ne soit à blâmer.

Cette pseudo-objectivité est au cœur du battage médiatique sur l’IA créé par les géants technologiques de la Silicon Valley. Cela ressort facilement des discours d’Elon Musk, de Mark Zuckerberg et de Bill Gates, même si de temps en temps ils prévenez-nous des projets dont ils sont eux-mêmes responsables.

De nombreuses questions juridiques et éthiques restent en jeu. Qui est responsable des erreurs ? Quelqu’un pourrait-il réclamer une indemnisation pour un algorithme lui refusant une libération conditionnelle en fonction de son origine ethnique, de la même manière qu’on pourrait le faire pour un grille-pain qui a explosé dans une cuisine ?

Le nature opaque de la technologie de l’IA pose de sérieux défis aux systèmes juridiques qui ont été construits autour de la responsabilité individuelle ou humaine. À un niveau plus fondamental, les droits humains fondamentaux sont menacés, car la responsabilité juridique est brouillée par le labyrinthe technologique placé entre les auteurs de crimes et les diverses formes de discrimination qui peuvent être commodément imputées à la machine.

Le racisme a toujours été une stratégie systématique pour ordonner la société. Il construit, légitime et renforce les hiérarchies entre les « nantis » et les « démunis ».

Vide éthique et juridique

Dans un tel monde, où il est difficile de démêler la vérité et la réalité du mensonge, notre vie privée doit être protégée par la loi. Le droit à la vie privée et la propriété concomitante de nos données virtuelles et réelles doivent être codifiés en tant que droits humains, notamment afin de tirer parti des opportunités réelles qu’une bonne IA recèle pour la sécurité humaine.

Mais dans l’état actuel des choses, les innovateurs sont bien en avance sur nous. La technologie a dépassé la législation. Le vide éthique et juridique ainsi créé est facilement exploité par les criminels, car ce nouveau monde de l’IA est largement anarchique.

Aveuglés par les erreurs du passé, nous sommes entrés dans un Far West sans aucun shérif pour contrôler la violence du monde numérique qui enveloppe notre vie quotidienne. Les tragédies se produisent déjà quotidiennement.

Il est temps de contrer les coûts éthiques, politiques et sociaux par un mouvement social concerté en faveur de la législation. La première étape consiste à nous renseigner sur ce qui se passe actuellement, car nos vies ne seront plus jamais les mêmes. Il est de notre responsabilité de planifier la marche à suivre pour ce nouvel avenir de l’IA. Ce n’est qu’ainsi qu’une bonne utilisation de l’IA pourra être codifiée dans les institutions locales, nationales et mondiales.

Cet article est republié à partir de La conversation sous licence Creative Commons. Lis le article original.