Ces dernières années, les entreprises d'IA ont été publiquement réprimandées pour avoir généré des algorithmes d'apprentissage automatique qui discriminent les groupes historiquement marginalisés. Pour apaiser ces critiques, de nombreuses entreprises se sont engagées à garantir que leurs produits soient équitables, transparents et responsables, mais ces promesses sont souvent critiquées comme n'étant qu'un simple "lavage de l'éthique", explique Sanna Ali, qui a récemment obtenu son doctorat. du Département de communication de l'Université de Stanford à l'École des sciences humaines. "Il y a une inquiétude que ces entreprises parlent mais ne marchent pas."

Pour savoir si c'est le cas, Ali a interrogé des spécialistes de l'éthique de l'IA de certaines des plus grandes entreprises du domaine. Le projet de recherche, co-écrit avec la professeure adjointe de communication de Stanford Angèle Christin, le chercheur de Google Andrew Smart et la professeure Stanford WM Keck et professeure de sciences de gestion et d'ingénierie Riitta Katila, a été publiée dans le Actes de la conférence de l'ACM sur l'équité, la responsabilité et la transparence (FAccT '23).

L'étude a révélé que les initiatives et les interventions en matière d'éthique étaient difficiles à mettre en œuvre dans l'environnement institutionnel de l'industrie technologique. Plus précisément, a constaté Ali, les équipes manquaient largement de ressources et de soutien par la direction, et elles manquaient d'autorité pour agir sur les problèmes qu'elles identifiaient.

"Sans l'adhésion des dirigeants, les travailleurs individuels ont dû faire appel à des compétences de persuasion et à des stratégies interpersonnelles pour progresser", déclare Ali. Résultat : Ils réussissent à travailler avec certaines équipes et pas avec d'autres, et sont souvent convoqués pour une consultation trop proche des dates de lancement des produits et sans autorité pour exiger des correctifs éthiques importants.

Les entretiens d'Ali suggèrent quelques solutions : la direction devrait inciter les équipes de produits à intégrer des considérations éthiques dans les processus de développement de produits, dit-elle, et il devrait y avoir un soutien bureaucratique pour responsabiliser les équipes d'éthique dans leur travail et leur donner le pouvoir de mettre en œuvre les correctifs éthiques nécessaires avant la sortie des produits. .

"Il est peu probable que ces entreprises changent leur priorité de lancer fréquemment de nouveaux produits", déclare Ali. "Mais au moins, ils pourraient fournir des incitations pour que l'éthique puisse faire partie de cette conversation dès le début."

Éthique et environnement institutionnel de l'industrie de l'IA

De nombreuses entreprises technologiques ont publié des déclarations de principes sur la responsabilité, la transparence et l'équité, dit Ali. Ils ont également développé des boîtes à outils pour évaluer l'équité algorithmique ; organisé des séminaires sur la manière de mettre en œuvre une IA responsable ; et embauché des équipes d'éthique, qui portent divers noms tels que "Confiance et sécurité" ou "IA responsable".

En théorie, ces équipes d'éthique fournissent un soutien expert pour des choses telles que la résolution de problèmes avec les données de formation ; identifier et mettre en œuvre divers correctifs d'équité pour les modèles d'apprentissage automatique après leur formation ; ou évaluer si un modèle est suffisamment explicable pour son utilisation prévue.

C'est bien beau, dit Ali, "mais nous voulions examiner les défis de la mise en œuvre de ces initiatives et interventions sur le terrain".

Pour ce faire, elle a interrogé 25 employés de l'industrie technologique, dont 21 qui travaillent actuellement ou ont travaillé dans le cadre d'initiatives d'IA responsables - dont beaucoup dans plus d'une entreprise - dans des entreprises comptant de 6 000 à des centaines de milliers d'employés.

Des recherches antérieures ont identifié certaines caractéristiques importantes de l'industrie technologique, notamment la tendance des entreprises à être informelles et non hiérarchiques; valoriser l'innovation produit rapide par rapport à toute autre préoccupation ; et de penser que la technologie peut réparer la technologie.

Sur la base de ce contexte, Ali a émis l'hypothèse que les principes de l'IA responsable de la direction de niveau supérieur seraient probablement "découplés" des équipes de produits réparties horizontalement où ils seraient mis en œuvre. Elle le compare à un directeur d'école qui énonce une politique éducative mais qui a souvent peu de contrôle sur ce qui se passe dans les salles de classe de chaque enseignant.

Cela, a-t-elle en outre émis l'hypothèse, laisserait les équipes d'éthique dans la position d'agir en tant qu '«entrepreneurs en éthique» qui devraient «vendre» leurs services à des équipes de produits individuelles. Essentiellement, ils seraient laissés à leurs propres ressources pour établir des relations avec les chefs de produit dans l'espoir d'obtenir leur coopération dans un examen éthique de leurs produits.

Les équipes d'éthique manquent de soutien, de ressources et d'autorité

Sur la base de ses entretiens, dit Ali, bon nombre de ses prédictions sur l'environnement institutionnel et son impact attendu sur les équipes d'éthique se sont avérées exactes. Les politiques de l'entreprise étaient en effet dissociées de la mise en œuvre par des équipes de développement de produits distribuées, et les équipes d'éthique devaient soigneusement cultiver des relations avec les équipes de produits pour faire avancer les choses.

Ali a constaté que la mise en œuvre de politiques d'IA responsables dans l'industrie technologique est au mieux incohérente. En effet, des produits peuvent être lancés sans l'intervention de l'équipe d'éthique pour plusieurs raisons. Parfois, une équipe de produit ne voulait pas du tout travailler avec l'équipe d'éthique et le personnel d'éthique n'avait pas le pouvoir de mandater une évaluation éthique. Parfois, l'équipe d'éthique était invitée à fournir des commentaires trop près d'une date de lancement de produit alors qu'il n'y avait que suffisamment de soutien ou d'autorité pour mettre en œuvre quelques-uns des correctifs nécessaires avant le lancement. Parfois, les équipes de produit pensaient que les objectifs d'équité des travailleurs chargés de l'éthique entreraient en conflit avec d'autres objectifs importants tels que l'engagement des utilisateurs. Parfois, l'équipe d'éthique demandait à la direction de retarder le lancement d'un produit afin de pouvoir mettre en œuvre une solution éthique, mais le responsable responsable a refusé la demande.

"Il suffit qu'une personne ayant plus d'autorité que le responsable de l'éthique s'exprime", déclare Ali. "Mais cela ne se produit pas car toutes les incitations concernent le lancement immédiat du produit."

Dans certains cas, les entreprises ont mis en place un processus d'examen éthique plus formel où, au début du développement d'une nouvelle idée de produit, l'équipe produit effectue une évaluation d'impact que l'équipe éthique examine. Si le produit est lié à une utilisation sensible, par exemple une caution ou une condamnation, les équipes d'éthique et de produit travaillent alors ensemble pour déterminer le potentiel du produit à traiter injustement certains groupes démographiques.

S'il existe effectivement un tel potentiel, alors l'équipe d'éthique sera incluse dans le développement du produit du début à la fin. "Dans ce contexte, l'équipe pourrait avoir plus de ressources et d'autorité pour faire quelque chose pour s'assurer que l'IA est déployée de manière responsable", déclare Ali.

Bien qu'Ali favorise cette approche plus bureaucratique, il y a un risque que cela devienne un exercice de vérification des cases, dit-elle. "L'équipe produit pourrait, par exemple, cocher les cases identifiant les mesures qu'elle est prête à prendre tout en ignorant celles qui nécessiteraient une réflexion approfondie sur les véritables problèmes éthiques." Et, parce que l'IA responsable est un domaine relativement nouveau, une réflexion aussi approfondie est nécessaire, dit-elle.

Par exemple, il y a encore des débats sur ce que signifie l'équité, comment la mesurer et dans quelle mesure juste est assez juste. Pourtant, les travailleurs en éthique sont chargés de naviguer dans cette incertitude sans soutien, ressources et autorité pour agir, tout en fonctionnant dans un contexte commercial où l'innovation rapide est prioritaire. C'est une tâche ardue, dit Ali.

Solutions : incitations, bureaucratie, autorité

Aborder diplomatiquement une équipe produit après l'autre dans l'espoir de collaborer n'attire jusqu'à présent que les spécialistes de l'éthique. Ils ont besoin d'une autorité formelle pour exiger que les problèmes soient résolus, dit Ali. "Un travailleur en éthique qui aborde les équipes de produits sur un pied d'égalité peut tout simplement être ignoré", dit-elle.

Et si les équipes d'éthique veulent mettre en œuvre cette autorité dans le monde horizontal et non hiérarchique de l'industrie technologique, il doit y avoir des structures bureaucratiques formelles exigeant des évaluations éthiques au tout début du processus de développement de produits, dit Ali. "La bureaucratie peut établir des règles et des exigences afin que les travailleurs en éthique n'aient pas à convaincre les gens de la valeur de leur travail."

Les équipes de produits doivent également être incitées à travailler avec les équipes d'éthique, dit Ali. "En ce moment, ils sont très incités à agir rapidement, ce qui peut aller directement à l'encontre d'un examen lent, prudent et responsable des effets de votre technologie", déclare Ali. Certaines personnes interrogées ont suggéré de récompenser les équipes en leur donnant des primes de « champion de l'éthique » lorsqu'un produit est rendu moins biaisé ou lorsqu'un produit qui a un problème grave est débranché.

"Il serait bon de reconnaître la position éthique que les gens adoptent au sein de l'entreprise en la récompensant d'une manière ou d'une autre", déclare Ali.

En créant une certaine bureaucratie, en responsabilisant les équipes d'éthique et en incitant d'autres employés à travailler avec les équipes d'éthique, les promesses d'équité des entreprises technologiques ne seront plus dissociées du travail sur le terrain. Ensuite, dit Ali, "un véritable changement institutionnel peut être possible".