Un article intitulé "On misbehaviour and fault tolerance in machine learning systems", du doctorant Lalli Myllyaho a été nommé l'un des meilleurs articles en 2022 par le Journal des systèmes et logiciels.

"L'idée fondamentale de l'étude est que si vous confiez des systèmes critiques à l'intelligence artificielle et aux algorithmes, vous devez également apprendre à vous préparer à leur échec", déclare Myllyaho.

Il n'est pas nécessairement dangereux qu'un service de streaming propose des options inintéressantes aux utilisateurs, mais un tel comportement sape la confiance dans la fonctionnalité du système. Cependant, les défauts des systèmes plus critiques qui reposent sur l'apprentissage automatique peuvent être beaucoup plus nocifs.

"Je voulais étudier comment se préparer, par exemple, à la mauvaise identification des choses par la vision par ordinateur. Par exemple, dans la tomodensitométrie, l'intelligence artificielle peut identifier des objets dans des sections. Si des erreurs se produisent, cela soulève des questions sur la mesure dans laquelle les ordinateurs doivent faire confiance à ces questions. , et quand demander à un humain de jeter un coup d'œil », explique Myllyaho.

Plus le système est critique, plus la capacité à minimiser les risques associés est pertinente.

Des systèmes plus complexes génèrent des erreurs de plus en plus complexes

Outre Myllyaho, l'étude a été menée par Mikko Raatikainen, Tomi Männistö, Jukka K. Nurminen et Tommi Mikkonen. La publication est structurée autour d'interviews d'experts.

"Les architectes logiciels ont été interrogés sur les défauts et les inexactitudes dans et autour des modèles d'apprentissage automatique. Et nous voulions également savoir quels choix de conception pourraient être faits pour éviter les défauts", explique Myllyaho.

Si les modèles d'apprentissage automatique contiennent des données brisées, le problème peut s'étendre aux systèmes dans la mise en œuvre desquels les modèles ont été utilisés. Il faut aussi déterminer quels mécanismes sont adaptés pour corriger les erreurs.

"Les structures doivent être conçues pour empêcher les erreurs radicales de s'aggraver. En fin de compte, la gravité à laquelle le problème peut évoluer dépend du système."

Par exemple, il est facile pour les gens de comprendre qu'avec les véhicules autonomes, le système nécessite divers mécanismes de sûreté et de sécurité. Cela s'applique également aux autres solutions d'IA qui nécessitent des modes sans échec fonctionnant correctement.

"Nous devons étudier comment garantir que, dans une série de circonstances, l'intelligence artificielle fonctionne comme elle le devrait, c'est-à-dire avec la rationalité humaine. La solution la plus appropriée n'est pas toujours évidente, et les développeurs doivent faire des choix sur ce qu'il faut faire quand vous ne pouvez pas en être certain."

Myllyaho a élargi l'étude en développant un mécanisme connexe pour identifier les défauts, bien qu'il n'ait pas encore évolué vers un algorithme réel.

"Ce n'est qu'une idée des réseaux de neurones. Un modèle d'apprentissage automatique fonctionnel serait capable de changer de modèle de travail à la volée si le modèle actuel ne fonctionne pas. En d'autres termes, il devrait également être capable de prédire les erreurs ou de reconnaître les indications de les erreurs."

Récemment, Myllyaho s'est concentré sur la finalisation de sa thèse de doctorat, c'est pourquoi il est incapable de dire quoi que ce soit sur son avenir dans le projet. Le projet IVVES dirigé par Jukka K. Nurminen poursuivra ses travaux de test de la sécurité des systèmes d'apprentissage automatique.