Alors que les régulateurs et les fournisseurs sont aux prises avec le double défi de protéger les jeunes utilisateurs de médias sociaux contre le harcèlement et l'intimidation, tout en prenant des mesures pour protéger leur vie privée, une équipe de chercheurs de quatre grandes universités a proposé un moyen d'utiliser la technologie d'apprentissage automatique pour signaler les conversations à risque. sur Instagram sans avoir à les écouter. Cette découverte pourrait ouvrir des opportunités aux plateformes et aux parents pour protéger les utilisateurs vulnérables et plus jeunes, tout en préservant leur vie privée.

L'équipe, dirigée par des chercheurs de l'Université Drexel, de l'Université de Boston, du Georgia Institute of Technology et de l'Université Vanderbilt, a récemment publié son travail opportun - une enquête pour comprendre quel type d'entrée de données, telles que les métadonnées, le texte et les caractéristiques d'image, pourrait être le plus utile pour des modèles d'apprentissage automatique pour identifier les conversations à risque Actes de la conférence de l'Association for Computing Machinery sur l'interaction homme-machine. Leurs résultats suggèrent que les conversations à risque peuvent être détectées par les caractéristiques des métadonnées, telles que la durée de la conversation et le degré d'engagement des participants.

Leurs efforts s'attaquent à un problème croissant sur le plate-forme de médias sociaux la plus populaire parmi les 13 à 21 ans en Amérique. Des études récentes ont montré que le harcèlement sur Instagram entraîne une augmentation spectaculaire de la dépression chez ses plus jeunes utilisateurs, en particulier un augmentation des troubles de santé mentale et de l'alimentation chez les adolescentes.

"La popularité d'une plateforme comme Instagram auprès des jeunes, précisément en raison de la façon dont ses utilisateurs se sentent suffisamment en sécurité pour se connecter avec les autres de manière très ouverte, est très préoccupante à la lumière de ce que nous savons maintenant sur la prévalence du harcèlement, des abus , et l'intimidation par des utilisateurs malveillants », a déclaré Afsaneh Razi, Ph.D., professeur adjoint au Drexel's College of Computing & Informatics, qui était co-auteur de la recherche.

Dans le même temps, les plateformes subissent une pression croissante pour protéger la vie privée de leurs utilisateurs, à la suite du scandale de Cambridge Analytica et des lois de protection de la vie privée de l'Union européenne qui ont créé un précédent. En conséquence, Meta, la société derrière Facebook et Instagram, déploie un cryptage de bout en bout de tous les messages sur ses plateformes. Cela signifie que le contenu des messages est technologiquement sécurisé et ne peut être consulté que par les personnes participant à la conversation.

Mais ce niveau de sécurité supplémentaire rend également plus difficile pour les plateformes l'utilisation de technologies automatisées pour détecter et prévenir les risques en ligne. C'est pourquoi le système du groupe pourrait jouer un rôle important dans la protection des utilisateurs.

"Une façon de faire face à cette augmentation des acteurs malveillants, à une échelle qui peut protéger les utilisateurs vulnérables, consiste à mettre en place des programmes automatisés de détection des risques", a déclaré Razi. "Mais le défi consiste à les concevoir d'une manière éthique qui leur permette d'être précis, mais aussi non envahissants pour la vie privée. Il est important de faire de la sécurité et de la confidentialité des jeunes générations une priorité lors de la mise en œuvre de fonctionnalités de sécurité telles que le chiffrement de bout en bout. dans les plateformes de communication."

Le système développé par Razi et ses collègues utilise des algorithmes d'apprentissage automatique dans une approche en couches qui crée un profil de métadonnées d'une conversation à risque (elle est susceptible d'être courte et unilatérale, par exemple) combinée à des indices contextuels, tels que des images ou des liens sont envoyés. Lors de leurs tests, le programme était précis à 87 % pour identifier les conversations à risque en utilisant uniquement ces détails clairsemés et anonymes.

Pour former et tester le système, les chercheurs ont collecté et analysé plus de 17 000 chats privés de 172 utilisateurs d'Instagram âgés de 13 à 21 ans qui ont offert leurs conversations (plus de 4 millions de messages au total) pour contribuer à la recherche. Les participants ont été invités à revoir leurs conversations et à les étiqueter comme «sûres» ou «dangereuses». Environ 3 300 des conversations ont été signalées comme "dangereuses" et classées dans l'une des cinq catégories de risque suivantes : harcèlement, message/sollicitation à caractère sexuel, nudité/pornographie, discours de haine et vente ou promotion d'activités illégales.

À l'aide d'un échantillon aléatoire de conversations de chaque catégorie, l'équipe a utilisé plusieurs modèles d'apprentissage automatique pour extraire un ensemble de fonctionnalités de métadonnées, telles que la durée moyenne de la conversation, le nombre d'utilisateurs impliqués, le nombre de messages envoyés, le temps de réponse, le nombre d'images envoyées, et si les participants étaient ou non connectés ou mutuellement connectés à d'autres sur Instagram, ce qui est le plus étroitement associé aux conversations à risque.

Ces données ont permis à l'équipe de créer un programme qui peut fonctionner en utilisant uniquement des métadonnées, dont certaines seraient disponibles si les conversations Instagram étaient cryptées de bout en bout.

"Globalement, nos découvertes ouvrent des opportunités intéressantes pour de futures recherches et des implications pour l'industrie dans son ensemble", a rapporté l'équipe. "Premièrement, effectuer une détection des risques basée uniquement sur les fonctionnalités des métadonnées permet des méthodes de détection légères qui ne nécessitent pas le calcul coûteux impliqué dans l'analyse du texte et des images. Deuxièmement, le développement de systèmes qui n'analysent pas le contenu atténue certains des problèmes de confidentialité et d'éthique qui surviennent dans cet espace, assurant la protection des utilisateurs.

Pour l'améliorer, en créant un programme qui pourrait être encore plus efficace et capable d'identifier le type de risque spécifique, si les utilisateurs ou les parents choisissent de partager des détails supplémentaires sur les conversations à des fins de sécurité, l'équipe a effectué une analyse similaire d'apprentissage automatique des indices linguistiques. et des caractéristiques d'image utilisant le même jeu de données.

Dans ce cas, des programmes avancés d'apprentissage automatique ont passé au peigne fin le texte des conversations et, sachant quel contact les utilisateurs avaient identifié comme "à risque", ont identifié les mots et les combinaisons de mots qui sont suffisamment répandus dans les conversations à risque pour qu'ils puissent être utilisés pour déclencher un drapeau.

Pour l'analyse des images et des vidéos, qui sont au cœur de la communication sur Instagram, l'équipe a utilisé un ensemble de programmes, un qui peut identifier et extraire du texte au-dessus des images et des vidéos, et un autre qui peut regarder et générer une légende pour chaque image. Ensuite, en utilisant une analyse textuelle similaire, les programmes d'apprentissage automatique ont de nouveau créé un profil de mots indicatifs d'images et de vidéos partagées dans une conversation à risque.

Formé avec ces caractéristiques de conversation à risque, le système d'apprentissage automatique a été mis à l'épreuve en analysant un échantillon aléatoire de conversations à partir d'un ensemble de données plus large qui n'avait pas été utilisé dans le processus de génération de profil ou de formation. Grâce à une combinaison d'analyses des deux traits de métadonnées, ainsi que des indices linguistiques et des caractéristiques d'image, le programme a pu identifier les conversations à risque avec une précision pouvant atteindre 85 %.

"Les métadonnées peuvent fournir des indices de haut niveau sur les conversations qui ne sont pas sûres pour les jeunes ; cependant, la détection et la réponse au type de risque spécifique nécessitent l'utilisation d'indices linguistiques et de données d'image", rapportent-ils. "Cette découverte soulève d'importantes questions philosophiques et éthiques à la lumière de la récente poussée de Meta vers le chiffrement de bout en bout, car de tels indices contextuels seraient utiles pour des systèmes d'atténuation des risques bien conçus qui tirent parti de l'IA."

Les chercheurs reconnaissent qu'il y a des limites à leur recherche car elle n'a examiné que les messages sur Instagram, bien que le système puisse être adapté pour analyser les messages sur d'autres plates-formes soumises à un cryptage de bout en bout. Ils notent également que le programme pourrait devenir encore plus précis si sa formation se poursuivait avec un plus grand échantillon de messages.

Mais ils notent que cela prouve que ce travail montre qu'une détection automatisée efficace des risques est possible, et bien que la protection de la vie privée soit une préoccupation valable, il existe des moyens de progresser et ces étapes doivent être poursuivies afin de protéger les utilisateurs les plus vulnérables de ces populaires plates-formes.

"Notre analyse constitue une première étape importante pour permettre la détection automatisée, basée sur l'apprentissage automatique, des comportements à risque en ligne à l'avenir", écrivent-ils. "Notre système est basé sur les caractéristiques réactives de la conversation, mais nos recherches ouvrent également la voie à des approches plus proactives de la détection des risques qui sont susceptibles d'être plus transposables dans le monde réel compte tenu de leur riche validité écologique."