Les éducateurs, les professionnels de la santé mentale, les agents de justice pour mineurs et les travailleurs sociaux de la protection de l'enfance qui sont souvent les témoins directs des épreuves auxquelles sont confrontés les jeunes vulnérables et qui sont chargés de leur protection, voient un certain intérêt à utiliser l'intelligence artificielle comme outil de détection précoce des risques pour sécurité en ligne.

Mais ils s'inquiètent de la faisabilité en raison d'un manque de ressources, d'accès aux données nécessaires sur les médias sociaux, du contexte et des préoccupations concernant la violation des relations de confiance qu'ils établissent avec les jeunes, ce qui prend du temps.

Dans le cadre du programme I-Corps de la National Science Foundation, une équipe de chercheurs dirigée par Pamela J. Wisniewski, professeure agrégée en informatique de l'Université Vanderbilt, boursière en ingénierie de la famille Flowers, a mené des entretiens avec 37 prestataires de services sociaux (SSP) à travers les États-Unis qui travailler avec des jeunes défavorisés pour déterminer quels risques en ligne les concernent le plus et s'ils voient l'intérêt d'utiliser l'IA comme solution de détection automatisée des risques en ligne.

Les répondants comprenaient des travailleurs des services à l'enfance, à la jeunesse et à la famille, des thérapeutes en santé mentale, des enseignants, des agents de justice pour mineurs, un défenseur LGBTQ+, un consultant gouvernemental et des policiers.

Les risques sexuels en ligne, comme le toilettage et les abus sexuels, et la cyberintimidation étaient les principales préoccupations, en particulier lorsque ces expériences franchissaient la frontière entre les mondes numérique et physique. Les SSP disent qu'ils s'appuient fortement sur l'auto-déclaration pour savoir si et quand les risques en ligne se produisent, ce qui nécessite d'établir une relation de confiance. Dans le cas contraire, ils n'en prennent connaissance qu'après l'ouverture d'une enquête formelle.

Bien qu'il existe des systèmes algorithmiques d'aide à la décision dans les agences de protection de l'enfance pour évaluer les résultats des risques hors ligne afin que les travailleurs sociaux puissent répondre aux besoins des enfants placés, cette étude est la première à aborder l'utilisation de la détection des risques par l'IA pour aider les SSP à identifier et à atténuer les expériences à risque en ligne de jeunes défavorisés.

"Ce que nous avons constaté, et ce qui a eu un impact, c'est que les SSP ne veulent pas utiliser la technologie comme surveillance ou pour sévir contre les jeunes, ils veulent qu'elle les aide à démarrer des conversations. Il y a peu d'intérêt pour une solution qui censure ou envoie un alerte aux autorités judiciaires », a déclaré Xavier V. Caddle, un étudiant diplômé de l'équipe de recherche de Wisniewski. "Ils veulent un coup de pouce ou une friandise pour demander : "Est-ce qu'il s'est passé quelque chose à l'école aujourd'hui ? Quelqu'un a envoyé ce message, cela vous a-t-il blessé ? Cela vous a-t-il offensé ? »

L'étude offre des réponses détaillées des différents types de SSP qui indiquent que la technologie de détection des risques doit reconnaître les différences dans les points de vue des utilisateurs finaux et qui affecteraient la conception du modèle, a déclaré Wisniewski. "L'IA peut dépasser les drapeaux. Les enfants jurent, donc l'utilisation du mot F devient du" bruit "."

Par exemple, les utilisateurs du système judiciaire ont besoin de vues qui prennent en charge les enquêtes et la réponse aux incidents. Ils se soucient de la détection et de la prévention des comportements illégaux. Les éducateurs et les agents de protection de l'enfance ont besoin d'une vision plus quotidienne des expériences d'adolescents spécifiques. Les cliniciens, les thérapeutes et les praticiens de la santé mentale veulent principalement voir des évaluations pour corréler les résultats avec leurs moyens actuels d'évaluation des patients afin d'identifier les facteurs qui indiquent une mauvaise santé mentale.

"Il y a un intérêt parmi les SSP pour la technologie de détection des risques en ligne parce qu'ils s'appuient principalement sur l'auto-divulgation et les dénonciations et ils la considèrent comme utile pour démarrer une conversation, mais pas pour surveiller et signaler les enfants dont ils ont la charge", a déclaré Wisniewski. "Il est clair que tout système automatisé de détection des risques pour les SSP doit être conçu et déployé avec prudence."

Les conclusions de l'étude ont été rapportées dans Actes de l'ACM sur l'interaction homme-machine.