Pour aider à identifier le moment où les débats en ligne tendus se dirigent vers un effondrement irrémédiable, les chercheurs de Cornell ont développé un outil d'intelligence artificielle qui peut suivre ces conversations en temps réel, détecter quand les tensions s'intensifient et éloigner les utilisateurs de l'utilisation d'un langage incendiaire.

Détaillées dans deux articles récemment publiés qui examinent l'efficacité de l'IA dans la modération des discussions en ligne, la recherche montre des signes prometteurs que les méthodes de prévision conversationnelle dans le domaine du traitement du langage naturel pourraient s'avérer utiles pour aider les modérateurs et les utilisateurs à réduire de manière proactive le vitriol et à maintenir des forums de débat sains et productifs. .

"Les débatteurs bien intentionnés sont juste humains. Au milieu d'un débat houleux, sur un sujet qui vous tient à cœur, il peut être facile de réagir émotionnellement et de ne s'en rendre compte qu'après coup", a déclaré Jonathan Chang, doctorant en dans le domaine de l'informatique et auteur principal de « Thread With Caution : Proactively Helping Users Assess and Deescalate Tension in Their Online Discussions », qui a été présenté virtuellement lors de la conférence ACM sur le travail coopératif assisté par ordinateur et l'informatique sociale (CSCW) en novembre . dix.

L'idée n'est pas de dire aux utilisateurs quoi dire, a déclaré Chang, mais d'encourager les utilisateurs à communiquer comme ils le feraient en personne.

L'outil, nommé ConvoWizard, est une extension de navigateur alimentée par un réseau neuronal profond. Ce réseau a été formé sur des montagnes de données linguistiques extraites du subreddit Change My View, un forum qui donne la priorité aux débats de bonne foi sur des sujets potentiellement passionnés liés à la politique, à l'économie et à la culture.

Lorsque les utilisateurs participants de Change My View activent ConvoWizard, l'outil peut les informer lorsque leur conversation commence à devenir tendue. Il peut également informer les utilisateurs, en temps réel au moment où ils rédigent leurs réponses, si leur commentaire est susceptible d'aggraver la tension. L'étude suggère que les commentaires alimentés par l'IA peuvent être efficaces pour guider l'utilisateur vers un langage qui élève le débat constructif, ont déclaré les chercheurs.

"ConvoWizard demande essentiellement : 'Si ce commentaire est publié, cela augmentera-t-il ou diminuera-t-il la tension estimée dans la conversation ?' Si le commentaire augmente la tension, ConvoWizard donnerait un avertissement", a déclaré Chang. La zone de texte deviendrait rouge, par exemple. "L'outil suit cette ligne de rétroaction sans virer dans le territoire dangereux de leur dire de faire ceci ou cela."

Pour tester ConvoWizard, les chercheurs de Cornell ont collaboré avec le subreddit Change My View, où environ 50 modérateurs et membres du forum participants ont utilisé l'outil. Les résultats ont été positifs : 68 % ont estimé que les estimations de risque de l'outil étaient aussi bonnes ou meilleures que leur propre intuition, et plus de la moitié des participants ont déclaré que les avertissements de ConvoWizard les avaient empêchés de publier un commentaire qu'ils auraient regretté plus tard.

Chang a également noté qu'avant d'utiliser ConvoWizard, on demandait aux participants s'ils avaient déjà publié quelque chose qu'ils regrettaient. Plus de la moitié ont dit oui.

"Ces résultats confirment que, oui, même les utilisateurs bien intentionnés peuvent tomber dans ce type de comportement et se sentir mal à ce sujet", a-t-il déclaré.

"C'est excitant de penser à la façon dont des outils alimentés par l'IA comme ConvoWizard pourraient permettre un tout nouveau paradigme pour encourager des discussions en ligne de haute qualité, en donnant directement aux participants à ces discussions les moyens d'utiliser leurs propres intuitions, plutôt que de les censurer ou de les contraindre", a déclaré Cristian Danescu-Niculescu-Mizil, professeur agrégé de sciences de l'information au Cornell Ann S. Bowers College of Computing and Information Science et co-auteur de la recherche.

Dans un article séparé de Cornell également présenté au CSCW, "Modération proactive des discussions en ligne : pratiques existantes et potentiel de support algorithmique", des chercheurs, dont Chang, explorent comment un outil d'IA alimenté par une technologie de prévision conversationnelle similaire pourrait être intégré et utilisé parmi les modérateurs. .

La recherche vise à trouver des moyens plus sains d'aborder le vitriol sur les forums en temps réel et de réduire la charge de travail des modérateurs bénévoles. Les auteurs de l'article sont Charlotte Schluger '22, Chang, Danescu-Niculescu-Mizil et Karen Levy, professeur agrégé de sciences de l'information et membre associé de la faculté de Cornell Law School.

"Il y a eu très peu de travail sur la façon d'aider les modérateurs du côté proactif de leur travail", a déclaré Chang. "Nous avons constaté qu'il existe un potentiel pour les outils algorithmiques pour aider à alléger le fardeau ressenti par les modérateurs et les aider à identifier les domaines à examiner dans les conversations et où intervenir."

Pour l'avenir, Chang a déclaré que l'équipe de recherche explorera dans quelle mesure un modèle comme ConvoWizard se généralise à d'autres communautés en ligne.

La façon dont les algorithmes de prévision des conversations évoluent est une autre question importante, ont déclaré les chercheurs. Chang a souligné une conclusion de la recherche ConvoWizard qui a montré que 64% des participants à Change My View estimaient que l'outil, s'il était largement adopté, améliorerait la qualité globale de la discussion. "Nous souhaitons savoir ce qui se passerait si une plus grande partie d'une communauté en ligne utilisait cette technologie", a-t-il déclaré. "Quels seraient les effets à long terme?"

Les deux articles ont été publiés dans le cadre de la Actes de l'ACM sur l'interaction homme-machine.