Les écrits scientifiques académiques générés par l’IA peuvent être identifiés avec une précision de plus de 99 %
Les écrits scientifiques académiques générés par l’IA peuvent être identifiés avec une précision de plus de 99 %

Les écrits scientifiques académiques générés par l'IA peuvent être identifiés avec une précision de plus de 99 %
ChatGPT contre humain. Crédit : Heather Desaire et Romana Jarosova, Université du Kansas

Les débuts du chatbot d'intelligence artificielle ChatGPT ont mis le monde en effervescence avec sa capacité à produire des textes et des conversations de type humain. Pourtant, de nombreux signes révélateurs peuvent nous aider à distinguer les chatbots IA des humains, selon une étude publiée le 7 juin dans la revue Rapports de cellule Sciences physiques. Sur la base des signes, les chercheurs ont développé un outil pour identifier l'écriture scientifique académique générée par l'IA avec une précision de plus de 99 %.

"Nous nous sommes efforcés de créer une méthode accessible afin qu'avec peu de conseils, même les élèves du secondaire puissent construire un détecteur d'IA pour différents types d'écriture", explique Heather Desaire, professeur à l'Université du Kansas. "Il est nécessaire d'aborder l'écriture de l'IA, et les gens n'ont pas besoin d'un diplôme en informatique pour contribuer à ce domaine."

"En ce moment, il y a des problèmes assez flagrants avec l'écriture de l'IA", explique Desaire. "L'un des plus gros problèmes est qu'il assemble du texte à partir de nombreuses sources et qu'il n'y a aucun type de contrôle de précision - c'est un peu comme le jeu Two Truths and a Lie."

Bien que de nombreux détecteurs de texte IA soient disponibles en ligne et fonctionnent assez bien, ils n'ont pas été conçus spécifiquement pour l'écriture académique. Pour combler le vide, l'équipe visait à construire un outil avec de meilleures performances précisément à cette fin. Ils se sont concentrés sur un type d'article appelé perspectives, qui donne un aperçu de sujets de recherche spécifiques rédigés par des scientifiques. L'équipe a sélectionné 64 perspectives et créé 128 articles générés par ChatGPT sur les mêmes sujets de recherche pour former le modèle. Lorsqu'ils ont comparé les articles, ils ont trouvé un indicateur de l'écriture de l'IA : la prévisibilité.

Contrairement à l'IA, les humains ont des structures de paragraphe plus complexes, variant dans le nombre de phrases et le nombre total de mots par paragraphe, ainsi que dans la longueur des phrases. Les préférences en matière de signes de ponctuation et de vocabulaire sont également un cadeau. Par exemple, les scientifiques gravitent autour de mots comme "cependant", "mais" et "bien que", tandis que ChatGPT utilise souvent "autres" et "chercheurs" par écrit. L'équipe a recensé 20 caractéristiques du modèle à surveiller.

Lorsqu'il a été testé, le modèle a atteint un taux de précision de 100 % pour éliminer les articles en perspective complets générés par l'IA de ceux écrits par des humains. Pour identifier les paragraphes individuels dans l'article, le modèle avait un taux de précision de 92 %. Le modèle de l'équipe de recherche a également surpassé un détecteur de texte AI disponible sur le marché par une large marge sur des tests similaires.

Ensuite, l'équipe prévoit de déterminer la portée de l'applicabilité du modèle. Ils veulent le tester sur des ensembles de données plus étendus et sur différents types de rédaction scientifique universitaire. Au fur et à mesure que les chatbots IA progressent et deviennent plus sophistiqués, les chercheurs veulent également savoir si leur modèle tiendra.

"La première chose que les gens veulent savoir lorsqu'ils entendent parler de la recherche est 'Puis-je utiliser cela pour savoir si mes étudiants ont réellement rédigé leur article?'", a déclaré Desaire. Bien que le modèle soit hautement qualifié pour faire la distinction entre l'IA et les scientifiques, Desaire dit qu'il n'a pas été conçu pour capturer les essais d'étudiants générés par l'IA pour les éducateurs. Cependant, elle note que les gens peuvent facilement reproduire leurs méthodes pour créer des modèles à leurs propres fins.

Plus d'information: Heather Desaire, Distinguer l'écriture scientifique universitaire des humains ou de ChatGPT avec une précision de plus de 99 % à l'aide d'outils d'apprentissage automatique prêts à l'emploi., Rapports de cellule Sciences physiques (2023). DOI : 10.1016/j.xcrp.2023.101426. www.cell.com/cell-reports-phys … 2666-3864(23)00200-X

Citation: La rédaction scientifique académique générée par l'IA peut être identifiée avec une précision de plus de 99 % (2023, 7 juin) récupéré le 11 juin 2023 sur

Ce document est soumis au droit d'auteur. En dehors de toute utilisation loyale à des fins d'étude ou de recherche privée, aucune partie ne peut être reproduite sans l'autorisation écrite. Le contenu est fourni seulement pour information.




Source

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Scroll to Top