Même les experts en linguistique sont largement incapables de faire la différence entre une écriture créée par l'intelligence artificielle ou par des humains, selon une nouvelle étude co-écrite par un professeur adjoint de l'Université de Floride du Sud.

Recherche récemment publiée dans la revue Méthodes de recherche en linguistique appliquée a révélé que les experts des plus grandes revues linguistiques du monde pouvaient faire la différence entre les résumés générés par l'IA et ceux générés par l'homme dans moins de 39 % du temps.

"Nous avons pensé que si quelqu'un était capable d'identifier l'écriture produite par l'homme, ce devrait être des linguistes qui ont passé leur carrière à étudier les modèles de langage et d'autres aspects de la communication humaine", a déclaré Matthew Kessler, chercheur à l'USF. le Département des langues du monde.

Travaillant aux côtés de J. Elliott Casal, professeur adjoint de linguistique appliquée à l'Université de Memphis, Kessler a chargé 72 experts en linguistique d'examiner une variété de résumés de recherche pour déterminer s'ils avaient été rédigés par l'IA ou par des humains.

Chaque expert a été invité à examiner quatre échantillons d’écriture. Aucun n’a correctement identifié les quatre, tandis que 13 pour cent se sont tous trompés. Kessler a conclu que, sur la base de ces résultats, les professeurs seraient incapables de faire la distinction entre l'écriture propre d'un étudiant ou l'écriture générée par un modèle de langage alimenté par l'IA tel que ChatGPT sans l'aide d'un logiciel qui n'a pas encore été développé.

Malgré les tentatives des experts pour utiliser des justifications pour juger les échantillons d'écriture de l'étude, comme l'identification de certaines caractéristiques linguistiques et stylistiques, elles ont largement échoué avec un taux d'identification positif global de 38,9 pour cent.

"Ce qui était plus intéressant, c'est lorsque nous leur avons demandé pourquoi ils avaient décidé que quelque chose avait été écrit par une IA ou par un humain", a déclaré Kessler. "Ils ont partagé des raisons très logiques, mais encore et encore, elles n'étaient pas exactes ou cohérentes."

Sur cette base, Kessler et Casal ont conclu que ChatGPT peut écrire des genres courts aussi bien que la plupart des humains, voire mieux dans certains cas, étant donné que l'IA ne commet généralement pas d'erreurs grammaticales.

Le côté positif des auteurs humains réside dans les formes d’écriture plus longues. "Pour les textes plus longs, l'IA est connue pour halluciner et inventer du contenu, ce qui permet d'identifier plus facilement qu'il a été généré par l'IA", a déclaré Kessler.

Kessler espère que cette étude mènera à une conversation plus large pour établir l'éthique et les lignes directrices nécessaires entourant l'utilisation de l'IA dans la recherche et l'éducation.