ChatGPT a été introduit il y a seulement sept semaines, mais l'IA a déjà suscité toute une vie de battage médiatique. Personne ne sait si cette technologie particulière ouvre définitivement le kimono de l'IA ou s'il s'agit juste d'un coup sec avant le prochain hiver de l'IA, mais une chose est certaine : elle a lancé une conversation importante sur l'IA, y compris le niveau de transparence auquel nous devrions nous attendre lorsque nous travaillons. avec l'IA et comment savoir quand il ment.

Depuis son lancement le 30 novembre, le nouveau modèle de langage d'OpenAI, qui a été formé sur un très grand corpus de connaissances humaines, a démontré une capacité étonnante à générer des réponses convaincantes aux invites textuelles. Ce n'est pas seulement rap comme Snoop Dogg et des rimes comme Nick Cave (au son de l'auteur-compositeur grand chagrin), mais résout également des problèmes mathématiques complexes et écrit du code informatique.

Maintenant que ChatGPT peut produire une écriture médiocre et (surtout) correcte, l'ère de l'essai étudiant a été déclarée officiellement terminée. "Personne n'est préparé à la façon dont l'IA transformera le monde universitaire", écrit Stephen Marche dans "L'essai universitaire est mort" publié le mois dernier. Marche écrit : « D'après mon expérience en tant qu'ancien professeur de Shakespeare, je pense qu'il faudra 10 ans au milieu universitaire pour faire face à cette nouvelle réalité : deux ans pour que les étudiants comprennent la technologie, trois ans de plus pour que les professeurs reconnaissent que les étudiants utilisent la technologie, puis cinq ans pour que les administrateurs universitaires décident quoi faire, le cas échéant, à ce sujet. Les enseignants font déjà partie des personnes les plus surmenées et sous-payées au monde. Ils ont déjà affaire à des sciences humaines en crise. Et maintenant ça. Je ressens pour eux.

Il est possible que Marche ait été un peu décalé dans son timing. Pour commencer, les écoles ont déjà commencé à répondre à la menace de plagiat posée par ChatGPT, avec des interdictions en place dans les districts scolaires publics de Seattle, Washington et New York. Et grâce à la même marche incessante de la technologie qui nous a donné ChatGPT, nous acquérons la capacité de détecter quand l'IA générative est utilisée.

Au cours du week-end, des nouvelles ont commencé à circuler sur un outil capable de détecter quand ChatGPT a été utilisé pour générer un morceau de texte donné. Baptisé GPTZero, l'outil a été écrit par Edward Tian, ​​qui étudie l'informatique à l'Université de Princeton dans le New Jersey.

"J'ai passé le Nouvel An à construire GPTZero - une application qui peut détecter rapidement et efficacement si un essai est ChatGPT ou écrit par un humain", Tian écrit sur Twitter. "[T]La motivation ici est l'augmentation du plagiat de l'IA. [T]Pensez-vous que les enseignants du secondaire voudront que les élèves utilisent ChatGPT pour écrire leurs essais d'histoire ? [L]probablement pas.

L'outil fonctionne en analysant deux caractéristiques du texte : le niveau de « perplexité » et le niveau de « rafale », selon un article sur NPR. Tian a déterminé que ChatGPT a tendance à générer du texte dont le niveau de complexité est inférieur à celui du texte généré par l'homme. Il a également constaté que ChatGPT génère systématiquement des phrases plus cohérentes en longueur et moins « rafales » que les humains.

GPTZero n'est pas parfait (aucune IA ne l'est), mais dans les démonstrations, cela semble fonctionner. Dimanche, Tian a annoncé sur sa sous-pile qu'il est en pourparlers avec les commissions scolaires et les fonds de bourses d'études pour fournir une nouvelle version de l'outil, appelée GPTZeroX, à 300 000 écoles et fonds de bourses d'études. « Si votre organisation pourrait être intéressée, veuillez nous le faire savoir », écrit-il.

Traquer les hallucinations

Pendant ce temps, d'autres développeurs créent des outils supplémentaires pour aider à résoudre un autre problème qui a été mis en lumière avec l'ascension fulgurante de ChatGPT : les hallucinations.

"Tout grand modèle de langage qui reçoit une entrée ou une invite - ce n'est en quelque sorte pas un choix - va halluciner", déclare Peter Relan, co-fondateur et président de J'ai compris l'IAune entreprise de la Silicon Valley qui développe des solutions d'IA conversationnelles personnalisées pour ses clients.

Internet regorge d'exemples de ChatGPT qui déraille. Le modèle vous donnera un texte magnifiquement écrit - et erroné - sur le record de marchant à travers la Manche à pied, ou écrira un essai convaincant sur pourquoi la mayonnaise est un condiment racistesi vous y êtes correctement invité.

En gros, le taux d'hallucinations pour ChatGPT est de 15 % à 20 %, dit Relan. "Donc 80% du temps, ça marche bien, et 20% du temps, ça invente des trucs", raconte-t-il Datanami. "La clé ici est de savoir quand il est [hallucinating]et assurez-vous d'avoir une réponse alternative ou une réponse que vous livrez à l'utilisateur, par rapport à son hallucination. »

Got It AI a annoncé la semaine dernière un aperçu privé d'un nouveau composant de vérification de la vérité d'Autonomous Articlebot, l'un des deux produits de l'entreprise. Comme ChatGPT, le vérificateur de vérité de l'entreprise est également basé sur un grand modèle de langage qui est formé pour détecter quand ChatGPT (ou d'autres grands modèles de langage) raconte un fib.

Le nouveau vérificateur de vérité est précis à 90% pour le moment, selon Relan. Ainsi, si ChatGPT ou un autre grand modèle de langage est utilisé pour générer une réponse 100 fois et que 20 d'entre elles sont fausses, le vérificateur de vérité sera en mesure de repérer 18 de ces fabrications avant que la réponse ne soit envoyée à l'utilisateur. Cela augmente efficacement le taux de précision de ChatGPT à 98%, dit Relan.

« Maintenant, vous êtes dans la fourchette acceptable. Nous visons ensuite 95 % », dit-il. « Si vous pouvez détecter 95 % de ces hallucinations, vous n'êtes plus qu'à une réponse sur 100 qui est toujours inexacte. Vous êtes maintenant dans un véritable système de classe entreprise.

OpenAI, le créateur de ChatGPT, n'a pas encore publié d'API pour le grand modèle de langage qui a retenu l'attention du monde. Cependant, le modèle sous-jacent utilisé par ChatGPT est connu pour être GPT-3, qui dispose d'une API disponible. Le vérificateur de vérité de Got It AI peut maintenant être utilisé avec la dernière version de GPT-3, baptisée davinci-003, qui a été publiée le 28 novembre.

"Le modèle le plus proche que nous ayons trouvé dans une API est GPT-3 davinci", déclare Relan. "C'est ce que nous pensons être proche de ce que ChatGPT utilise dans les coulisses."

Le problème des hallucinations ne disparaîtra jamais complètement avec les systèmes d'IA conversationnelle, dit Relan, mais il peut être minimisé, et OpenAI progresse sur ce front. Par exemple, le taux d'erreur pour GPT-3.5 est proche de 30 %, donc le taux de 20 % avec ChatGPT - que Relan attribue à l'adoption par OpenAI de la boucle de rétroaction humaine d'apprentissage par renforcement (RLHF) - est déjà une grande amélioration.

"Je crois qu'OpenAI… résoudra une partie de la tendance à halluciner de la plate-forme principale", déclare Relan. « Mais c'est un modèle stochastique. Il va faire des correspondances de motifs et trouver quelque chose, et parfois il va inventer des trucs. Ce n'est pas notre défi. C'est le défi d'OpenAI : comment réduire son taux d'hallucinations de 20 % à 10 % à 5 % à très peu au fil du temps. »

(NDLR : cet article est en association avec Datanami)