Différentes personnes ont tendance à avoir des besoins et des préférences uniques, en particulier lorsqu'il s'agit de nettoyer ou de ranger. Les robots domestiques, en particulier les robots conçus pour aider les humains dans les tâches ménagères, devraient idéalement être capables d'accomplir des tâches de manière à tenir compte de ces préférences individuelles.

Des chercheurs de l'Université de Princeton et de l'Université de Stanford ont récemment entrepris de personnaliser l'assistance offerte par les robots domestiques à l'aide de grands modèles de langage (LLM), une classe de modèles d'intelligence artificielle qui devient de plus en plus populaire après la sortie de ChatGPT. Leur approche, présentée dans un article prépublié sur arXiva été initialement testé sur un robot mobile appelé TidyBot conçu pour ranger les environnements intérieurs.

"Pour qu'un robot personnalise efficacement l'assistance physique, il doit apprendre les préférences de l'utilisateur qui peuvent généralement être réappliquées à de futurs scénarios", ont écrit Jimmy Wu, Rika Antonova et leurs collègues dans leur article. "Dans ce travail, nous étudions la personnalisation du nettoyage domestique avec des robots qui peuvent ranger les pièces en ramassant des objets et en les rangeant."

L'approche proposée par les chercheurs exploite les capacités de synthèse largement documentées des LLM comme ChatGPT. Ces modèles peuvent résumer des informations ou fournir des directives générales après avoir été formés sur des ensembles de données ou des exemples de scénarios relativement petits.

Dans le cadre de leur étude, Wu, Antonova et leurs collègues ont utilisé un LLM pour créer des "résumés" des préférences d'un utilisateur en matière de rangement, qui sont basés sur quelques entrées proposées par les utilisateurs. Par exemple, un utilisateur peut insérer une entrée textuelle telle que "Les vêtements de couleur rouge vont dans le tiroir tandis que les blancs vont dans le placard", et le modèle formulera des préférences généralisées qui pourront ensuite guider les actions d'un robot.

"Un défi majeur consiste à déterminer le bon endroit pour placer chaque objet, car les préférences des gens peuvent varier considérablement en fonction des goûts personnels ou des antécédents culturels", ont expliqué Wu, Antonova et leurs collègues dans leur article.

"Par exemple, une personne peut préférer ranger les chemises dans le tiroir, tandis qu'une autre peut les préférer sur l'étagère. Notre objectif est de construire des systèmes capables d'apprendre ces préférences à partir d'une poignée d'exemples via des interactions antérieures avec une personne en particulier. Nous montrons que Les robots peuvent combiner la planification et la perception basées sur le langage avec les capacités de résumé en quelques plans des grands modèles de langage (LLM) pour déduire des préférences utilisateur généralisées qui sont largement applicables aux interactions futures. "

Pour évaluer leur approche, les chercheurs ont effectué une série de tests, évaluant à la fois les préférences généralisées qu'il produisait lorsqu'il alimentait des données à partir d'ensembles de données textuels et comment cela affectait la capacité d'un vrai robot à ranger de manière personnalisée. Ils l'ont spécifiquement appliqué à TidyBot, un robot qu'ils ont développé qui nettoie le sol, tout en ramassant des objets aléatoires dans son environnement et en les plaçant à des endroits spécifiques.

"Cette approche permet une adaptation rapide et atteint une précision de 91,2 % sur les objets invisibles de notre ensemble de données de référence", ont écrit Wu, Antonova et leurs collègues. "Nous démontrons également notre approche sur un manipulateur mobile du monde réel appelé TidyBot, qui range avec succès 85,0 % des objets dans des scénarios de test réels."

Les travaux récents de cette équipe de chercheurs mettent en évidence le potentiel des LLM non seulement en tant qu'outils pour aider les utilisateurs à effectuer des tâches écrites ou à répondre à des questions, mais aussi pour améliorer les capacités des systèmes robotiques. À l'avenir, cela pourrait inspirer d'autres équipes à commencer à tester le potentiel de ces modèles pour des applications robotiques.

L'approche basée sur le LLM proposée par les chercheurs et le robot TidyBot qu'ils ont développé pourraient bientôt également contribuer à la création de robots domestiques de plus en plus avancés capables d'effectuer des tâches ménagères et de ranger les environnements de manière à s'aligner sur les préférences de leurs utilisateurs. D'autres études pourraient également développer davantage cette méthode et améliorer ses performances, par exemple en lui permettant de mieux fonctionner dans des environnements très encombrés.

"Notre implémentation du système du monde réel contient des simplifications telles que l'utilisation de primitives de manipulation manuscrites, l'utilisation de saisies descendantes et l'hypothèse d'emplacements de réceptacles connus", ont écrit les chercheurs.

"Ces limitations pourraient être résolues en incorporant des primitives plus avancées dans notre système et en élargissant les capacités du système de perception. De plus, puisque les robots mobiles ne peuvent pas conduire sur des objets, le système ne fonctionnerait pas bien dans un encombrement excessif. Il serait intéressant d'incorporer une planification de haut niveau plus avancée, de sorte qu'au lieu de toujours ramasser l'objet le plus proche, le robot puisse se demander s'il doit d'abord se frayer un chemin pour se déplacer dans l'encombrement."

© 2023 Réseau Science X