Un groupe de chercheurs et d'ingénieurs de l'Université de Sharjah a développé un système d'apprentissage profond pour utiliser la langue arabe et ses variétés dans des applications liées au traitement du langage naturel (NLP), un sous-domaine interdisciplinaire de la linguistique, de l'informatique et de l'intelligence artificielle.

Les scientifiques affirment que leur projet apportera des améliorations majeures aux systèmes NLP pour s'adapter la langue arabe et ses dialectes lors de la programmation d'ordinateurs pour traiter et analyser de grandes quantités de données en langage naturel et aider au développement de programmes visant à améliorer différentes compétences d'apprentissage des langues et à améliorer la précision des traductions.

Le groupe, qui comprend des universitaires et des ingénieurs, s'est lancé dans un projet visant à évaluer la convivialité et l'utilité de la langue arabe pour les applications basées sur l'IA afin d'aider près d'un demi-milliard d'arabophones dans le monde à bénéficier des tendances actuelles des technologies d'IA. Le résultats de leurs travaux ont été publiés dans des revues internationales.

Le nouveau système basé sur l'IA que les scientifiques sont en train de créer répond aux limitations rencontrées par les PNL lors du traitement de langues autres que l'anglais. Le problème s'aggrave avec des langues comme l'arabe, dont l'écriture de droite à gauche et les signes diacritiques, que les ordinateurs ne parviennent normalement pas à reconnaître, s'écartent énormément des langues basées sur l'alphabet latin.

Pour résoudre ce problème, le Dr Ashraf Elnagar, professeur d'informatique à l'Université de Sharjah aux Émirats arabes unis, a dirigé une équipe d'universitaires pour développer une série d'outils informatiques qui aideront les programmeurs à identifier non seulement les L'arabe mais ses divers textes dialectaux.

"La réussite du projet a le potentiel d'être largement adopté par le grand public, car il offre de nombreux avantages et améliorations à diverses applications et services linguistiques basés sur l'IA", déclare le Dr Elnagar. "Il a le potentiel de répondre à un large éventail d'utilisateurs et d'industries, en favorisant une communication, une accessibilité et une localisation plus efficaces."

En élaborant sur le système, le Dr Elnagar affirme qu'une fois lancé, il améliorera les performances et l'expérience utilisateur d'applications telles que la traduction automatique, l'analyse des sentiments et la reconnaissance vocale pour identifier avec précision non seulement l'arabe standard mais aussi ses nombreux dialectes, contribuant ainsi à la préservation culturelle. , l’accessibilité et une communication interculturelle plus efficace.

Améliorer le statut de la langue arabe avec l'aide de l'IA est devenu une question urgente dans les pays arabophones du Moyen-Orient où les utilisateurs avertis en informatique ont commencé à s'appuyer sur ChatGPT et d'autres applications basées sur l'IA pour générer rapidement des informations, exécuter des tâches d'écriture et améliorer d'autres compétences linguistiques.

Le Dr Elnagar affirme que le projet s'appuie sur la recherche d'étudiants du premier cycle et des cycles supérieurs. Le projet, ancré dans le Département d'informatique de l'Université de Sharjah, met en valeur les talents et le dévouement remarquables de nos étudiants. Il s'agissait au départ d'un projet de niveau supérieur mené par des étudiants de premier cycle », note le Dr Elnagar.

"Plus tard, un autre étudiant a développé [the] travail, l'utilisant comme base pour sa thèse, en mettant l'accent sur l'analyse de données textuelles. Le projet est sur le point de plonger dans le domaine de l’analyse de fichiers audio. Nous sommes extrêmement fiers de nos étudiants formés en interne qui ont entièrement développé ce projet important et impactant.

Les développeurs de différentes langues n’ont pas tardé à profiter de cette vague d’intérêt et il existe actuellement de nombreuses applications personnalisées pour leurs locuteurs. Le système du professeur Elnagar comblera une lacune qui manque cruellement en ajoutant l'arabe, la sixième langue la plus parlée au monde, comme système d'exploitation aux applications des chatbots AI I.

L'intérêt des développeurs pour rendre les outils d'IA liés à la PNL utiles au traitement de la langue arabe et de ses dialectes est intense. Cependant, le Dr affirme que le système de son équipe est différent.

« Ce qui distingue notre système des autres modèles de langue arabe d'IA est son orientation spécialisée sur la détection et le traitement des dialectes arabes. Alors que de nombreux modèles peuvent donner la priorité à l'arabe standard moderne ou aux dialectes couramment parlés, notre système englobe une gamme plus large de variations dialectales.

"Développée par nos étudiants formés en interne, la technologie derrière notre système intègre des méthodologies de pointe et des techniques d'apprentissage en profondeur. De plus, l'initiative visant à étendre ses fonctionnalités du texte aux signaux audio le distingue encore davantage, offrant une approche multimodale pour comprendre et traiter la langue arabe.

L’équipe a utilisé un ensemble de données dialectales vastes, diversifiées et sans biais en fusionnant plusieurs ensembles de données distincts. Ils ont ensuite formé divers modèles d'apprentissage classique et profond, y compris des Transformers de pointe, contextualisant des modèles d'intégration tels que BERT, pour une classification par région et par pays.

Ces outils peuvent « améliorer les performances des chatbots, ce qui peut être obtenu en identifiant et en comprenant avec précision divers dialectes arabes pour permettre aux chatbots de fournir des réponses plus personnalisées et pertinentes », explique le professeur Elnagar.

Les outils peuvent même être adaptés à des régions et des cultures spécifiques du monde arabophone. "Cela permet aux entreprises et aux services publics de mieux répondre à leur public cible, en garantissant que les informations et les services fournis sont pertinents au niveau local et faciles à comprendre", ajoute le professeur Elnagar.

Une traduction plus précise et plus efficace depuis et vers l'arabe fait partie des résultats potentiels du projet, car le système est destiné à fournir "une meilleure compréhension des dialectes arabes, [help] systèmes de traduction automatique [to] pour fournir des traductions plus précises, facilitant une communication plus fluide entre les locuteurs de différents dialectes ou langues.

Les entreprises et les organisations font partie des bénéficiaires, car le nouveau système basé sur l'IA les aidera à utiliser des outils d'analyse des sentiments sensibles au dialecte pour mieux comprendre les opinions et les émotions de leur public cible. "Cela peut les aider à adapter leurs stratégies de marketing, leurs produits et leurs services pour répondre aux besoins et préférences spécifiques de différentes régions ou pays", a déclaré le professeur Elnagar.

Lorsqu'on lui a demandé si les parties prenantes externes étaient intéressées par les recherches que lui et son équipe menaient, le professeur Elnagar a répondu : « Le projet a suscité un intérêt extrascolaire important, notamment de la part de grandes sociétés technologiques comme IBM et Microsoft. De plus, Sheraa, une organisation dédiée à l'autonomisation et soutenant les nouveaux entrepreneurs à Sharjah, a montré un vif intérêt pour le projet.

« Des représentants de Sheraa ont engagé des discussions concernant la possibilité de financer le développement d'un produit commercial basé sur les résultats du projet. Ce niveau d'attention de la part des géants de la technologie et des entités de soutien aux entreprises indique le potentiel du projet non seulement en tant qu'initiative de recherche, mais également en tant que une solution commerciale viable qui pourrait avoir de larges applications sur le marché. »

Les outils d’IA sur lesquels travaillent les scientifiques peuvent également garantir une plus grande accessibilité aux personnes handicapées. "Les systèmes de reconnaissance vocale adaptés à des dialectes spécifiques permettront des services de reconnaissance et de transcription de commandes vocales plus précis pour les personnes handicapées ou celles qui préfèrent la communication vocale", a déclaré le professeur Elnagar.

Le projet n'a pas été sans difficultés, mais celles-ci ont été relevées avec succès, note le professeur. Il a évoqué le problème du manque d'orthographe standardisée, des ressources limitées et des données étiquetées, ainsi que du large éventail de variations dialectales à travers les régions et cultures arabophones.