Les méta-chercheurs ont dévoilé Sans coutureM4Tun modèle multilingue et multitâche pionnier qui facilite la traduction et la transcription transparentes de la parole et du texte.
Internet, les appareils mobiles, les réseaux sociaux et les plateformes de communication ont marqué le début d’une ère où l’accès au contenu multilingue a atteint des niveaux sans précédent. SeamlessM4T vise à concrétiser la vision d’une communication et d’une compréhension transparentes entre les langues.
Bénéficiant d’une gamme impressionnante de fonctionnalités, SeamlessM4T englobe :
- Reconnaissance vocale automatique pour près de 100 langues
- Traduction parole-texte prenant en charge près de 100 langues d'entrée et de sortie
- Traduction parole-parole pour près de 100 langues d'entrée et 35 langues de sortie (y compris l'anglais)
- Traduction texte à texte pour près de 100 langues
- Traduction de synthèse vocale pour près de 100 langues d'entrée et 35 langues de sortie (y compris l'anglais)
SeamlessM4T est mis à la disposition des chercheurs et des développeurs sous le CC BY-NC 4.0 licence, incarnant une philosophie de science ouverte.
De plus, les métadonnées de SeamlessAlign – le plus grand ensemble de données de traduction multimodale jamais compilé, composé de 270 000 heures d’alignements de paroles et de textes – ont été publiées. Cela facilite l’exploration de données indépendante et la poursuite des recherches au sein de la communauté.
Le développement de SeamlessM4T répond à un défi de longue date dans le domaine de la communication multilingue. Contrairement aux systèmes précédents, qui étaient limités par une couverture linguistique limitée et le recours à des sous-systèmes distincts, SeamlessM4T présente un modèle unifié capable de gérer de manière globale les tâches de traduction parole-parole et parole-texte.
Meta s'est appuyé sur des innovations précédentes, telles que Aucune langue laissée de côté (NLLB) et Traducteur vocal universel – pour créer ce modèle multilingue unifié. Avec ses performances impressionnantes sur les langues à faibles ressources et ses performances constantes sur les langues à ressources élevées, SeamlessM4T a le potentiel de révolutionner la communication multilingue.
L'architecture du modèle repose sur le modèle multitâche UnY, qui excelle dans la génération de textes et de discours traduits.
UnitY prend en charge diverses tâches de traduction, notamment la reconnaissance vocale automatique, la traduction texte-texte et la traduction parole-parole, le tout à partir d'un modèle unique. Pour former ce modèle polyvalent, Meta a utilisé des techniques avancées telles que des encodeurs de texte et de parole, des encodeurs auto-supervisés et des processus de décodage sophistiqués.
Le résultat est un modèle qui surpasse les leaders précédents :
Pour garantir l'exactitude et la sécurité du système, Meta adhère à un cadre d'IA responsable.
Meta affirme que des recherches approfondies sur la toxicité et l'atténuation des biais ont été menées, ce qui a abouti à un modèle plus conscient et plus réactif aux problèmes potentiels. La sortie publique du modèle SeamlessM4T encourage la recherche et le développement collaboratifs dans la communauté de l'IA.
Alors que le monde devient de plus en plus connecté, la capacité de SeamlessM4T à transcender les barrières linguistiques témoigne de la puissance de l’innovation basée sur l’IA. Cette étape nous rapproche d’un avenir où la communication ne connaît aucune limite linguistique, permettant ainsi un monde où les gens peuvent vraiment se comprendre quelle que soit la langue.
Une démo de SeamlessM4T peut être trouvée ici. Le code, le modèle et les données peuvent être téléchargés sur GitHub.
(Crédit d'image : Méta IA)
Voir également: Une étude met en évidence l’impact de la démographie sur la formation en IA
Vous voulez en savoir plus sur l'IA et le Big Data auprès des leaders de l'industrie ? Vérifier Salon de l'IA et du Big Data se déroulant à Amsterdam, en Californie et à Londres. L'événement complet est co-localisé avec Semaine de la transformation numérique.
Découvrez d'autres événements et webinaires technologiques d'entreprise à venir propulsés par TechForge ici.
Source