Notre mission est de veiller à ce que l'intelligence artificielle générale - des systèmes d'IA qui sont généralement plus intelligents que les humains -profite à toute l'humanité.

Si l'AGI est créée avec succès, cette technologie pourrait nous aider à élever l'humanité en augmentant l'abondance, en dynamisant l'économie mondiale et en aidant à la découverte de nouvelles connaissances scientifiques qui modifient les limites du possible.

AGI a le potentiel de donner à chacun de nouvelles capacités incroyables ; nous pouvons imaginer un monde où nous avons tous accès à de l'aide pour presque toutes les tâches cognitives, fournissant un grand multiplicateur de force pour l'ingéniosité et la créativité humaines.

D'autre part, l'AGI comporterait également un risque sérieux d'utilisation abusive, d'accidents dramatiques et de perturbations sociétales. Parce que l'avantage de l'IAG est si grand, nous ne pensons pas qu'il soit possible ou souhaitable pour la société d'arrêter son développement pour toujours ; au lieu de cela, la société et les développeurs d'AGI doivent trouver comment faire les choses correctement.

Bien que nous ne puissions pas prédire exactement ce qui va se passer, et bien sûr nos progrès actuels pourraient se heurter à un mur, nous pouvons articuler les principes qui nous tiennent le plus à cœur :

1. Nous voulons que l'AGI permette à l'humanité de s'épanouir au maximum dans l'univers. Nous ne nous attendons pas à ce que l'avenir soit une utopie sans réserve, mais nous voulons maximiser le bien et minimiser le mal, et qu'AGI soit un amplificateur de l'humanité.
2. Nous voulons que les avantages, l'accès et la gouvernance de l'IAG soient largement et équitablement partagés.
3. Nous voulons gérer avec succès des risques massifs. Face à ces risques, nous reconnaissons que ce qui semble juste en théorie se déroule souvent plus étrangement que prévu dans la pratique. Nous pensons que nous devons apprendre et nous adapter en permanence en déployant des versions moins puissantes de la technologie afin de minimiser les scénarios « one shot to get it right ».

Le court terme

Il y a plusieurs choses que nous pensons qu'il est important de faire maintenant pour se préparer à l'AGI.

Tout d'abord, à mesure que nous créons des systèmes de plus en plus puissants, nous voulons les déployer et acquérir de l'expérience avec leur fonctionnement dans le monde réel. Nous pensons que c'est la meilleure façon de gérer soigneusement l'existence d'AGI - une transition progressive vers un monde avec AGI vaut mieux qu'une transition soudaine. Nous nous attendons à ce qu'une IA puissante accélère le rythme des progrès dans le monde, et nous pensons qu'il est préférable de s'y adapter progressivement.

Une transition progressive donne aux gens, aux décideurs et aux institutions le temps de comprendre ce qui se passe, d'expérimenter personnellement les avantages et les inconvénients de ces systèmes, d'adapter notre économie et de mettre en place une réglementation. Cela permet également à la société et à l'IA de co-évoluer, et aux gens de déterminer collectivement ce qu'ils veulent alors que les enjeux sont relativement faibles.

Nous pensons actuellement que la meilleure façon de relever avec succès les défis du déploiement de l'IA est d'avoir une boucle de rétroaction étroite d'apprentissage rapide et d'itérations minutieuses. La société sera confrontée à des questions majeures sur ce que les systèmes d'IA sont autorisés à faire, comment lutter contre les préjugés, comment gérer le déplacement d'emplois, etc. Les décisions optimales dépendront de la voie empruntée par la technologie et, comme dans tout nouveau domaine, la plupart des prédictions d'experts se sont jusqu'à présent erronées. Cela rend la planification dans le vide très difficile.

D'une manière générale, nous pensons qu'une plus grande utilisation de l'IA dans le monde mènera au bien, et nous voulons le promouvoir (en mettant des modèles dans notre API, en les open source, etc.). Nous croyons que l'accès démocratisé conduira également à des recherches plus nombreuses et de meilleure qualité, à un pouvoir décentralisé, à plus d'avantages et à un ensemble plus large de personnes apportant de nouvelles idées.

Au fur et à mesure que nos systèmes se rapprochent de l'AGI, nous devenons de plus en plus prudents dans la création et le déploiement de nos modèles. Nos décisions exigeront beaucoup plus de prudence que la société n'en applique habituellement aux nouvelles technologies, et plus de prudence que ne le souhaiteraient de nombreux utilisateurs. Certaines personnes dans le domaine de l'IA pensent que les risques de l'AGI (et des systèmes successeurs) sont fictifs ; nous serions ravis s'ils avaient raison, mais nous allons faire comme si ces risques étaient existentiel.

Au fur et à mesure que nos systèmes se rapprochent de l'AGI, nous devenons de plus en plus prudents dans la création et le déploiement de nos modèles.

À un moment donné, l'équilibre entre les avantages et les inconvénients des déploiements (tels que l'autonomisation des acteurs malveillants, la création de perturbations sociales et économiques et l'accélération d'une course dangereuse) pourrait changer, auquel cas nous modifierions considérablement nos plans de déploiement continu.

Deuxièmement, nous travaillons à la création de modèles de plus en plus alignés et orientables. Notre passage de modèles comme la première version de GPT-3 à InstruireGPT et ChatGPT en est un des premiers exemples.

En particulier, nous pensons qu'il est important que la société s'accorde sur des limites extrêmement larges quant à la manière dont l'IA peut être utilisée, mais qu'à l'intérieur de ces limites, les utilisateurs individuels ont beaucoup de pouvoir discrétionnaire. Notre espoir final est que les institutions du monde s'accordent sur ce que devraient être ces larges limites ; à plus court terme, nous prévoyons de mener des expériences pour des apports externes. Les institutions du monde devront être renforcées avec des capacités et une expérience supplémentaires pour être préparées à des décisions complexes concernant l'IAG.

Le "paramètre par défaut" de nos produits sera probablement assez limité, mais nous prévoyons de permettre aux utilisateurs de modifier facilement le comportement de l'IA qu'ils utilisent. Nous croyons en la capacité des individus à prendre leurs propres décisions et au pouvoir inhérent de la diversité des idées.

Nous devrons développer nouvelles techniques d'alignement à mesure que nos modèles deviennent plus puissants (et des tests pour comprendre quand nos techniques actuelles échouent). Notre plan à plus court terme est de utiliser l'IA pour aider les humains à évaluer les sorties de modèles plus complexes et surveiller des systèmes complexes, et à plus long terme d'utiliser l'IA pour nous aider à trouver de nouvelles idées pour de meilleures techniques d'alignement.

Surtout, nous pensons que nous devons souvent progresser ensemble sur la sécurité et les capacités de l'IA. C'est une fausse dichotomie d'en parler séparément ; ils sont corrélés de plusieurs façons. Notre meilleur travail de sécurité est venu du travail avec nos modèles les plus performants. Cela dit, il est important que le rapport entre les progrès en matière de sécurité et les progrès en matière de capacités augmente.

Troisièmement, nous espérons une conversation mondiale sur trois questions clés : comment gouverner ces systèmes, comment répartir équitablement les avantages qu'ils génèrent et comment partager équitablement l'accès.

En plus de ces trois domaines, nous avons tenté de mettre en place notre structure de manière à aligner nos incitations sur un bon résultat. Nous avons une clause de notre Charte d'aider d'autres organisations à faire progresser la sécurité au lieu de courir avec elles au stade avancé du développement de l'AGI. Nous avons un plafond sur les rendements que nos actionnaires peuvent gagner afin que nous ne soyons pas incités à tenter de capturer de la valeur sans limite et à risquer de déployer quelque chose de potentiellement catastrophiquement dangereux (et bien sûr comme un moyen de partager les bénéfices avec la société). Nous avons une organisation à but non lucratif qui nous gouverne et nous permet d'opérer pour le bien de l'humanité (et peut passer outre tout intérêt à but lucratif), notamment en nous permettant de faire des choses comme annuler nos obligations en matière d'actions envers les actionnaires si nécessaire pour la sécurité et parrainer l'UBI le plus complet au monde. expérience.

Nous avons tenté de mettre en place notre structure de manière à aligner nos incitations sur un bon résultat.

Nous pensons qu'il est important que des efforts comme le nôtre soient soumis à des audits indépendants avant de lancer de nouveaux systèmes ; nous en parlerons plus en détail plus tard cette année. À un moment donné, il peut être important d'obtenir un examen indépendant avant de commencer à former de futurs systèmes, et pour les efforts les plus avancés d'accepter de limiter le taux de croissance du calcul utilisé pour créer de nouveaux modèles. Nous pensons que les normes publiques concernant le moment où un effort AGI doit arrêter une exécution de formation, décider qu'un modèle peut être publié en toute sécurité ou retirer un modèle de l'utilisation en production sont importantes. Enfin, nous pensons qu'il est important que les principaux gouvernements du monde aient un aperçu des formations au-delà d'une certaine échelle.

Le long terme

Nous croyons que l'avenir de l'humanité devrait être déterminé par l'humanité et qu'il est important de partager des informations sur les progrès avec le public. Il devrait y avoir un examen minutieux de tous les efforts visant à construire l'IAG et une consultation publique pour les décisions majeures.

Le premier AGI ne sera qu'un point le long du continuum de l'intelligence. Nous pensons qu'il est probable que les progrès se poursuivront à partir de là, peut-être en maintenant le rythme de progrès que nous avons observé au cours de la dernière décennie pendant une longue période. Si cela est vrai, le monde pourrait devenir extrêmement différent de ce qu'il est aujourd'hui, et les risques pourraient être extraordinaires. Un AGI superintelligent mal aligné pourrait causer de graves dommages au monde ; un régime autocratique avec une avance décisive sur le super-espionnage pourrait le faire aussi.

L'IA qui peut accélérer la science est un cas particulier qui mérite réflexion et peut-être plus percutant que tout le reste. Il est possible qu'AGI suffisamment capable d'accélérer sa propre progression puisse provoquer des changements majeurs étonnamment rapidement (et même si la transition commence lentement, nous nous attendons à ce qu'elle se produise assez rapidement dans les étapes finales). Nous pensons qu'un décollage plus lent est plus facile à sécuriser, et la coordination entre les efforts de l'AGI pour ralentir à des moments critiques sera probablement importante (même dans un monde où nous n'avons pas besoin de le faire pour résoudre les problèmes d'alignement technique, ralentir peut être important de donner à la société suffisamment de temps pour s'adapter).

Réussir la transition vers un monde doté d'une superintelligence est peut-être le projet le plus important, le plus prometteur et le plus effrayant de l'histoire de l'humanité. Le succès est loin d'être garanti, et les enjeux (des inconvénients illimités et des avantages illimités) nous uniront tous, espérons-le.

Nous pouvons imaginer un monde dans lequel l'humanité s'épanouit à un degré qu'il est probablement impossible pour aucun d'entre nous de visualiser pleinement pour le moment. Nous espérons apporter au monde une AGI alignée avec un tel épanouissement.