Un programme de recherche pour évaluer les impacts économiques des modèles de génération de code
Un programme de recherche pour évaluer les impacts économiques des modèles de génération de code

OpenAI développe un programme de recherche pour évaluer les impacts économiques des modèles de génération de code et invite la collaboration avec des chercheurs externes. Les progrès rapides des capacités des grands modèles de langage (LLM) formés sur le code ont rendu de plus en plus important l'étude de leurs impacts économiques sur les individus, les entreprises et la société. Il a été démontré que Codex - un LLM développé par OpenAI en affinant GPT-3 sur des milliards de lignes de code publiquement disponibles à partir de GitHub - génère un code fonctionnellement correct 28,8 % du temps sur un échantillon de problèmes d'évaluation (Chen et al. 2021 ). Cela peut avoir des implications importantes pour l'avenir du codage et l'économie des industries qui en dépendent. Dans ce document, nous présentons un programme de recherche pour évaluer les effets du Codex sur les facteurs économiques intéressant les décideurs, les entreprises et le public. Nous plaidons en faveur de ce programme de recherche en soulignant l'applicabilité potentiellement large des modèles de génération de code au développement de logiciels, le potentiel pour d'autres LLM de créer un impact social et économique significatif à mesure que les capacités du modèle progressent, et la valeur de l'utilisation du Codex pour générer des preuves et établir méthodologies pouvant être applicables à la recherche sur les impacts économiques des modèles futurs. Nous proposons que la recherche universitaire et politique se concentre sur l'étude des modèles de génération de code et d'autres LLM afin que les preuves de leurs impacts économiques puissent être utilisées pour éclairer la prise de décision dans trois domaines clés : la politique de déploiement, la conception du système d'IA et la politique publique. Pour aider à guider cette recherche, nous décrivons six domaines de résultats prioritaires dans le domaine des impacts économiques que nous avons l'intention d'utiliser le Codex pour étudier : productivité, emploi, développement des compétences, concurrence interentreprises, prix à la consommation et inégalités économiques. Pour chaque domaine, nous discutons brièvement de la littérature antérieure sur les impacts de l'intelligence artificielle sur chacun de ces résultats, décrivons les questions que nous pensons être des éléments clés pour les trois domaines de prise de décision mentionnés ci-dessus, et fournissons des exemples de recherche qui pourraient être menées avec Manuscrit. Afin de catalyser les travaux qui s'appuient sur ce programme de recherche initial, nous annonçons un Appel à manifestation d'intérêt des chercheurs externes pour collaborer avec les chercheurs et les clients d'OpenAI afin de mieux mesurer les impacts économiques des modèles de génération de code et d'autres LLM.




Source

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Scroll to Top