Pour aider les développeurs à protéger leurs applications contre d'éventuelles utilisations abusives, nous introduisons le plus rapide et le plus précis Point final de modération. Ce point de terminaison offre aux développeurs de l'API OpenAI un accès gratuit à Basé sur GPT classificateurs qui détectent le contenu indésirable - une instance de en utilisant des systèmes d'IA pour aider à la supervision humaine de ces systèmes. Nous avons également publié à la fois un document technique décrivant notre méthodologie et les base de données utilisé pour l'évaluation.

Lorsqu'il reçoit une entrée de texte, le point de terminaison Modération évalue si le contenu est sexuel, haineux, violent ou incite à l'automutilation - contenu interdit par nos politique de contenu. Le point de terminaison a été formé pour être rapide, précis et performant dans une gamme d'applications. Surtout, cela réduit les risques que les produits « disent » la mauvaise chose, même lorsqu'ils sont déployés à grande échelle auprès des utilisateurs. En conséquence, l'IA peut débloquer des avantages dans des contextes sensibles, comme l'éducation, où elle ne pourrait pas être utilisée autrement en toute confiance.

Le point de terminaison de modération aide les développeurs à bénéficier de nos investissements en infrastructure. Plutôt que de créer et de maintenir leurs propres classificateurs - un processus approfondi, comme nous le documentons dans notre papier— ils peuvent à la place accéder à des classificateurs précis via un seul appel d'API.

Dans le cadre d'OpenAI engagement à rendre l'écosystème de l'IA plus sûr, nous fournissons ce point de terminaison pour permettre la modération gratuite de tout le contenu généré par l'API OpenAI. Par exemple, Dans le monde, un client de l'API OpenAI, utilise le point de terminaison Modération pour aider ses personnages virtuels basés sur l'IA à rester adaptés à leur public. En tirant parti de la technologie d'OpenAI, Inworld peut se concentrer sur son produit principal : créer des personnages mémorables. Nous ne prenons actuellement pas en charge la surveillance du trafic tiers.

Commencez avec le point de terminaison Modération en vérifiant La documentation. Plus de détails sur le processus de formation et les performances du modèle sont disponibles dans notre papier. Nous avons également publié un ensemble de données d'évaluationprésentant des données Common Crawl classées dans ces catégories, qui, nous l'espérons, stimuleront les recherches dans ce domaine.