OpenAI モデレーションエンドポイントのリリース

OpenAI は、開発者がアプリケーション内の禁止コンテンツを検出・ブロックできるようにする GPT ベースの分類器を提供する無料の Moderation エンドポイントをリリースしました。

自動コンテンツ分類機能

Moderation エンドポイントはテキスト入力を分析し、OpenAI のコンテンツポリシーで禁止されているカテゴリに該当するかどうかを判断します。具体的には、テキストが以下のいずれかであるかを評価します。

  • 性的
  • 憎悪的
  • 暴力的
  • 自己傷害の助長

このエンドポイントは速度と精度を重視して設計されており、さまざまなアプリケーションで堅牢に動作し、スケールで展開した際に不適切な出力が生成されるリスクを低減します。この機能により、教育などのセンシティブな環境で、コンテンツの安全性に高い信頼性が求められる場面で AI を活用できるようになります。

開発者向け統合とアクセシビリティ

OpenAI は、すべての OpenAI API 生成コンテンツのモデレーション向けに Moderation エンドポイントを無料サービスとして提供しています。このインフラを提供することで、開発者は独自のカスタム分類器を構築・維持する必要がなくなります（同社はこれを大規模なプロセスと説明しています）。

統合の主な詳細は以下の通りです。

  • アクセス: 単一の API 呼び出しで利用可能です。
  • 範囲: 現在、OpenAI API が生成したコンテンツをサポートしています；サードパーティのトラフィックの監視はサポートされていません。
  • ユースケース: Inworld は OpenAI API の顧客であり、エンドポイントを利用して AI ベースのバーチャルキャラクターが対象のオーディエンスに適切であることを保証しています。

研究への貢献と透明性

AI 安全性エコシステム全体を支援するため、OpenAI はツールと共に以下のリソースを公開しています。

  • 技術論文: Moderation エンドポイントの開発に使用された手法を記述した文書です。
  • 評価データセット: Moderation カテゴリでラベル付けされた Common Crawl データを含むデータセットで、コンテンツ分類に関するさらなる研究を促進します。

Sources