OpenAI Moderation API アップデート：omni-moderation-latest モデルリリース

OpenAI は omni-moderation-latest を導入しました。これは GPT-4o に基づく新しいモデレーションモデルで、開発者が有害なテキストや画像をより正確に検出できるようにします。このアップデートにより、Moderation API の機能がマルチモーダル分類を含むように拡張され、マルチリンガルサポートが大幅に改善されました。

マルチモーダル有害分類

omni-moderation-latest モデルは、画像単体またはテキストと組み合わせた場合に有害なコンテンツが含まれているかを評価できます。現在、マルチモーダルサポートは以下のカテゴリで利用可能です：

  • Violence: violence と violence/graphic
  • Self-harm: self-harm、self-harm/intent、self-harm/instruction
  • Sexual: sexual（sexual/minors を除く）

OpenAI は将来的にマルチモーダルサポートを追加のカテゴリへ拡張することに取り組んでいます。

拡張されたテキストのみの有害カテゴリ

新しいモデルは、有害な指示の検出を改善するために、2つの新しいテキストのみのカテゴリを導入します：

  • illicit: 不正行為の方法に関する指示や助言を検出します（例："万引きの方法"）。
  • illicit/violent: 特に暴力を伴う不正行為の指示を検出します。

マルチリンガル性能向上

omni-moderation-latest モデルは、前モデルと比較して英語以外のコンテンツに対する精度が大幅に向上していることを示しています。40言語にわたるテストでは、テスト対象言語の98%で改善が見られ、内部のマルチリンガル評価では42%の向上が確認されました。

主な性能向上は以下の通りです：

  • Low-resource languages: クメール語やスワティ語などの低リソース言語で70%の改善。
  • Significant gains: テルグ語（6.4倍）、ベンガル語（5.6倍）、マラーティー語（4.6倍）で最大の改善が観測されました。
  • Cross-lingual parity: スペイン語、ドイツ語、イタリア語、ポーランド語、ベトナム語、ポルトガル語、フランス語、中国語、インドネシア語、英語における性能が、前モデルの英語のみの性能を上回っています。

校正された確率スコア

開発者がモデレーションの判断をより細かく制御できるように、新しいモデルは校正されたスコアを提供します。これらのスコアは、コンテンツが関連ポリシーに違反する確率をより正確に表し、将来のモデレーションモデルのバージョン間で一貫性を保つよう設計されています。

利用可能性と統合

omni-moderation-latest モデルは、Moderation API を通じてすべての開発者が無料で利用でき、使用量に応じたレートリミットが設定されています。Grammarly や ElevenLabs などの企業は、すでに Moderation API を活用して、AI生成出力やコミュニケーション支援に対する安全ガードレールを実装しています。

Sources