Mistral Moderation API リリース

Mistral AI は、AI デプロイメントにシステムレベルのガードレールを提供するために設計されたコンテンツモデレーションツールである Mistral Moderation API をリリースしました。この API は、Le Chat のモデレーションサービスを支えるものと同じ技術であり、ユーザーが自身の特定のアプリケーションの安全性基準に合わせてカスタマイズできるようになりました。

LLM ベースの分類と機能

Mistral Moderation API は、テキスト入力を 9 つの異なるポリシーカテゴリに分類するようにトレーニングされた LLM 分類器を利用しています。分類に大規模言語モデル（LLM）を活用することで、Mistral AI は、従来の方法と比較して、よりスケーラブルで堅牢なモデレーションシステムを提供することを目指しています。

多言語サポート

このモデルはネイティブに多言語に対応しており、以下の言語で特定のトレーニングが行われています：

Arabic
Chinese
English
French
German
Italian
Japanese
Korean
Portuguese
Russian
Spanish

入力エンドポイント

好ましくないコンテンツは文脈に依存することが多いため、API は 2 つの異なるエンドポイントを提供します：

Raw Text Endpoint: 単独のテキスト入力を分析するため。
Conversational Content Endpoint: 会話の文脈内でのテキストを分析するため。この場合、モデルは会話の最後のメッセージを分類するようにトレーニングされています。

安全性ポリシーとガードレール

Moderation API は、モデル生成による危害、例えば、不適切なアドバイスの防止や個人を特定できる情報（PII）の保護を含めて対処します。ポリシー定義の完全なセットは、Mistral AI の技術ドキュメントで確認できます。

パフォーマンス指標

Mistral AI は、内部テストセットを使用して、さまざまなポリシーにわたる AUC PR（Precision-Recall Curve の下の面積）に基づいたパフォーマンスデータを提供しました。この指標は、定義された 9 つのポリシーカテゴリ全体における分類器の有効性を評価するために使用されます。