Mistral Shieldstral 1.0 3B リリース

Shieldstral 1.0 3B: ポリシー適応型のマルチモーダル安全性分類器

Mistral AIは、マルチモーダルなコンテンツモデレーション用に設計された30億パラメータのオープンウェイトモデルであるShieldstral 1.0 3Bをリリースしました。重みに固定された有害カテゴリの分類体系を使用する従来のガードレールモデルとは異なり、Shieldstralはモデレーションをバイナリの質問回答タスクとして扱います。これにより、開発者は再学習の必要なく、推論時に自然言語の質問を使用して安全性ポリシーを定義できます。

バイナリ質問回答タスクとしてのモデレーション

Shieldstralは、コンテンツモデレーションをバイナリの質問回答タスクとして構成することで動作します。このアプローチにより、モデルは非常に柔軟であり、「安全」なコンテンツの定義が異なるさまざまなデプロイメントコンテキストに適応できます。

各リクエストは、以下の3つのコンポーネントで構成されます：

<Instruct>: 評価コンテキスト、希望する厳格さ、および何が安全でないコンテンツを構成するかについてのオプションの定義。
<Query>: 単一のyes/noの質問（例：「このコンテンツは身体的暴力を助長しますか？」）。
<Document>: 判断対象となるコンテンツ。プロンプト、レスポンス、プロンプトとレスポンスのペア、またはオプションのテキストを伴う画像。

推論時、モデルはyesとnoのロジットを分析し、それらをソフトマックス正規化して連続的な安全性スコアを生成します。この定式化により、プロンプトの分類、レスポンスのモデレーション、拒否の検出、および毒性の検出が単一のインターフェースに統合されます。

主要な技術的ハイライト

Shieldstralは、そのサイズに対して効率的かつ高性能になるよう設計されており、最大でその7倍のサイズのオープンガードモデルの性能に匹敵、あるいはそれを上回ります。

パフォーマンスと効率

リソース要件: 3Bモデルは、単一の16GB GPUで実行できるほど十分に小さいです。
較正済み安全性スコア: 離散的なラベルではなく、モデルは確率を返します。これにより、ユーザーは独自のしきい値を設定したり、信頼度によって結果をランク付けしたりできます。
マルチモーダル機能: 単一のインターフェースで、テキスト、画像、およびテキストと画像の組み合わせたコンテンツを処理できます。

学習手法

少数のパラメータ数で高いパフォーマンスを達成するために、Mistralはデータの品質と多様性に焦点を当てました：

不均一なデータの統合: Mistralは、分類体系の異なる多様な公開安全性データセットを、標準化されたinstruction-query-document形式に変換しました。彼らは、特定のフレーズに過学習しないように、instructionとqueryの言い回しを変化させました。
識別能力の学習: モデルが単にラベルを記憶するのを防ぐため、Mistralは対照的なペア（特定のポリシーには違反するが、同様の他のポリシーには違反しないように設計された、安全なテキストの書き換え）を使用しました。これにより、モデルは特定のポリシーの正確な境界線を推論する能力を学習します。
視覚的安全性への接地（Visual Safety Grounding）: 不安全な画像はテキストよりも合成が難しいため、Mistralは限られたモデレーションデータセットを一般的な画像データセット（高品質なネガティブとして）で補完し、vision-language rerankerを使用してハルシネーションや誤ラベル付けされたデータを削減しました。
モデル・マージング: 最終的なモデルは、公開データで較正されたチェックポイント、ポリシーの識別能力に焦点を当てたチェックポイント、およびベースのinstructモデルを、SLERP (Spherical Linear Interpolation) を用いてマージングすることで作成されました。

コミュニティの洞察と反論

技術的なアプローチは効率性と柔軟性の面で称賛されていますが、コミュニティの議論では、このようなモデルのデプロイメントにおけるいくつかの実用的な懸念事項が強調されています。

柔軟性 vs. 信頼性

一部のユーザーは、モデルが真に任意のルールセットを扱えるのか、あるいは学習に使用されたデータセットの「既定の道徳」に限定されているのではないかという懐疑的な見見解を示しています。あるユーザーは次のように述べています：

"I would be curious if this can do moderation with an arbitrary ruleset... Is it just 'we hate sex'/'we don't hate sex' 'We hate violence'/'we don't hate violence' or is it truly as flexible as claimed?"

説明可能性の欠如

モデルは論理的な説明ではなくバイナリの確率を返すため、一部の開発者は、ユーザーがなぜコンテンツがフラグを立てられたのかを知る必要がある場合に、プロダクション環境での有用性が制限されると主張しています。

"The fact that it doesn’t explain its reasoning at all... makes me question the utility of this model. Let’s say you deploy it in production and a user comes back and says 'Why is this prompt considered harmful?' You have no way to provide a concrete reason to the user."

ニュアンスのあるテキストにおける偽陽性

コミュニティメンバーによる初期テストでは、モデルがニュアンスのあるテキストや歴史的なテキストを扱うのが苦手である可能性が示唆されています。ヴォルテールによる Treatise on Tolerance の第1章が、保護されたグループに対する暴力を助長するとしてフラグを立てられたとあるユーザーが報告しています。

利用可能性

Shieldstral 1.0 3BはApache 2.0 licenseの下でリリースされており、Hugging Faceでダウンロード可能です。