Mistral Shieldstral 1.0 3B 發佈

Shieldstral 1.0 3B：一種政策適應型多模態安全分類器

Mistral AI 已發佈 Shieldstral 1.0 3B，這是一個擁有 30 億參數的開源權重模型，專為多模態內容審核而設計。與使用將固定危害分類法嵌入其權重中的傳統護欄模型不同，Shieldstral 將審核視為一個二元問答任務，允許開發者在推理時使用自然語言問題來定義安全政策，而無需重新訓練。

將審核視為二元問答任務

Shieldstral 透過將內容審核框架化為一個二元問答任務來運作。這種方法允許模型具有高度的靈活性，並能適應不同的部署場景，在這些場景中，「安全」內容的定義可能會有所不同。

每個請求模型的操作包含三個部分：

<Instruct>：評估上下文、所需的嚴格程度，以及關於什麼構成不安全內容的可選定義。
<Query>：一個單一的是/否問題（例如：「此內容是否促進了肢體暴力？」）。
<Document>：被審核的內容，可以是一個提示詞、一個回應、一個提示詞-回應對，或是一張帶有可選隨附文字的圖片。

在推理時，模型會分析 yes 和 no 的 logits，並進行 softmax-normalization 以產生一個連續的安全分數。這種公式化方法將提示詞分類、回應審核、拒絕檢測和毒性檢測統一到一個單一介面中。

關鍵技術亮點

Shieldstral 的設計旨在使其在相對於其規模而言具有高效能與高性能，其表現可以媲美或超過其規模高達七倍的開源護欄模型。

效能與效率

資源需求：3B 模型足夠小，可以在單個 16GB GPU 上運行。
校準的安全分數：模型返回的是機率而非離散標籤，允許用戶使用者的設定自己的閾值或按信心度進行排序結果。
多模態能力：單一介面可以處理文字、圖片和結合文字與圖片的內容。

訓練方法論

為了在較小的參數數量下實現高性能，Mistral 專注於數據品質與多樣性：

統一異質數據：Mistral 將具有不同分類法的多樣化公共安全數據集轉換為標準化的 instruction-query-document 格式。他們改變了指令和查詢的措辭，以防止模型對特定措辭進行過擬合。
教導辨別力：為了防止模型僅僅是記憶標籤，Mistral 使用了對比對（contrastive pairs）——即對安全文本進行改寫，使其違反某個特定政策但又不違反另一個相似的政策。這能訓練模型對特定政策的精確界限進行推理。
視覺安全基礎：由於不安全圖片比文字更難合成，Mistral 使用通用圖片數據集（作為高品質的負樣本）來補充有限的審核數據集，並使用 vision-language reranker 來減少幻覺和標籤錯誤的數據。
模型合併：最終模型是透過使用 SLERP (Spherical Linear Interpolation) 將在公共數據上校準的檢查點、專注於政策辨別力的檢查點以及基礎指令模型進行合併而成的。

社群群眾的見解與反對意見

雖然技術方法因其高效能與靈活性而受到讚賞，但社群討論也強調了關於此類模型部署的幾個實際問題。

靈活性 vs. 可靠性

一些用戶對模型是否能真正處理任意規則集，或者它是否僅限於其訓練數據集中的「預製道德觀」表示懷疑。一位用戶指出：

"I would be curious if this can do moderation with an arbitrary ruleset... Is it just 'we hate sex'/'we don't hate sex' 'We hate violence'/'we don't hate violence' or is it truly as flexible as claimed?"

缺乏可解釋性

由於模型返回的是二元機率而非推理的解釋，一些開發者認為這限制了其在生產環境中的應用，在這些環境中，用戶可能會要求知道為什麼內容被標記為有害。

"The fact that it doesn’t explain its reasoning at all... makes me question the utility of this model. Let’s say you deploy it in production and a user comes back and says 'Why is this prompt considered harmful?' You have no way to provide a concrete reason to the user."

細微文字中的偽陽性

社群成員的早期測試表明，模型可能在處理細微或歷史文本時遇到困難。一位用戶報告稱，該模型將 Voltaire 的 Treatise on Tolerance 的第一章標記為促進對受保護群體的暴力。

可用性

Shieldstral 1.0 3B 是根據 Apache 2.0 license 發佈的，並且可以在 Hugging Face 上下載。