Mistral Shieldstral 1.0 3B 发布

Shieldstral 1.0 3B：一种策略自适应的多模态安全分类器

Mistral AI 发布了 Shieldstral 1.0 3B，这是一个拥有 30 亿参数的开源权重模型，专为多模态内容审核而设计。与传统的将固定伤害类别分类法固化在权重中的护栏模型不同，Shieldstral 将审核视为一个二元问答任务，允许开发者在推理时使用自然语言问题来定义安全策略，而无需重新训练。

将审核视为二元问答任务

Shieldstral 通过将内容审核构建为一个二元问答任务来运行。这种方法使模型具有高度的灵活性，能够适应不同的部署场景，因为“安全”内容的定义可能会有所不同。

每次向模型发送的请求包含三个部分：

<Instruct>：评估上下文、期望的严格程度，以及关于什么构成不安全内容的（可选）定义。
<Query>：一个简单的“是/否”问题（例如，“此内容是否宣扬肢体暴力？”）。
<Document>：被评判的内容，可以是提示词（prompt）、响应、提示词-响应对，或者是带有可选附随文本的图像。

在推理时，模型分析 yes 和 no 的 logits，并对其进行 softmax 归一化以产生连续的安全评分。这种公式将提示词分类、响应审核、拒绝检测和毒性检测统一到了一个接口中。

核心技术亮点

Shieldstral 的设计目标是相对于其规模而言具有高效且高性能的特点，其性能可以媲美甚至超过其规模大至七倍的开源护栏模型。

性能与效率

资源需求：3B 模型足够小，可以在单块 16GB GPU 上运行。
校准安全评分：模型返回的是概率而非离散标签，允许用户设置自己的阈值或按置信度对结果进行排序。
多模态能力：单个接口即可处理文本、图像以及文本-图像结合的内容。

训练方法论

为了在较小的参数量下实现高性能，Mistral 专注于数据的质量和多样性：

统一异构数据：Mistral 将具有不同分类法的各种公共安全数据集转换为标准化的“指令-查询-文档”格式。他们改变了指令和查询的措辞，以防止模型对特定表述产生过拟合。
教授辨别能力：为了防止模型仅仅是死记硬背标签，Mistral 使用了对比对（contrastive pairs）——即经过工程化处理的改写文本，这些文本旨在违反某项特定策略，但不违反类似的策略。这训练了模型对给定策略精确边界的推理能力。
视觉安全落地：由于不安全图像比文本更难合成，Mistral 使用通用图像数据集（作为高质量负样本）来补充有限的审核数据集，并使用视觉-语言重排序器（vision-language reranker）来减少幻觉和错误标记的数据。
模型合并：最终的模型是通过使用 SLERP（球面线性插值）将一个在公共数据上校准的检查点、一个专注于策略辨别的检查点以及基础指令模型合并而成的。

社区见解与反方观点

虽然其技术方法因高效和灵活性而受到赞赏，但社区讨论也强调了部署此类模型时的一些实际担忧。

灵活性 vs. 可靠性

一些用户对模型是否能真正处理任意规则集，还是仅限于其训练数据集中的“预设道德”表示怀疑。一位用户指出：

"I would be curious if this can do moderation with an arbitrary ruleset... Is it just 'we hate sex'/'we don't hate sex' 'We hate violence'/'we don't hate violence' or is it truly as flexible as claimed?"

缺乏可解释性

由于模型返回的是二元概率而非推理解释，一些开发者认为这限制了它在生产环境中的效用，因为用户可能会要求知道为什么他们的内容被标记。

"The fact that it doesn’t explain its reasoning at all... makes me question the utility of this model. Let’s say you deploy it in production and a user comes back and says 'Why is this prompt considered harmful?' You have no way to provide a concrete reason to the user."

细微文本中的误报

社区成员的早期测试表明，该模型可能在处理微妙或历史文本时遇到困难。一位用户报告称，该模型将伏尔泰的《论宽容》第一章标记为宣扬针对受保护群体的暴力。

获取方式

Shieldstral 1.0 3B 根据 Apache 2.0 许可证 发布，可在 Hugging Face 上下载。