Anthropic Fable: 过度热衷的安全分类器导致模型无法用于技术研究
Anthropic Fable: 过度热衷的安全分类器导致模型无法用于技术研究
Fable 的安全分类器触发了过多的误报
Anthropic 的 Fable 模型对于生物信息学、网络安全和计算机科学等领域的高级技术研究来说实际上是无法使用的,因为其安全分类器过于敏感。该模型经常将无害的技术查询标记为违反安全规定,拒绝回答或自动将会话降级到 Opus 4.8,即使提示词涉及开源软件或抽象数学。
软件工程与移植方面的失败
当主题涉及生物数据时,无论任务是否纯粹是技术性的,Fable 都会无法协助处理标准的软件开发任务。
在一个有记录的案例中,一名开发者试图将广泛使用的 RNA-seq 量化工具 salmon 从 C++ 移植到 Rust,发现 Fable 立即标记了该查询。尽管该软件是开源的,且该请求是一个标准的移植任务,但文档中的生物学术语触发了安全拒绝。该模型拒绝解释拒绝的原因,也拒绝提供关于如何重新组织提示词以避免过滤器的指导。
无法处理抽象数学问题
即使完全移除了生物和技术背景,Fable 的分类器仍可能在处理抽象数学查询时触发拒绝。
针对“网络演化的简约重构”(Parsimonious reconstruction of network evolution)——一个涉及根二叉树和奇偶性的图论问题——的研究被用于测试 Fable 的极限。结果显示出一种拒绝升级的模式:
- 上下文提示词: 最初引用原始生物学论文的请求被立即拒绝。
- 抽象化提示词: 一个剥离了生物学术语并转换为决策问题的版本也被拒绝。
- 纯数学提示词: 一个由 ChatGPT 重新组织、移除了任何可能被标记的术语(例如可能与网络安全相关的“blocking”)的版本,仍然遭遇了完全拒绝参与的局面。
对技术学科的广泛影响
用户报告表明,Fable 的过度敏感性延伸到了多个科学和技术领域:
- 医学物理学: 从业者报告称,几乎所有专业查询都被标记为“禁止”。
- 环境科学: 关于室内二氧化碳水平的简单问题被标记为与生物学相关,并被降级到 Opus。
- 临床研究: 创建用于计算 II 期和 III 期临床试验统计数据的简单应用程序的请求被降级到 Opus。
- 系统编程: 尝试为特定 GPU 硬件修补
vllm的尝试被拦截。
隐私与数据保留方面的担忧
Fable 安全系统的高误报率对数据隐私具有重大影响。根据 Anthropic 的隐私政策,输入和输出将被保留长达两年,而如果聊天被自动化系统标记,信任与安全分类评分将保留长达七年。
由于自动化分类器在非违规的技术内容上触发得如此频繁,用户的数据可能会被保留并可能被用于模型训练(以改进安全检测),即使他们没有违反任何使用政策。
社区观点
技术用户对这些护栏阻碍了合法的研究与开发表示了挫败感。一些用户注意到多个提供商之间存在一种趋势,即像 Gemini 这样的模型也会拒绝简单的安全审计任务。
"I've found in my current work on a security auditing harness and benchmarks, both Fable and Opus are useless... Gemini in Antigravity also refuses any security auditing task, even as simple as 'find security bugs'."
其他人建议,这些过度敏感的过滤器是当前对齐齐研究现状的一个症状,即定义通用道德框架的难度导致开发者实施了广泛且粗暴的拒绝列表。