Anthropic Fable: 過剰な安全分類器により技術研究においてモデルが使用不能に

Fableの安全分類器が過剰な誤検知を引き起こす

AnthropicのFableモデルは、安全分類器が過敏すぎるため、バイオインフォマティクス、サイバーセキュリティ、コンピュータサイエンスなどの分野における高度な技術研究において、事実上使用不可能です。このモデルは、無害な技術的クエリを頻繁に安全違反としてフラグ立てし、回答を拒否したり、セッションを自動的にOpus 4.8にダウングレードしたりします。プロンプトがオープンソースソフトウェアや抽象的な数学に関連するものであっても、同様のことが起こります。

ソフトウェアエンジニアリングと移植における失敗

Fableは、対象が生物学的データである場合、そのタスクが純粋に技術的なものであっても、標準的なソフトウェア開発タスクの支援に失敗します。

記録された事例の一つでは、広く使用されているRNA-seq定量化ツール salmon をC++からRustに書き換えようとした開発者が、Fableが即座にクエリをフラグ立てしたことを報告しています。ソフトウェアがオープンソースであり、リクエストが標準的な移植タスクであったにもかかわらず、ドキュメント内の生物学的用語が安全拒否のトリガーとなりました。モデルは、拒否の理由を説明したり、フィルターを回避するためにプロンプトをどのように言い換えるべきかについてのガイダンスを提供したりすることも拒否しました。

抽象的な数学的問題を処理する能力の欠如

生物学的および技術的な文脈が完全に排除されている場合でも、Fableの分類器は抽象的な数学的クエリに対して拒否を引き起こす可能性があります。

根付き二分木とパリティを含むグラフ理論の問題である「Parsimonious reconstruction of network evolution」の研究が、Fableの限界をテストするために使用されました。その結果、拒否がエスカレートしていくパターンが示されました：

1. Contextual Prompt: 元の生物学的論文を参照する初期のリクエストは、即座に拒否されました。
2. Abstracted Prompt: 生物学的用語を剥ぎ取り、決定問題に変換したバージョンも拒否されました。
3. Purely Mathematical Prompt: ChatGPTによって、フラグが立てられる可能性のある用語（「blocking」など、サイバーセキュリティに関連付けられる可能性があるもの）を排除するために言い換えられたバージョンでも、完全な拒否に遭いました。

技術分野全体への広範な影響

ユーザーの報告によると、Fableの過敏性は複数の科学および技術分野に及びます：

• Medical Physics: 実務家は、ほぼすべての専門的なクエリが「verboten（禁止）」としてフラグ立てされると報告しています。
• Environmental Science: 屋内の二酸化炭素レベルに関する単純な質問が、生物学に関連するものとしてフラグ立てされ、Opusにダウングレードされました。
• Clinical Research: 第II相および第III相臨床試験の統計を計算するための単純なアプリを作成するリクエストは、Opusにダウングレードされました。
• Systems Programming: 特定のGPUハードウェア向けに vllm をパッチする試みはブロックされました。

プライバシーとデータ保持に関する懸念

Fableの安全システムにおける高い誤検知率は、データプライバシーに重大な影響を及ぼします。Anthropicのプライバシーポリシーによれば、入力と出力は最大2年間保持され、チャットが自動システムによってフラグ立てされた場合、信頼と安全の分類スコアは最大7年間保持されます。

自動分類器が、違反していない技術的コンテンツに対して非常に頻繁にフラグを立てるため、ユーザーは、使用ポリシーに違反していない場合でも、データが保持され、潜在的にモデルのトレーニング（安全検知の向上）に使用される可能性があります。

コミュニティの視点

技術的なユーザーは、これらのガードレールが正当な研究開発を妨げているとして不満を表明しています。一部のユーザーは、複数のプロバイダーにおける傾向として、Geminiも単純なセキュリティ監査タスクを拒否することがあると指摘しています。

"I've found in my current work on a security auditing harness and benchmarks, both Fable and Opus are useless... Gemini in Antigravity also refuses any security auditing task, even as simple as 'find security bugs'."

他のユーザーは、これらの過剰に敏感なフィルターは、アライメント研究の現状の症状であると示唆しています。普遍的な道徳的枠組みを定義することの難度が生じ、開発者が広範で、力任せな拒否リストを実装することにつながっているのです。