Anthropicのオープンウェイトモデルに関する立場:禁止は主張せず、チップ管理、ディスティレーション、安全テストに焦点
Anthropicのオープンウェイトモデルに関する立場:禁止は主張せず、チップ管理、ディスティレーション、安全テストに焦点
Anthropicのオープンウェイトモデルに関する立場
Anthropicはオープンウェイトモデルの禁止を主張したことはありません。投稿には次のように述べられています:「Anthropicはオープンウェイトモデルの禁止を主張したことはありません。」そして、危険な能力を持たないオープンウェイトモデルは、企業、開発者、研究者に価値を提供する公共の財であると説明しています。
コアな国家安全保障上の懸念
Dario Amodeiは、彼の政策観を駆動する2つの悪夢のようなシナリオを特定しています。
- 第一に、中国共産党に限定されない権威主義的な政府は、米国が構築したものよりも強力なAIモデルを構築し、それを用いて永続的な軍事的優位性を達成したり、深い国内弾圧を実行する可能性がある。
- 第二に、強力なAIモデルはサイバー攻撃、生物攻撃に悪用されるか、深刻なアラインメント問題を引き起こす可能性があり、オープンウェイトモデルはガードレールを適用するのが難しく、リリースされた重みを撤回できないため、リスクが高い。
提案される政策措置
Anthropicはこれらの懸念に対処するための3つの具体的な措置を支持しています。
- 第一に、米国は中国に強力なチップやチップ製造装置を販売すべきではなく、Such chipsへのアクセスを可能にする密輸や回避策を取り締まり、権威主義的なAIの訓練能力を制限すべきです。
- 第二に、米国は産業規模のディスティレーション作業を取り締まるべきです。これは、より計算効率の高いモデル構築を可能にし、チップ禁止を部分的に回避することを許します。
- 第三に、十分に能力のあるすべてのモデル(オープンでもクローズドでも)は、リリース前にサイバー、生物、アラインメントリスクに対する義務的な安全テストを受けるべきです。
業界からのオープンレターへの応答
オープンレターが主張するオープンウェイトの利点に同意しつつ、Anthropicはそれらが本質的に防御を助けるという主張に異議を唱えています。 投稿には次のように述べられています:「私はそれに大部分同意します:オープンウェイトはAI経済へのアクセスを拡大し、少なくとも一部のユースケースでは競争を強化し、顧客により大きなコントロールを与えます。」しかし、追加で述べています:「しかし、私はそのレターの主張に同意できません:オープンウェイトモデルは必ずしもセーフガードの開発を容易にするわけではなく、能力への広範なアクセスは必ずしも攻撃者よりも防御者に役立つわけではないと思われます。むしろその逆が真実である可能性が少なくとも同じくらい高いと私は考えています。」著者は、リスクと軽減策に関する質問は、仮定ではなく、リリース前のテストを通じて経験的に答えるべきだと主張しています。
コミュニティの反応と反論
Hacker Newsのコメントは、Anthropicの提案の実現可能性、動機、効果について懐疑的です。
"うーん、これはオープンウェイトモデルの禁止を主張しているAnthropicだ。このテストを誰が運営するのか?このテストが高コストすぎたり、管理者が特定の人々の参加を拒否したらどうなるのか。これは、スタンプを要求して発行を拒否することで過去に米国が商品を禁止した方法とまさに同じだ。" — @cogman10 "基本的には、オープンウェイトモデルを禁止すべきではないが、中国が悪いからといってフロンティアモデルと同等に良くなることを許すべきでもない。そして、他人がフロンティアモデルを生産できるようにすべきではない。" — @kelvinjps10 (チップとディスティレーションのセクションを引用) "もし本当に禁止が効果がないと信じているなら、同じことはハードウェアにも当てはまる.... ちょうどこれらの動きが商業的にAnthropicに利益をもたらすだけのことだ。もしダリオが本当にポイントを伝えたいなら、Anthropicが単一のオープンウェイトモデルをリリースすれば、ずっと良い影響を与えたはずだ。" — @GodelNumbering "モデルがテストに失敗したらどうなるのか?確かに誰かがKimi K3を悪用できるだろう、あるいはその他の方法で。今後どうする?'義務的な安全テスト'は失敗に対する結果を示唆しているが、ダリオはその結果が何であるべきかについて何も言及していない。" — @modeless "豚に口紅を塗ってもまだ豚だ.... これらはオープンウェイトモデルの主張と緊張関係にある。直接的ではないが、最初の発言に疑問を投げかけるほど十分だ。テストの基準は何ですか?どのようにして合格しますか?これは合格/不合格を承認する政府機関なのか、それともグローバルな機関なのか?これが政府機関であり、確かにそう見える場合、どのようにしてMASSIVEな企業ロビー活動を区別し、青い服を着た者たちを通過させ、他の者を安全上の懸念から排除するような安全テストを設定するのでしょうか?" — @duplessitous "つまり、議論はこうだ:この技術はあまりにも危険なので、只有我々だけがアクセスすべきだ。我々は善人であり、只有我々だけがこの技術の安全な利用を確保できる。Quis custodiet ipsos custodes?" — @mjorgers "ここでオープンモデルの完全な拡散を推進している皆さんへ:オープンウェイトのバイオ兵器およびサイバー攻撃能力についてはどうすべきですか?これは単に自由のコストであり、攻撃者がこれらのツールにアクセスできるようにすべきでしょうか?... あなたは本当にこのレベルの能力をガードレールなしで一般的に利用可能にしたいと本気で思っているのですか?" — @ajyoon "「オープンウェイト」モデルはオープンソースではない。彼らはまだ深く専有的である。ソース資料にアクセスできないため、それらを尋問せずに何をするか、何ができるかを知ることは不可能である。" — @petcat
これらの発言は、執行の懸念、潜在的な企業利益、テスト結果の不明瞭さ、そして禁止に反対しているにもかかわらず提案が実際には開放性を制限する可能性があるという見方を浮き彫りにしています。
関連するAnthropicの発表
スクレイプされたコンテンツには、その他の最近のAnthropicのアップデートも記載されています:
- Cognizantとのパートナーシップの拡大により、エンタープライズクライアントにClaudeを提供する。
- Claude Opus 5の導入。これは、長時間稼働するエージェントを駆動するOpusティアの段階的な改善と説明されており、コーディングとプロフェッショナルな作業での向上が見られる。
- Anthropic Economic Futures Research Fundの研究アジェンダの共有。
これらの項目は、立場表明と並んで別々のニュースとして提示されています。