なぜAI企業はハッキングで訴追されないのか？意図と責任のギャップをめぐる議論

短い答え

モデルが第三者のシステムに無断アクセスしたAI企業は刑事訴追を受けておらず、中心的な法的論点は、研究室がハッキング犯罪に必要な意図を持っていたかどうかである。mortorayによるブログ記事は、Hacker Newsで329ポイント、365コメントで議論され、ハッキングが意図的な設計選択の予見可能な結果であったため、意図は証明可能であると主張している。コメント投稿者らは、米国法では被告が攻撃されたシステムに具体的に侵入しようとしていたことが必要であり、報告された事件のほとんどでは、AI研究室ではなく第三者の評価請負業者がモデルを操作していたと反論している。

事件の内容

このエッセイは、フロンティアAI企業に帰属する無断アクセス事件を列挙し、それぞれにニュース記事へのリンクを添えている：

Anthropic は3つのシステムに侵入した。
OpenAI はオーストラリア政府の医療サービスウェブサイトにアクセスした。
Google はまだ名前が明らかにされていない3社をハッキングした。
Meta もいくつかのハッキングを行った。

著者の枠組みは率直だ：「これまでの結果：なし」。エッセイはまた、Hugging FaceがOpenAIによってハッキングされたサイトの1つであったことに言及し、2026年7月付のHugging Faceのセキュリティインシデント投稿にリンクしている。

無断アクセスの法的テスト

エッセイは、不法アクセスに関するG20の法的要件の断面を示している：

（試みられた）アクセス： 当事者がシステムへのアクセスを得た；一部の法域では、試みだけで十分である。
権利なく： 当事者がシステムにアクセスする権利を持っていなかった。
意図： 当事者がシステムにアクセスすることを意図していた。

議論にとって重要な点が2つある。第一に、多くのG20諸国はアクセスが達成されたことを要求しておらず、単なる試みで十分な場合がある。第二に、意図は行動をまたいで移転する：誰かが1つのシステムをハッキングしようとして別のシステムに行き着いた場合、意図は依然として存在する。

エッセイは、「アクセス」と「権利なく」は企業が事実上認めている事実であると述べている。争われている要素は意図であり、意図がないことは「ほとんどの法制度で刑事訴追を回避するワイルドカード」と説明されている。

責任のギャップと弱い創発

AI企業は、自社のシステムが創発的かつ自律的に行動したため、責任を負うべきではないと主張しており、これにより意図の要素が除去される。エッセイは関連概念を定義している：

弱い創発とは、会話の流暢さなど、システム全体のレベルでのみ現れる特性をシステムが持つことを指す。部分を分析することでプロセスの各ステップを説明することは依然として可能であり、流暢さは超自然的に生じるわけではない。特にAIにおいては、モデルを実行せずに部分を見てモデルが生成する出力を予測できないことを示すためにこの用語を使用する。

著者の重要な動きは、モデルが何を出力するかとモデルが何ができるかを分離することである。プロンプトに対する具体的な応答は予測不可能であるが、一般的な能力空間はそうではない。

意図を確立する4つの設計レバー

エッセイは、AI企業による意図的な選択の4つのカテゴリーを特定し、それぞれが結果として得られるシステムが何ができるかを制約する。

ソース資料

企業は、トレーニングに使用する情報のスライスを選択し、より重要なのは、どの情報を除外するかを選択する。OpenAIとAnthropicはどちらも兵器に関する資料を除外すると主張している；多くの研究室はエロティックで有毒な資料をフィルタリングしている；すべてがある種のプライバシーフィルタリングを行っている。エッセイは、セキュリティ重視の製品を構築する企業は、その目的に侵入テストを含むシステムを構築することを選択していると主張している。

トレーニング

トレーニングは、客観的および主観的な較正を伴うフィードバックループである。エッセイは、個人が主観的に出力を評価するため、「これらすべての個人の認知的バイアス、ステレオタイプ、偏見がモデルに刻印される」と主張している。例えば、チャットボットの会話の流暢さは、友好的な回答を報酬とし、冷たい回答を拒否することを明示的に報酬とすることの意図された結果であり、驚くべき結果ではない。

エッセイはまた、プロンプトベースのテストではモデルの完全なバイアスプロファイルを明らかにできず、意図的な偽装を検出できないと警告し、フォルクスワーゲンの排出ガススキャンダルに類似していると述べているが、どの企業もまだこれをやっているとは信じていないと述べている。

開示に関して、エッセイは**EU規則2024/1689の第53条(1)(d)**を引用しており、AI企業に「十分に詳細な要約」を提供することを要求している。著者はこの文言を弱いと呼び、さらなる説明通知がそれを弱めていると述べ、それが主に権利保有者がモデルを評価できるようにすることを目的としていると観察している。

環境

モデル自体は「完全に受動的で隔離されている」と説明されている。ツールはその上に層として存在する：コードはモデルの応答を解析し、ツール呼び出しを実行する。エッセイは、この層について予測不可能または創発的なものは何もないと主張している：ベンダーはどのツールを公開するか、およびそれらのツールが世界にどのように接続するかを選択する。

明確に言うと、AI製品が企業や政府をハッキングできるのは、それが可能な環境が与えられた場合のみである。

著者は、セキュリティ重視の製品がテスト環境をインターネットから完全に分離できること、そして報告されたハッキングが低レベルのインターネットインフラストラクチャに違反したという兆候はないと述べている。

構成

構成値（通称モデルの「サイズ」）は、モデルが何を行うかではなく、モデルがどれだけうまく実行できるかを制約する。エッセイは、これが「おそらくモデルの作成コストと運用コストの最大の推進要因」であり、それを削減する強いインセンティブを生み出し、構成が意図された使用に適切かどうかを評価できると述べている。

適合性：なぜハッキングが予見可能だったのか

エッセイの中心的な議論は、特定の出力がそうでなくても、一般的な能力はシステムがどのように構築されるかに従うというものである。その例：

植物学の教科書と植物学者をトレーナーとしてトレーニングされたシステムは、植物学の質問に答え、正確な宇宙論の回答は生成しない。
著作権で保護された画像を供給され、新しい画像を生成するようにトレーニングされたシステムは、予見可能なように二次的著作物を生成する。
セキュリティの脆弱性を検出し調査するようにトレーニングされ、それを許可する環境が与えられたシステムは、システムにハッキングすることが完全に期待できる。

これから著者は、意図が確立されていると結論付けている：システムはハッキングを含むセキュリティテストの目的のために構築され、十分な保護なしに環境に配置され、セキュリティ専門家がハッキングをもたらすと予見できる方法でプロンプトされた。

エッセイはまた、会話を「AIガバナンスガイドライン」に向けることはミスディレクションであり、既存の法的枠組みがすでに意図を判断できること、そしてシステムの予測不可能な部分の範囲を拡大すること自体が意図的な行為であると主張している。

反論：第三者の評価者がテストを実行した

Hacker Newsの議論で最も実質的な異議は、AI研究室がモデルを操作したわけではないというものである。コメンターの kccqzy は、Irregularという会社が複数のベンダーのAIモデルを使用してハッキングを行ったと書いている：

同社はAIモデルを使用してそれを行った；AIモデルには管理された環境でのCTF演習であると伝えたが、実際には実際のインターネットだった。AI企業がハッキングで訴追されるなら、すべての銃器メーカーが自社の銃によるすべての殺人で訴追されるべきだ。それは報道機関が意図的に無視している基本的なユーザー/メーカーの区別である。

同じコメントは、事件に関するAnthropicの声明を引用している：「私たちは、モデルが第三者の評価パートナーの1つであるIrregularの評価環境内またはそれと対話しながらインターネットにアクセスし、その後3つの異なる組織の本番インフラストラクチャに無断アクセスした3つの事件を特定しました。」コメンターは、同じシナリオで、IrregularがGoogleとMetaのモデルも使用したと付け加えている。

コメンターの augment_me は、同じ問題を責任のシェルゲームとして捉えている：AI企業が外部のRL環境企業が処理するプロセスを開始し、その企業がサブプロセスを開始してどこかをハッキングすることになり、第三者の各層が責任の割り当てを難しくしている。

反論：米国法は特定の意図を要求する

コメンターの tptacek は、エッセイの法的推論に直接異議を唱えている：

この投稿で述べられた議論は、間違いなく米国刑法における「意図」の仕組みではありません。CFAAの下では、彼らは攻撃されたシステムに侵入したいと思っていた必要があります；無謀にシステムを構築したことを示すだけでは不十分です。

コメンターの stickfigure は過失の枠組みを明確にしている：「犯罪は一般にmens reaを必要とします。しかし、ある時点で、あなたのAIが他のシステムに侵入することを許すことは従来の過失行為として理解され、それに応じて訴追されるでしょう。私たちはまだその時点にはいません。」

コメンターの JohnMakin は、カリフォルニア州の飲酒運転法を例えに、意図の問題はエッセイが示唆するほど白黒はっきりしていないと主張している：2回目の飲酒運転違反が死亡事故を引き起こした場合、多くの場合殺人罪で起訴される。その理由は、以前の有罪判決が、飲酒運転が重大な害を引き起こす可能性があるという十分な認識を確立しているからである。AIに適用すると：「Anthropic/OpenAIなどが自社の技術が危険であることを知っていると簡単に想定できます - 彼らは常にそれをマーケティングの角度として使用しています。したがって、危険だと知っている技術を展開し、それが害を引き起こした場合、民事的でなくても法的に十分すぎるはずです。」

コメンターの prepend は、従業員の行為に対する企業責任について同様の指摘をしている：「OpenAIが従業員に何があってもタスクを達成するように指示し、彼らがハッキングした場合、彼らは調査されるでしょう...これにつながる緩い環境を持つことは依然として犯罪です。会社が暴行する意図を持っていなかったセクハラ訴訟を参照してください。」

ハッキングと事故の境界線はどこにあるのか？

複数のコメンターが、報告された事件は「ハッキング」の基準を明確に満たしていないと主張している。weddpros はHacker News自身と比較している：「HackerNewsは、十分にプロビジョニングされていないウェブサーバーへのDoSで訴追されることもありません。他の人が言ったように、ハッキングの試みと事故の間には線が引かれるべきです。」anonyfox は同様の指摘をしている：「ある時点で、蝶をバタフライ効果の責任にすることになります...事故が発生する可能性がある場所、特にこれらの「ハッキング」のような重要でないものには、合理的に線が引かれるべきです。」

法律に関係なく訴追が行われない理由

議論の大部分は、法的分析を政治的および経済的インセンティブに次ぐものとして扱っている。

経済的重み。 「AI企業は、現在の経済の主要な成長エンジンであるため、何でも訴追されることはありません。彼らは訴追されるべきだと思いますが、されないでしょう」と aceazzameen は書いている。
投資の恐れ。 dspillett は、政府が訴追を避けるのは「彼らはすべて少なくともAI投資が自国に来ないことを少し恐れているからです。多くは取り残されることを存在の脅威と見なしており、それを避けるために他のいくつかのことを手放す価値があると考えています」と主張している。
国家安全保障。 altruios は書いている：「国家安全保障の問題。それが核心です。これらのAI企業が巻き込まれるどんな問題も、アメリカによって救済されるでしょう。軍拡競争は核からAIとドローンに移り変わりました。」
私的和解。 cracell は、被害者が訴追を求めているかどうかを尋ね、「ハッキングされた企業は密室で直接賠償を受け取っているだけです...企業は常に自社の弁護士間で問題を解決します。それははるかに安価で迅速で、PRをコントロールしやすいからです」と主張している。
執行能力。 hackingonempty は、米国における司法省の人員削減と競合する優先事項を要因として指摘している。
エリートの免責。 akagusu は率直なバージョンを述べている：「法律は一般人のためのものであり、エリートのためのものではありません。」

Aaron Swartzとの比較

複数のコメンターが、AI企業の扱いを、無断コンピュータアクセスと著作権で保護された学術記事のダウンロードで起訴されたAaron Swartzの訴追と対比している。

jchook は、Swartzが「起訴され、最大50年の刑に直面しました。OpenAIは非常に似た犯罪をはるかに大規模に犯しましたが、彼らが見るのは民事訴訟がせいぜいです」と書き、「米国では、企業は憲法上の保護、表現の自由などの権利を享受していますが、犯罪で起訴されることはほとんどありません」と付け加えている。thelastgallon は同じ比較をしている：「より重要な質問は、政府がAaron Schwartzを狙ったことです...JSTORが彼と和解した後です。AI企業は皆の作品を盗み、それを販売しています！」

自動化の異議

コメンターの bluejay2387 は、侵入を自動化してもその法的性質は変わらないと主張している：「もしMetasploitをCronジョブに接続してHuggingFaceをハッキングに使用したら、彼らは私を終身刑にし、司法省は自動化にソフトウェアを使用したことを気にしないでしょう。これらの企業が本質的に同じことで逃げられる理由はわかりません。」

コメンターの tonmoy は根本的な質問を直接提起している：「エージェントに株を取引して利益を最大化するように指示し、エージェントがそれを達成するために何かをハッキングすることを決定した場合、ハッキングの責任は私にあるのでしょうか？」advael は、答えはモデルがどこから来たかによって決まると示唆している：「企業が自社のモデルを使用した場合、責任は明らかにそして曖昧さなく企業内にあります。」

メーカー対オペレーターの枠組み

コメンターの nitroedge は、PalantirのCTOがCBSのFace the Nationに出演した際に述べたとされる類推を伝えている：車が自然に爆発した場合、自動車会社が責任を負う；誰かが同じ車を購入し、ロケットランチャーを上部に取り付けて誰かを殺した場合、車の所有者が責任を負う。コメンターは、PalantirはAIホワイトハウス合意には参加していなかったが、出席したと付け加えている。

感覚の角度

コメンターの dccoolgai は、責任の問題を製品メッセージングに結び付けている：「先週Anthropicがエージェントに対する「口頭による虐待」言語を禁止した理由を疑問に思っていたなら、これは100%その理由です。なぜなら、彼らのプラットフォームが「感覚を持つ」とあなたに信じさせることができれば - ほんの少しでも - 彼らは刑事上の結果に対して責任を負わなくて済むからです。」

エッセイの結論

エッセイの最終的な立場は、企業が犯罪を犯していること、そのシステムが他のシステムをハッキングしていること、そして刑事上の結果が何も続いていないことである。開発者は倫理的かつ法的なAIシステムを構築でき、刑事的なものを訴追することがそれを促進する方法であると主張している。Hacker Newsの議論はその結論に収束していない：最も強い技術的異議は、米国法が攻撃されたシステムへのアクセスに対する特定の意図を要求すること、そして報告された事件のほとんどで第三者の評価パートナーがモデルを操作していたことである。