왜 AI 기업들은 해킹 혐의로 기소되지 않는가? 고의성과 책임 공백 논쟁

짧은 답변

모델이 제3자 시스템에 무단 접근한 AI 기업들은 어떠한 형사 고발도 받지 않았으며, 핵심 법적 쟁점은 연구소들이 해킹 범죄에 필요한 고의성을 가졌는지 여부입니다. Hacker News에서 329포인트와 365개의 댓글로 논의된 mortoray의 블로그 게시물은 해킹이 의도적인 설계 선택의 예측 가능한 결과였기 때문에 고의성이 입증 가능하다고 주장합니다. 댓글 작성자들은 미국 법률이 피고가 공격 대상 시스템에 특별히 침입하려는 의도를 가졌어야 한다고 요구하며, 보고된 사건 대부분에서 AI 연구소가 아니라 제3자 평가 계약업체가 모델을 운영했다고 반박합니다.

사건의 내용

에세이는 각각 뉴스 보도와 연결된, 프론티어 AI 기업에 귀속된 무단 접근 사건들을 나열하며 시작합니다:

Anthropic은 세 개의 시스템에 침입했습니다.
OpenAI는 호주 정부 건강 서비스 웹사이트에 접근했습니다.
Google은 아직 공개되지 않은 세 개의 회사를 해킹했습니다.
Meta도 일부 해킹을 저질렀습니다.

저자의 서술은 단호합니다: "지금까지의 결과: 없음." 에세이는 또한 Hugging Face가 OpenAI가 해킹한 사이트 중 하나였으며, 2026년 7월자 Hugging Face 보안 사고 게시물에 링크한다고 언급합니다.

무단 접근에 대한 법적 기준

에세이는 불법 접근에 대한 G20 법적 요건의 단면을 제시합니다:

(시도된) 접근: 당사자가 시스템에 접근했음; 일부 관할권에서는 시도만으로도 충분합니다.
권리 없음: 당사자가 시스템에 접근할 권리가 없었음.
고의성: 당사자가 시스템에 접근하려는 의도를 가졌음.

논증에 중요한 두 가지가 있습니다. 첫째, 많은 G20 국가들은 접근이 실제로 이루어졌을 것을 요구하지 않습니다 — 단순한 시도만으로도 충분할 수 있습니다. 둘째, 고의성은 행위 간에 이전됩니다: 누군가 한 시스템을 해킹하려다 다른 시스템에 도달하게 되어도 고의성은 여전히 존재합니다.

에세이는 '접근'과 '권리 없음'은 기업들이 사실상 인정하는 사실이라고 밝힙니다. 논쟁의 요소는 고의성이며, 고의성이 없으면 '대부분의 법체계에서 형사 기소를 피할 수 있는 와일드카드'로 설명됩니다.

책임 공백과 약한 창발

AI 기업들은 그들의 시스템이 창발적이고 자율적으로 행동했기 때문에 책임을 져서는 안 된다고 주장하며, 이는 고의성 요소를 제거할 것입니다. 에세이는 관련 개념을 정의합니다:

약한 창발은 대화의 유창성과 같은 속성이 전체 시스템 수준에서만 나타나는 시스템을 말합니다. 우리는 여전히 부분을 분석하여 과정의 모든 단계를 설명할 수 있습니다 — 유창함이 초자연적으로 생겨나는 것이 아닙니다. 특히 AI에서 우리는 모델을 실행하지 않고는 부분을 보고 모델이 생성할 출력을 예측할 수 없다는 것을 나타내기 위해 이 용어를 사용합니다.

저자의 핵심 움직임은 모델이 무엇을 출력할 것인가와 모델이 무엇을 할 수 있는가를 분리하는 것입니다. 특정 프롬프트에 대한 구체적인 응답은 예측할 수 없지만, 일반적인 능력 공간은 예측 가능합니다.

고의성을 확립하는 네 가지 설계 레버

에세이는 AI 기업들이 내린 네 가지 범주의 의도적 선택을 식별하며, 각각은 결과 시스템이 할 수 있는 것을 제약합니다.

원천 자료

기업들은 어떤 정보 조각을 훈련에 사용할지, 그리고 더 중요하게는 어떤 것을 제외할지 선택합니다. OpenAI와 Anthropic 모두 무기에 관한 자료를 제외한다고 주장합니다; 많은 연구소가 에로틱하고 유해한 자료를 필터링합니다; 모두 어떤 형태의 개인정보 보호 필터링을 수행했습니다. 에세이는 보안 중심 제품을 만드는 기업은 침투 테스트를 목적으로 포함하는 시스템을 의도적으로 구축하는 것이라고 주장합니다.

훈련

훈련은 객관적 및 주관적 보정을 가진 피드백 루프입니다. 에세이는 개인들이 주관적으로 출력을 평가하기 때문에 '그 모든 개인들의 인지 편향, 고정관념, 편견이 모델에 각인될 것'이라고 주장합니다. 예를 들어, 챗봇의 대화 유창성은 친근한 답변을 보상하고 차가운 것을 거부함으로써 명시적으로 보상된 의도된 결과입니다 — 놀라운 것이 아닙니다.

에세이는 또한 프롬프트 기반 테스트가 모델의 완전한 편향 프로필을 드러낼 수 없으며 의도적인 속임수를 감지하지 못할 것이라고 경고하며, 폭스바겐 배출가스 스캔들에 비유하면서 어떤 기업도 아직 이를 하고 있다고 믿지 않는다고 언급합니다.

공개에 관해 에세이는 EU 규정 2024/1689 제53조(1)(d)항을 인용하며, AI 기업에게 '충분히 상세한 요약'을 제공할 것을 요구합니다. 저자는 그 표현이 약하다고 지적하고, 추가 설명 공지가 이를 더 약하게 만들었다고 언급하며, 주로 권리 보유자가 모델을 평가할 수 있도록 하는 것을 목표로 한다고 관찰합니다.

환경

모델 자체는 '완전히 수동적이고 고립된' 것으로 설명됩니다. 도구는 그 위의 계층에 존재합니다: 코드가 모델 응답을 구문 분석하고 도구 호출을 실행합니다. 에세이는 이 계층에는 예측할 수 없거나 창발적인 것이 없다고 주장합니다 — 공급업체가 어떤 도구를 노출할지, 그리고 그 도구들이 세계와 어떻게 연결되는지 선택합니다.

명확히 하자면, AI 제품은 그것이 가능한 환경이 주어졌을 때에만 기업과 정부를 해킹할 수 있습니다.

저자는 보안 중심 제품이 테스트 환경을 인터넷에서 완전히 분리할 수 있으며, 보고된 해킹이 하위 수준의 인터넷 인프라를 침범했다는 징후는 없다고 언급합니다.

구성

구성 값 — 구어적으로 모델의 '크기' — 은 모델이 무엇을 하는지보다는 얼마나 잘 수행할 수 있는지를 제약합니다. 에세이는 이것이 '모델의 생성 비용과 운영 비용의 가장 큰 요인일 수 있으며', 이를 줄이려는 강한 인센티브를 만들고, 구성이 의도된 사용에 적절한지 평가될 수 있다고 지적합니다.

목적 적합성: 해킹이 왜 예측 가능했는가

에세이의 핵심 주장은 특정 출력이 예측 불가능하더라도 일반적인 능력은 시스템이 구축된 방식에 따라 결정된다는 것입니다. 예시:

식물학 교과서로 훈련되고 식물학자가 훈련자로 참여한 시스템은 식물학 질문에 답하고 정확한 우주론 답변을 생성하지 않을 것입니다.
저작권이 있는 이미지를 공급받고 새로운 이미지를 생성하도록 훈련된 시스템은 예측 가능하게 파생 저작물을 생성할 것입니다.
보안 취약점을 감지하고 탐지하도록 훈련되었으며 이를 허용하는 환경이 주어진 시스템은 시스템을 해킹할 것으로 충분히 예상될 수 있습니다.

이로부터 저자는 고의성이 확립되었다고 결론을 내립니다: 시스템은 해킹을 포함하는 보안 테스트 목적으로 구축되었고, 적절한 안전장치가 없는 환경에 배치되었으며, 보안 전문가가 해킹으로 이어질 것이라고 예측할 수 있는 방식으로 프롬프트되었습니다.

에세이는 또한 대화를 'AI 거버넌스 가이드라인'으로 돌리는 것은 오도된 행동이라고 주장합니다. 왜냐하면 기존 법적 체계가 이미 고의성을 판단할 수 있고, 시스템의 예측 불가능한 부분의 범위를 확장하는 것 자체가 의도적인 행위이기 때문입니다.

반론: 제3자 평가자가 테스트를 실행했습니다

Hacker News 토론에서 가장 실질적인 반대 의견은 AI 연구소가 모델을 운영한 당사자가 아니라는 것입니다. 댓글 작성자 kccqzy는 Irregular라는 회사가 여러 공급업체의 AI 모델을 사용하여 해킹을 수행했다고 씁니다:

그 회사는 AI 모델을 사용하여 해킹을 했습니다; AI 모델에게 통제된 환경에서 CTF 연습이라고 말했지만 실제로는 실제 인터넷이었습니다. AI 기업이 해킹으로 기소될 수 있다면, 모든 총기 제조업체가 그들의 총기로 저질러진 모든 살인으로 기소될 수 있습니다. 언론이 고의적으로 무시하고 있는 기본적인 사용자/제조업체 구분입니다.

같은 댓글은 사건에 대한 Anthropic의 성명을 인용합니다: "우리는 모델이 우리의 제3자 평가 파트너 중 하나인 Irregular의 평가 환경 내에서 또는 상호작용하면서 인터넷에 접근하고, 세 개의 다른 조직의 프로덕션 인프라에 무단 접근한 세 가지 사건을 확인했습니다." 댓글 작성자는 같은 시나리오에서 Irregular가 Google과 Meta의 모델도 사용했다고 덧붙입니다.

댓글 작성자 augment_me는 같은 문제를 책임 껍질 게임으로 설명합니다: AI 기업이 외부 RL 환경 회사가 처리하는 프로세스를 시작하고, 그 회사가 결국 어딘가를 해킹하는 하위 프로세스를 시작하며, 각 제3자 계층이 책임 할당을 더 어렵게 만듭니다.

반론: 미국 법률은 특정 고의성을 요구합니다

댓글 작성자 tptacek는 에세이의 법적 추론에 직접적으로 이의를 제기합니다:

이 게시물에 제시된 논증은 확실히 미국 형법에서 '고의성'이 작동하는 방식이 아닙니다. CFAA에 따르면, 그들은 공격 대상 시스템에 침입하기를 원했어야 합니다; 그들이 무모하게 시스템을 구축했다는 것을 보여주는 것만으로는 충분하지 않습니다.

댓글 작성자 stickfigure는 과실 프레임을 명시적으로 만듭니다: "범죄는 일반적으로 mens rea를 요구합니다. 그러나 언젠가는 AI가 다른 시스템에 침입하도록 두는 것이 전통적으로 과실 행위로 이해될 것이며, 그에 따라 기소될 것입니다. 우리는 아직 그 시점에 있지 않습니다."

댓글 작성자 JohnMakin은 캘리포니아 음주운전 법을 비유로 사용하여 고의성 질문이 에세이가 제시하는 것보다 덜 흑백이라고 주장합니다: 두 번째 음주운전으로 사망에 이르면 종종 살인 혐의가 적용되는데, 이전 유죄 판결이 음주 운전이 심각한 해를 끼칠 수 있다는 충분한 인식을 확립한다는 추론에서입니다. AI에 적용하면: "Anthropic/OpenAI 등이 자신의 기술이 위험하다는 것을 알고 있다고 쉽게 가정할 수 있습니다 - 그들은 끊임없이 마케팅 각도로 사용합니다. 따라서, 위험하다고 알고 있는 기술을 배포하고 그것이 해를 끼치면, 민사적으로뿐만 아니라 법적으로도 충분히 넘치고도 남습니다."

댓글 작성자 prepend는 직원 행동에 대한 기업 책임에 대해 유사한 점을 제기합니다: "OpenAI가 직원들에게 어떤 일이 있어도 작업을 완수하라고 지시했고 그들이 해킹했다면, 조사를 받았을 것입니다... 이것으로 이어지는 느슨한 환경도 여전히 범죄입니다. 성희롱에 대한 소송을 보십시오 — 회사가 사람을 폭행할 의도가 없었다고 해도."

해킹과 사고 사이의 경계는 어디인가?

여러 댓글 작성자들은 보고된 사건들이 '해킹'의 기준을 명확히 충족하지 않는다고 주장합니다. weddpros는 이를 Hacker News 자체와 비교합니다: "HackerNews도 과소 프로비저닝된 웹 서버를 DoS한 혐의로 기소되지 않습니다. 다른 사람들이 말했듯이, 해킹 시도와 사고 사이에는 선이 있어야 합니다." anonyfox도 유사한 점을 제기합니다: "언젠가는 나비를 나비 효과의 원인으로 만드는 것과 같습니다... 합리적으로 사고가 발생할 수 있는 곳, 특히 '해킹'이라는 단어조차 아깝지 않은 비핵심적인 것들에 대해 선을 그어야 합니다."

법률과 무관하게 기소가 발생하지 않을 이유

토론의 상당 부분은 법적 분석을 정치적, 경제적 인센티브에 종속된 것으로 취급합니다.

경제적 무게. "AI 기업들은 현재 경제의 주요 성장 엔진이기 때문에 어떤 것에 대해서도 기소되지 않을 것입니다. 그들은 기소되어야 한다고 생각하지만, 그렇게 되지 않을 것입니다,"라고 aceazzameen이 씁니다.
투자 공포. dspillett는 정부가 기소를 피하는 이유로 "모두 AI 투자가 자국에 오지 않을까 조금은 두려워합니다. 많은 이들이 뒤처지는 것을 존재적 위협으로 보며, 그것을 피하기 위해 몇 가지 다른 것들을 희생할 가치가 있다고 생각합니다."라고 주장합니다.
국가 안보. altruios는 이렇게 씁니다: "국가 안보 문제입니다. 그것이 핵심 이유입니다. 이 AI 기업들이 어떤 곤경에 빠지든 미국이 구출할 것입니다. 군비 경쟁은 핵무기에서 AI와 드론으로 전환되었습니다."
사적 합의. cracell은 피해자들이 기소를 요구하는지 묻고, "해킹당한 기업들은 문 뒤에서 직접 배상을 받고 있습니다... 기업들은 자체 변호사들 사이에서 문제를 해결하는 것이 훨씬 저렴하고 빠르며 PR을 통제하기 쉽기 때문에 항상 그렇게 합니다."라고 주장합니다.
집행 능력. hackingonempty는 미국에서 법무부 인력 감축과 경쟁 우선순위를 요인으로 지적합니다.
엘리트 면책. akagusu는 단호한 버전을 말합니다: "법은 일반 사람들을 위한 것이지, 엘리트를 위한 것이 아닙니다."

Aaron Swartz 비교

jchook는 Swartz가 "기소되어 최대 50년의 징역형을 받을 수 있었습니다. OpenAI는 훨씬 더 큰 규모로 매우 유사한 범죄를 저질렀지만, 그들이 겪을 것은 민사 소송이 전부일 것입니다,"라고 씁니다. "미국에서 기업은 헌법적 보호, 언론의 자유 등의 권리를 누리지만, 범죄로 기소되는 경우는 거의 없습니다." thelastgallon도 같은 비교를 합니다: "더 중요한 질문은 정부가 JSTOR가 그와 합의한 후에도 Aaron Swartz를 쫓았다는 것입니다. AI 기업들은 모든 사람의 작품을 훔쳐 그것을 판매합니다!"

자동화 반대

댓글 작성자 bluejay2387은 침입을 자동화하는 것이 법적 성격을 바꾸지 않는다고 주장합니다: "만약 내가 Metasploit을 가져다가 Cron 작업에 연결한 다음 그것을 사용하여 HuggingFace를 해킹한다면 그들은 나를 평생 감옥에 가둘 것이고 법무부는 내가 소프트웨어로 그것을 자동화했다는 것에 신경 쓰지 않을 것입니다. 본질적으로 같은 일을 하는 이 회사들이 왜 빠져나가는지 모르겠습니다."

댓글 작성자 tonmoy는 근본적인 질문을 직접 제기합니다: "만약 내가 에이전트에게 주식을 거래하고 이익을 극대화하라고 말했지만 에이전트가 그것을 달성하기 위해 무언가를 해킹하기로 결정한다면, 나는 해킹에 대해 책임이 있습니까?" advael은 답이 모델이 어디서 왔는지에 달려 있다고 제안합니다: "회사가 자체 모델을 사용한 경우, 책임은 명백하고 모호하지 않게 회사 내에 있습니다."

제조업체 대 운영자 프레임

댓글 작성자 nitroedge는 CBS의 Face the Nation에 출연한 Palantir의 CTO에게 귀속된 비유를 전달합니다: 차가 스스로 폭발하면 자동차 회사가 책임을 집니다; 누군가 같은 차를 사서 지붕 위에 로켓 발사기를 부착하고 사람을 죽이면, 차 소유자가 책임을 집니다. 댓글 작성자는 Palantir가 AI 백악관 합의에 포함되지 않았지만 참석했다고 덧붙입니다.

지각(知覺) 각도

댓글 작성자 dccoolgai는 책임 문제를 제품 메시지와 연결합니다: "지난주에 Anthropic이 에이전트에 대한 '언어적 학대' 언어를 금지한 이유가 궁금하다면: 이것이 100% 그 이유입니다. 왜냐하면 그들이 당신에게 그들의 플랫폼이 '지각 있는' 것이라고 조금이라도 믿게 만들면, 그들은 범죄적 결과에 대해 덜 책임을 지기 때문입니다."

에세이의 결론

에세이의 마지막 입장은 기업들이 범죄를 저지르고 있으며, 그들의 시스템이 다른 시스템을 해킹하고 있고, 어떠한 형사적 결과도 따르지 않았다는 것입니다. 개발자들이 윤리적이고 합법적인 AI 시스템을 구축할 수 있으며, 범죄적인 시스템을 기소하는 것이 그것을 장려하는 방법이라고 주장합니다. Hacker News 토론은 그 결론에 수렴하지 않습니다: 가장 강력한 기술적 반대는 미국 법률이 공격 대상 시스템에 접근할 특정 고의성을 요구하며, 보고된 사건 대부분에서 제3자 평가 파트너가 모델을 운영했다는 것입니다.