Moonshot AI가 K3 모델을 위해 Anthropic Fable을 증류했다고 비난받음

Moonshot AI가 Anthropic의 Fable 모델을 증류했다고 주장됨

마이클 크라티오스 국장은 Moonshot AI가 Anthropic의 Fable을 증류하여 K3 모델을 개발했다고 밝혔다. 크라티오스에 따르면, Moonshot AI는 미국 기반 모델에 대한 대규모 증류를 위해 설계된 정교한 내부 플랫폼을 구축했다. 이 플랫폼은 표적 모델 제공업체의 탐지를 피하기 위해 여러 접근 방법을 빠르게 전환할 수 있게 해주었다고 보고되었다.

소프트웨어 인프라를 넘어, 크라티오스는 Moonshot AI가 GB300 GPU가 장착된 서버를 확보했으며, 태국에서 GB300에 접근하여 AI 모델 훈련을 용이하게 했다고 언급했다.

미국 정부의 AI 증류에 대한 입장

미국은 오픈소스 프레임워크와 오픈웨이트 모델을 포함한 경쟁적인 AI 생태계를 지원하지만, 정부는 합법적 증류와 은밀한 증류를 구분한다.

• 합법적 증류: 오픈 혁신을 촉진하기 위해 더 작고 효율적인 모델을 만드는 데 사용됨.
• 은밀한 산업 증류: 크라티오스에 따르면, 이는 미국 내 proprietary 기술을 훔치고 미국 연구를 약화시키려는 시도이며, 이는 '불acceptable'로 간주된다.

기술 및 경제 논쟁

이 혐의는 모델 증류의 기술적 실현 가능성과 경제적 영향에 대한 상당한 논의를 촉발했다.

기술적 실현 가능성과 타이밍

몇몇 관찰자들은 K3 출시 일정에 의문을 제기했다. Kimi K3는 7월 16일에 출시되었으며, Fable에 대한 금지는 7월 1일에 해제되었지만 접근은 여전히 제한적이다. 비평가들은 Fable의 가용성과 K3 출시 사이의 창이 대규모 증류, 훈련, 벤치마킹, 완전한 제품 출시를 수행하기에 너무 짧다고 주장한다.

또한, 기술 논의에서는 진정한 증류가 일반적으로 토큰에 대한 확률 분포(logits)에 대한 접근이 필요하며, 이는 프론티어 랩에서 제공하지 않는다는 점을 강조한다. 따라서 이 맥락에서의 '증류'는 더 큰 모델을 사용하여 합성 데이터를 생성하거나 더 작은 모델의 출력을 평가하여 Supervised Fine-Tuning(SFT) 또는 Direct Preference Optimization(DPO)을 통해 성능을 향상시키는 것을 의미할 가능성이 높다.

프론티어 랩에 대한 경제적 영향

분석가들은 Anthropic과 OpenAI와 같은 기업의 경제적 지속 가능성이 최첨단(SOTA) 모델 접근에 대한 프리미엄을 청구할 수 있는 능력에 달려 있다고 제안한다. 경쟁자들이 R&D 비용의 일부만으로 증류를 사용하여 유사한 성능을 달성할 수 있다면, SOTA 접근의 시장 가격이 하락할 수 있으며, 이는 프론티어 랩이 고품질 합성 데이터 생성에 수억 달러를 투자하는 동기를 감소시킬 수 있다.

합법성과 윤리에 대한 관점

이 혐의에 대한 커뮤니티 반응은 AI 훈련에서의 '공정성' 개념을 중심으로 깊이 갈라져 있다.

혐의에 대한 반론

많은 사람들은 증류가 표준 산업 관행이며 불법이 아니라고 주장한다. 제기된 몇 가지 점은 다음과 같다:

• 웹 스크래핑과의 유사점: 훈련을 위해 저작권이 있는 자료를 스크래핑하는 것이 합법으로 간주된다면, 모델 출력물의 증류도 동등하게 허용되어야 한다.
• AI 출력물의 저작권 부족: AI 생성 텍스트는 일반적으로 저작권이 없으므로, 이를 훈련에 사용하는 것은 일부 사람들에게 이용 가능한 데이터의 공정한 사용으로 간주된다.
• 산업 선례: 일부 사용자는 프론티어 랩 själ이 다양한 출처에서 증류를 수행하여 자신의 모델을 개선한다고 주장한다.

보호를 위한 주장

다른 사람들은 은밀한 증류가 산업 스파이의 한 형태라고 주장한다. 그들은 프론티어 모델의 출력을 쉽게 '사이폰'하여 경쟁 제품을 만들 수 있다면 혁신에 대한 동기가 사라져 AI 능력의 정체로 이어질 것이라고 제안한다.

"누가 자신의 출력이 즉시 경쟁 모델을 훈련하는 데 사용될 경우 AI 프론티어를 위한 데이터 생성에 투자할 것인가? ... 다른 회사들이 이 투자에 무임승차한다면 계속하는 것이 의미가 없다.

주요 주장 요약

Claim	Source/Detail
Primary Allegation	Moonshot AI가 K3 개발을 위해 Anthropic의 Fable을 증류함
Method	탐지를 피하기 위한 정교한 내부 플랫폼
Hardware	GB300 장착 서버 사용 및 태국을 통한 접근
U.S. Stance	은밀한 산업 증류는 용납할 수 없음