Moonshot AIはK3モデルのためにAnthropic Fableを蒸留したとして非難されている

Moonshot AIはAnthropicのFableモデルを蒸留したと主張されている

マイケル・クラトシオス長官は、Moonshot AIがAnthropicのFableを蒸留することでK3モデルを開発したと述べました。クラトシオスによれば、Moonshot AIは米国ベースのモデルに対する大規模蒸留のために設計された高度な内部プラットフォームを構築しました。このプラットフォームにより、同社はターゲットモデルのプロバイダーによる検出を回避するため、複数のアクセス方法を素早く切り替えることができたと報告されています。

ソフトウェアインフラストラクチャに加えて、クラトシオスはMoonshot AIがGB300 GPUを搭載したサーバーを取得し、タイでGB300にアクセスしてAIモデルのトレーニングを容易にしていると指摘しました。

AI蒸留に関する米国政府の立場

米国はオープンソースフレームワークやオープンウェイトモデルを含む競争的なAIエコシステムを支持していますが、政府は合法的な蒸留と秘匿的な蒸留を区別しています。

• 合法的な蒸留: オープンイノベーションを促進するために、より小さく効率的なモデルを作成するために使用されます。
• 秘匿的産業蒸留: クラトシオスによれば、これは米国の独自技術を盗み、米国の研究を損なう試みであり、「受け入れがたい」とみなされています。

技術的および経済的議論

これらの主張は、モデル蒸留の技術的実現可能性と経済的影響について重要な議論を引き起こしました。

技術的実現可能性とタイミング

一部の観察者はK3のリリースのタイムラインに疑問を呈しています。Kimi K3は7月16日にリリースされ、一方でFableの禁止は7月1日に解除されましたが、アクセスは依然として制限されています。批判者らは、Fableの利用可能期間とK3のリリースの間の期間が、大規模蒸留、トレーニング、ベンチマーク、完全な製品リリースを行うにはあまりにも短かったと主張しています。

さらに、技術的な議論では、真の蒸留には通常、トークン上の確率分布（ロジット）へのアクセスが必要であり、これがフロンティアラボでは提供されていないことを指摘しています。したがって、この文脈での「蒸留」は、より大きなモデルを使用して合成データを生成したり、小さなモデルの出力を評価して、スーパーバイズドファインチューニング（SFT）または直接嗜好最適化（DPO）を通じてその性能を向上させることを指している可能性があります。

フロンティアラボへの経済的影響

アナリストは、AnthropicやOpenAIなどの企業の経済的持続可能性は、最先端（SOTA）モデルへのアクセスにプレミアムを課す能力に依存していると示唆しています。競合他社が蒸留を使用してR&Dコストの一部で同様の性能を達成できる場合、SOTAアクセスの市場価格は下落する可能性があり、これによりフロンティアラボが高品質な合成データ生成に数億ドルを投資するインセンティブが低下する可能性があります。

合法性と倫理に関する視点

これらの主張に対するコミュニティの反応は、AIトレーニングにおける「公平性」の概念を中心に深く分かれています。

主張に対する反論

多くの人々は、蒸留は標準的な業界慣行であり、違法ではないと主張しています。挙げられたポイントには以下のようなものがあります：

• ウェブスクレイピングとの類似: トレーニングのために著作権のある素材をスクレイピングすることが合法とみなされるなら、モデル出力の蒸留も同様に許容されるべきです。
• AI出力に著作権がない: AI生成テキストは一般的に著作権が発生しないため、これをトレーニングに使用することは、利用可能なデータのフェアユースと見なされることがあります。
• 業界の先例: 一部のユーザーは、フロンティアラボ自身がさまざまなソースから蒸留を行い、自社のモデルを改善していると主張しています。

保護のための主張

その他の人々は、秘匿的蒸留は産業スパイの一形態であると主張しています。フロンティアモデルの出力が簡単に「サイフォン」されて競合製品を作成できる場合、革新へのインセンティブは失われ、AI能力の停滞を招くと指摘しています。

"もし彼らの出力がすぐに競合モデルのトレーニングに使われるなら、誰がAIのフロンティアのためのデータ生成に投資するでしょうか？ ... 他の企業がこの投資にただ乗りするなら、続ける意味はありません。"

主要な主張のまとめ

主張	出典/詳細
主要な主張	Moonshot AIはK3開発のためにAnthropicのFableを蒸留した
方法	検出を回避するための高度な内部プラットフォーム
ハードウェア	GB300搭載サーバーの使用およびタイ経由でのアクセス
米国の立場	秘匿的産業蒸留は受け入れがたい