Rio-3.5-Open-397B: モデルマージと帰属に関する論争の分析

IplanRIO（リオデジャネイロ市のIT企業）によってリリースされた大規模言語モデル Rio-3.5-Open-397B は、技術的な分析の結果、ネイティブなファインチューニングではなく、既存モデルの重みのマージ（weighted merge）であることが判明し、精査を受けています。論争の中心は、当初 Nex-N2 Pro モデルへの帰属（attribution）が欠けていたことですが、開発者は後にドキュメントを更新してマージを認めました。

Rio-3.5-Open-397B の技術的構成

Rio-3.5-Open-397B は、ゼロからトレーニングされたモデルや単純なファインチューニングではなく、2つの既存モデルの数学的な補間（mathematical interpolation）です。技術的な分析によると、このモデルの重みは Nex-N2 Pro と Qwen3.5-397B-A17B の線形結合（linear combination）であることが示されています。

コミュニティで共有された分析によると、全60レイヤーおよびすべてのネットワークコンポーネントにわたる重みテンソルは、約60% の Nex-N2 Pro と 40% の Qwen3.5-397B-A17B の一貫したブレンドであることが示されています。この発見は、モデルが数学的に重みをマージすることによって作成されたことを示唆しています。このプロセスは、従来のトレーニングを必要としませんが、同じアーキテクチャに基づいた2つのモデルの強みを組み合わせることで、場合によってはパフォーマンスを向上させることができます。

帰属とドキュメントの更新

当初、このモデルは「自社開発」の Qwen3.5 ファインチューニングとして提示されていました。しかし、Nex-N2 Pro（リオのモデルの約1週間前にリリースされたもの）への帰属が欠けていることを指摘する GitHub issue が発生した後、開発者は Hugging Face のモデルページを更新しました。

更新されたドキュメントには、現在次のように明記されています：

The model is built via a merge of https://huggingface.co/nex-agi/Nex-N2-Pro and https://huggingface.co/Qwen/Qwen3.5-397B-A17B, proceeded by On-Policy Distillation from a stronger model.

謝罪の中で、開発者は「誤ったアップロード」が発生し、最終的な蒸留（distilled）モデルではなく、ベースとなるマージ版が公開リポジトリにアップロードされたと主張しました。これが、コミュニティによって分析されたバージョンが、主張されている蒸留トレーニングを行っていない単純な重みのマージに見えた理由です。

コミュニティの洞察と背景

この出来事は、自治体のITプロジェクトの透明性と、現代の LLM 開発の性質に関する重要な議論を巻き起こしました。

モデルマージ vs. ファインチューニング

観察者は、Nex-N2 自体が Qwen に基づいているため、モデル間の距離が小さく、それが線形重みマージの成功に寄与した可能性が高いと指摘しています。これは、複数のオープンウェイトモデルをマージすることで、フルトレーニングの計算コストをかけずに、一貫して優れた結果を生み出せるかどうかという、より広範な疑問を生じさせています。

組織の透明性

一部のコミュニティメンバーは、自治体のIT部門がハイパラメータモデルの作成を試みていることに驚きを示しましたが、他のメンバーは、当初の帰属の欠如を透明性の欠如と見なしました。ある観察者は、モデルのソーシャルメディアでの拡散と市長室による活用が、研究者によって提供された技術ドキュメントの提供速度を上回った可能性があると指摘しています。

主張の検証

技術的な批判者は、「on-policy distillation」の主張は、アップロードされたバージョンが単純なマージ版である限り、検証不可能であると指摘しています。コミュニティのコンセンサスは、「自社開発」という主張の妥当性は、モデルの最終的な蒸留版がリリースされた時にのみ確認できるというものです。