Rio-3.5-Open-397B: 모델 병합 및 출처 표기 논란 분석

IplanRIO(리우데자네이루 시의 IT 기업)가 출시한 Rio-3.5-Open-397B 대규모 언어 모델은 기술적 분석 결과, 네이티브 파인튜닝(fine-tune)이 아닌 기존 모델들의 가중치 병합(weighted merge)임이 밝혀지며 조사를 받게 되었습니다. 논란의 핵심은 Nex-N2 Pro 모델에 대한 초기 출처 표기 누락이며, 개발자들은 이후 문서를 업데이트하여 병합 사실을 인정했습니다.

Rio-3.5-Open-397B의 기술적 구성

Rio-3.5-Open-397B는 처음부터 학습된 모델이나 단순한 파인튜닝 모델이 아니라, 두 기존 모델의 수학적 보간(mathematical interpolation) 결과물입니다. 기술적 분석에 따르면 이 모델의 가중치는 Nex-N2 Pro와 Qwen3.5-397B-A17B의 선형 결합(linear combination)으로 이루어져 있습니다.

커뮤니티에서 공유된 분석에 따르면, 60개 모든 레이어와 모든 네트워크 구성 요소의 가중치 텐서(weight tensors)는 약 60%의 Nex-N2 Pro와 40%의 Qwen3.5-397B-A17B가 일관되게 혼합된 형태입니다. 이러한 발견은 이 모델이 전통적인 학습 과정 없이 수학적으로 가중치를 병합하여 생성되었음을 시사합니다. 이 과정은 경우에 따라 동일한 아키텍처를 기반으로 하는 두 모델의 강점을 결합하여 성능을 향상시킬 수 있습니다.

출처 표기 및 문서 업데이트

초기에 이 모델은 자체 개발한 Qwen3.5 파인튜닝 모델로 소개되었습니다. 그러나 Rio의 모델이 출시되기 약 일주일 전에 출시되었던 Nex-N2 Pro에 대한 출처 표기가 누락되었다는 점을 지적하는 GitHub issue가 제기된 후, 개발자들은 Hugging Face 모델 페이지를 업데이트했습니다.

업데이트된 문서는 다음과 같이 명시하고 있습니다:

The model is built via a merge of https://huggingface.co/nex-agi/Nex-N2-Pro and https://huggingface.co/Qwen/Qwen3.5-397B-A17B, proceeded by On-Policy Distillation from a stronger model.

개발자들은 사과문에서 "incorrect upload"가 발생하여, 최종적인 증류(distilled) 모델 대신 기본 병합 버전이 공개 저장소에 업로드되었다고 주장했습니다. 이는 커뮤니티에서 분석된 버전이 주장된 증류 학습 없이 단순한 가중치 병합으로 보였던 이유를 설명해 줍니다.

커뮤니티 통찰 및 맥락

이번 사건은 지방 자치 단체의 IT 프로젝트의 투명성과 현대 LLM 개발의 특성에 관한 중요한 논의를 불러일으켰습니다.

모델 병합 vs. 파인튜닝

관찰자들은 Nex-N2가 자체적으로 Qwen 기반이기 때문에 모델 간의 거리가 매우 가까워 선형 가중치 병합의 성공에 기여했을 가능성이 높다고 언급했습니다. 이는 여러 오픈 웨이트(open-weight) 모델을 병합하여 전체 학습에 드는 계산 비용 없이도 지속적으로 우수한 결과를 낼 수 있는지에 대한 더 넓은 질문을 던집니다.

기관의 투명성

일부 커뮤니티 구성원들은 지방 자치 단체의 IT 부서가 고파라미터 모델을 생성하려고 시도했다는 점에 놀라움을 표했으며, 다른 이들은 초기 출처 표기 누락을 투명성 결여로 보았습니다. 한 관찰자는 모델의 소셜 미디어에서의 급격한 성장과 시장 시장(mayor's office)의 활용이 연구자들이 제공한 기술 문서보다 더 빠르게 진행되었을 수 있다고 지적했습니다.

주장의 검증

기술적 비평가들은 업로드된 버전이 단순 병합 모델인 한 "on-policy distillation"이라는 주장이 검증 불가능하다고 지적했습니다. 커뮤니티의 합의는 모델의 최종 증류 버전이 출시될 때에만 "자체 개발"이라는 주장이 타당한지 확인할 수 있다는 것입니다.