Xiaomi Mimo 2.6 사후 학습 대시보드 분석

Xiaomi는 Mimo 2.6 모델 시리즈를 위한 실시간 사후 학습 대시보드를 출시하여 강화 학습(RL) 과정에 대한 전례 없는 수준의 투명성을 제공합니다. 이 대시보드는 mimo-v2.6-pro 및 mimo-v2.6-flash라는 두 가지 모델 변형에 대한 학습 비용, 토큰 처리량 및 벤치마크 점수에 관한 실시간 원격 측정 데이터를 제공합니다.

실시간 학습 지표 및 비용

Xiaomi는 사후 학습에 필요한 재정적 및 컴퓨팅 투자에 대한 세부적인 정보를 제공하고 있습니다. 최신 대시보드 스냅샷 기준으로 두 번의 실행에 대한 누적 비용은 다음과 같습니다.

mimo-v2.6-pro: $740,289
mimo-v2.6-flash: $321,466

합산하여 총 실행 비용은 106만 달러를 넘어섰습니다. 학습 과정에는 방대한 양의 토큰이 포함되며, "flash" 변형은 "pro" 변형의 206억 토큰 대비 총 378억 토큰을 처리했습니다.

성능 벤치마크: DeepSWE v1.1

이 대시보드는 DeepSWE v1.1 (mini-swe-agent, avg@3) 벤치마크에서의 성능을 추적하며, 이전 버전에 비해 상당한 진전을 보여줍니다.

mimo-v2.6-pro: 62.24
mimo-v2.6-flash: 60.77

참고로, 커뮤니티 논의에 따르면 Mimo v2.5 Pro는 이전에 DeepSWE 1.1에서 19%를 기록했으며, 이는 2.6 시리즈에서 코딩 능력이 크게 도약했음을 나타냅니다. 이로써 2.6 모델은 Fable(70%), Kimi K3(69%), Astra(74%)와 같은 다른 최첨단 코딩 에이전트와 유사한 성능 계층에 위치하게 되었습니다.

학습 데이터 구성 및 RL 과정

Mimo 2.6의 RL 학습은 소프트웨어 엔지니어링 및 코딩 작업에 크게 비중을 두고 있습니다. pro 실행의 10단계에서 프롬프트 분포는 다음과 같았습니다.

Code: 67.7% (1,062개 프롬프트)
Visual: 13.1% (206개 프롬프트)
General: 12.1% (190개 프롬프트)
Cyber: 4.1% (64개 프롬프트)
Chat: 3.0% (47개 프롬프트)

기술적 원격 측정 데이터는 "rollouts", "judging", "rewarding"을 포함하는 복잡한 RL 루프를 나타냅니다. 대시보드는 학습 단계 동안 모델의 안정성과 발산을 모니터링하기 위해 actor/entropy_loss, actor/pg_loss, train_infer_diff/new_infer/kl과 같은 지표를 추적합니다.

커뮤니티 통찰 및 사용자 경험

Mimo 시리즈를 사용해 본 사용자들은 낮은 비용과 높은 지능 덕분에 투자 대비 높은 수익(ROI)을 강조합니다.

"이 모델은 매우 강력합니다! 완벽하지는 않아서 한두 번 환각 루프에 빠지기도 했지만... 비용이 믿을 수 없을 정도로 낮고, 제가 얻는 지능의 품질은 주로 Anthropic 모델을 사용할 때와 동등합니다." — @handle

v2.5에서 최신 버전으로 전환하는 개발자들은 멀티태스킹 및 설계 능력에서 뚜렷한 개선이 있음을 언급합니다. v2.5-pro가 최소한의 솔루션을 구현하는 "보수적인" 코더로 묘사되었던 반면, 최신 버전은 더 "야심 찬" 것으로 묘사되며 프로젝트의 격차와 다음 단계에 대해 더 나은 추측을 내놓습니다.

기술적 관찰 및 논란

대시보드의 개방성은 학습 방법론에 관해 기술적 관찰자들 사이에서 논쟁을 불러일으켰습니다.

오염(Contamination): 일부 사용자는 학습 중에 벤치마크를 실행하는 것이 데이터 오염에 해당하는지 의문을 제기했습니다.
증류(Distillation): 모델이 다른 최첨단 모델로부터 증류되고 있다는 추측이 있으며, 일부 사용자는 학습 데이터 생성에 Claude를 사용했을 가능성을 제기했습니다.
투명성: 커뮤니티는 OpenAI나 Anthropic과 같은 미국 기반 연구소의 불투명한 학습 과정과 대조하며, 이러한 투명성을 향한 움직임을 대체로 칭찬하고 있습니다.