XiaomiMiMo/MiMo-V2-Flash

해결 과제

MiMo-V2-Flash는 대규모 언어 모델 실행 시 발생하는 높은 컴퓨팅 비용과 메모리 요구 사항 문제를 해결합니다. 코딩 및 웹 개발과 같은 복잡한 에이전트 작업과 긴 문맥 추론을 위해 추론 비용을 크게 절감하면서도 고성능의 효율적인 솔루션을 제공합니다.

작동 원리

이 모델은 총 309B 파라미터의 Mixture-of-Experts (MoE) 아키텍처를 사용하지만, 토큰당 활성 파라미터는 15B에 불과합니다. 다음과 같은 기술을 통해 효율성을 달성합니다:

• Hybrid Attention: 슬라이딩 윈도우 어텐션과 글로벌 어텐션을 결합하여 메모리 사용량을 약 6배 줄입니다.
• Multi-Token Prediction (MTP): 여러 미래 토큰을 동시에 예측하는 내장 모듈을 통해 출력 속도를 3배 향상시킵니다.
• Advanced Training: Multi-Teacher On-Policy Distillation (MOPD) 및 코드 기반 작업에 대한 대규모 강화 학습을 활용하여 추론 및 에이전트 기능을 개선합니다.

대상 사용자

이 모델은 고성능 AI 에이전트, 긴 문맥 애플리케이션 또는 복잡한 추론 작업에서 빠르고 비용 효율적인 추론이 필요한 시스템을 구축하는 개발자와 연구자를 위해 설계되었습니다.

주요 특징

• 방대한 문서나 코드베이스를 처리하기 위한 256k 컨텍스트 윈도우.
• 도구 사용 및 다중 턴 추론을 포함한 에이전트 워크플로우에 최적화.
• FP8 혼합 정밀도 추론을 기본 지원.
• 커뮤니티 연구를 지원하기 위한 오픈 소스 MTP 가중치 포함.
• SWE-Bench와 같은 벤치마크 및 복잡한 수학/코딩 작업에서 검증된 성능.