XiaomiMiMo/MiMo-V2-Flash

解決する課題

MiMo-V2-Flashは、大規模言語モデルの実行に伴う高い計算コストとメモリ要件という課題に対処します。長文脈の推論や、コーディングやWeb開発といった複雑なエージェントタスクに対して、推論コストを大幅に削減しつつ、高性能で効率的なソリューションを提供します。

仕組み

このモデルは、合計309BパラメータのMixture-of-Experts (MoE) アーキテクチャを採用していますが、トークンあたりのアクティブパラメータはわずか15Bです。以下の技術により効率性を実現しています：

• Hybrid Attention: スライディングウィンドウアテンションとグローバルアテンションを組み合わせることで、メモリ使用量を約6倍削減します。
• Multi-Token Prediction (MTP): 複数の未来のトークンを同時に予測する組み込みモジュールにより、出力速度を3倍に向上させます。
• Advanced Training: Multi-Teacher On-Policy Distillation (MOPD) とコードベースのタスクに対する大規模な強化学習を活用し、推論能力とエージェント機能を向上させています。

対象ユーザー

このモデルは、高性能なAIエージェント、長文脈アプリケーション、または複雑な推論タスクにおいて高速かつコスト効率の高い推論を必要とするシステムを構築する開発者や研究者向けに設計されています。

ハイライト

• 大規模なドキュメントやコードベースを処理するための256kのコンテキストウィンドウ。
• ツール使用やマルチターン推論を含むエージェントワークフロー向けに最適化。
• FP8混合精度推論のネイティブサポート。
• コミュニティの研究を支援するためのオープンソースのMTPウェイトを含みます。
• SWE-Benchなどのベンチマークや、複雑な数学・コーディングタスクでの実証済みのパフォーマンス。