XiaomiMiMo/MiMo-V2-Flash

解决的问题

MiMo-V2-Flash 解决了运行大规模语言模型时的高计算成本和内存需求问题。它为长上下文推理和复杂的智能体任务（如编程和 Web 开发）提供了一种高性能、高效率的解决方案，同时显著降低了推理成本。

工作原理

该模型采用专家混合 (MoE) 架构，总参数量为 309B，但每个 token 的活跃参数仅为 15B。它通过以下方式实现高效：

• Hybrid Attention: 将滑动窗口注意力与全局注意力交替使用，将内存使用量减少了近 6 倍。
• Multi-Token Prediction (MTP): 一个内置模块，可同时预测多个未来 token，使输出速度提高三倍。
• Advanced Training: 利用多教师在线策略蒸馏 (MOPD) 和基于代码任务的大规模强化学习，提升推理和智能体能力。

适用对象

该模型专为构建高性能 AI 智能体、长上下文应用或需要在复杂推理任务上实现快速、经济推理的系统的开发者和研究人员而设计。

亮点

• 256k 上下文窗口，用于处理海量文档或代码库。
• 针对智能体工作流进行了优化，包括工具使用和多轮推理。
• 原生支持 FP8 混合精度推理。
• 包含开源 MTP 权重以支持社区研究。
• 在 SWE-Bench 等基准测试以及复杂的数学/编程任务中表现优异。