MoonshotAI/Kimi-K3

解决的问题

Kimi K3 为通常需要大量人工监督的复杂、长周期任务提供前沿级别的智能。它专门针对高端工程、深度研究和多模态知识工作，例如 GPU 内核优化、芯片设计和视频编辑。

工作原理

Kimi K3 是一个拥有 2.8 万亿参数的混合专家 (MoE) 模型。它采用了具有 Kimi Delta Attention (KDA) 和 Attention Residuals (AttnRes) 的创新架构，并结合了 Stable LatentMoE 框架，每个 token 激活 896 个专家中的 16 个。它是原生多模态的，在单个模型中集成了文本、图像和视频处理，并支持高达 100 万 token 的超大上下文窗口。

适用对象

专为需要能够导航大规模代码库、编排终端工具并进行深度多模态研究的开源权重模型的研究人员、开发人员和工程师而设计。

亮点

• 大规模: 首个拥有 2.8 万亿总参数的开源 3T 级模型。
• 原生多模态: 对文本、图像和视频的统一理解。
• 长周期能力: 能够维持长时间的工程会话和复杂的软件开发（例如 CAD、编译器开发）。
• 极端上下文: 支持高达 100 万 token 的上下文窗口。
• 高效扩展: 使用 Stable LatentMoE 框架，将扩展效率较前代提高了约 2.5 倍。