MoonshotAI/Kimi-K3

解決的問題

Kimi K3 為通常需要大量人工監督的複雜、長週期任務提供前沿等級的智能。它專門針對高端工程、深度研究和多模態知識工作，例如 GPU 核心優化、晶片設計和影片編輯。

工作原理

Kimi K3 是一個擁有 2.8 兆參數的混合專家 (MoE) 模型。它採用了具有 Kimi Delta Attention (KDA) 和 Attention Residuals (AttnRes) 的創新架構，並結合了 Stable LatentMoE 框架，每個 token 激活 896 個專家中的 16 個。它是原生多模態的，在單個模型中集成了文本、圖像和影片處理，並支援高達 100 萬 token 的超大上下文窗口。

適用對象

專為需要能夠導航大規模程式碼庫、編排終端工具並進行深度多模態研究的開源權重模型的研究人員、開發人員和工程師而設計。

亮點

• 大規模: 首個擁有 2.8 兆總參數的開源 3T 級模型。
• 原生多模態: 對文本、圖像和影片的統一理解。
• 長週期能力: 能夠維持長時間的工程會話和複雜的軟體開發（例如 CAD、編譯器開發）。
• 極端上下文: 支援高達 100 萬 token 的上下文窗口。
• 高效擴展: 使用 Stable LatentMoE 框架，將擴展效率較前代提高了約 2.5 倍。