Kimi K3 发布:2.8 万亿参数模型与 Pelican Benchmark
Kimi K3 发布:2.8 万亿参数模型与 Pelican Benchmark
Kimi K3:全新的 3T 级前沿模型
Moonshot AI 发布了 Kimi K3,被描述为首个拥有 2.8 万亿参数的“开放 3T 级模型”。该模型目前可通过官方网站和 API 使用,并计划于 2026 年 7 月 27 日发布开源权重。Kimi K3 相比其前身 Kimi K2.6(拥有 1 万亿参数)实现了显著的规模提升。
性能与基准测试
Kimi K3 在面对行业领先的前沿模型时展现出了极具竞争力的性能:
- 通用能力: 自行报告的基准测试表明,K3 通常优于 Claude Opus 4.8 max 和 GPT-5.5 high,但在 Claude Fable 5 和 GPT-5.6 Sol 面前仍稍显逊色。
- 长程知识工作: 根据 Artificial Analysis 的报告,Kimi K3 达到了 1547 的 Elo 分数,比 Kimi K2.6 提升了 732 分,位列第二,仅次于 Claude Fable 5。
- 编程: Kimi K3 目前在 Arena.ai 的 Frontend Code 竞技场中排名第一,超越了 Claude Fable 5。
- 效率: 该模型展示了更高的 token 效率,在 Artificial Analysis Intelligence Index 上,其输出 token 消耗比 K2.6 少了 21%。
价格与成本结构
Kimi K3 是迄今为止中国 AI 实验室发布的最高价模型,其定价策略模仿了 Anthropic 的 Claude Sonnet 系列:
- 输入 Token: 每百万 token 需 $3。
- 输出 Token: 每百万 token 需 $15。
这与 Kimi K2.6 相比有了大幅上涨,后者定价为每百万输入 token $0.95,每百万输出 token $4。
通过“Pelican Benchmark”进行分析
为了评估模型的实际空间推理能力和输出有效性,研究人员将“pelican benchmark”——一个要求模型“生成一个骑自行车的鹈鹕的 SVG”的提示词——应用于 Kimi K3。
SVG 测试的关键发现
运行这一特定提示词揭示了 K3 模型的几个技术特征:
- 高推理开销: Kimi K3 目前仅提供一种推理力度级别(“max”)。对于鹈鹕 SVG,该模型消耗了 13,241 个推理 token 来生成 3,417 个响应 token,导致单个提示词的总成本为 25 美分。
- 隐藏的系统提示词: 虽然提示词本身很短,但 Kimi K3 记录了 95 个输入 token。使用简单的 “hi” 进行测试,结果显示为 86 个 token,这表明存在一个约 85 个 token 的隐藏系统提示词。
- 强大的视觉能力: 当将生成的 SVG 重新输入 Kimi K3 进行图文转换描述时,该模型生成了高度准确且详细的场景 alt-text 描述。
Pelican Benchmark 的有效性
虽然鹈鹕测试可以作为新模型的有用“Hello World”,但其作为比较基准的价值已在演变:
- 相关性减弱: SVG 生成质量与模型整体智能程度之间的相关性已经减弱。例如,GLM-5.2 虽然不在 Claude Fable 5 同级别的模型,但其生成的鹈鹕图像质量现在已非常出色。
- 缺乏智能体测试: 该基准测试无法测试智能体(agentic)工具调用或在长对话中保持可靠性的能力,而这对于现代前沿模型至关重要。
- 潜在的过拟合: 社区内对于模型是否正在针对这些在博客和 GitHub 上广泛传播的特定提示词进行训练存在着显著讨论。
社区洞察与技术视角
围绕 Kimi K3 发布的相关讨论突出了 LLM 开发中的几个更广泛的趋势:
- 参数量 vs. 智能: 一些观察者认为,参数量(记忆)正变得不再像注意力密度(智能)那样关键。例如,GLM 的规模仅为 DeepSeek 的一半,但在多个基准测试中表现优于它。
- 计算资源限制: 鉴于高阶计算资源可能面临的限制,关于中国实验室如何训练 3 万亿参数模型的讨论仍在持续。
- 一致性问题: 用户指出,单次运行的基准测试可能会产生误导,因此有必要对每个模型进行多次运行以消除输出质量的波动。
“差距正在缩小。我认为 Kimi 3 仅比美国模型落后 3 个月。它是 GPT 5.5 级别的模型,而后者是在 4 月底发布的。”
“如果你在注意力机制上节省成本,那么即使增加更多的参数,结果也会变差。如果让我猜,这似乎是记忆(参数)与智能(注意力密度)之间的区别。”