Pelican-bicycle 2026 年 SVG 基准测试对比

快速要点

2026 年更新的 Pelican‑bicycle 替代方案基准测试表明，大多数顶级大语言模型现在可以在数秒内以不到一美元的成本从荒诞提示生成详细 SVG，但延迟、定价、视觉风格以及复杂实体交互处理方面仍存在显著差异。

基准测试衡量的内容

  • 提示格式：简短而富有想象力的描述（例如，“章鱼操作管风琴”）。
  • 输出：由每个模型生成的矢量 SVG 图像。
  • 记录的指标：每个模型的生成时间和 API 成本。
  • 模型集合：六款 2026 年模型（GPT‑6 Astra、Claude Fable 5.1、Gemini 3.8 Flash、DeepSeek V4 Pro、Qwen 3.8 Max、Fugu Ultra v2）和十款 2025 年模型（Claude Sonnet 4.5、Claude Opus 4.5、GPT‑5.1、GPT‑5.2 Pro、Gemini 2.5 Pro、Gemini 3.0 Pro Preview、Grok Code Fast 1、DeepSeek V3.2‑Exp、GLM‑4.6、Qwen 3‑VL‑235B‑A22B‑Thinking）。

速度与成本快照（精选提示）

提示 最快模型（时间） 最便宜模型（成本）
章鱼 + 管风琴 Gemini 3.8 Flash – 2 分 40 秒 DeepSeek V4 Pro – $0.10
长颈鹿 + 祖父钟 Claude Fable 5.1 – 1 分 58 秒 DeepSeek V4 Pro – $0.05
海星 + 推土机 Claude Fable 5.1 – 66 秒 DeepSeek V4 Pro – $0.06
马鹿 + 旋转木马 Gemini 3.8 Flash – 2 分 9 秒 Gemini 3.8 Flash – $0.08
火烈鸟 + 望远镜 DeepSeek V4 Pro – $0.04（时间 3 分 24 秒）
刺猬 + 手风琴 Claude Fable 5.1 – 79 秒 Gemini 3.8 Flash – $0.07
水母 + 摩天轮 Claude Fable 5.1 – 74 秒 Gemini 3.8 Flash – $0.09
大象 + 打字机 Claude Fable 5.1 – 66 秒 Gemini 3.8 Flash – $0.08
企鹅 + 链锯 Claude Fable 5.1 – 46 秒 Gemini 3.8 Flash – $0.06

总体而言，2026 年模型的速度比其 2025 年对应模型快约 2‑3 倍，同时保持相当或更低的每生成成本。

视觉风格趋同

  • 常见构图：大多数模型将主要动物置于画布左侧，并采用一致的配色方案（例如，长颈鹿‑钟图像共享一种柔和的棕橙色调）。
  • 模型特有特征：
    • Gemini 3.8 Flash 通常生成略显模糊、更柔和的粉彩风格，一些评论者归因于不同的训练数据集。
    • Claude Fable 5.1 倾向于生成更清晰的轮廓和更饱和的颜色。
    • Qwen 3.8 Max 与 Claude 输出高度相似，表明 Anthropic 数据的强烈影响。
  • 失败模式：两个实体交织（例如，章鱼触手穿过风琴）仍会令多个模型出错；GPT‑6 Astra 偶尔会画出章鱼腿从乐器中伸出，而非从身体中伸出。

Hacker News 社区洞察

"The Little Dorrit Benchmark 显示视觉推理分数仍在提升；顶级模型的 F1 仅为 0.78，远未达到饱和。" – @svcrunch

"古德哈特定律适用——许多模型可能在训练中见过这些完全相同的提示，因此测试不再衡量涌现能力。" – @vova_hn2

"Gemini 3.8 Flash 在性能与成本比方面表现最佳，主观上在速度和价格上优于其他模型。" – @BrokenCogs

"所有模型现在都能很好地处理这些提示；早期版本在腿与轮子对齐方面存在困难。" – @samayashar

"不同提供商的设计出奇地相似，表明训练数据趋同或共享架构偏见。" – @outlore

"Qwen 3.8 Max 看起来几乎是从 Claude 模型中提炼出来的；风格相似性显而易见。" – @villish

"SVG 输出避免了光栅生成器常见的‘用纹理填满所有区域’问题，在负空间中保持更干净。" – @theshrike79

这些评论突出了三个反复出现的主题：

  1. 基准测试饱和担忧——尽管分数在提升，但任务可能已过度拟合。
  2. 成本效益权衡——Gemini 3.8 Flash 和 DeepSeek V4 Pro 在性价比曲线上占据主导地位。
  3. 风格同质化——许多提供商似乎共享训练数据或类似的扩散流程，导致构图几乎完全一致。

对未来大语言模型评估的启示

  • 超越速度与成本：为区分模型，基准测试应纳入 负空间处理、动画生成 或 多步推理（例如，“折叠一个折纸并输出 SVG”）。
  • 提示多样性：引入需要 语义组合性 的任务（例如，“树懒驾驶挖掘机的同时阅读报纸”）可暴露实体交互中的潜在弱点。
  • 开源基线：社区成员请求纳入 Qwen 3.8‑27B 等本地模型，以实现无需 API 成本的可复现性。
  • 指标扩展：增加 F1 或结构相似性分数（如 Little Dorrit 基准中所示）可补充原始延迟和价格数据。

总结

2026 年 Pelican‑bicycle 替代方案基准测试确认，主流大语言模型已达到一个水平：荒诞 SVG 生成既快速、廉价，又视觉一致。然而，风格趋同、持续存在的构图错误以及对已知提示的过拟合风险，表明社区应推动基准测试向更丰富、更具诊断性的任务演进。

Sources

相关