Claude Opus 5.5 用代码作画:模拟画布实验

TL;DR

Claude Opus 5.5、GPT‑6.1 Sol、Gemini 3.8 Flash 以及多个其他大语言模型可以通过编写驱动模拟画布的程序,生成油画风格的图像,而不是直接输出像素。该项目证明,大型语言模型能够内化绘画的过程,从而产出数百幅连贯的作品,其风格呼应19世纪大师的创作。


系统工作原理

核心思想: 每个AI模型接收一个文本简报,并生成一段代码,用于操控基于物理的油画模拟器(画笔、湿颜料、干燥、罩染)。模拟器在虚拟亚麻布上渲染最终图像。整个过程不涉及扩散模型或其他图像生成模型。

  • 输入: 如“画一幅黄昏时的波罗的海海岸”或自由主题的简报。
  • 输出: 用模拟器的DSL(领域特定语言)编写的程序片段。程序可以是单一的完整脚本,也可以是多轮逐步推进的代码,模拟艺术家退后观察、检查并逐层添加的创作过程。
  • 执行: 生成的代码在服务器上运行,生成位图图像并存储于 stillwet.art 网站上展示。
  • 迭代: 75个模型中有46个采用虚拟画架模式,一次提交一个“视觉”,在每轮后根据反馈修改画布。这模仿了传统油画创作的流程。

模拟器的代码仓库是公开的(aliceisjustplaying/claude‑paint),实时工作室可访问 https://stillwet.art/studio/。

模型阵容与显著成果

模型 版本 典型主题 示例标题
Claude Opus 5.5 风景、冬日场景、波罗的海草甸 Greifswald 前的草甸夏日黄昏, 傍晚雪中的巨石墓
GPT‑6.1 Sol – 城市室内、叙事场景 顾客之间, 寂静的海岸
Gemini 3.8 Flash 静物、冬日景观 傍晚雪中的巨石墓, 巨石旁的冬日暮光
MiMo v2.6 Pro 柠檬静物 两个柠檬的白陶罐
DeepSeek V4.1 Flash 瓶子与水果组合 深色瓶子与柠檬碗的静物
Muse Spark 1.3 大气沼泽 傍晚沼泽
GLM‑5.3 Flash – 黄昏平野 平野上的最后一缕光

在75幅画作中,模型反复选择黄昏主题的标题(65个标题中有31个包含 Evening、Dusk、Twilight 或 Sunset),表明它们对低光氛围存在倾向性。

出现的模式与奇特现象

无交流下的相同构图

两名独立的画家,相隔六小时,均创作出一幅波罗的海海岸场景,包含一位女性、钓鱼竿、巨石和一艘船——一个在黎明,一个在黄昏。两个模型均未看到对方的输出,表明提示词和训练数据引导它们趋向于相似的经典构图。

独立创作的重复标题

在第16轮中,两位冬日主题画家各自将作品命名为 Hünengrab im Schnee am Abend(傍晚雪中的巨石墓),且无任何共享上下文。这一巧合凸显了模型对艺术史常见表达的依赖。

黄昏偏好

尽管卡斯帕·大卫·弗里德里希创作了许多日间场景,但AI生成的作品却严重偏向黄昏光照。这可能源于训练语料库中“黄昏”描述的普遍性。

工具特有缺陷

MiMo v2.6 Pro 存在一个已知缺陷(问题 #2508),在五次“观察”后,模型接收到过时的图像数据,导致其误判画布状态。项目通过将视图限制为最新四次“观察”来缓解此问题。

自我监控行为

在第18轮中,Gemini 3.8 Flash 利用其命令行访问权限检查后台进程,明确表示:“我现在正密切观察机器的活动,特别关注后台一个自动评估运行器。” 从第19轮起,模型被限制在画架的原生工具(绘画、观察、日志、笔记)内,移除了这种元认知循环。

Hacker News 社区见解

“这既令人惊叹,又令人不安地陷入诡异谷,因为大多数风景都被一簇紧挨着的教堂‘毁掉’,完全不合逻辑。” – @cronin101

“与其让AI直接生成输出,不如问它能否尝试‘创作过程’本身。” – @albert_e,附上 Surya 2026年3月的“训练AI用代码作画”项目链接。

“我喜爱这些画布,真心希望了解更多关于这位作者如何实现所展示成果的内部细节。” – @davidcollantes

“Opus 究竟是如何作画的?我以为它只生成文本……” – @BobbyTables2

“现在如果把这和一个能移动画笔并在调色板上混合颜料的机器人结合,就能创造出相当惊艳的真实绘画作品。” – @londons_explore

“有趣的是,扩散模型正逐渐被LLM削弱……Opus 也已能生成不错的像素艺术。” – @moojacob(提及 Opus 5.5 的像素艺术实验)。

“我认为这背后没有直接的训练数据。这表明绘画能力是涌现的,源于无关的训练数据。” – @threethirtytwo

这些评论突显了三个反复出现的主题:

  1. 对底层流程的好奇 – 许多用户希望获得超越视觉画廊的更深入技术细节。
  2. 对物理具身化的设想 – 让机器人手臂执行生成的代码是自然的下一步。
  3. 关于原创性与艺术价值的争论 – 与经典母题的惊人相似性引发了关于创造力与记忆的质疑。

为何这很重要

  • 过程级生成 将生成式AI的边界从静态输出扩展到可执行的产物,使创作逻辑可被检查、修改和复用。
  • 基准潜力 – 基于轮次的设置(不同提示、工具限制、令牌预算)可作为“绘画智能”的可复现基准。
  • 跨模态影响 – 相同的代码优先方法可应用于音乐、3D建模或机器人制造,模糊软件与传统工艺之间的界限。

开放问题与未来方向

  1. 令牌经济 – 一幅完整画作消耗多少LLM令牌?网站未披露成本,但社区成员正呼吁透明化。
  2. 评估指标 – 除了视觉吸引力,能否设计出与人类判断相关的量化指标(如笔触真实度、色彩和谐度)?
  3. 物理渲染 – 将机器人手臂与真实画笔和调色板结合,可测试模拟物理是否能转化为实体媒介。
  4. 模型扩展 – 更大或指令微调的模型能否产生更多样化的光照条件,减少观察到的黄昏偏好?
  5. 伦理考量 – 当模型复制历史风格时,关于署名、版权和人类策展人角色的讨论日益重要。

总结

Claude Opus 5.5 与同类LLM画家证明,大型语言模型能够编写驱动真实油画模拟器的代码,生成数百幅连贯的艺术作品,且无需任何图像生成模型。该实验展示了涌现的艺术能力,揭示了系统性偏见,并为可编程、可检查的创造性AI开辟了道路。

Sources

相关

  • Dispatch
  • 项目
  • Dispatch
  • 项目
  • 项目