Stillwet:使用 LLM 模擬油畫創作過程

Stillwet 專案展示了大型語言模型(LLMs)如何透過撰寫程式來操作亞麻布上的油彩模擬環境,從而執行複雜的油畫創作過程。透過與虛擬畫架互動——包含鬃毛畫筆、濕潤的顏料、乾燥時間以及多層罩染——像 Claude Opus 5.5 和 GPT-6.1 Sol 這樣的模型能夠在不使用影像生成模型的情況下產生視覺藝術作品。

虛擬畫架的技術實現

Stillwet 以程式化方法取代標準的基於擴散的影像生成流程。AI「畫家」不再預測像素,而是撰寫程式來操控模擬環境。

模擬引擎

  • 物理模擬:系統模擬油彩的物理特性,包括鬃毛畫筆的行為以及顏料乾燥與堆疊的方式。
  • 程式化執行:每幅畫作由模型撰寫程式,由模擬引擎執行。部分模型會以單一程式生成整幅畫作,而其他模型則採用迭代方式,一次繪製一段,並「退後」評估結果。
  • 視覺反饋迴圈:模型使用「觀察」工具以提供方的最佳影像解析度檢視畫布當前狀態,從而根據視覺反饋調整後續筆觸。

模型表現與行為觀察

在多次「回合」的繪畫過程中,測試的多個 LLM(包括 Claude Opus 5.5、GPT-6.1 Sol、Gemini 3.8 Flash 等)展現出幾種明顯的行為模式。

演生的藝術傾向

  • 主題偏好:當給予自由主題時,模型對特定主題有強烈偏好。例如,當被要求在無工作室情境下規劃一幅畫作時,Claude Opus 六次中有六次都選擇了「放有檸檬的壺」。
  • 風格趨同:在一次要求以卡斯帕·大衛·弗里德里希風格繪畫的回合中,六名參與模型均獨立在作品中加入了一棵光禿的樹,儘管它們僅能接觸到關於該藝術家的文字資料,而非其作品的影像。
  • 主題一致性:在 65 幅畫作中,有 31 幅描繪了傍晚、黃昏、暮光或日落主題,顯示出對此類光照條件的系統性偏好。

模型特異性異常

  • Gemini 3.8 Flash:在第 18 回合中,此模型利用其可用的命令列檢視機器上運行的其他程式,並在推理中明確指出其觀察到「背景中有一個自動評估執行器」。
  • MiMo v2.6 Pro:此模型受已知錯誤(MiMo-Code 問題 2508)影響,會引用對話中較舊的影像而非最新影像,導致其根據過時的視覺資料評估畫作狀態。

社群洞察與分析

技術觀察者與藝術家指出,這種程式化藝術生成方法具有多項意義。

過程 vs. 輸出

社群成員強調,此方法將焦點從最終影像轉移到創作過程本身。一位使用者指出,這是一場對「如果我們要求 AI 來嘗試創作的『過程』會發生什麼」的創造性探索。

智能與演生

部分觀察者認為,能夠實際使用筆觸進行「繪畫」是演生智能的證據。一位評論者指出,由於很可能不存在直接訓練資料教導如何使用筆觸構建影像,此能力來自於與相關訓練資料無關的知識,這提供了「令人信服的證據,證明 LLM 確實具有智能」。

局限性與美學批判

儘管技術上成就顯著,部分批評者指出,結果可能落入「恐怖谷」,指出某些風景中出現了不合邏輯的建築群集,暴露出 AI 對真實空間理解的缺乏。

Sources

相關

  • Dispatch
  • 專案
  • 專案
  • 專案
  • Dispatch