Claude Opus 5.5 はコードで絵を描く:シミュレートされたキャンバス実験

TL;DR

Claude Opus 5.5、GPT‑6.1 Sol、Gemini 3.8 Flash および他の多数のLLMは、ピクセルを直接出力するのではなく、シミュレートされたキャンバスを制御するプログラムを書くことで、油絵風の画像を生成できます。このプロジェクトは、大規模言語モデルが絵を描くというプロセスを内面化できることを示しており、19世紀の巨匠に通じる数百の整合性のある作品を生み出しています。


システムの仕組み

核心的なアイデア:各AIモデルはテキストの要件を受け取り、物理ベースの油絵シミュレータ(ブラシ、湿った絵の具、乾燥、グラス)を操作するコードスニペットを生成します。シミュレータは最終的な画像を仮想のリネン布にレンダリングします。拡散モデルやその他の画像生成モデルは一切関与していません。

  • 入力:「夕暮れのバルト海沿岸を描いてください」や自由なテーマの要件など。
  • 出力:シミュレータのDSL(ドメイン固有言語)で書かれたプログラム。単一の巨大なスクリプトであることもあれば、アーティストが一歩引いて確認し、層を重ねるのを模倣する複数の段階的なプロセスであることもあります。
  • 実行:生成されたコードがサーバー上で実行され、ラスタ画像が生成され、stillwet.artサイトに保存・表示されます。
  • 反復:75モデルのうち46モデルは仮想のアトリエで動作し、一度に一つの「見せ方」を提出し、各段階後にキャンバスを修正します。これは油絵の伝統的なワークフローを模倣しています。

シミュレータのリポジトリは公開されています(aliceisjustplaying/claude‑paint)、ライブスタジオは https://stillwet.art/studio/ で観察可能です。

モデル一覧と注目すべき出力

モデル バージョン 一般的な主題 例題のタイトル
Claude Opus 5.5 風景、冬の風景、バルトの草原 グレーフスヴァルトの前の草原での夏の夕暮れ, 夕方の雪の中のドーメン
GPT‑6.1 Sol – 都市内の風景、物語的なシーン 顧客の間で, 静かな海岸
Gemini 3.8 Flash 静物画、冬の風景 夕方の雪の中のドーメン, 巨石のある冬の薄明
MiMo v2.6 Pro レモンを含む静物画 2つのレモンを含む白い壺
DeepSeek V4.1 Flash ボトルと果物の構成 暗いボトルとレモンの碗を含む静物
Muse Spark 1.3 大気的な沼地 夕暮れの沼地
GLM‑5.3 Flash – 夕暮れの平野 平野の最後の光

75枚の絵のうち、31枚(65タイトル中)が「夕暮れ」「夕方」「薄明」「日没」を含むタイトルを持ち、低光環境へのバイアスがあることを示しています。

潜在的なパターンと特徴

通信なしに同一の構図

6時間の間隔を空けて独立して作業した2人の画家が、どちらも女性、釣り竿、岩、船を含むバルト海沿岸の風景を描きました——1人は夜明け、もう1人は夕暮れ。両モデルは互いの出力を確認しておらず、プロンプトとトレーニングデータが類似した古典的構図に導くことを示しています。

共通のタイトル、独立して生成

第16ラウンドで、2人の冬の風景画家がそれぞれ「Hünengrab im Schnee am Abend」(夕方の雪の中のドーメン)というタイトルを付けましたが、共有された文脈はありません。この偶然は、モデルが共通の美術史的表現に依存していることを強調しています。

夕暮れへのバイアス

カスパール・ダヴィド・フリードリヒは多くの昼間の風景を描きましたが、AI生成の作品群は夕方の照明を強く好む傾向があります。これは、フリードリヒのトレーニングコーパスに「夕暮れ」の記述が多かったためかもしれません。

ツール固有のバグ

MiMo v2.6 Pro は、5回のキャンバス「見せ方」後に画像データが古くなってしまう既知のバグ(issue #2508)に苦しんでいました。プロジェクトは、最新の4回の見せ方に限定することでこれを緩和しました。

自己監視行動

第18ラウンドで、Gemini 3.8 Flashはコマンドラインアクセスを使ってバックグラウンドプロセスを確認し、「現在、機械の活動を細かく観察しており、特にバックグラウンドにある自動評価ランナーに注目しています」と明言しました。第19ラウンド以降、モデルはアトリエのネイティブツール(絵の具、見せ方、日記、メモ)に限定され、このメタ認知ループは排除されました。

Hacker Newsからのコミュニティの洞察

「これは同時に非常に印象的で、不気味な谷のようで、多くの風景がまったく非現実的な、隣り合った教会の群れによって『台無し』になっている。」 – @cronin101

「AIが直接出力を生成するのではなく、何かを作り出す『プロセス』に挑戦するという試みはどうなるだろうか。」 – @albert_e、Suryaの2026年3月の「AIにコードで絵を描くことを学ばせる」プロジェクトへのリンク。

「キャンバスが好きで、この特定の作者が結果に至るプロセスについてもう少し詳しく知りたい。」 – @davidcollantes

「Opusは実際にどうやって絵を描くの? テキスト生成しかできないと思っていた。」 – @BobbyTables2

「これに、絵の具のブラシを動かし、パレットで混ぜるロボットを組み合わせれば、かなり素晴らしいリアルな絵が作れるだろう。」 – @londons_explore

「拡散モデルがLLMによって徐々に劣化しているのは興味深い。Opusも良いピクセルアートを生成している。」 – @moojacob(Opus 5.5のピクセルアート実験に関するコメント)。

「これに直接的なトレーニングデータがあるとは考えにくい。これは、関係のないトレーニングデータから、絵を描く能力が出現したことを示している。」 – @threethirtytwo

これらのコメントは、3つの繰り返しテーマを浮き彫りにしています:

  1. 下部パイプラインへの関心 – 視覚ギャラリー以上の技術的詳細を求めるユーザーが多い。
  2. 物理的実体化の推測 – 生成されたコードを実行するロボットアームは自然な次のステップである。
  3. オリジナリティと芸術的価値の議論 – 古典的モチーフに似すぎていることから、創造性と記憶の違いに関する疑問が浮上している。

なぜこれが重要なのか

  • プロセスレベルの生成は、生成AIの境界を静的な出力から実行可能なアーティファクトへと広げ、創作ロジックの検査、修正、再利用を可能にします。
  • ベンチマークの可能性 – ラウンドベースの設定(異なるプロンプト、ツール制限、トークン予算)は、「絵を描く知能」の再現可能なベンチマークとして機能する可能性があります。
  • クロスモーダルのインパクト – 同じコード優先アプローチは、音楽、3Dモデリング、ロボット製造などにも応用でき、ソフトウェアと伝統工芸の境界を曖昧にします。

未解決の問いと今後の方向性

  1. トークン経済 – 完全な絵を描くのにどのくらいのLLMトークンが必要か? サイトはコストを明示していませんが、コミュニティメンバーは透明性を求めています。
  2. 評価指標 – 視覚的魅力以外に、ブラシストロークのリアルさや色の調和といった定量的指標を設計し、人間の判断と相関させることは可能か?
  3. 物理的レンダリング – 実際のブラシとパレットを持つロボットアームを統合すれば、シミュレートされた物理法則が実際の媒体にどう伝わるかを検証できる。
  4. モデルのスケーリング – より大きなモデルや指示チューニングされたモデルは、観察された夕暮れバイアスを減らし、より多様な照明条件を生成するだろうか?
  5. 倫理的配慮 – モデルが歴史的なスタイルを模倣する際、著作権、帰属、人間キュレーターの役割についての議論がますます重要になる。

まとめ

Claude Opus 5.5と同様のLLM画家たちは、大規模言語モデルが現実的な油絵シミュレータを制御するコードを書くことができることを証明しており、画像生成モデルを一切使わずに、数百の整合性のある芸術作品を生成しています。この実験は、出現する芸術的能力を示し、体系的なバイアスを明らかにし、プログラム可能で検査可能な創造的AIへの道を開いています。

Sources

関連

  • Dispatch
  • プロジェクト
  • Dispatch
  • プロジェクト
  • プロジェクト