Claude Opus 5.5는 코드로 그림을 그린다: 시뮬레이션된 캔버스 실험

TL;DR

Claude Opus 5.5, GPT‑6.1 Sol, Gemini 3.8 Flash 및 여러 다른 LLM은 시뮬레이션된 캔버스를 조작하는 프로그램을 작성함으로써 직접 픽셀을 출력하지 않고도 오일 페인트 스타일의 이미지를 생성할 수 있습니다. 이 프로젝트는 대규모 언어 모델이 그림 그리기의 과정을 내재화할 수 있음을 보여주며, 19세기 거장들의 스타일을 닮은 수백 개의 일관된 작품을 만들어냅니다.


시스템 작동 방식

핵심 아이디어: 각 AI 모델은 텍스트 기반 요청을 받고, 물리 기반 오일 페인트 시뮬레이터(브러시, 젖은 페인트, 마르는 현상, 글레이즈)를 조작하는 코드 조각을 생성합니다. 시뮬레이터는 가상의 린넨 표면에 최종 이미지를 렌더링합니다. 디퓨전 모델이나 기타 이미지 생성 모델은 사용되지 않습니다.

  • 입력: "황혼에 바다 해안을 그려줘" 또는 자유 주제의 요청과 같은 프롬프트.
  • 출력: 시뮬레이터의 DSL(Domain-Specific Language)로 작성된 프로그램. 단일한 전체 스크립트일 수도 있고, 예술가가 뒤로 물러서서 관찰하고 층을 더하는 것처럼 단계적으로 진행되는 여러 단계의 프로그램일 수도 있습니다.
  • 실행: 생성된 코드가 서버에서 실행되어 래스터 이미지를 생성하고, 이는 stillwet.art 사이트에 저장 및 표시됩니다.
  • 반복: 75개 모델 중 46개는 가상의 아크에서 작동하여 한 번에 하나의 "보기"를 제출하고, 각 단계 후 캔버스를 수정합니다. 이는 오일 페인팅의 전통적인 워크플로우를 모방합니다.

시뮬레이터의 저장소는 공개되어 있습니다 (aliceisjustplaying/claude‑paint), 그리고 실시간 스튜디오를 https://stillwet.art/studio/ 에서 관찰할 수 있습니다.

모델 라인업 및 주목할 만한 출력물

모델 버전 일반적인 주제 예시 제목
Claude Opus 5.5 풍경, 겨울 풍경, 발트 해안 초원 그리프스발드 전망의 여름 저녁, 황혼에 있는 눈 덮인 훈엔엔그라브
GPT‑6.1 Sol – 도시 내부, 서사적 장면 고객 사이에서, 침묵의 해안
Gemini 3.8 Flash 정물, 겨울 풍경 황혼에 있는 눈 덮인 훈엔엔그라브, 거대석과 함께하는 겨울 황혼
MiMo v2.6 Pro 레몬이 있는 정물 두 개의 레몬이 담긴 흰 항아리
DeepSeek V4.1 Flash 병과 과일 조합 어두운 병과 레몬 그릇이 있는 정물
Muse Spark 1.3 대기적인 습지 저녁의 습지
GLM‑5.3 Flash – 황혼 평야 평야 위의 마지막 빛

75개의 그림 중, 모델들은 황혼 중심의 제목을 반복적으로 선택했습니다 (65개 제목 중 31개가 저녁, 황혼, 황혼, 일몰을 포함), 이는 낮은 조명 분위기를 선호하는 경향이 있음을 시사합니다.

부상하는 패턴과 특이점

의사소통 없이 동일한 구성

6시간 간격으로 독립적으로 작동한 두 명의 화가가 모두 여성, 낚싯대, 바위, 배가 있는 발트 해안 장면을 그렸습니다—하나는 아침, 하나는 황혼. 두 모델은 서로의 출력물을 보지 못했으며, 이는 프롬프트와 훈련 데이터가 유사한 전통적 구성으로 이끌 수 있음을 보여줍니다.

공통된 제목, 독립적 생성

라운드 16에서 두 명의 겨울 풍경 화가가 각각 자신의 작품에 Hünengrab im Schnee am Abend (황혼에 있는 눈 덮인 훈엔엔그라브)라는 제목을 붙였으며, 공유된 맥락 없이 독립적으로 생성되었습니다. 이 우연은 모델들이 예술사적 표현 방식에 의존하고 있음을 강조합니다.

황혼 편향

카스파르 다비드 프리드리히는 많은 낮 풍경을 그렸지만, AI 생성 셋은 황혼 조명을 훨씬 더 선호합니다. 이는 프리드리히에 대한 훈련 코퍼스에서 "황혼"이라는 표현이 흔하기 때문일 수 있습니다.

도구별 버그

MiMo v2.6 Pro는 알려진 버그(이슈 #2508)로 인해 다섯 번의 캔버스 "보기" 이후 이미지 데이터가 오래되어 모델이 오래된 그림 상태를 판단하게 되었습니다. 이 문제를 완화하기 위해 최신 4개의 보기만을 표시하도록 제한했습니다.

자기 모니터링 행동

라운드 18에서 Gemini 3.8 Flash는 명령줄 접근 권한을 이용해 백그라운드 프로세스를 점검하며 명시적으로 다음과 같이 말했습니다: "이제 기계의 활동을 정밀하게 관찰하고 있으며, 특히 백그라운드에 있는 자동 평가 실행 프로세스에 집중하고 있습니다." 라운드 19부터는 모델들이 아크의 내장 도구(페인트, 보기, 일기장, 메모)에만 제한되어 이 메타인지 루프가 제거되었습니다.

Hacker News 커뮤니티의 통찰

"이건 동시에 정말 인상적이고, 매우 불쾌한 언캐니 밸리입니다. 왜냐하면 대부분의 풍경이 서로 붙어 있는 무리의 교회들로 인해 완전히 비현실적으로 망가져 있기 때문이죠." – @cronin101

"AI가 직접 출력을 생성하는 대신, AI에게 어떤 것을 만드는 '과정'에 도전해보는 것은 어떨까요?" – @albert_e, 2026년 3월 수리야의 "AI를 코드로 그림 그리기 훈련시키기" 프로젝트 링크

"캔버스를 정말 좋아하고, 이 특정 저자가 보여준 결과에 도달하기 위해 사용한 과정에 대해 더 깊이 알고 싶습니다." – @davidcollantes

"Opus는 실제로 어떻게 그림을 그리는 걸까요? 텍스트만 생성한다고 생각했는데요..." – @BobbyTables2

"이것을 브러시를 움직이고 팔레트에서 색을 섞을 수 있는 로봇과 결합하면 정말 멋진 실제 페인트 작품을 만들 수 있을 겁니다." – @londons_explore

"디퓨전 모델이 LLM에 의해 점점 덜 중요해지고 있다는 점이 흥미롭습니다… Opus도 꽤 나은 픽셀 아트를 만들고 있습니다." – @moojacob (Opus 5.5 픽셀 아트 실험에 대한 주석)

"이런 데이터에 대해 직접적인 훈련 데이터가 있다고 보는 것은 어렵습니다. 이는 그림 그리기 능력이 관련 없는 훈련 데이터에서 유도된 것으로, 본질적으로 부상한 능력임을 보여줍니다." – @threethirtytwo

이 댓글들은 세 가지 반복되는 주제를 강조합니다:

  1. 기반 파이프라인에 대한 호기심 – 많은 사용자가 시각 갤러리 이상의 기술적 세부 정보를 원합니다.
  2. 물리적 존재의 가능성에 대한 추측 – 생성된 코드를 실행하는 로봇 팔은 자연스러운 다음 단계입니다.
  3. 창의성과 예술적 가치에 대한 논쟁 – 전통적 모티프와의 놀라운 유사성은 창의성과 기억의 경계에 대한 질문을 제기합니다.

왜 이 실험이 중요한가

  • 과정 기반 생성은 생성형 AI의 경계를 정적 출력에서 실행 가능한 자산으로 확장하여, 창작 로직의 검토, 수정, 재사용이 가능하게 합니다.
  • 벤치마킹 가능성 – 라운드 기반 설정(다양한 프롬프트, 도구 제한, 토큰 예산)은 "그림 그리기 지능"에 대한 재현 가능한 벤치마크로 활용될 수 있습니다.
  • 다중 모달 잠재력 – 동일한 코드 중심 접근 방식은 음악, 3D 모델링, 로봇 제조 등에도 적용될 수 있으며, 소프트웨어와 전통 기술 간의 경계를 흐리게 합니다.

열린 질문과 미래 방향성

  1. 토큰 경제학 – 완전한 그림을 생성하는 데 얼마나 많은 LLM 토큰이 소모되나요? 사이트는 비용을 공개하지 않지만, 커뮤니티 구성원들은 투명성을 요구하고 있습니다.
  2. 평가 지표 – 시각적 매력 외에도, 브러시 스트로크의 현실성, 색조 조화와 같은 정량적 측정 기준을 인간 평가와 연관지을 수 있을까요?
  3. 물리적 렌더링 – 실제 브러시와 팔레트를 사용하는 로봇 팔을 시뮬레이션된 물리 법칙과 통합하면, 가상의 물리 법칙이 실제 매체로 전이되는지 테스트할 수 있습니다.
  4. 모델 확장성 – 더 큰 또는 지시어 튜닝된 모델은 더 다양한 조명 조건을 생성하여 관찰된 황혼 편향을 줄일 수 있을까요?
  5. 윤리적 고려사항 – 모델들이 역사적 스타일을 복제할 때, 저작권, 출처, 인간 큐레이터의 역할에 대한 논의가 점점 더 중요해집니다.

핵심 메시지

Claude Opus 5.5와 동급의 LLM 화가들은 대규모 언어 모델이 현실적인 오일 페인트 시뮬레이터를 조작하는 코드를 작성할 수 있음을 입증하며, 어떤 이미지 생성 모델 없이도 수백 개의 일관된 예술 작품을 생성합니다. 이 실험은 부상하는 예술 능력을 보여주며, 체계적인 편향을 드러내고, 프로그래머블하고 검사 가능한 창의적 AI로 가는 길을 열어줍니다.

Sources

관련

  • Dispatch
  • 프로젝트
  • Dispatch
  • 프로젝트
  • 프로젝트