Andrej Karpathy의 Opus 5와 프로시저럴 월드 생성의 미래

Opus 5가 프로시저럴로 반지의 제왕을 렌더링

Andrej Karpathy는 최근 LLM 테스트를 간단한 정적 자산(예: SVG에서의 "자전거 위의 펠리칸))에서 복잡한 프로시저럴 생성 3D 환경으로 전환하는 것을 보여주었다. Opus 5를 사용하여 Karpathy는 《반지의 첫 번째 단락을 제공하고, 1백만 토큰 예산과 Three.js 렌더링 요청을 제시했다. 모델은 약 두 시간 동안 5,500줄의 코드를 생성하여 이야기를 프로시저럴로 렌더링했다.

결과물은 " jerk"(조악함)로 묘사되었지만, 이 실험은 LLMs가 이제 3D 좌표에서 폴리곤 자산을 오케스트레이션하고 내러티브를 생동감 있게 만들기 위한 애니메이션 코드를 작성할 수 있음을 입증한다. Karpathy는 이것이 "일시적 GTA" 경험으로의 전환을 나타낸다고 언급한다—사용자가 관객 또는 캐릭터로서 스토리에 잠재적으로 들어갈 수 있는 주문형 초커스텀 월드.

LLM의 "스태미나"와 커스터마이징 비용

이 실험의 주요 교훈 중 하나는 AI "스태미나"라는 개념이다. Karpathy는 LLMs가 인간 개발자가 한계 효용에 비해 노력이 너무 높아 시간을 들이지 않을 고도로 맞춤형 소프트웨어 생성을 가능하게 한다고 주장한다. 생성 비용이 무시할 수 있게 되거나("~free)) 가치 제안은 효율성에서 맞춤형 일회성 경험을 생성할 수 있는 능력으로 이동한다.

그러나 Hacker News에서의 커뮤니티 토론은 이것이 "무료"라는 개념에 도전했으며, 이러한 생성은 상당한 투자자 자본과 높은 운영 비용에 의해 구동된다고 지적했다. 일부 사용자는 소스 텍스트 한 단락당 약 $10 정도라면 전체 소설을 렌더링하는 것은 비용이 지나치게 많이 들 것이라고 지적했다.

핵심 제한: 시각 감사에서의 인식 격차

수천 줄의 Three.js 코드를 작성할 수 있는 원시적 능력에도 불구하고, 이 실험은 현재 LLMs의 근본적인 약점을 드러냈다: 자신의 시각 출력을 네이티브하게 인식하고 감사할 수 없는 능력.

렌더링을 개선하기 위해 Opus 5는 다양한 시점에서 스크린샷을 mühsamt하게 찍고 정적 이미지로 분석해야 했다. 이 "느린" 피드백 루프는 최종 제품에 여러 오류와 " jerk"를 초래했다. 기술 관찰자들의 합의는 AI가 기본 데모를 넘어가려면 이미지-텍스트-행동 파이프라인에 의존하는 대신 비디오와 게임플레이를 인식하는 더 효율적, 선형적 또는 서브선형 방식이 필요하다는 것이다.

커뮤니티 관점과 반론

이 시연은 그러한 " vibe-based" 벤치마크와 기능적 유효성 사이의 논쟁을 촉발했다.

벤치마킹과 "펠리칸 테스트"에 관하여

일부 사용자는 이러한 테스트가 단순히 "귀엽고" 실제 세계의 유용성과 상관관계가 없다고 주장했다. 한 코멘터는 다음과 같이 적었다:

"LLMs은 직업 면접에서 사람들이 테스트받는 방식과 동일하게 테스트되어야 한다... 사용과 관련된 작업으로. 그래서 무작위로 어떤 것을 골라 LLM이 무작위로 하게 하지 말아야 한다... 바보 같은 무관한 펠리칸이 자전거 위에 있는 것은 안 된다."

반대로, 다른 사람들은 이러한 벤치마크가 모델 능력의 진행 상황을 시간에 따라 추적하는 간단하고 주관적인 방법을 제공하기 때문에 유용하다고 주장했다.

Three.js의 역할

비평가들은 Three.js가 exceptionally well-documented 라이브러리며 수많은 공개 예시(마인크래프트 유사 클론과 FPS 데모 포함)를 가지고 있어, 웹 코드로 훈련된 모델에게 "낮게 매달린 과일"이 될 수 있다고 지적했다. 그들은 Three.js 코드를 생성할 수 있는 능력이 물리 세계에 대한 일반적인 이해를 나타내는 것이 아니라 특정하고 널리 이용 가능한 API에 대한 숙련도를 나타낸다고 제안한다.

"일회용 소프트웨어" 시대

일부 관찰자들은 우리가 저렴한 플라스틱의 부상과 유사한 "일회용 소프트웨어" 시대에 진입하고 있다고 제안한다. 이 패러다임에서 소프트웨어는 настолько 저렴하게 생산되어서 만약 고장 나거나 약간 버그가 있으면 디버그하고 패치하는 대신 단순히 폐기하고 재생성된다.