Andrej KarpathyによるOpus 5とプロシージャルな世界生成の未来について

Opus 5が『指輪物語』をプロシージャルにレンダリングする

Andrej Karpathyは最近、LLMのテスト手法が、単純な静的アセット（SVGによる「自転車に乗ったペリカン」など）から、複雑でプロシージャルに生成された3D環境へと移行していることを実演しました。Opus 5を使用し、Karpathyは『指輪物語』の最初の段落、100万トークンの予算、そしてThree.jsによるレンダリングのリクエストを提供しました。モデルは約2時間をかけて、物語をプロシージャルにレンダリングするための5,500行のコードを生成しました。

出力された結果は「ぎこちない（janky）」と表現されていますが、この実験は、LLMが3D座標におけるポリゴンアセットをオーケストレートし、物語に命を吹き込むために必要なアニメーションコードを記述できることを証明しています。Karpathyは、これが「エフェメラル（一時的な）GTA」体験、つまり、ユーザーが観客またはキャラクターとして物語に入り込めるような、オンデマンドで生成される超カスタマイズされた世界への移行を表していると指摘しています。

LLMの「スタミナ」とカスタマイズのコスト

この実験から得られる主な教訓の一つは、AIの「スタミナ」という概念です。Karpathyは、LLMによって、人間の開発者が限界効用に対して労力が大きすぎるために構築に時間を費やさないような、高度にカスタマイズされたソフトウェアの作成が可能になると主張しています。生成のコストが無視できるほど（あるいは「ほぼ無料」に）なったとき、価値提案は効率性から、オーダーメイドの、一度限りの体験を作成する能力へとシフトします。

しかし、Hacker Newsでのコミュニティの議論では、これが「無料」であるという考えに異議を唱え、このような生成は多額の投資家資本と高い運用コストによって支えられていると指摘しています。一部のユーザーは、ソーステキストの1段落あたり約10ドルかかるとすると、小説全編をレンダリングすることは非常に高価になると指摘しました。

決定的な限界：視覚的監査における知覚のギャップ

数千行のThree.jsコードを記述する生の能力があるにもかかわらず、この実験は現在のLLMにおける根本的な弱点を露呈させました。それは、自らの視覚的出力をネイティブに知覚し、監査することができないという点です。

レンダリングを洗練させるために、Opus 5は様々な時点でスクリーンショットを苦労して撮影し、それらを静止画として分析しなければなりませんでした。この「遅い」フィードバックループは、最終的な製品にいくつかのエラーと「ぎこちなさ」をもたらしました。技術的な観察者の間での共通認識は、AIが基本的なデモを超えて進化するためには、画像からテキストへ、そしてアクションへと至るパイプラインに頼るのではなく、ビデオやゲームプレイをより効率的、線形、または劣線形な方法で知覚する方法が必要であるということです。

コミュニティの視点と反論

このデモンストレーションは、そのような「バイブス（感覚）ベース」のベンチマークの妥当性と、機能的な有用性に関する議論を巻き起こしました。

ベンチマークと「ペリカン・テスト」について

一部のユーザーは、これらのテストは単に「可愛い」だけであり、現実世界での有用性と相関関係がないと主張しました。あるコメント主は次のように述べています：

"LLMs should be tested in the same way people should be tested for a job interview... with tasks RELEVANT to usage. So you don’t just randomly pick some random thing to make the LLM randomly do... no stupid irrelevant pelicans on bicycles."

逆に、他の人々は、これらのベンチマークが、モデルの能力の進展を時間の経過とともに追跡するための、シンプルで主観的な方法を提供してくれるため、有用であると主張しました。

Three.jsの役割

批判的な人々は、Three.jsが非常に優れたドキュメントを備えたライブラリであり、多くの公開例（MinecraftのようなクローンやFPSのデモなど）が存在するため、モデルにとって「簡単に手に入る果実（low-hanging fruit）」である可能性があると指摘しました。彼らは、Three.jsコードを生成する能力は、必ずしも物理的な世界の一般的な理解を示しているわけではなく、むしろ特定の、広く利用可能なAPIに対する習熟度を示しているに過ぎないと示唆しています。

「使い捨てソフトウェア」の時代

一部の観察者は、私たちは、安価なプラスチックの台頭に似た、「使い捨てソフトウェア」の時代に突入していると考えています。このパラダイムでは、ソフトウェアは非常に安価に生産されるため、もし壊れたり、少しバグがあったりしても、デモバッグやパッチを当てるのではなく、単に破棄して再生成されることになります。