なぜLLMのペリカンは同じに見えるのか？モード崩壊、プロンプティング、そしてデザイン創造性の議論

短い答え

LLMに「自転車に乗ったペリカン」を描くように頼むと、ほぼ同一のSVGが生成されます——同じ左から右への構図、同じ太陽、同じ道、同じスカーフ——そして、「The Emperor Pelican Has No Clothes」という記事に関するHacker Newsのスレッドは、その意味について鋭く意見が分かれています。一方の陣営は、これをポストトレーニングモデルにおける現実の、そして十分に議論されていないモード崩壊問題と呼びます。もう一方の陣営は、創造的な指示のない裸のプロンプトは、平凡で文字通りの答えを生み出すべきであり、その同一性は指示追従が意図通りに機能している証拠だと主張します。

ソース資料に実際に含まれているもの

Hacker Newsの投稿のタイトルは「Why do LLM pelicans look like this?」で、arcfu.comの「The Emperor Pelican Has No Clothes」という記事にリンクしています。そのリンクのスクレイピングされたページの内容は、記事の本文ではありません——それはKombaiのベンチマークであるDesign Creativity Benchの発表スレッドであり、AIモデルをUIデザインタスクで評価するものです。その発表には次のように記載されています：

16のフロンティアモデルが、80のオープンエンドなUIタスクで評価され、各タスクは人間のデザイナーの参照を使用して2つの製品ドメインに適応されました。
3つの次元が測定されました：オリジナリティ（モデルのデザインが同じブリーフに対する他のモデルの出力とどれだけ異なるか）、クリエイティブレンジ（製品ドメインが変わったときにモデルがどれだけ適応するか）、および適切性（UIがブリーフの機能要件をどれだけ満たすか）。
報告された最良のモデルであるOpenAI GPT-6 Astraは、人間の参照スコア92.3に対して65.5を獲得しました。

ベンチマークの枠組み——「フロンティアAIモデルは、デザイン創造性において人間のデザイナーに依然として大幅に及ばない」——は、コメントスレッドが反応する主張ですが、ペリカンの例自体は、投稿がリンクしている記事からのものです。

中核的な主張：LLMの出力はモード崩壊している

最も強力な技術的バージョンの議論は、出力の多様性とモデルの能力を分離するコメンターから来ています：

「現在のすべてのポストトレーニングLLMは、ポストトレーニングセットの分布と比較してモード崩壊しており、これはラボや独立した研究者から十分な注目を集めていません。これはトランスフォーマーだけの問題ではなく、あらゆる種類のモデルで一般的な失敗モードです。また、根本的な限界でもありません。教師なしモデルは、トレーニングセットが許す限り多様であることに問題はありません。」

そのコメント（orbital-decayから）は、分離する価値のある3つの異なるポイントを述べています：モード崩壊はポストトレーニングの産物であり、トランスフォーマーに固有のものではなく、固有の上限でもありません——ベースまたは教師なしモデルは、トレーニング分布の広がりをより多く保持します。

関連するコメンター（ozgung）は、プロンプトだけからは説明しにくい特定の収束を指摘しています：「太陽、道、緑、スカーフ、右方向。スタイルさえも。プロンプトからすると、それらは誰もが思いつく明白な連想ではありません。」

反論：単純なプロンプトには単純な答えがふさわしい

スレッドで最も繰り返された反対意見は、ペリカンテストが文字通りの指示追従を測定しており、創造性を測定していないというものです。

「自転車に乗ったペリカンを頼んだら、自転車に乗った比較的退屈なペリカンの画像を期待します。稲妻の中を自転車で飛んでいるペリカンではありません。それは完全に私が頼んだものではありません。」

そのコメンター（randomblock1）は、具体的な失敗モードに議論を広げます：ラップトップのSVGを頼んだ場合、プロンプトなしの「創造的な」モデルは、認識しにくく却下される可能性が高いレトロまたは未来的なラップトップを返すかもしれません——そのため、トレーニングはモデルを中立的で標準的な答えに押しやります。

2人目のコメンター（riebschlager）は、ユーザーの意図としてそれを捉えます：「私はこれらのツールを使って自分自身の創造性を表現したいのであって、ツール自身の創造性を表現させたいわけではありません...単純なリクエストを単純に満たすことは、バグではなく機能のように思えます。」3人目（wolttam）は、その立場を明確に述べています：「異なるLLMが同一のプロンプトに類似した結果を返すのは、驚くべきことではなく、おそらく望ましいことです。変化が欲しいなら、プロンプトでそれを要求してください。」

プロンプティングは分布を変える

スレッドには、その同一性が固定されたものではなくプロンプトに敏感であるという直接的な証拠が含まれています。あるコメンター（joshkel）は、Opus 5.5でバリエーションをテストしました：

「Be creative」を追加すると、自転車のカゴに魚が入ったビーチシーンと背景に灯台が生成され、テスターは「あまり創造的ではない」と説明しました。
「Pick a unique and creative variation of this concept」を追加すると、「真夜中のサーカス行為」が生成されました——ペニー・ファージングに乗ったペリカンが、2つの灯台の間に張られた綱の上で、釣り竿と魚をバランスさせながら綱渡りをするというものでした。

別のコメンター（ed）は、これが意図された動作であると主張します：「良いプロンプトは、分布を平均から遠ざけます...これは機能であり、バグではありません。」

3人目（tetraodonpuffer）は、具体的なフォローアップ実験を提案します：ペリカンベンチマークを2回実行し、1回は「be original」を追加し、すべてのモデルが同じ「オリジナリティ」の概念に収束するかどうかを確認します。同じコメンターは、画像生成のアナロジーを描き、ベースモデルは蒸留された「ターボ」バリアントよりもシードに敏感であり、また人間の行動とのアナロジーを描きます：「100人に馬を描くように頼んだら、『ここに標準的な馬の写真があります』というものに、『ピカソが馬を描くように頼まれたらこんな感じ』というものよりはるかに似ている可能性が高いでしょう。」

「多様性崩壊」は変化の方向を間違えているかもしれない

あるコメンター（joshkel）は、定義上の問題を指摘します：記事のフレーズ「LLM多様性崩壊問題」は、モデルが時間とともに多様性を失っていることを示唆しますが、リンクされたベンチマークは、新しいより有能なモデルがより創造的であることを示唆しています。その緊張関係はスレッドでは未解決のままです。

別のコメンター（vatsachak）は、同じ観察からはるかに強い結論を導き出します：「LLMが純粋にLLMの出力で事前トレーニングできない理由は、LLMの出力の多様性が低いからです」と付け加え、これは「仮想的なQwen 4.5とFable 5.5の間に機能的な違いはなくなるだろう」ということを示唆し、「LLMはAGIではない」と述べます。これらはそのコメンターの主張であり、確立された結果ではありません。

「多様な」出力の中のバイアス

2人のコメンターは、その同一性が主題よりも深いところにあると指摘します。

spuz：「多様なセットでさえ、ほとんどの画像はペリカンが左から右へ乗っていることを示しています。私たちのデータと脳の両方に、真の多様性を得るために消去する必要がある大量のバイアスがあります。」
ks2048：「13の例のうち10で、自転車の後ろに動きを伝えるための3本の小さな水平線があります。これらは驚くほど似ており、必ずしもプロンプトから直接的に従うものではありません。」

aabajianからの関連する観察は、デフォルトのレンダリングスタイルに関するものです：SVGリクエストは多角形のフラットな外観を暗示しているようで、明示的にフォトリアリスティックを求めると結果が変わりました——「多角形のSVGを作りました。もっとフォトリアリスティックに頼んだら、はるかに見栄えが良くなりましたが、それでもSVGでした。」

商業的な文脈

あるコメンター（phil-martin）は、Design Creativity Benchの発表をマーケティングと見なします：「これはkombai.com/features/designでの有料AIデザイン製品の巧妙な広告です。」ベンチマークの見出しの数字を評価する読者は、ベンチマークと製品が同じ所有者を持つことを考慮すべきです。

スレッドがこれがペリカン以外にも重要だと考える理由

実際的な懸念は美学ではありません。あるコメンター（jvanderbot）は、収束を競合情報とセキュリティの問題として捉えます：すべてのモデルが「Xを行うものを作って」を同じ方法で実装する場合、出力は「一種のスタックオーバーフローの、よくコメントされた、インターンシッププロジェクト」に似ています——「敵対者がそれでトレーニングできるほど同じようなもの？それとも後でハッキングできるほど？」

2人目（jeanpah）はリスクを一般化します：「ペリカンで起こるなら、他のすべてでも起こるでしょう。」3人目（seidleroni）は、そのパターンをイーサン・モリックのAIには特定の「味」があるという著作に結び付け、実用的な対応は人間の指示であると主張します：「これは人間が多くのインプットと方向性を提供できる方法の1つです。」

提起されたが答えられていない未解決の質問

「be original」自体も崩壊するのか？ 提案されたテスト——指示を追加し、すべてのモデルが同じオリジナリティの概念に収束するかどうかを確認する——は、スレッドでは提案されただけで実行されませんでした。
人間はどう比較するのか？ あるコメンター（electroweak）は、同じプロンプトを与えられた小学4年生のクラスが、モデルよりも多様性を生み出すかどうかを尋ねます。
ペリカンよりも良いプローブはあるのか？ あるコメンター（xtracto）は、モデルに折り紙の指示を求めること——「A4の紙を何枚でも使って、折り紙で自転車に乗ったペリカンを作る方法をグラフィカルな指示で書いたSVGを書いてください」——は、現在のモデルにとってはるかに困難であり、ほとんどが「基本的な飛行機で、実際に浮かぶだけ」を管理するだけだと報告しています。
ベンチマークは正しいものを測定しているのか？ Design Creativity Benchの3つの軸（オリジナリティ、クリエイティブレンジ、適切性）は、明確性をブリーフの遵守から明示的に分離しています。これは、コメントスレッドのほとんどがペリカンテストが曖昧にしていると主張する区別です。

結論

ペリカンの同一性は現実的で再現可能ですが、スレッドは単一の説明を支持していません。証拠は少なくとも3つの寄与要因を指し示しています：モーダルな答えへのポストトレーニングモード崩壊、不十分に指定されたプロンプトでの文字通りの指示追従への報酬、そして左から右への動きやデフォルトのフラットSVGスタイルなどの共有トレーニングデータのバイアス。 disagreement は、それらのうちどれが支配的か——そして、修正がより良いプロンプティング、より良いポストトレーニング、または単純なリクエストは単純な答えを得るべきだという受け入れであるかどうかです。