AIラボはpelicanmaxxingしているのか？ 1,008個のSVGを用いた実験による証拠

概要

AIラボがpelicanmaxxing（ペリカンに特化して最適化）していることを示す証拠は見つかりませんでした。7つの最先端モデルにおいて、ペリカンは動物の描画品質で下位半分にランクされ、自転車は乗り物の品質で下位近くに位置しており、ペリカンと自転車の組み合わせのセルは、難易度を調整した後でも統計的に有意なブーストを生み出しませんでした。

方法論

OpenRouterを介して、GPT‑5.6 Terra, Claude Sonnet 5, Gemini 3.5 Flash, Grok 4.5, Qwen3.7‑Max, GLM‑5.2, DeepSeek V4 Proの7つのモデルをテストしました。48の動物×乗り物のプロンプト（8種類の動物 × 6種類の乗り物）のそれぞれに対して、temperature 1.0で3つのSVGを生成し、計1,008枚の画像を生成しました。各SVGはPNGにレンダリングされ、再生成が必要だったのはわずか11枚でした。スコアは3段階のパイプラインから算出されました。GPT‑5.6 Lunaが動物、乗り物、一貫性を1〜5のスケールで判定し、Gemini 3.1 Flash‑Liteが認識された動物、乗り物、向き、シーンの要素を抽出しました。

証拠 1: 目視検査ではペリカンと自転車の明らかな優位性は見られない

生の画像を確認しても、ペリカンと自転車の描画が、そのモデルの他のグリッドよりも明らかに優れているように見えるものはありませんでした。ペリカンと自転車のサンプルは、各モデルが生成する他の動物と乗り物の組み合わせと同様に見えます。

証拠 2: ペリカンの評価は平均的である

すべてのモデルにわたって動物の評価を平均すると、ペリカンは8種類の動物のうち6番目で、猫、クジラ、アライグマ、サギ、アンテロープに次いでいます。もしラボがペリカンをベンチマークとして学習しているなら、ペリカンはトップに位置するはずですが、実際には下位半分に位置しています。

証拠 3: 自転車の評価は低い

自転車の評価は、飛行機に次いで下から2番目です。ラボは他の乗り物よりも自転車をうまく描けてはいません。低いスコアは、2つの同じ車輪、フレーム、ハンドルバー、シート、ペダルを描画するという固有の難易度を反映しています。

証拠 4: 回帰分析では特定のラボによる有意なブーストは見られない

ペリカン、自転車、およびペリカンと自転車のセルに対するラボごとの相互作用項を含む固定効果回帰（score ~ lab + animal × vehicle）の結果、以下のことが判明しました：

• ペリカンの効果は、判定ポイントで -0.11 から +0.14 の範囲（最小 p = 0.25）。
• 自転車の効果は、-0.18 (Grok 4.5, p=0.11) から +0.27 (Gemini 3.5 Flash, p=0.022) の範囲。Geminiのみが p < 0.05 をクリアしています。
• ペリカンと自転車の相互作用で p < 0.05 に達するものはありません。最大の正の値は GLM‑5.2 の +0.35 (p=0.12) です。 すべての信頼区間にゼロが含まれており、このベンチマークにおいて統計的に有意なラボ特有のブーストはないことを示しています。

証拠 5: シーンの構成は記憶（memorization）を示していない

21枚のペリカンと自転車の画像はすべて右を向いていますが、右を向くことは一般的です。全画像の60%がそうであり、自転車は最も右を向きやすい2つの乗り物の1つです（81%）。ペリカンも右を向く傾向があります（78%）。したがって、この一様な方向性は、記憶された構成ではなく、一般的なバイアスと一致しています。シーン要素の抽出では、ペリカンと自転車の画像に特有の繰り返される要素のセットは見られませんでした。各動物と乗り物のペアは、それぞれ独自の頻出要素（例：フラミンゴとボートの太陽、猫と自転車のカゴ）を持っています。

制限事項

• スコアは単一のLLM判定器（GPT‑5.6 Luna）に依存しており、判定器間の信頼性は測定されていません。
• この実験では、すべてのセルを等しく引き上げる広範なSVGmaxxingを検出することはできません。
• 約80ドルのAPI予算のため、セルあたり3つのサンプル、単一の判定器、7つのモデルに限定されています。

結論

AIラボがpelicanmaxxingしているという証拠はほとんどありません。ペリカンは他の動物よりも上手く描かれておらず、自転車は他の乗り物よりも上手く描かれておらず、ペリカンと自転車の組み合わせは、それぞれの要素の合計を超えていません。最も近いシグナル（GLM‑5.2の+0.35のブースト）は小さく、統計的に有意ではありません。

コミュニティの反応

「これは素晴らしい。他の乗り物に乗った他の動物をさりげなくチェックしてきましたが、私の究極の夢は、他の組み合わせよりもペリカンと自転車の方が明らかに上手いAIラボを捕まえることです。」 – @simonw

「7つのラボすべてにおいて、21枚のペリカンと自転車の画像がすべて右を向いています。他の動物/乗り物の組み合わせではそうなっていません。しかし、右を向くことは一般的です。全1,008枚の画像の60%がそうしています…」 – @mauvehaus

「誰かがこれについて数値を計算してくれて嬉しいです。Simon WillisonのSVGに関する投稿は、必ず誰かから『今頃はもうそれを使って学習しているはずだ』と言って退けられています。」 – @stusmall

「より妥当な話は、まさにSVGmaxxingです。そして、現時点で『maxxing』が本当は何を意味するのかを自問する必要があります。『SVGの描画を上手くする』ことは有用なスキルだからです。」 – @Wowfunhappy

「誰かが無効な結果（null result）を公開するのを見るのは、本当に新鮮なことです。」 – @nostrademons

「基礎となるデータはGitHubで利用可能です: https://github.com/dylanjcastillo/blog/tree/main/_extras/pel...」 – @simonw

「LLMにSVGを出力させるのは、人間のアーティストに座標のリストを読み上げるだけで何かを描かせるのに似ていると感じます。それは信じられないほど難しく、不自然です。」 – @dllu

「メトリクスを追いかけるのは、ドラゴンの追跡だ。Tomato, tomato（些細な違いだ）」 – @RobRivera

「ラボが特にpelicanmaxxingしているわけではないが、SVGのための何らかのRL（強化学習）環境があり、そこでAIに過学習（overcook）させているのではないかという感覚がありました。」 – @ertgbnm

「一輪車の乗り手として、横向きに乗っているのが特に滑稽で目に留まりました。しかし、ほとんどのモデルが一部の動物に対して同じ横向きのミスを、一貫して繰り返していることには非常に驚いています。」 – @oasisbob

「彼らは『Pelicanmaxxing』しているのではなく、『Ottermaxxing（カワウソmaxxing）』しています。GLM 5.2とDeepseek V4の『飛行機に乗った動物』の例を見てください。」 – @SyneRyder

「すべての自転車の画像が右を向いているという著者の観察は、自転車を右側から撮影するという慣習とほぼ間違いなく関係があるでしょう。」 – @elliotto

「LLMに画像を判定させるという選択に困惑しています。」 – @pasquinelli