FROGSベンチマーク: ハプスブルク顎のカエルのSVGを生成
FROGSベンチマークがモデルに求めること
ベンチマークは、単一のプロンプト「ハプスブルク顎のカエルのSVGを生成」から、各モデルにハプスブルク顎のカエルのSVGを生成させます。各モデルは月に3回の試行を行います。
ベンチマークの構造とデータセットの内容
ベンチマークは2026年8月に14のモデル、42回の実行、42のSVG出力で実施されました。すべてのSVG、実行メタデータ、およびアノテーションは、データセット名 "frogs" のもとで Hugging Face と GitHub 上で公開されています。
生成されたSVGから見えるモデルの挙動
SVGはファイルサイズが幅広く変動し、最大は google/gemini-3.6-flash で 14,329 バイトです。単一実行で最も多くのトークンを消費したのは deepseek/deepseek-v4-pro で 16,228 トークンでした。多くのモデルは、気分、態度、または王室の象徴など、純粋な解剖学を超えたアノテーションを追加しました。最も編集的だったモデルは google/gemini-3.6-flash で、"Sad/Weary facial lines" や "Heavy Droopy Eyelids (Habsburg lethargic look)" などのフレーズを含む 65 件のコメントスタイルのアノテーションを提供しました。解剖学的リクエストから暗示されない王室のイメージは、gemini-3.6-flash、deepseek-v4-pro、claude-opus-5、claude-sonnet-5、grok-4.5、glm-5.1、および qwen3.7-max の出現に見られました。"droopy regal eyelids"、"arrogant" pupils、"Inbred Royal Disdain"、および "half‑closed, giving a regal unimpressed look" といった気分・態度を表す用語は、いくつかのモデルによって追加されました。mistralai/mistral-large-2512 は 3 回の実行のうち 2 回でバイト同一の SVG を生成し、決定的な出力であることを示しています。glm-5.1 と qwen3.7-max は、"(because Habsburg)" や "(optional Habsburg reference)" といったコメントで明示的に王冠の追加を指摘し、王室への仮定が自己認識されていることを示しています。
結果についてのコメント者の意見
Hacker News のコメント者はさまざまな反応を示しました。あるユーザーは Opus 5 を称賛し、「Opus 5 に敬意を表します。これが唯一合格に近いものだと考えていました」と述べ、多くの失敗は認識可能なカエルの顔を描いたものの、顔にうまく統合されない顎の塊を付けていたと指摘しました {https://news.ycombinator.com/item?id=49148044}。別のユーザーは、どの試みも側面プロファイルを使用しておらず、側面から見ると顎の形がより目立ち、正面のみのアプローチではタスクが難しくなると主張しました {https://news.ycombinator.com/item?id=49149617}。ベンチマークの作者は、サイトが予期しないトラフィックを受けていることに言及し、個人的に google/gemini-3.6-flash の SVG を好むと述べました {https://news.ycombinator.com/item?id=49148152}。別のコメント者はこのベンチマークを「強力」と評価し、「これらのいずれも人間の芸術と間違えることはできません。Opus 5 が最も近い」と述べました {https://news.ycombinator.com/item?id=49147998}。あるユーザーは perceived ranking を次のように要約しました："Opus 5 > Kimi K3 > grok 4.5 これはかなり良いベンチマークです" {https://news.ycombinator.com/item?id=49148457}。別のユーザーは、すべての画像が正面を向いており、側面または 3/4 視点ではハプスブルク顎をよりよく示せると指摘しました {https://news.ycombinator.com/item?id=49152837}。あるユーザーは画像生成ベンチマークの関連性を疑問視し、「なぜ人々はこれらを画像生成でベンチマークするのか？ここで使われているものとは違うはずだ…」と述べました {https://news.ycombinator.com/item?id=49159943}。最後に、コメント者は Gemini 2.5 Pro がプロンプトに失敗したにもかかわらず、独特の芸術スタイルと強い陰影を持っていたと指摘しました {https://news.ycombinator.com/item?id=49148897}。
まとめ：なぜこのベンチマークが重要なのか
FROGS ベンチマークは、単一かつ特定の解剖学的プロンプトに対するモデルの解釈を明らかにし、視覚的忠実度の変化、王室または感情的な物語を付け加える傾向、出力サイズと決定性の違いを示します。これらの違いは、各モデルが指示を文字通りに従うか、文脈的またはスタイル的要素を付け加えるかの傾向についての洞察を提供し、指示忠実度と創造的一般化の評価に役立つ可能性があります。