Jev Cards: 画像クイズでビジョンモデルに勝てるか？ (Show HN)
Jev Cardsとは？
Jev Cardsは、ブラウザベースの画像クイズで、人間のプレイヤーがJev 1.14というビジョンモデルと対戦します。ゲームでは、果物、国旗、地図、チェス、錯視などのテーマをカバーする490枚のピクチャーカードが表示されます。Jevは人間と同じ画像を見て、約0.25秒で回答を返します。サイトのタグラインは「Jevに勝てるか？」と問いかけ、スナップショット時点では、Jevが3,103ゲーム中2,463勝したと報告されています。ページには「今夜ライブ: 人間対モデル」や「スプリントカード 対 秒」モードの広告もあります。
Jev 1.14がピクチャーカードに答える仕組み
Jev 1.14は、テキスト生成モデルではなく、決定モデルです。画像と質問を読み取り、すべての選択肢に対する確率（または「タップ・ザ・プレイス」カードの場合はボックス）を1回の呼び出しで返します。テキストを書くことはありません。この設計により、モデルは説明や思考連鎖を生成せず、可能な回答に対する確率分布を直接出力します。報告された応答時間はカードあたり約0.25秒です。
カードのテーマとゲームモード
ゲームには、複数のテーマにわたる490枚のピクチャーカードが含まれています。リストされているテーマは、果物、国旗、地図、チェス、錯視です。コメント投稿者は音楽理論の問題にも遭遇しました。「スプリントカード 対 秒」モードは、プレイヤーが一連のカードにどれだけ速く答えられるかを測定します。中核となるチャレンジは「あなた vs Jev 1.14」で、人間とモデルが同じカードを見て回答を競います。
スコアリングに関するプレイヤーのフィードバック
プレイヤーは、スコアリングシステムが直感に反する結果を生む可能性があると報告しました。あるコメント投稿者geooff_は次のように書いています。
「10/10の質問に正解してJevに『負けた』のに、Jevは8/10でした。面白いスコアリングですね？」
これは、勝利条件が純粋に正確さに基づいているわけではないことを示唆しています。別のコメント投稿者jrfloは、速度と正確さのトレードオフについて説明しました。
「とてもクールなデモですね！ただ、不正解はもっとペナルティされるべきだと思います。例えば、スプリントで約45秒で100%を取りました。それから、できるだけ速くクリックして（正しいターゲットを見つけることだけに制限されて）42秒のスコアを取りました。技術的には最初のスコアより良いですが、正解率は20%でした。」
この場合、正確さがはるかに低い速い時間が、完全な正確さの遅い時間よりも良いとスコアリングされました。これは、スコアリング式が速度を重視しているか、少なくとも不正解を十分にペナルティしていないことを示しています。
正確さと速度に関するプレイヤーのフィードバック
複数のコメント投稿者は、Jevは速いが常に正確とは限らないと観察しました。edaemonは次のように書いています。
「興味深いですね。Jevは確かに速いですが、私よりもかなり間違えていました。」
inerteも同様に次のように述べています。
「私は多くの質問を間違えました（半分くらい？）、そして私が正解したものではJevの方がまだ速かったです。」
casey2は、人間が5問正解し、Jevが連続0問だった特定のゲームを報告しましたが、アプリはJevを勝者と宣言しました。
「自分は5問でひどいと思ったけど、Jevは連続0問でした。それなのに、このスロップコードのアプリは『Jevが3,300ゲーム中2,613勝ち、これも含めて』と言っています。」
これらのコメントは、Jevの速度優位性が、人間よりも正確さが低い場合でも結果を左右することを強調しています。そのコメントでの報告された集計（3,300中2,613）は、スナップショットの初期の数字（3,103中2,463）と異なり、ゲームの勝利カウンターが時間とともに更新されることを示唆しています。
UIとコンテンツに関するフィードバック
プレイヤーはインターフェースとカードコンテンツについてもフィードバックを提供しました。nextaccounticは音楽理論の質問を除外するオプションを求めました。
「音楽理論の質問を除外するオプションを追加してもらえますか？ Jevがそれらも完璧に答えられるのはわかっていますが、私はランダムにクリックするしかなくて、それは楽しくありません。」
arjieはレイアウトの変更を提案しました。
「オーディオボタンがページの右上などにあると良いのですが。」
semiquaverは、カードに選択肢が1つしか表示されず、自分が正しい答えを選んだと信じていてもアプリがプレイヤーを不正解とマークしたバグを報告しました。
「最初に開いたものは押す選択肢が1つだけで、それを押したらアプリは私が間違っていると言い、Jevが正しいボタンを押したと言いました（私には見えなかったようです）。他のいくつかの質問でも、正しい答えを押したのにアプリは私を不正解とスコアリングしました。壊れたスロップです。」
coolThingsFirstはカードコンテンツの驚くべき事実に言及しました。
「ちょっと待って、オルカはイルカだよ。くそっ。」
Jev Cardsがビジョンモデルについて示すこと
Jev Cardsの実験は、ビジョン決定モデルが約0.25秒で画像クイズの質問に答え、人間に対してほとんどのゲームに勝つことができることを示しています。そのようなモデルの価値は、非常に高速な回答が必要で、完全な正確さを要求しないタスクで最も高くなります。casey2はこのトレードオフを次のように要約しました。
「非常に迅速な回答が必要なら、明らかに人間は競争できません。実際、15問やった後でさらに考えると、以前に同じ問題を見たことがあれば素早く答えられるので、有用性は100%正確である必要がなく、非常に迅速に解決する必要がある問題（ルーティングでさえこれほど迅速である必要はないかもしれません）、問題形式が頻繁に変わるが一般的な知識で十分であり、99%の正確さと50%の正確さの限界利益が非常に低い問題に減少します。」
これは、速度重視のビジョンモデルは、問題形式が変動し、一般的な知識で十分であり、ほぼ完全な正確さと中程度の正確さの限界利益が低いシナリオに最適であることを示唆しています。例としては、迅速なルーティング決定やインタラクティブなゲームが挙げられますが、コメント投稿者はルーティングでさえこれほどの極端な速度を必要としないかもしれないと警告しています。
Show HNディスカッションの要約
Jev Cardsは、人間対モデルの画像クイズのライブ実験です。Jev 1.14は、1回の呼び出しで確率を返し、テキストを書くことはない決定モデルです。サイトは、スナップショット時点でJevが3,103ゲーム中2,463勝したと報告しました。プレイヤーのコメントは、速度を正確さよりも優先するスコアリング、時折の誤ったスコアリングやカードのバグ、コンテンツフィルタリングとUI調整のリクエストに焦点を当てていました。ディスカッションは、高速で中程度の正確さのビジョンモデルが、遅いが高精度のモデルよりもいつ有用かについてのより広い疑問も提起しました。