Jev Cards:你能在图片问答中击败视觉模型吗?(Show HN)
什么是 Jev Cards?
Jev Cards 是一款基于浏览器的图片问答游戏,人类玩家与名为 Jev 1.14 的视觉模型对战。游戏提供 490 张图片卡片,涵盖水果、旗帜、地图、国际象棋和错觉等主题。Jev 与人类看到相同的图片,并在大约四分之一秒内返回答案。网站标语问道:“你能击败 Jev 吗?”在快照时,它显示 Jev 已赢得 3,103 场比赛中的 2,463 场。页面还宣传“今晚直播:人类对战模型”和“冲刺卡片 对比 秒数”模式。
Jev 1.14 如何回答图片卡片
Jev 1.14 是一个决策模型,而非文本生成模型。它读取图片和问题,并在一次调用中返回每个选项的概率——或者对于“点击位置”卡片,返回一个框。它从不生成文本。这种设计意味着模型不会产生解释或思维链;它直接输出可能答案的概率分布。报告响应时间约为每张卡片 0.25 秒。
卡片主题和游戏模式
游戏包含 490 张图片卡片,涵盖多个主题。列出的主题包括水果、旗帜、地图、国际象棋和错觉。评论者还遇到了音乐理论问题。“冲刺卡片 对比 秒数”模式衡量玩家回答一组卡片的速度。核心挑战是“你 vs Jev 1.14”,人类和模型看到相同的卡片并竞速回答。
玩家对计分的反馈
玩家报告称,计分系统可能产生反直觉的结果。一位评论者 geooff_ 写道:
“我 10/10 题全对,而 Jev 只答对 8/10,结果我‘输’给了 Jev。计分很有趣?”
这表明获胜条件并非纯粹基于准确率。另一位评论者 jrflo 描述了一种速度与准确率的权衡:
“很酷的演示!虽然我觉得错误答案应该受到更多惩罚。例如——我在冲刺中约 45 秒内达到 100%。然后,我尽可能快地点击(仅受限于找到正确目标)并得到 42 秒的分数,技术上比我的第一次分数更好,但我只答对了 20%。”
在这种情况下,更快的速度但更低的准确率被评分为优于较慢但完全准确的表现。这表明计分公式非常看重速度,或者至少没有充分惩罚错误答案。
玩家对准确率和速度的反馈
几位评论者观察到 Jev 更快,但并不总是更准确。edaemon 写道:
“有趣。Jev 确实更快,但它出错的地方比我多得多。”
inerte 也指出:
“我答错了很多题(可能一半?),而我答对的题 Jev 仍然更快。”
casey2 报告了一场具体游戏,人类答对 5 题,而 Jev 连续 0 题,但应用却宣布 Jev 获胜:
“我以为我 5 题答得很差,但 Jev 连续 0 题。然后这个烂代码应用说‘Jev 已赢得 3,300 场比赛中的 2,613 场,包括这一场。’”
这些评论强调,Jev 的速度优势可以决定结果,即使其准确率低于人类。该评论中的报告计数(3,300 场中的 2,613 场)与快照中的早期数字(3,103 场中的 2,463 场)不同,表明游戏的胜场计数器会随时间更新。
界面和内容反馈
玩家还对界面和卡片内容提供了反馈。nextaccountic 要求添加排除音乐理论问题的选项:
“你能添加一个选项来移除音乐理论问题吗?我的意思是,我知道 Jev 也能轻松答对这些,但我只能随机点击,这不好玩。”
arjie 建议更改布局:
“希望音频按钮能放在页面右上角等位置。”
semiquaver 报告了一个 bug,卡片只显示一个选项,即使玩家认为自己选择了正确答案,应用仍标记为错误:
“我打开的第一张卡片只给我一个选项,当我点击时,应用告诉我我错了,并说 Jev 按下了正确的按钮(我猜我看不到)。我还看到其他几个问题,我按了正确答案,但应用却判我错。烂代码。”
coolThingsFirst 注意到卡片内容中的一个惊人事实:
“等等,Orca 是海豚。天哪。”
Jev Cards 展示了视觉模型的哪些能力
Jev Cards 实验表明,视觉决策模型可以在约 0.25 秒内回答图片问答问题,并在大多数对局中击败人类。这类模型的价值在需要极快回答且不要求完美正确性的任务中最高。casey2 总结了这种权衡:
“如果你需要非常快速的回答,显然人类无法竞争。实际上,进一步思考后,在得到 15 分之后,如果你以前见过完全相同的问题,你可以快速回答,所以其用处仅限于不需要 100% 正确、需要极快解决(甚至路由可能不需要这么快)、问题形式经常变化但仍属于常识、以及 99% 正确率相比 50% 的边际收益很低的问题。”
这表明,注重速度的视觉模型最适合问题形式多变、常识足够、且接近完美准确率相比中等准确率的边际收益较低的场景。示例可能包括快速路由决策或互动游戏,尽管评论者提醒说,即使是路由也可能不需要如此极端的速度。
Show HN 讨论总结
Jev Cards 是一个人类与模型图片问答的实时实验。Jev 1.14 是一个决策模型,一次调用返回概率,从不生成文本。网站报告称,在快照时 Jev 已赢得 3,103 场比赛中的 2,463 场。玩家评论集中在计分偏向速度而非准确率、偶尔的错误计分和卡片 bug,以及内容过滤和界面调整的请求。讨论还提出了更广泛的问题:何时快速但中等准确的视觉模型比慢速但高准确的模型更有用。
总结
Jev Cards 是一个 Show HN 浏览器游戏,玩家与 Jev 1.14 竞速,Jev 1.14 是一个视觉决策模型,读取图片卡片并在约 0.25 秒内回答,目前它已赢得 3,103 场比赛中的 2,463 场。