Jev Cards: 비전 모델과 그림 퀴즈에서 이길 수 있을까? (Show HN)

Jev Cards란?

Jev Cards는 인간 플레이어가 Jev 1.14라는 비전 모델과 경쟁하는 브라우저 기반 그림 퀴즈입니다. 게임은 과일, 국기, 지도, 체스, 착시와 같은 주제를 다루는 490개의 그림 카드를 제공합니다. Jev는 인간과 같은 그림을 보고 약 0.25초 만에 답을 반환합니다. 사이트의 태그라인은 "Jev를 이길 수 있나요?"라고 묻고, 스냅샷 시점에 Jev가 3,103게임 중 2,463게임에서 승리했다고 보고했습니다. 페이지는 또한 "오늘 밤 라이브: 사람 대 모델"과 "스프린트 카드 대 초" 모드를 광고합니다.

Jev 1.14가 그림 카드에 답하는 방법

Jev 1.14는 텍스트 생성 모델이 아닌 결정 모델입니다. 그림과 질문을 읽고 모든 옵션에 대한 확률을 반환하거나, "장소를 탭하세요" 카드의 경우 상자를 반환합니다. 텍스트를 작성하지 않습니다. 이 설계는 모델이 설명이나 사고 사슬을 생성하지 않고 가능한 답변에 대한 확률 분포를 직접 출력한다는 것을 의미합니다. 보고된 응답 시간은 카드당 약 0.25초입니다.

카드 주제와 게임 모드

게임에는 여러 주제에 걸친 490개의 그림 카드가 포함됩니다. 나열된 주제는 과일, 국기, 지도, 체스, 착시입니다. 댓글 작성자들은 음악 이론 질문도 만났습니다. "스프린트 카드 대 초" 모드는 플레이어가 일련의 카드에 얼마나 빨리 답할 수 있는지를 측정합니다. 핵심 도전은 "당신 대 Jev 1.14"로, 인간과 모델이 같은 카드를 보고 답하는 경쟁입니다.

점수에 대한 플레이어 피드백

플레이어들은 점수 시스템이 직관에 반하는 결과를 낼 수 있다고 보고했습니다. 한 댓글 작성자 geooff_는 다음과 같이 썼습니다:

"10/10 질문을 맞히고 Jev가 8/10을 맞혔는데 '졌습니다'. 흥미로운 점수 시스템이네요?"

이는 승리 조건이 순수하게 정확도에 기반하지 않음을 시사합니다. 또 다른 댓글 작성자 jrflo는 속도-정확도 트레이드오프를 설명했습니다:

"아주 멋진 데모네요! 하지만 틀린 답변에 더 많은 페널티가 있어야 한다고 생각해요. 예를 들어, 스프린트에서 약 45초 만에 100%를 달성했습니다. 그런 다음 가능한 한 빨리 클릭했고(올바른 대상을 찾는 것에만 제한됨) 42초의 점수를 받았는데, 기술적으로는 첫 번째 점수보다 낫지만 정확도는 20%에 불과했습니다."

이 경우, 정확도가 훨씬 낮은 더 빠른 시간이 완벽한 정확도의 더 느린 시간보다 더 좋은 점수로 평가되었습니다. 이는 점수 공식이 속도를 크게 가중하거나, 적어도 잘못된 답변에 충분한 페널티를 부여하지 않음을 나타냅니다.

정확도와 속도에 대한 플레이어 피드백

여러 댓글 작성자들은 Jev가 더 빠르지만 항상 더 정확하지는 않다고 관찰했습니다. edaemon은 다음과 같이 썼습니다:

"흥미롭네요. Jev는 확실히 더 빠르지만 저보다 훨씬 더 많이 틀렸어요."

inerte도 비슷하게 언급했습니다:

"저는 많은 답변을 틀렸고(아마 절반?), 제가 맞힌 것에서도 Jev가 여전히 더 빨랐어요."

casey2는 인간이 5개의 질문을 올바르게 답하고 Jev가 연속 0개를 기록했지만 앱이 Jev를 승자로 선언한 특정 게임을 보고했습니다:

"5개로 형편없다고 생각했는데, Jev는 연속 0개였어요. 그런데 슬롭코딩된 앱이 'Jev가 3,300게임 중 2,613게임을 이겼습니다. 이 게임도 포함해서요.'라고 말하네요."

이 댓글들은 Jev의 속도 이점이 정확도가 인간보다 낮을 때에도 결과를 결정할 수 있음을 강조합니다. 그 댓글의 보고된 집계(3,300 중 2,613)는 스냅샷의 초기 수치(3,103 중 2,463)와 다르며, 게임의 승리 카운터가 시간이 지남에 따라 업데이트됨을 시사합니다.

UI 및 콘텐츠 피드백

플레이어들은 인터페이스와 카드 콘텐츠에 대한 피드백도 제공했습니다. nextaccountic은 음악 이론 질문을 제외할 수 있는 옵션을 요청했습니다:

"음악 이론 질문을 제거하는 옵션을 추가해 주시겠어요? Jev도 그것들을 완벽하게 맞힐 수 있다는 건 알지만, 저는 무작위로 클릭할 수밖에 없어서 재미가 없어요."

arjie는 레이아웃 변경을 제안했습니다:

"오디오 버튼이 페이지 오른쪽 상단에 있었으면 좋겠어요 등."

semiquaver는 카드에 하나의 옵션만 표시되고, 자신이 올바른 답을 선택했다고 믿었음에도 앱이 플레이어를 틀렸다고 표시하는 버그를 보고했습니다:

"처음 연 카드는 누를 수 있는 옵션이 하나만 있었고, 눌렀을 때 앱이 제가 틀렸다고 하고 Jev가 올바른 버튼을 눌렀다고 말했어요(아마 저에게는 보이지 않았던 것 같아요). 다른 여러 질문에서도 올바른 답을 눌렀는데 앱이 틀렸다고 점수를 매겼어요. 고장난 슬롭이에요."

coolThingsFirst는 카드 콘텐츠에서 놀라운 사실을 언급했습니다:

"잠깐만요, Orca는 돌고래였네요. 젠장."

Jev Cards가 비전 모델에 대해 보여주는 것

Jev Cards 실험은 비전 결정 모델이 약 0.25초 만에 그림 퀴즈 질문에 답할 수 있고 인간과의 대부분의 게임에서 이길 수 있음을 보여줍니다. 이러한 모델의 가치는 매우 빠른 답변이 필요하고 완벽한 정확성을 요구하지 않는 작업에서 가장 높습니다. casey2는 이 트레이드오프를 요약했습니다:

"매우 빠른 답변이 필요하다면 분명히 인간은 경쟁할 수 없어요. 실제로 15개를 얻은 후 더 생각해 보면, 정확히 같은 문제를 본 적이 있다면 빠르게 답할 수 있으므로, 100% 정확할 필요가 없고 매우 빠르게 해결해야 하는 문제(라우팅조차 이렇게 빠를 필요는 없을 수 있음), 문제 형식이 자주 바뀌지만 여전히 일반 지식이고, 50% 이상의 정확도에 대해 99% 정확도의 한계 이점이 매우 낮은 문제에 유용성이 제한됩니다."

이는 속도에 초점을 맞춘 비전 모델이 문제 형식이 다양하고 일반 지식으로 충분하며, 거의 완벽한 정확도가 중간 정확도에 비해 한계 이점이 낮은 시나리오에 가장 적합함을 시사합니다. 예로는 빠른 라우팅 결정이나 대화형 게임이 있을 수 있지만, 댓글 작성자는 라우팅조차도 그렇게 극단적인 속도가 필요하지 않을 수 있다고 경고합니다.

Show HN 토론 요약

Jev Cards는 인간 대 모델 그림 퀴즈의 라이브 실험입니다. Jev 1.14는 한 번의 호출로 확률을 반환하고 텍스트를 작성하지 않는 결정 모델입니다. 사이트는 스냅샷 시점에 Jev가 3,103게임 중 2,463게임을 이겼다고 보고했습니다. 플레이어 댓글은 속도를 정확도보다 우선시하는 점수, 가끔 발생하는 잘못된 점수와 카드 버그, 콘텐츠 필터링 및 UI 조정 요청에 초점을 맞췄습니다. 토론은 또한 빠르고 중간 정도 정확한 비전 모델이 느리고 매우 정확한 모델보다 더 유용한 시기에 대한 더 넓은 질문을 제기했습니다.