당신은 얼마나 무작위적인가? 대부분의 인간을 이기는 Show HN 숫자 예측 게임

당신은 얼마나 무작위적인가?는 당신이 말할 다음 숫자를 예측하려는 브라우저 게임으로, 대부분의 사람들을 이깁니다. Hacker News에 사용자 vunderba가 Show HN으로 게시한 이 페이지는 lab.specr.net/rigged-draw에서 158포인트와 80개의 댓글을 기록했습니다. 이 게임이 보여주는 핵심 발견은 인간이 독립적인 무작위 숫자를 생성할 수 없다는 것입니다: 그들은 최근에 사용한 숫자를 피하며, 그 회피가 바로 예측기가 이용하는 부분입니다.

게임이 요구하는 것

게임은 1부터 9까지의 숫자를 생각하지 않고, 가능한 한 무작위로 연속해서 소리 내어 말하라고 요청합니다. 입력 옵션도 제공됩니다.

각 숫자 전에 하우스는 봉투에 추측을 봉인합니다. 당신이 숫자를 말하면 봉투가 열립니다. 처음 10개의 숫자는 워밍업입니다: 하우스가 추측하지만 점수에는 반영되지 않습니다. 마지막에, 당신의 티켓은 심리학 연구의 206명과 비교한 결과를 보여줍니다.

사이트의 지침은 정확성보다 양이 중요하다고 명시합니다: "숫자를 많이 말할수록 결과가 더 정확합니다." 또한 잘못 들은 숫자가 당신을 방해해서는 안 된다고 경고합니다 — "하우스가 가끔 잘못 들어도, 멈추지 마세요."

예측기 작동 방식

하우스는 한 번에 10개의 작은 예측기를 실행하며 최근에 정확했던 예측기를 신뢰합니다. 사이트의 설명에 따르면, 앙상블에는 다음이 포함됩니다:

어떤 숫자가 어떤 숫자 뒤에 오는 경향이 있는지 세는 예측기 (전이 또는 바이그램 스타일 모델).
연속된 숫자 사이의 오르내림 단계를 추적하는 예측기.
같은 몇 개의 숫자를 연속으로 말한 마지막 시간을 찾는 예측기.
오랫동안 말하지 않은 숫자를 감지하는 예측기.

사이트는 마지막 예측기가 대부분의 작업을 한다고 밝히며, "사람들은 소홀히 한 숫자에 계속 손을 뻗기 때문입니다." 기본 통계적 요점은 페이지에 명확히 명시되어 있습니다: "진정한 무작위 시퀀스에서 각 숫자는 이전 숫자와 독립적입니다."

모델은 각 플레이어에 대해 처음부터 훈련되지 않습니다. 심리학 연구에서 각각 1부터 9까지 200개의 숫자를 선택한 418명의 데이터로 시작하여, 플레이어가 진행함에 따라 개별 플레이어에 맞게 조정됩니다.

좋은 점수란 무엇인가

사이트는 맹목적 추측을 기준선으로 보고합니다: 무작위 추측은 약 11%의 시간에 맞을 것입니다. 댓글 작성자들은 그 기준선에 대한 다양한 결과를 보고했습니다:

steve_adams_86은 Math.random()으로 게임을 자동화하여 190개의 점수 매겨진 숫자 중 18개(9%)를 맞췄으며, 맹목적 추측 평균은 약 21.1(11%)입니다. 사이트는 "심리학 연구의 206명 중 1명만이 당신보다 더 무작위적이었습니다. 하우스는 당신을 읽기가 극도로 어려웠습니다."라고 말했습니다.
ehwa37은 117개의 점수 매겨진 숫자 중 9개(8%)를 보고했으며, 사이트는 206명의 연구 참가자 중 어느 누구도 더 무작위적이지 않다고 밝혔습니다.
tchalla은 32개의 점수 매겨진 숫자 중 1개(3%)를 보고했습니다.
kykat은 87개 중 10개(11%)를 보고했으며, 206명의 연구 참가자 중 5명만이 더 무작위적이었습니다.
riffraff는 첫 시도에서 27개 중 3개(11%), 두 번째 시도에서 118개 중 14개(12%)를 보고했으며, 말하기보다 입력이 더 잘 될 수 있다고 언급했습니다.
floorsthelimit은 하우스가 50개 중 0개를 맞췄다고 보고했습니다.
vorticalbox는 하우스가 30개에서 50개까지의 숫자에서 7개를 정확히 맞추기 전에 30개 중 2개에 도달했다고 보고했습니다.

낮은 적중률이 더 좋습니다. 사이트의 프레임은 하우스가 읽을 수 없는 시퀀스를 생성한 플레이어에게 보상을 제공합니다.

Aaronson 오라클 계보

댓글 작성자들은 즉시 이 게임을 인간이 무작위로 입력할 수 없다는 잘 알려진 시연인 Aaronson 오라클의 변형으로 식별했습니다. 사용자 costco는 Scott Aaronson 자신의 원래 실험에 대한 설명을 인용했습니다:

내가 Berkeley에서 가르친 수업에서, 사람들이 "f" 또는 "d"를 입력할 수 있고 그들이 다음에 어떤 키를 누를지 예측하는 간단한 작은 프로그램을 작성하는 실험을 했습니다. 약 70%의 시간에 올바른 예측을 하는 프로그램을 작성하는 것은 사실 매우 쉽습니다. 대부분의 사람들은 무작위로 입력하는 방법을 정말로 알지 못합니다. 그들은 너무 많은 교대를 만들고 그런 식입니다. 모든 종류의 패턴이 있을 것이므로, 어떤 종류의 확률적 모델을 구축하면 됩니다. 아주 조잡한 것조차 잘 작동할 것입니다. 나는 그것이 정확히 어떻게 작동하는지 알고도 내 자신의 프로그램을 이길 수 없었습니다. 나는 사람들에게 이것을 시도해 보라고 도전했고 프로그램은 70%에서 80% 사이의 예측률을 얻고 있었습니다. 그런 다음, 우리는 프로그램이 정확히 50%의 시간에 예측한 한 학생을 찾았습니다. 우리는 그에게 비결이 무엇인지 물었고 그는 "자유 의지를 사용했다"고 대답했습니다.

사용자 cubefox는 aaronsonoracle.com에서 같은 아이디어의 독립 실행 구현을 지적했습니다. 사용자 DylanMerigaud는 실패 모드를 한 줄로 요약했습니다: "너무 많은 교대가 바로 사람들이 자신을 드러내는 방식입니다."

댓글 작성자들이 효과를 본 전략

여러 댓글 작성자들은 무작위가 되려고 노력하기보다 의도적으로 모델을 모델링하여 하우스를 이겼다고 보고했습니다.

기계의 추측을 지연시키기. christophilus는 "나는 기계의 추측을 지연시키기 시작했고, 그것은 결코 따라잡지 못하는 것 같았습니다."라고 썼습니다. 그들의 결과는 206명의 연구 참가자 중 7명이 더 무작위적이었습니다.
반복된 추측을 적대적으로 피하기. alwa는 하우스가 추측을 반복하는 것을 알아차리고 그 숫자를 피하며 긴 연속을 실행하는 것을 설명했습니다: "슬롯머신 유형의 사기 행위에서 기계 쪽에 서는 것이 재미있습니다!"
본능적으로 선택한 다음 하나 이동하기. maidaman은 첫 번째 시도에서는 잘 못했지만, 본능적으로 숫자를 결정하고 그 옆에 있는 것을 선택하여 잘했다고 보고했습니다: "아마도 우리는 본능적으로 비슷한 숫자를 선택하지만, 본능과 싸우면 진정으로 무작위적인 것을 얻게 됩니다."
양쪽 끝에서 번갈아 진행하기. akshitgaur2005는 이 방법이 이전 추측이 n일 때 n-1과 n+1을 정확히 맞췄지만, 1, 8, 3, 7, 4, 7, 1, 7, 3, 8과 같은 시퀀스에서는 정확한 호출을 생성하지 못했다고 보고했습니다.
워밍업을 오염시키기. malfist는 점수가 매겨지지 않은 워밍업을 사용하여 같은 숫자를 반복하고 그런 다음 한동안 사용하지 말 것을 제안했습니다: "워밍업을 사용하여 같은 숫자를 반복적으로 추측한 다음, 한동안 사용하지 마세요."
산술 혼합(테스트되지 않음). Trusteando는 1에서 9 사이의 무작위 정수 n1을 생각한 다음 또 다른 n2를 생각하고 (n1 + n2) mod 9 + 1을 말할 것을 제안하고 다른 사람들이 결과를 보고하도록 초대했습니다.
알려진 상수로 속임수. shric는 pi를 100자리까지 아는 것이 쉽게 속임수를 가능하게 한다고 말했고, kps는 사이트가 pi의 숫자가 무작위적이라고 동의했다고 보고했습니다.
자동화. steve_adams_86은 매초 무작위 공을 클릭하는 setInterval 루프로 게임을 구동하여 위에서 설명한 9% 결과를 만들었습니다.

비판, 버그 및 미해결 질문

측정은 연구와 비교할 수 없을 수 있습니다. kykat은 가장 날카로운 방법론적 반대를 제기했습니다: 플레이어는 하우스의 예측을 실시간으로 볼 수 있으며, 원래 심리학 연구 참가자들은 그렇게 할 수 없었을 수 있습니다. "내 다음 숫자가 정확히 예측된 후, 나는 무작위성을 높이기 위해(덜 예측 가능하게) '전략'을 변경했습니다. 그래서 이 결과가 연구의 결과와 비교할 수 있는지 모르겠습니다."

결과 텍스트의 복사 버그. nightpool은 값을 자신과 비교하는 것으로 보이는 문장을 지적했습니다: "당신은 무작위 추출보다 더 고르게 선택을 분산했습니다. 가장 많이 사용한 숫자가 선택의 23%를 차지했으며, 무작위 추출에서 가장 바쁜 숫자는 약 23%입니다."

음성 데이터 및 개인정보. pavel_lishin은 음성 모드가 모델 훈련에 사용되는지 물었습니다: "충분히 편집증적인 사람이 첫 생각으로 '내 음성으로 모델을 훈련시킬 건가요?'라고 했나요?" 사이트는 입력 대안을 제공하며, nico는 이를 좋은 디자인 선택이라고 언급했습니다. coolThingsFirst는 사이트가 어떤 음성 인식 모델을 사용하는지 물었습니다.

텍스트의 출처. yesitcan은 "봉인된"이라는 단어를 보는 것만으로 사이트 텍스트가 Claude 생성임을 식별하기에 충분하다고 주장했습니다. 사이트는 lab.specr.net/rigged-draw/licenses.txt에 출처 및 라이센스 파일을 게시합니다.

결론

당신은 얼마나 무작위적인가?는 인간의 숫자 생성이 무작위가 아니라 예측 가능하다는 실제 시연입니다. 예측기의 명시된 이점은 단일한 강력한 행동 규칙성(사람들이 최근에 사용한 숫자를 피함)과 약한 전이 및 단계 모델의 앙상블의 결합에서 비롯됩니다. 게임은 이길 수 있지만, 그것을 이기는 전략(기계를 지연시키기, 반복 추측을 적대적으로 피하기, 워밍업 오염시키기)은 무작위가 되기 위해 더 노력하기보다 예측기를 모델링해야 합니다. 논의에서 가장 신뢰할 수 있는 경고는 실시간 피드백이 플레이어 행동을 변화시켜 웹 게임의 점수가 기준선으로 인용된 206명의 심리학 연구와 직접 비교할 수 없다는 것입니다.