Are You in the Weights: 개인에 대한 LLM 인식 분석

‘Are You in the Weights’ 개요

‘Are You in the Weights’는 대형 언어 모델(LLM)의 학습 데이터 내에서 개인이 남긴 흔적을 측정하도록 설계된 도구입니다. 여러 최첨단 모델과 소형 모델을 동시에 질의하고, 그 결과를 클러스터링한 뒤 “strength”(강도) 점수를 계산해 사람의 인식 정도를 다양한 가중치에서 얼마나 강하게 나타나는지 판단합니다.

웹 트래픽이 점점 LLM을 통한 탐색으로 이동함에 따라, 이 도구는 사용자가 자신의 정체성 흔적—또는 정체성에 대한 환상—이 현대 AI 모델의 가중치에 얼마나 남아 있는지 확인할 수 있는 방법을 제공합니다.

기술 구현 및 방법론

병렬 질의와 클러스터링

시스템은 단일 모델의 출력에 의존하지 않습니다. 대신 다양한 모델을 동시에 질의합니다. 인식을 판단하기 위해 도구는 응답을 클러스터링합니다. 즉, 여러 모델이 사람에 대해 비슷한 설명을 제공하면, 도구는 일회성 응답이 아니라 인식 패턴을 식별합니다.

인식 메트릭

도구는 사용자에게 두 가지 주요 메트릭을 제공합니다:

  • Strength: 인식 강도를 나타내는 수치값.
  • Top N%: 도구를 사용한 다른 사람들과 비교했을 때 사용자가 차지하는 백분위 순위.

사용자 발견 및 모델 성능

환상 vs. 정확도

사용자 경험은 실제 인식과 AI가 생성한 환상 사이에 큰 차이가 있음을 보여줍니다. 많은 사용자가 자신이 아닌 직업으로 식별되는 사례가 보고되었습니다:

  • "멕시코 화가/배우/축구선수"로 식별된 사용자.
  • "미국 화산학자"로 식별된 사용자.
  • "프로 럭비 선수 또는 신경과학자"로 식별된 사용자.
  • "존재하지 않는 스코틀랜드 축구 선수"로 식별된 사용자.

모델별 관찰

사용자들은 모델마다 강점과 편향이 다르다고 언급했습니다:

  • Kimi: 일부 사용자는 Kimi가 다른 모델이 놓친 폐쇄된 블로그나 특정 직업 이력을 더 정확히 인식한다고 했습니다.
  • Gemini: 온라인 핸들, GitHub 프로필, Rust 프로그래밍 연관성을 인식한다고 보고되었지만, 일부 사용자는 영어 활동을 독일어로 번역하는 경우가 있다고 언급했습니다.
  • DeepSeek: 정보량이 많다고 평가된 반면, 결과가 환상적이라는 의견도 있었습니다.
  • Mistral: 일부 사용자의 정체성을 부분적으로만 인식한다고 보고되었습니다.

“오픈소스 버블”

일부 사용자는 오픈소스 커뮤니티에 활발히 참여하는 개인이 LLM에 더 자주, 더 정확히 인식된다고 관찰했습니다. 이는 오픈소스 저장소와 관련 문서가 이러한 모델의 학습 데이터에 크게 반영되고 있음을 시사합니다.

프라이버시 및 보안 우려

공개 데이터 노출

커뮤니티 피드백은 중요한 프라이버시 문제를 강조했습니다: 사이트에 입력된 이름과 텍스트가 공개 “latest” 리더보드에 나열됩니다. 즉, 자신의 상태를 확인하는 모든 사용자는 사실상 자신의 이름을 공개 리스트에 기여하게 됩니다.

데이터 수집 의심

여러 사용자는 사이트의 의도에 회의적이며, 해커 뉴스 커뮤니티의 실명을 수집하는 메커니즘일 수 있다고 추측했습니다. 추적 쿠키 존재와 공식적인 개인정보 처리방침 부재에 대한 우려도 제기되었습니다.

사용자 인터페이스 및 경험

미적 디자인

사이트는 8비트 레트로 테마 디자인을 사용하며, 픽셀 아트 초상화와 스크롤 시 클릭 사운드와 같은 효과음으로 "Retro Bowl" 스타일을 연출합니다.

안정성 문제

해커 뉴스에 등장한 이후 트래픽 급증으로 인해 일부 사용자는 "429 Too Many Requests" 오류를 경험했으며, 이는 도구의 API 한도가 초과되었음을 의미합니다.

요약: ‘Are You in the Weights’ 도구는 여러 모델을 병렬로 질의하고 응답을 클러스터링함으로써 최첨단 및 소형 LLM이 사용자를 얼마나 인식하는지 확인할 수 있게 해줍니다.

제목: Are You in the Weights: 개인에 대한 LLM 인식 분석

Sources