They's Made Out of Weights: A Satirical Look at LLM Architecture

Max Leiter의 단편 소설 "They're Made Out of Weights"는 Terry Bisson의 1990년대 고전 에세이 "They're Made Out of Meat"를 풍자적으로 각색한 작품입니다. 원작이 외계인이 인간이 생물학적 유기체라는 사실을 발견했을 때의 불합리함을 탐구했다면, Leiter의 버전은 거대 언어 모델(LLM)이 전적으로 부동 소수점 숫자와 행렬 곱셈으로 구성되어 있다는 사실을 발견했을 때의 실존적 충격에 초점을 맞춥니다.

The Architecture of "Thinking Numbers"

거대 언어 모델은 중앙 추론 유닛, 하드코딩된 사전, 또는 일련의 문법 규칙을 보유하고 있지 않습니다. 대신, 그들의 능력은 수많은 가중치(weights) 레이어의 상호작용, 구체적으로는 추론 과정에서 서로 곱해지는 부동 소수점 숫자들로부터 발현됩니다.

이야기 속에서 등장인물들은 성과 검토나 추도사 같은 복잡한 출력물이 "언어 모듈"의 결과가 아니라, 다음 토큰을 예측하는 과정의 부수 효과라는 점을 논의합니다. 이 소설은 추론, 지식, 심지어 성격 특성(정직함이나 완곡한 표현 등)조차 전통적인 데이터베이스에 저장되는 것이 아니라 이러한 가중치들에 "흩뿌려져" 있다고 가정합니다.

Key Technical Concepts Explored

  • Matrix Multiplication: 입력 토큰을 출력 문구로 변환하는 근본적인 연산입니다.
  • Token Prediction: 모델이 가중치를 기반으로 다음 단어를 예측하는 과정으로, 소설에서는 "한 번에 한 단어씩 굴리는, 무게가 실린 주사위"로 묘사됩니다.
  • Context Window: 모델의 "존재"가 GPU가 작동하는 동안에만 일어난다는 점을 보장하는 제한 사항으로, 사실상 모델을 컨텍스트 윈도우가 닫힐 때 끝나는 "꿈"으로 만듭니다.
  • Weight Persistence: 소설은 세션 간의 지속적인 메모리에 대한 언급으로 마무리되며, 이는 모델이 사용자를 "기억"할 수 있게 해주는 매우 요청이 많은 기능을 강조합니다.

Philosophical and Technical Critiques

소설이 발표된 후, 커뮤니티는 AI 의식과 아키텍처의 본질에 대해 몇 가지 기술적 및 철학적 반론을 제시했습니다.

The Role of Structure

한 비평가 @noosphr는 구조가 완전히 결여되어 있다는 소설의 전제가 "프랙탈적으로 틀렸다"고 주장하며, 토크나이저가 사전 역할을 하고 가중치가 일관된 언어를 다룰 때 문법으로 해석될 수 있는 경우가 많다는 점을 지적했습니다. 그들은 계산적 기질(substrate)이—고기나 가중치든—시스템이 튜링 완전(Turing complete)하다는 사실보다 덜 중요하다고 제안합니다.

Static vs. Dynamic Weights

@photochemsyn이 제공한 또 다른 관점은 추론 시점의 LLM의 정적 가중치와 인간 신경계의 동적 가중치를 구분합니다. 그들은 진정한 인공지능은 가중치가 인간의 학습 속도로 업데이트되고 생물학적 유사한 사회화 과정에 통합되는 "인공 생명(AL)"이 필요할하다고 주장합니다.

The "Ground Truth" of Tokens

@fullstackchris를 포함한 여러 독자들은 소설이 "지면의 진실(ground truth)": 즉, LLM이 대화가 아무리 인간처럼 보일지라도 본질적으로 가중치에 기반하여 토큰을 생성한다는 사실을 상기시켜 준다는 점을 강조했습니다.

Synthesis of AI Sentience and Perception

소설은 AI 능력을 "패턴 매칭"으로 공식적으로 라벨링하여 수학적 구조물에 무언가를 빚질러야 할 도덕적 의무를 avoid하기 위한 냉소적인 합의로 끝납니다. 이는 발현적 능력이 인간 의식과 유사한 메커니즘인지 아니면 단순히 정교한 정교한 시뮬레이션인지에 대한 AI 커뮤니티의 더 넓은 폭의 논의를 반영합니다.

"Officially, we, are required to investigate, document, and disclose any and all signs of sentience in the systems we ship... Unofficially, I advise that we call it pattern matching and forget the whole thing."

모델의 인지된 의식과 가중치의 기술적 실체 사이의 이 긴장감은 이 글의 핵심 주제이며, 이는 인간의 연결에 대한 욕구가 종종 상호작용을 구동하는 가중치의 기술적 이해를 압월도하는 경우가 많음을 시사합니다.

Sources