폴 그레이엄이 처음부터 LLM 아키텍처를 배우는 것에 대해 말하는 바

처음부터 LLM을 구축하는 이유

폴 그레이엄은 현재 기술 환경에 진입하는 17세 청소년에게 가장 가치 있는 길은 바로 기업을 시작하는 것이 아니라, 대규모 언어 모델(LLM)을 처음부터 구축하는 법을 배우는 것이라고 주장한다. 그에 따르면, 가용한 하드웨어로 모델을 훈련시키는 과정은 나중에 기존 지식에 기반한 창업 아이디어보다 훨씬 우수한 창업 아이디어를 만들어내는 데 필요한 깊이 있는 기술적 지식을 쌓는 기반을 마련한다.

이 접근법은 즉각적인 기업가 정신보다 기술적 깊이를 우선시하며, 인공지능의 근본적인 메커니즘을 이해하는 것이 미래의 가치 창출을 위한 주요 요소라고 제안한다.

기술적 직관과 실용적 적용

일부 사람들은 LLM을 처음부터 이해하는 것은 특정 경력 경로가 아니라, 광범위한 문제들을 해결하기 위한 정신적 모델을 구축하는 방법으로 본다.

"OS를 구축하라"는 비유

일부 기여자들은 LLM을 처음부터 구축하는 것은 운영체제를 구축하는 것과 유사하다고 주장한다. 대부분의 개발자가 평생을 커널을 쓰는 데 쓰지 않듯이, 베이스 메탈 펌웨어를 이해하는 것은 프로그래머가 전체 컴퓨팅 스택을 어떻게 구축해야 하는지 직관적으로 이해하는 데 도움이 된다. 마찬가지로, LLM 가중치와 수학에 대한 깊은 이해는 LLM 기반 솔루션이 특정 문제에 부적절할 때를 직관적으로 파악하는 데 "건강한 직관"을 제공한다.

학습 경로와 자료

이를 구현하고자 하는 이들을 위해 커뮤니티는 몇 가지 시작점들을 강조했다:

기초 단계: 퍼셉트론부터 시작하여 3층 신경망으로 이어가고, MNIST 데이터셋을 분류함으로써 기본 개념을 명확히 한다.
교육 콘텐츠: 안드레이 카르파티(특히 nanoGPT)의 튜토리얼과 세바스찬 라스카의 책은 기초를 단단히 다지는 데 효과적인 자료로 언급된다.
특화 도구: languagemodelbuilder.com과 같은 프로젝트는 광범위한 계정이나 데이터 수집 없이 며칠 안에 과정을 배울 수 있도록 한다.

반론과 실용적 제약

비록 교육적 가치가 크다고 여겨지지만, 이 조언이 평균적인 17세 청소년에게 실현 가능하고 유용한지에 대해 큰 논쟁이 존재한다.

하드웨어 격차

주요 비판은 계산 자원의 극도로 높은 비용이다. 1990년대나 2000년대에 코딩을 배우는 데는 저렴한 PC 하나만으로도 충분했지만, 최전방 LLM 작업은 거대한 GPU 클러스터를 필요로 한다. 사용자들은 클라우드 GPU를 빌리는 것이 비싸며, 제한된 로컬 하드웨어(예: 8GB NVIDIA GPU)는 학생들이 작은 모델을 미세 조정하거나 매우 기본적인 실험만 수행할 수 있게 하여, 생산성 높은 시스템을 구축하는 것과 같은 "아하!" 순간을 경험하기 어렵다고 지적한다.

시장 포화와 노후화

비판자들은 "장난처럼 LLM 작동 방식을 약간 이해하는" 엔지니어에 대한 시장은 이미 포화 상태라고 주장한다. 대부분의 실제 최적화 작업은 기밀이며, 잘 자금이 지원된 연구소 내에서 최전선에서 이루어지기 때문에, 소규모 모델을 구축하는 데 얻는 기술은 높은 급여를 받는 직무나 경쟁 우위로 이어지지 않을 수 있다고 지적한다.

"CRT 모니터"의 위험

일부는 자동 회귀 언어 모델이 역사적 흥미거리가 될 수 있다고 주장한다. 예를 들어, CRT 모니터 작동 방식을 아는 것은 지금은 소수의 관심사가 되었듯이 말이다. 얀 레쿤은 다음의 돌파구가 LLM을 넘어서는 아키텍처, 즉 물리적 세계 상호작용(예: 방 청소)을 처리할 수 있는 것일 것이라고 제안하며, 현재 LLM 아키텍처에만 집중하는 것은 오래된 기술에 집중하는 것일 수 있다고 지적한다.

청소년 성장에 대한 대안적 관점

기술적 논쟁 외에도, 17세에 경력 성공을 위해 최적화하는 것이 잘못된 시각이라는 여러 관점이 제시된다.

통합적 성장: 일부는 17세 청소년이 기술 전문성보다는 사회적 관계 형성, 정신 건강, 해외 봉사 활동이나 음악 배우기와 같은 삶의 경험을 우선시해야 한다고 주장한다.
로봇공학과 물리적 AI: 얀 레쿤의 영향을 받아, LLM과 로봇공학(물리적 AI)의 융합이 순수 텍스트 생성보다 더 큰 미래 시장과 더 도전적이고 보람 있는 문제 해결 과제를 제공할 수 있다고 제안한다.
일반적 학습: 그레이엄의 견해를 지지하는 이들의 합의는, 가치는 "학습을 위한 학습"에 있으며, 특정 기술의 결과와는 무관하게 평생 호기심과 적응력을 키우는 사고방식을 기르는 데 있다.