제프 딘의 AI 컴퓨팅 미래, 추론 특화 및 지속 학습

핵심 논제: 컴퓨팅 확장과 자율 엔지니어링으로 가는 길

다음 10년 동안 컴퓨팅 능력이 1,000,000배 증가하면 AI가 단순 토큰 예측에서 자율적인 문제 해결로 전환될 가능성이 높습니다. 제프 딘에 따르면, 이러한 규모의 컴퓨팅과 멀티 에이전트 워크플로우 및 시뮬레이션 환경이 결합되면 AI가 비행기 설계나 새로운 컴퓨터 칩 설계와 같은 복잡한 엔지니어링 작업을 수년이 아닌 며칠 안에 수행할 수 있게 됩니다.

학습 데이터 병목 현상 극복

산업계가 고품질 텍스트 데이터가 부족하다는 믿음과는 달리, 제프 딘은 여러 경로를 통해 상당한 성장 여지가 남아 있다고 주장합니다:

미개척 모달리티: 아직 충분히 활용되지 않은 방대한 양의 비디오 데이터가 존재합니다.
합성 데이터와 RL: 강화 학습(RL) 롤아웃을 통해 고품질 합성 데이터를 생성할 수 있습니다. 코딩 문제에 대한 수천 가지 가능한 해결책을 탐색하고, 컴파일 및 단위 테스트를 통과한 것만을 필터링함으로써 모델이 자체적으로 고품질 학습 세트를 만들 수 있습니다.
크로스‑언어 증강: 한 언어(예: Python)에서 검증된 코드를 완전한 프롬프트로 사용해 다른 언어(예: Go)에서 동등하고 고성능의 코드를 생성함으로써, 검증된 행동 데이터를 포함한 학습 세트를 효과적으로 확대할 수 있습니다.
알고리즘 효율성: 새로운 기법을 통해 모델이 기존 데이터를 여러 번 통과하면서 더 많은 정보를 추출할 수 있습니다.

추론 특화 하드웨어로의 전환

데이터 센터의 머신러닝 워크로드는 추론 중심으로 크게 이동하고 있습니다. 이 전환은 범용 학습 하드웨어에서 추론 전용 실리콘으로의 이동을 요구합니다.

특화가 중요한 이유

추론 워크로드는 학습과 몇 가지 핵심 측면에서 다릅니다:

정밀도 요구사항: 추론은 훨씬 낮은 정밀도로도 동작할 수 있습니다. 딘은 FP4(4비트 부동소수점)가 놀라울 정도로 효과적이며, 2비트 혹은 1비트 정수에 스케일링 팩터를 결합한 형태로도 가능할 수 있다고 언급합니다.
가중치 안정성: 학습과 달리 추론 중에는 모델 가중치가 변하지 않으므로, 유연성보다 에너지 효율과 처리량을 우선시하는 하드웨어 최적화가 가능합니다.
볼륨: 에이전트 기반 행동과 오프라인 RL 롤아웃의 증가로 추론 요청 전체량이 늘어나며, 이는 와트당 성능과 낮은 지연 시간을 요구합니다.

구글은 이미 이러한 전환을 위해 TPU 8i와 TPU 8t 칩을 출시했으며, 이는 서로 다른 계산 특성을 처리하도록 설계되었습니다.

사전 학습과 사후 학습의 통합

제프 딘은 현재 사전 학습과 사후 학습을 엄격히 구분하는 것이 "지적으로 만족스럽지 않다"고 봅니다. 그는 학습을 교차적으로 진행하는 방식을 옹호합니다:

능동 학습: 토큰을 수동적으로 관찰하는 대신, 모델이 시뮬레이션 혹은 실제 환경에서 행동을 취하고 그 결과를 관찰해 학습해야 합니다.
지속 학습 사이클: 이상적인 상태는 데이터를 관찰하고 그 지식을 행동에 적용하는 사이클입니다. 안전 프로토콜과 레드팀 검증은 모델이 사용자에게 공개되기 전에 반드시 수행되어야 하지만, 기본 모델은 백그라운드에서 계속 학습을 이어가야 합니다.

"평생 AI"를 위한 어텐션 문제 해결

사용자의 전체 디지털 히스토리나 기업의 전체 코드베이스에 접근할 수 있는 "평생 AI"를 구현하려면, 표준 어텐션 메커니즘의 2차 비용($O(n^2)$)을 넘어야 합니다.

무한 컨텍스트를 위한 전략

전체 어텐션은 수십억 토큰에 대해 비용이 너무 높기 때문에, 딘은 단계적 검색 아키텍처를 제안합니다:

광범위 검색: 시스템이 수십억 문서 중 몇 천 개의 관련 문서를 식별합니다.
정교한 필터링: 경량 모델이 이를 다시 좁혀 매우 관련성이 높은 스니펫(예: 117개)만 남깁니다.
고정밀 처리: 이 스니펫들을 더 큰, 능력 있는 모델의 비싼 컨텍스트 윈도우에 투입합니다.

이러한 오케스트레이션은 거대한 컨텍스트 윈도우의 환상을 제공하면서도 계산 가능성을 유지합니다.

증류와 오픈소스 생태계

지식 증류는 최첨단 능력을 더 작고 빠른 모델에 제공하는 주요 메커니즘입니다. 딘은 플래시 시리즈나 Gemma와 같은 작은 모델이 최첨단 모델만큼 능력 있는 이유는 큰 모델이 작은 모델을 가르치는 과정, 즉 "마법의 소스" 때문이라고 설명합니다.

이것은 상생 관계를 만듭니다: 산업계는 효율적인 "작업 말" 모델에 지식을 전달하기 위해, 비효율적이지만 대규모인 최첨단 모델을 계속 구축해야 합니다.

대규모 엔지니어링: 우주선 및 하드웨어 오류

구글 규모의 데이터 센터를 운영하면 하드웨어가 본질적으로 신뢰할 수 없다는 사실이 드러납니다. 딘은 대규모 시스템의 몇 가지 핵심 현실을 강조합니다:

우주선: 먼 초신성에서 온 알파 입자가 DRAM에서 단일 비트 플립을 일으킬 수 있습니다. 구글은 ECC(오류 정정 코드) 메모리를 통해 이러한 오류를 모니터링하고, 특정 방향을 향한 클러스터가 특정 우주 사건 동안 오류율이 높아지는 현상을 관찰했습니다.
소프트웨어를 통한 신뢰성: 하드웨어가 고장 나기 때문에 구글은 신뢰할 수 없는 부품으로 신뢰성 있는 시스템을 구축하는 데 집중합니다. 초기에는 ECC 메모리가 없는 소비자 등급 하드웨어에서 데이터 손상을 처리하기 위해 소프트웨어 기반 체크섬 시스템을 구축했습니다.