xAI 내부: Grok Imagine 구축과 비디오 에이전트의 미래

핵심 논제: 시각 지능은 언어에 의해 구동된다

현대 비디오 및 이미지 생성의 개선을 이끄는 주요 동인은 더 이상 확산 과정 자체가 아니라 기본 언어 모델의 지능입니다. 확산 기술이 성숙함에 따라 모델 품질의 “alpha”는 이제 언어 모델이 추론하고, 프롬프트를 재작성하며, 생성 과정을 조율하는 에이전트 역할을 수행하는 능력에서 비롯됩니다.

Grok Imagine 구축: 3개월 만에 제로에서 원으로

Ethan He는 2025년 중반에 xAI에 합류하여 단 3개월 만에 최초의 멀티모달 비디오 모델인 Grok Imagine 0.9을 출시하는 데 기여했습니다. 이러한 빠른 개발은 여러 핵심 요인 덕분에 가능했습니다:

• 인재와 커뮤니케이션: 강력한 엔지니어들로 구성된 소규모 고밀도 팀은 커뮤니케이션 오버헤드를 줄이고 회의를 최소화하여 구축에 집중할 수 있게 했습니다.
• 인프라와 반복 속도: 데이터와 모델 추론에 대한 xAI의 견고한 기반은 매우 빠른 반복 사이클을 가능하게 했습니다. 그는 가장 큰 품질 향상이 새로운 알고리즘을 구현하기보다 데이터와 학습 파이프라인의 작은 버그를 수정함으로써 이루어졌다고 언급합니다.
• 컴퓨팅이 병목: 고효율 코딩 모델이 등장하면서 새로운 아이디어를 구현하는 시간이 몇 주에서 몇 시간으로 단축되었고, 병목 현상이 실험을 실행할 수 있는 가용 컴퓨팅으로 다시 이동했습니다.

비디오 생성의 기술 파이프라인

최첨단 비디오 모델을 구축하려면 이미지 생성부터 시작하는 구조화된 의존 순서를 따라야 합니다.

1. 합성 데이터 생성

인터넷 비디오는 고품질의 설명 텍스트와 짝을 이루는 경우가 드물기 때문에 합성 데이터가 필수적입니다. 이 과정은 Vision Language Models(VLMs)을 사용해 비디오에 캡션을 다는 것을 포함합니다. 초기 부트스트랩 단계에서는 인간 라벨러가 비디오를 매우 상세히 설명하도록 하여, 시각 장애인도 텍스트만으로 장면을 재구성할 수 있게 합니다.

2. 압축 및 토크나이징 (VAEs)

원시 픽셀에 트랜스포머를 학습시키는 것은 계산적으로 불가능합니다. 대신 변분 오토인코더(VAE) 또는 토크나이저를 사용해 이미지/비디오를 연속적인 잠재 공간으로 매핑합니다.

• 시간 압축: 비디오의 방대한 토큰 수를 처리하기 위해 모델은 종종 시간 차원을 압축합니다(예: 네 개의 시간 토큰을 하나로 압축). 이는 컨텍스트 길이를 절약하지만 실시간 애플리케이션에서는 지연을 초래할 수 있습니다.
• 프레임별 압축: 이 방식은 인터랙티브성과 실시간 응답에 더 적합하지만 컨텍스트 길이를 크게 증가시킵니다.

3. 확산 트랜스포머

잠재 공간이 구축되면, 시각 토큰의 노이즈를 제거하도록 확산 트랜스포머를 학습시킵니다. 이미지 모델은 훈련 비용이 저렴하고 언어와 시각 사이의 매핑을 더 밀집시켜 주기 때문에 비디오 모델의 기반이 됩니다. 비디오 모델은 이를 토대로 부트스트랩합니다.

월드 모델과 생성 UI로 가는 길

Ethan은 실시간, 인터랙티브, 장기 시점 비디오를 생성할 수 있는 시스템을 “월드 모델”이라고 정의합니다.

생성 UI와 “Neural OS”

그는 전통적인 인터페이스가 생성 UI로 대체되는 미래를 상상합니다—사용자 의도가 직접 픽셀로 매핑되는 방식입니다. “Flipbook”과 “Neuro OS”와 같은 예시는 AI가 사용자 상호작용에 기반해 실시간으로 인터페이스를 상상하는 세계를 보여주며, 전통적인 웹 브라우징의 결정론적 백엔드를 확산 기반 프런트엔드로 효과적으로 대체합니다.

장기 시점 문제 해결

대부분의 비디오 모델은 긴 시간 동안 일관성을 유지하는 데 어려움을 겪습니다. xAI는 다음과 같이 해결했습니다:

• 비디오 확장: 이전에 생성된 모든 세그먼트의 히스토리 컨텍스트를 유지해 캐릭터와 객체가 일관되게 유지되도록 합니다.
• Reference-to-Video: 사용자가 레퍼런스 이미지(캐릭터, 객체, 장면 등)를 업로드하면 모델이 이를 지속적인 조건으로 사용해 무한 컨텍스트 윈도우의 필요성을 없앱니다.

비디오 에이전트로의 전환

모든 것을 처리하는 단일 “신 모델”을 만들려는 대신, 미래는 비디오 에이전트에 있습니다. 이 패러다임에서는 최첨단 추론 모델(예: 대형 LLM)이 오케스트레이터 역할을 하며, 비디오 생성 모델을 여러 도구 중 하나로 활용합니다.

• 반복적 정제: 인간 아티스트와 마찬가지로 비디오 에이전트는 한 번에 최종 결과물을 생성하지 않습니다. 클립을 생성하고 평가한 뒤 ffmpeg나 Photoshop 같은 도구를 사용해 편집, 스티치, 정제할 수 있습니다.
• 프로덕션 품질: 이 에이전시 접근 방식은 결정론적 편집 도구의 정밀함과 생성 모델의 창의성을 결합할 수 있기 때문에 프로덕션 수준 품질에 도달할 수 있는 유일한 실현 가능한 경로입니다.

비디오 훈련의 경제성

대규모 비디오 모델을 훈련하는 GPU 비용은 중규모 언어 모델과 비슷하지만, 방대한 스토리지와 I/O 문제를 야기합니다. 수십 페타바이트에 달하는 비디오와 해당 잠재 특징을 저장하면 S3 스토리지와 네트워크 전송 비용이 크게 증가하여 데이터 로딩 및 캐싱이 중요한 엔지니어링 병목이 됩니다.