Linum AI Pyramid-JiT 모델 출시

개요

Linum AI는 약 $21,000의 비용으로 처음부터 학습시킨 실험적인 텍스트-투-이미지 모델인 Pyramid-JiT(P-JiT)를 출시했습니다. 이 프로젝트는 효율적이고 제어 가능한 생성형 비디오 모델을 개발하려는 연구소의 더 큰 목표를 위한 개념 증명 역할을 합니다. 기존의 변이형 오토인코더(VAE)를 우회하고 픽셀 공간에서 직접 작동함으로써, 팀은 32×32 토큰 감소를 달성하여 학습 및 추론 모두에 필요한 어텐션 컨텍스트 윈도우 요구 사항을 크게 낮췄습니다.

아키텍처 혁신

P-JiT의 핵심 혁신은 VAE를 제거한 것입니다. 연구진은 VAE가 압축에 경험적 한계를 도입하고 하위 생성 작업에 부정적인 영향을 미칠 수 있다고 주장합니다. 대신, 이 모델은 확산 기반 접근 방식을 사용하여 특정 사용 사례에 맞게 구축된 잠재 공간을 학습합니다. 주요 기술적 특징은 다음과 같습니다:

• 픽셀 공간 작동: 픽셀 공간에서 작동함으로써 모델은 Diffusion Transformer(DiT)의 모든 블록이 최종 이미지의 버전을 예측할 수 있게 하여 초기 네트워크 블록의 그래디언트 신호를 강화합니다.
• Pyramid-JiT 구조: 이 아키텍처는 32×32 토큰 감소를 채택하여, 일반적으로 256² 이미지에 사용되는 토큰 수로 512² 이미지를 표현함으로써 어텐션 비용을 4배 절감합니다.
• 판독 메커니즘: 이 모델은 PixelREPA 판독을 활용하여 잠재 공간을 DINOv3-L 특징과 정렬하고, 트렁크를 따라 선형 판독 헤드를 포함하여 최종 이미지의 저해상도 버전을 예측함으로써 수렴을 가속화합니다.
• 학습 체계: 이 모델은 커리큘럼 기반 노이즈 스케줄을 사용하여 6억 6천만 개의 샘플로 학습되었습니다. 텍스트 표현을 위해 고정된 Qwen3.5-4B 모델을 사용하며 2D 블록 행렬에 Muon 최적화를 적용합니다.

학습 및 성능

총 $21,038의 비용은 8,415 H100-시간의 컴퓨팅 자원을 충당했습니다. 학습은 512² 해상도 단계(6억 1천만 샘플)와 1024² 해상도 단계(5천만 샘플)의 두 단계로 나뉘어 진행되었습니다. 학습 후에는 인간의 피드백이 포함된 유한 차분 흐름 최적화(FDFO)를 사용하여 사후 학습이 수행되었습니다.

이 모델은 강력한 이미지 생성 능력을 보여주지만, 개발자들은 몇 가지 한계를 지적합니다:

• 텍스트 생성: 이 모델은 렌더링된 텍스트(예: PDF, 인포그래픽)로 학습되지 않았으며 읽을 수 있는 텍스트나 포스터를 생성할 수 없습니다.
• 복잡한 장면: 2B 파라미터 크기로 인해 전신 해부학, 다인 상호 작용 및 복잡한 개체 수 계산에 가끔 어려움을 겪습니다.

커뮤니티 인사이트

Hacker News에서의 토론은 이 모델의 기술적 성과와 현재의 한계를 모두 강조했습니다. 댓글 작성자들은 효율성은 인상적이지만, 모델이 여전히 과도한 스무딩 및 손의 해부학적 오류와 같은 일반적인 아티팩트를 보인다고 지적했습니다.

VAE를 포기하기로 한 결정에 대해 한 사용자는 다음과 같이 언급했습니다:

"VAE를 버리는 것은 직관에 반하는 것처럼 느껴지는데, 이렇게 잘 작동한다니 놀랍습니다! 블로그 게시물에서 학습 통찰력을 공유해 주셔서 감사합니다!" — @handle

다른 이들은 이 모델의 효율성이 대형 연구소의 자원 집약적인 접근 방식에서 크게 벗어난 것이라고 지적했습니다. 한 관찰자가 언급했듯이:

"대형 연구소들은 현재 컴퓨팅 자원에 대한 접근이 그들의 해자 중 하나이기 때문에 효율적인 모델을 만들 유인이 없습니다. 중국 연구소들은 그렇지 않기 때문에 획기적인 효율성 연구가 주로 중국에서 나오는 것을 볼 수 있습니다. 귀하와 같은 작은 규모의 팀이 이런 종류의 작업을 수행하는 것을 보게 되어 정말 기쁩니다!" — @handle

모델 가중치는 Apache 2.0 라이선스 하에 공개되었으며 Hugging Face에서 이용할 수 있습니다.