TurboGPT: CUDA C++에서의 고속 소형 Transformer 훈련

TurboGPT는 CUDA C++를 사용하여 소형 바이트 수준 GPT 모델을 훈련하기 위한 전용 구현입니다. 이 프로젝트는 극도로 높은 훈련 효율성을 보여주며, 약 22KiB 크기의 트랜스포머를 약 13초 만에 훈련할 수 있습니다.

기술적 구현 및 성능

TurboGPT는 주로 C++(40.6%)와 CUDA(38.5%)로 작성되었으며, 검증 테스트에는 Python이 사용됩니다. 이는 NVIDIA GPU 전용으로 설계되어 있으며, Windows 빌드에는 CUDA 13.4와 Visual Studio 2022 C++ 도구가 필요하고, Linux/NixOS 빌드에는 Nix가 필요합니다.

주요 기술적 특징은 다음과 같습니다:

• 바이트 수준 훈련: 모델은 서브워드 토큰이 아닌 바이트를 기반으로 작동합니다.
• 회전 위치 임베딩(RoPE): 최신 코드베이스 업데이트에서 학습된 위치를 부분 RoPE로 교체하여 위치 인코딩을 개선했습니다.
• PyTorch 호환성: 시스템은 torch.load와 호환되는 형식으로 체크포인트를 생성하며, 모델, 옵티마이저, 스케줄러, 트레이너 상태를 포함합니다.
• 관측 가능성: 훈련 로그는 TensorBoard 호환되며, 배치 단위로 보고서가 생성되며 최대 800만 건까지 제한됩니다.

성능 측면에서, 프로젝트는 15억 개의 훈련 토큰 이후 hn1g 데이터셋에서 2.5295 BPB(바이트당 비트)의 결과를 보고했습니다.

빌드 및 실행 워크플로우

TurboGPT는 특정 컴퓨트 능력(CudaArch)을 가진 GPU가 필요합니다. 사용자는 다음 방법 중 하나를 사용하여 프로젝트를 빌드할 수 있습니다:

• Linux/NixOS: nix-build -o build/nix-result를 사용합니다.
• Windows: .uild.ps1 -CudaArch <arch>를 사용하며, <arch>는 GPU의 컴퓨트 능력에 해당합니다.

훈련을 실행하려면 데이터 파일과 로그 디렉터리를 지정합니다: .uild\turbogpt.exe --data hn1g.txt --log-to runs/ctx4

이전 상태에서 훈련을 재개하려면 --load CHECKPOINT.pt 플래그를 사용할 수 있습니다.

커뮤니티 논의 및 비판

이 프로젝트는 기술적 속도를 보여주지만, Hacker News 커뮤니티의 피드백은 이러한 "소형" 구현의 실용성에 대해 논쟁을 일으켰습니다. 기존 교육 자료와의 비교에서의 가치에 대한 논의가 있었습니다.

한 기여자는 이러한 프로젝트의 증가에 대해 다음과 같이 질문했습니다:

지금까지 100개 정도를 봤는데, 각각은 안드레이 카르파티가 GPT의 구조 블록을 가르치기 위해 만든 것보다 훨씬 나쁘고 학습 가치도 낮습니다.

다른 기술적 관찰로는 모델을 디스크 크기(예: 22KiB)로 분류하는 경향에 대한 비판과, 매우 작은 규모에서는 반복적 기울기 하강보다 전통적인 최적화 문제(예: KKT 조건)가 더 적합할 수 있다는 제안이 있었습니다.