ggml 1.0.0 릴리스 노트

개요

ggml 1.0.0은 텐서 라이브러리의 중요한 이정표로, API 안정화, 성능 튜닝, 그리고 하드웨어 지원 확장에 중점을 두었습니다. 이번 릴리스에서는 더 이상 사용되지 않는 공개 API와 레거시 연산을 정리하고, 구성 가능한 YaRN 절단(truncation) 기능을 도입했으며, FP8 지원을 추가했습니다. 성능 개선은 CUDA, Metal부터 Vulkan, SYCL, OpenCL에 이르는 다양한 백엔드 전반에 걸쳐 이루어졌으며, 이를 통해 다양한 하드웨어 구성에서 로컬 추론의 효율성을 유지합니다.

핵심 및 API 개선 사항

1.0.0 릴리스는 핵심 라이브러리의 현대화와 효율성을 우선시합니다:

  • API 정리: 더 이상 사용되지 않는 공개 API와 레거시 DIAG_MASK 연산이 제거되었습니다. RPC 프로토콜이 v9으로 업데이트되어 로딩 시간이 개선되었으며, 연결할 수 없는 엔드포인트에 대한 더 원활한 오류 처리가 구현되었습니다.
  • YaRN 절단: 새로운 API(ggml_rope_set_truncate 및 ggml_rope_get_truncate)를 통해 YaRN 보정 경계 반올림을 정밀하게 제어할 수 있습니다.
  • 스케줄러 개선: 컴퓨팅 스케줄러는 이제 사용되지 않는 입력 업로드를 건너뛰고 이전 분할에서 생성된 입력만 미리 가져와 오버헤드를 줄입니다. 또한, Mixture-of-Experts(MoE) 캐시는 이제 CPU에서 비동기적으로 캐시 미스를 계산할 수 있어, 모델이 GPU 메모리 예산을 초과할 때 전체적인 실패를 방지합니다.

백엔드 성능 업데이트

성능 향상은 이번 릴리스의 핵심이며, 주요 컴퓨팅 플랫폼에 대한 구체적인 최적화가 포함되어 있습니다:

  • CUDA: 배치 크기 2-24에 대한 소행렬 행렬 곱셈 양자화(MMQ)와 BF16 행렬 곱셈을 위한 행렬-벡터 융합(MMVF)이 추가되었습니다. OCP FP8 및 융합된 NVFP4 게이트/업 행렬 곱셈에 대한 지원이 구현되었으며, 그래프 재사용 로직이 개선되었습니다.
  • Metal: Apple Silicon에서의 처리량을 개선하기 위해 융합된 MoE 라우팅과 최적화된 커맨드 버퍼 관리가 도입되었습니다.
  • Vulkan: Intel FlashAttention 프리필 커널이 추가되었으며 CM2를 사용한 역양자화 KV가 활성화되었습니다. RDNA3/4 아키텍처에서의 대형 타일 split-K 지원은 최신 AMD 하드웨어에서의 성능을 향상시킵니다.
  • SYCL & OpenCL: SYCL은 이제 장치 측 MoE 스케줄러를 제공하며, OpenCL은 분해된 Adreno FlashAttention과 모바일 칩셋을 위한 개선된 다중 열 GEMV 커널을 포함합니다.
  • Hexagon & CPU: Hexagon 연산 커버리지가 확장되었으며 SpacemiT RVV 및 ARM NEON 아키텍처에 대한 최적화가 추가되어 모바일 및 임베디드 프로세서에 대한 폭넓은 지원을 보장합니다.

커뮤니티 인사이트

라이브러리 사용자들은 프로젝트가 제공하는 일관된 성능 향상을 높이 평가합니다. 오랜 기여자들과 사용자들은 라이브러리가 반복적인 최적화를 통해 기존 하드웨어에서 5-10%의 속도 향상을 자주 달성한다고 언급합니다.

"이 프로젝트와 llama.cpp에서 정말 인상적인 점은 동일한 하드웨어에서 코드를 가속화할 새로운 방법을 계속 찾아낸다는 것입니다. 업데이트할 때마다(대략 한 달에 한 번) 보통 5~10%의 속도 향상이 있습니다." — @jacquesm

이 프로젝트는 엔지니어링 측면에서 널리 찬사를 받고 있지만, 일부 커뮤니티 토론은 프로젝트 아키텍처의 진화에 집중되어 있습니다. 사용자들은 VRAM을 초과하는 MoE 모델을 호스트 메모리로 오프로드하여 처리하는 라이브러리의 능력이 소비자용 하드웨어에서 매우 중요한 기능이라고 언급했습니다.

Sources

관련

  • Dispatch
  • Dispatch
  • Dispatch
  • Dispatch
  • Dispatch