ggml-org/ggml

해결하는 문제

기계 학습에서 텐서를 다루는 간단하고 포터블하며 효율적인 방법을 제공하여, ML 모델을 구현할 때 복잡한 설정이나 무거운 종속성 없이도 가능하게 합니다.

작동 방식

순수 C/C++로 작성된 이 라이브러리는 다양한 아키텍처(x86, ARM, RISC-V)용 SIMD 최적화 커널을 구현하며, CPU, GPU, NPU, 웹 브라우저 등 다양한 백엔드를 지원합니다. 2~8비트 정수 양자화 및 마이크로스케일링 형식(MXFP4 및 NVFP4)을 활용하여 모델 크기와 메모리 사용량을 줄이고, 실행 시 메모리 할당을 완전히 제로로 유지하여 최고의 효율성을 보장합니다.

대상 사용자

고성능 하드웨어부터 WebAssembly에 이르기까지 모든 환경에서 작동할 수 있는 가벼운 크로스플랫폼 텐서 라이브러리가 필요한 개발자들입니다.

주요 특징

• 광범위한 크로스플랫폼 지원 (x86, ARM, RISC-V, LoongArch, PowerPC, s390x, WebAssembly).
• 실행 시 메모리 할당 없음.
• 2~8비트 정수 양자화 지원.
• 외부 종속성 없음.