microsoft/BitNet

해결하는 문제

bitnet.cpp는 1비트(삼치) 대규모 언어 모델(LLM)을 고효율로 실행하기 위해 설계된 추론 프레임워크입니다. 전체 정밀도 모델의 높은 계산 및 에너지 비용을 해결하며, 최대 1000억 파라미터의 대규모 모델을 단일 CPU에서 인간의 독서 속도와 유사한 속도로 실행할 수 있게 합니다.

작동 방식

이 프레임워크는 x86 및 ARM CPU, GPU용 최적화된 커널을 제공하며, 3치 가중치(1.58비트)를 사용하여 빠르고 손실 없는 추론을 수행합니다. 다양한 양자화 유형(I2_S, TL1 등)을 지원하며, .safetensors 체크포인트를 GGUF 형식으로 변환하여 실행할 수 있습니다.

대상 사용자

CPU만 사용하는 환경이나 낮은 에너지 소비가 중요한 에지 디바이스 또는 자원 제약 환경에서 LLM을 배포하고자 하는 개발자 및 연구자에게 적합합니다.

주요 특징

• 매우 빠른 속도 향상: x86 CPU에서 최대 6.17배, ARM CPU에서 최대 5.07배의 속도 향상.
• 에너지 효율성 향상: x86에서 최대 82.2%, ARM에서 최대 70.0%의 에너지 소비 감소.
• 광범위한 하드웨어 지원: x86 및 ARM CPU에 최적화되어 있으며, 공식 GPU 커널도 제공됩니다.
• 1비트 임베딩 모델: 1비트 임베딩 모델(0.6B 및 270M)을 지원하며, 빠른 CPU 추론을 유지하면서 경쟁력 있는 품질을 제공합니다.