llama.cpp v1.0.0 릴리스 노트
안정적인 API 및 버전 관리
llama.cpp v1.0.0 및 ggml v1.0.0 릴리스와 함께, 본 프로젝트는 다운스트림 개발자를 위한 안정성에 대한 약속을 공식화했습니다. 앞으로 프로젝트는 시맨틱 버전 관리(Semantic Versioning)를 준수하며, 메이저 버전 업데이트는 공개 C API 및 ABI에 대한 호환성 중단 변경 사항이 있음을 명시적으로 알리게 됩니다. 이러한 전환을 통해 libllama 및 libggml에 의존하는 성장하는 애플리케이션 생태계가 더 높은 신뢰성을 가지고 통합할 수 있게 되었습니다.
시맨틱 버전 관리 규칙
- MAJOR:
./include에 위치한 공개 C API에 대한 호환성 중단 변경. - MINOR: 하위 호환성을 유지하는 기능, 백엔드 업데이트, 새로운 모델 지원 또는 API 추가.
- PATCH: API 변경이 없는 버그 수정.
하드웨어 지원 및 아키텍처
llama.cpp는 다양한 하드웨어 전반에서 멀티모달 LLM 추론을 위한 가볍고 이식 가능한 C/C++ 구현을 제공하는 데 중점을 두고 있습니다. 기반이 되는 ggml 텐서 라이브러리는 전용 백엔드를 통해 사실상 모든 하드웨어를 지원하도록 설계되었으며, 이는 동적 라이브러리로 컴파일되어 런타임에 로드될 수 있습니다. 현재 이 프로젝트는 150개 이상의 모델 아키텍처 변형과 모든 주류 추측 디코딩(speculative decoding) 방식을 지원합니다.
배포 및 CI 인프라
더 넓은 채택을 지원하기 위해 팀은 ggml-org 소프트웨어의 배포 채널을 확장하고 있습니다. 현재 및 향후 배포 방법에는 Linux, macOS, Windows, Android 및 iOS용 사전 릴리스 아티팩트와 Docker, Debian, Homebrew, conda-forge, MacPorts 및 Winget에 대한 지원이 포함됩니다.
개발 속도는 HF Buckets 및 HF Jobs와 같은 Hugging Face 기술을 활용하는 강력한 CI 인프라에 의해 뒷받침되어 정확성을 보장합니다. 프로젝트는 호환성과 성능을 보장하기 위해 NVIDIA, AMD, Qualcomm, Arm, IBM 및 Intel의 하드웨어 플랫폼 전반에 걸쳐 광범위한 자체 호스팅 러너를 유지 관리합니다.