llama.cpp v1.0.0 发布说明
稳定 API 与版本控制
随着 llama.cpp v1.0.0 和 ggml v1.0.0 的发布,该项目正式确立了对下游开发者提供稳定性的承诺。展望未来,项目将遵循语义化版本控制(Semantic Versioning),主版本号的提升将明确标识公共 C API 和 ABI 的破坏性变更。这一转变确保了依赖 libllama 和 libggml 的庞大应用生态系统能够更自信地进行集成。
语义化版本控制规则
- 主版本号 (MAJOR): 对
./include中公共 C API 的破坏性变更。 - 次版本号 (MINOR): 向后兼容的功能、后端更新、新模型支持或 API 新增。
- 修订号 (PATCH): 不涉及 API 变更的错误修复。
硬件支持与架构
llama.cpp 始终致力于为跨多种硬件的多模态大模型推理提供轻量级、可移植的 C/C++ 实现。底层的 ggml 张量库旨在通过专用后端支持几乎任何硬件,这些后端可以编译为动态库并在运行时加载。该项目目前支持超过 150 种模型架构变体以及所有主流的投机解码方法。
分发与 CI 基础设施
为了支持更广泛的采用,团队正在扩展 ggml-org 软件的分发渠道。当前及未来的分发方式包括针对 Linux、macOS、Windows、Android 和 iOS 的预发布构建产物,以及对 Docker、Debian、Homebrew、conda-forge、MacPorts 和 Winget 的支持。
开发速度得益于强大的 CI 基础设施,该基础设施利用 Hugging Face 的技术(如 HF Buckets 和 HF Jobs)来确保正确性。项目在 NVIDIA、AMD、Qualcomm、Arm、IBM 和 Intel 等硬件平台上维护了广泛的自托管运行器,以保证兼容性和性能。