kaito-project/aikit

解决的问题

AIKit 提供一个统一的平台，简化大型语言模型（LLMs）的托管、部署和微调。它通过提供预构建的容器化模型镜像，使用户只需一条命令即可运行，从而消除了管理基础设施、GPU 驱动和模型格式的复杂性。

工作原理

AIKit 利用容器化（Docker/Podman）将模型及其依赖项打包。它使用 LocalAI 作为推理引擎，提供 OpenAI 兼容的 REST API，使用户能够与现有的 AI 客户端集成。在微调方面，它集成了 Unsloth 以实现内存高效的训练。同时支持 OCI 打包，允许模型按照 CNCF ModelPack 规范作为 OCI 艺术品进行分发。

适用人群

希望在本地或 Kubernetes 上部署开源 LLM 而无需深入掌握 ML 基础设施的开发者和组织，以及需要离线环境或对 AI 模型供应链安全有高要求的用户。

主要亮点

• OpenAI API 兼容性：使用 REST API 即可作为 OpenAI 客户端的即插即用替代品。
• 硬件灵活性：支持 AMD64 和 ARM64 CPU、NVIDIA CUDA、AMD ROCm 和 Apple Silicon。
• 容器优先方法：通过 Docker 或 Podman 部署模型，使用 chiseled 镜像实现极小的镜像体积。
• 微调与打包：内置对 Unsloth 微调和符合 OCI 标准的模型分发的支持。
• 企业就绪：支持 SBOM 和签名镜像，可直接用于 Kubernetes 部署，保障供应链安全。