kaito-project/aikit
🏗️ Fine-tune, build, and deploy open-source LLMs easily!
What it solves
AIKit 是一个旨在简化大语言模型（LLM）托管、部署、构建和微调过程的平台。它通过提供容器化的 AI 模型管理方式，消除环境配置的复杂性，使用户能够在本地或云端运行模型，而无需复杂的工具链。
How it works
AIKit 利用 Docker 和 Podman 将模型以容器镜像的形式交付。它使用 LocalAI 作为推理引擎，提供兼容 OpenAI 的 REST API，能够直接替代现有的 OpenAI 客户端。微调方面，它集成了内存高效的 Unsloth 进行训练。同时支持 OCI 打包，模型可以通过 CNCF ModelPack 规范以 OCI 架构分发。
Who it’s for
面向希望快速部署开源 LLM、针对特定任务进行微调并通过容器仓库分发的开发者和 AI 工程师，尤其是那些在 air‑gapped 或边缘环境中工作的用户。
Highlights
- OpenAI Compatibility: 提供可与任何 OpenAI 兼容客户端配合使用的 REST API。
- Hardware Flexibility: 支持 AMD64、ARM64 CPU，NVIDIA CUDA，AMD ROCm，以及 Apple Silicon。
- Container-First: 模型以 OCI 架构打包，可通过 Docker 或 Podman 轻松分发和部署。
- Fine-Tuning: 集成 Unsloth，实现快速且内存高效的微调。
- Security: 包含 SBOM、Provenance 证明和签名镜像，确保供应链安全。
- Multi-modal Support: 能运行文本 LLM 以及图像生成模型（如 Flux 1 Dev）。