kaito-project/aikit

🏗️ Fine-tune, build, and deploy open-source LLMs easily!

What it solves

AIKit 是一個旨在簡化大型語言模型（LLM）託管、部署、建置與微調流程的平台。它透過提供容器化的 AI 模型管理方式，消除環境設定的複雜性，讓使用者能在本機或雲端執行模型，無需複雜的工具鏈。

How it works

AIKit 利用 Docker 與 Podman 將模型以容器映像的形式交付。它使用 LocalAI 作為推論引擎，提供相容 OpenAI 的 REST API，能直接取代現有的 OpenAI 客戶端。微調方面，則整合了記憶體效能高的 Unsloth 進行訓練。同時支援 OCI 打包，模型可依 CNCF ModelPack 規範以 OCI 產物分發。

Who it’s for

適用於希望快速部署開源 LLM、針對特定任務微調並透過容器註冊表分發的開發者與 AI 工程師，特別是那些在 air‑gapped 或邊緣環境中工作的使用者。

Highlights

  • OpenAI Compatibility: 提供可與任何 OpenAI 相容客戶端配合使用的 REST API。
  • Hardware Flexibility: 支援 AMD64、ARM64 CPU、NVIDIA CUDA、AMD ROCm 與 Apple Silicon。
  • Container-First: 模型以 OCI 產物打包，可透過 Docker 或 Podman 輕鬆分發與部署。
  • Fine-Tuning: 整合 Unsloth，實現快速且記憶體效能高的微調。
  • Security: 包含 SBOM、Provenance 證明與簽名映像，確保供應鏈安全。
  • Multi-modal Support: 能執行文字 LLM 以及影像生成模型（如 Flux 1 Dev）。