kaito-project/aikit

解決的問題

AIKit 提供一個統一的平台，簡化大型語言模型（LLMs）的主機、部署與微調。它透過提供預先建構的容器化模型映像，讓使用者只需一條指令即可執行，從而消除管理基礎設施、GPU 驅動程式與模型格式的複雜性。

工作原理

AIKit 利用容器化（Docker/Podman）將模型及其相依性打包。它使用 LocalAI 作為推論引擎，提供 OpenAI 相容的 REST API，讓使用者能與現有的 AI 客戶端整合。在微調方面，整合 Unsloth 以實現記憶體效率高的訓練。同時支援 OCI 打包，允許模型依照 CNCF ModelPack 規範作為 OCI 藝術品進行分發。

適用對象

希望在本地或 Kubernetes 上部署開源 LLM 而無需深入掌握 ML 基礎設施的開發者與組織，以及需要隔離環境或對 AI 模型供應鏈安全性有高要求的使用者。

主要亮點

• OpenAI API 相容性：使用 REST API 即可作為 OpenAI 客戶端的即插即用替代品。
• 硬體彈性：支援 AMD64 與 ARM64 CPU、NVIDIA CUDA、AMD ROCm 與 Apple Silicon。
• 容器優先方法：透過 Docker 或 Podman 部署模型，使用 chiseled 映像實現極小的映像體積。
• 微調與打包：內建支援 Unsloth 微調與符合 OCI 標準的模型分發。
• 企業就緒：支援 SBOM 與簽署映像，可直接用於 Kubernetes 部署，保障供應鏈安全。