kaito-project/aikit
🏗️ Fine-tune, build, and deploy open-source LLMs easily!
What it solves
AIKit은 대규모 언어 모델(LLM)의 호스팅, 배포, 빌드 및 파인튜닝 과정을 단순화하도록 설계된 플랫폼입니다. 컨테이너화된 접근 방식을 제공하여 복잡한 툴체인 없이 로컬 또는 클라우드에서 모델을 실행할 수 있게 함으로써 환경 설정의 복잡성을 제거합니다.
How it works
AIKit은 Docker와 Podman을 활용해 모델을 컨테이너 이미지로 제공합니다. 추론 엔진으로 LocalAI를 사용하고 OpenAI 호환 REST API를 제공하여 기존 OpenAI 클라이언트의 드롭인 대체품으로 작동합니다. 파인튜닝을 위해 메모리 효율적인 학습을 지원하는 Unsloth와 통합됩니다. 또한 OCI 패키징을 지원하여 CNCF ModelPack 사양을 사용해 모델을 OCI 아티팩트로 배포할 수 있습니다.
Who it’s for
오픈 LLM을 빠르게 배포하고, 특정 작업에 맞게 파인튜닝하며, 컨테이너 레지스트리를 통해 배포하고자 하는 개발자 및 AI 엔지니어를 위한 플랫폼입니다. 특히 에어갭 또는 엣지 환경에서 작업하는 경우에 적합합니다.
Highlights
- OpenAI Compatibility: 모든 OpenAI 호환 클라이언트와 작동하는 REST API를 제공합니다.
- Hardware Flexibility: AMD64 및 ARM64 CPU, NVIDIA CUDA, AMD ROCm, Apple Silicon을 지원합니다.
- Container-First: 모델이 OCI 아티팩트로 패키징되어 Docker 또는 Podman을 통한 배포 및 배치가 용이합니다.
- Fine-Tuning: 빠르고 메모리 효율적인 파인튜닝을 위해 Unsloth를 통합했습니다.
- Security: SBOM, Provenance 인증서, 서명된 이미지를 포함하여 공급망 보안을 보장합니다.
- Multi-modal Support: 텍스트 기반 LLM뿐만 아니라 이미지 생성 모델(예: Flux 1 Dev)도 실행할 수 있습니다.