kaito-project/aikit

해결하는 문제

AIKit은 대규모 언어 모델(LLM)의 호스팅, 배포, 파인튜닝을 단순화하는 통합 플랫폼을 제공합니다. 인프라 관리, GPU 드라이버, 모델 형식의 복잡성을 제거하고, 단일 명령어로 실행 가능한 사전 제작된 컨테이너화된 모델 이미지를 제공합니다.

작동 방식

AIKit은 컨테이너화(Docker/Podman)를 활용하여 모델과 그 종속성을 패키지화합니다. 추론 엔진으로 LocalAI를 사용하여 OpenAI 호환 REST API를 제공하여 기존 AI 클라이언트와의 통합을 가능하게 합니다. 파인튜닝을 위해 메모리 효율적인 학습을 제공하는 Unsloth와 통합됩니다. 또한 OCI 패키징도 지원하여 모델을 CNCF ModelPack 사양에 따라 OCI 아티팩트로 배포할 수 있습니다.

대상 사용자

ML 인프라에 대한 깊은 전문 지식 없이 로컬 또는 Kubernetes에서 오픈 소스 LLM을 배포하고자 하는 개발자 및 조직, 그리고 오프라인 환경 또는 AI 모델의 공급망 보안이 필요한 사용자들입니다.

주요 특징

• OpenAI API 호환성: REST API를 사용하여 OpenAI 클라이언트의 즉시 대체 가능.
• 하드웨어 유연성: AMD64 및 ARM64 CPU, NVIDIA CUDA, AMD ROCm, Apple Silicon을 지원.
• 컨테이너 우선 접근 방식: chiseled 이미지를 사용하여 최소한의 이미지 크기로 Docker 또는 Podman으로 모델 배포.
• 파인튜닝 및 패키징: Unsloth 파인튜닝 및 OCI 준수 모델 배포를 내장 지원.
• 엔터프라이즈 대응: SBOM 및 서명된 이미지를 지원하는 Kubernetes 배포를 위한 준비 완료.