kaito-project/aikit

何を解決するか

AIKitは、大規模言語モデル（LLMs）のホスティング、デプロイ、ファインチューニングを簡素化する統合プラットフォームを提供します。インフラの管理、GPUドライバー、モデル形式の複雑さを排除し、ワンコマンドで実行可能な事前構築済みのコンテナ化モデルイメージを提供します。

仕組み

AIKitはコンテナ化（Docker/Podman）を活用してモデルとその依存関係をパッケージ化します。推論エンジンとしてLocalAIを使用し、OpenAI互換のREST APIを提供することで、既存のAIクライアントと統合が可能になります。ファインチューニングには、メモリ効率の高い学習を実現するUnslothを統合しています。また、OCIパッケージングもサポートしており、CNCF ModelPack仕様に従ったOCIアーティファクトとしてモデルを配布できます。

対象ユーザー

MLインフラの深い知識が不要な状況で、ローカルまたはKubernetes上でオープンソースLLMをデプロイしたい開発者や組織、またオフライン環境やAIモデルのサプライチェーンセキュリティが求められるユーザー。

特徴

• OpenAI API互換性: REST APIを使用してOpenAIクライアントの即時置き換えが可能。
• ハードウェアの柔軟性: AMD64およびARM64 CPU、NVIDIA CUDA、AMD ROCm、Apple Siliconをサポート。
• コンテナ最優先アプローチ: chiseledイメージを使用して最小限のイメージサイズでDockerまたはPodmanでモデルをデプロイ。
• ファインチューニングとパッケージング: UnslothによるファインチューニングとOCI準拠のモデル配布を内蔵サポート。
• エンタープライズ対応: SBOMおよび署名付きイメージをサポートするKubernetesデプロイに対応し、サプライチェーンセキュリティを強化。