kaito-project/aikit

🏗️ Fine-tune, build, and deploy open-source LLMs easily!

What it solves

AIKitは、大規模言語モデル（LLM）のホスティング、デプロイ、ビルド、ファインチューニングのプロセスを簡素化するために設計されたプラットフォームです。コンテナ化されたアプローチでAIモデル管理を提供し、複雑なツールチェーンを必要とせずにローカルまたはクラウドでモデルを実行できるようにすることで、環境設定の複雑さを取り除きます。

How it works

AIKitはDockerとPodmanを活用し、モデルをコンテナイメージとして提供します。推論エンジンとしてLocalAIを使用し、OpenAI互換のREST APIを提供するため、既存のOpenAIクライアントのドロップイン置換として機能します。ファインチューニングにはメモリ効率の高い学習を実現するUnslothと統合しています。また、OCIパッケージングをサポートし、CNCF ModelPack仕様を用いてモデルをOCIアーティファクトとして配布できます。

Who it’s for

オープンLLMを迅速にデプロイし、特定タスク向けにファインチューニングし、コンテナレジストリ経由で配布したい開発者やAIエンジニア向けです。特に、エアギャップ環境やエッジ環境で作業する方に適しています。

Highlights

  • OpenAI Compatibility: 任意のOpenAI互換クライアントで動作するREST APIを提供します。
  • Hardware Flexibility: AMD64およびARM64 CPU、NVIDIA CUDA、AMD ROCm、Apple Siliconをサポートします。
  • Container-First: モデルはOCIアーティファクトとしてパッケージ化され、DockerやPodmanを通じた配布・デプロイが容易です。
  • Fine-Tuning: 高速かつメモリ効率の良いファインチューニングのためにUnslothを統合しています。
  • Security: SBOM、Provenanceアテステーション、署名済みイメージを含み、サプライチェーンのセキュリティを確保します。
  • Multi-modal Support: テキストベースのLLMだけでなく、画像生成モデル（例: Flux 1 Dev）も実行可能です。