mudler/LocalAI

LocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.

LocalAI – オープンソース、オンプレミス AI エンジン

それは何か – LocalAI は、モジュール式のセルフホスト型サーバーで、あらゆるハードウェア（ラップトップ CPU からマルチ GPU サーバー、Apple Silicon、AMD/Intel GPU、さらには Jetson ボードまで）で多種多様な AI モデル（大規模言語モデル、ビジョン、音声認識、テキスト読み上げ、画像生成、ビデオなど）を実行できます。コアは非常に小さく、各モデルタイプはバックエンドによって提供され、必要に応じて個別の OCI イメージ（llama.cpp、vLLM、whisper.cpp、stable-diffusion など）としてプルされます。これにより、インストールが軽量になり、必要な部分だけを追加できます。

主な機能（README に記載）

機能	詳細
モデルサポート	LLM、ビジョン、オーディオ、画像、ビデオ。LocalAI ギャラリー、Hugging Face、Ollama OCI、または任意の OCI レジストリからモデルをロード。
ハードウェアの柔軟性	CPU のみまたは GPU アクセラレーションで実行：NVIDIA CUDA 12/13、AMD ROCm、Intel oneAPI、Apple Metal、Vulkan、Jetson L4T。
構成可能なバックエンド	各バックエンドは個別のコンテナイメージ（llama.cpp、vllm.cpp、parakeet.cpp など）で、必要なときにのみ取得されます。
API 互換性	OpenAI、Anthropic、ElevenLabs 互換の REST エンドポイントに加え、音声対音声用の Realtime API を提供。
マルチユーザーとセキュリティ	API キー認証、ロールベースのクォータ、ユーザーごとの使用量メトリクス、オプションの OIDC、デフォルト拒否認証。
組み込みエージェント	ツール使用、検索拡張生成（RAG）、モデルコンテキストプロトコル（MCP）、コミュニティ駆動のエージェントハブを備えた自律エージェント。
プライバシー優先	すべての推論はオンプレミスで実行され、データがインフラストラクチャから離れることはありません。
拡張可能	任意の言語で新しいバックエンドを記述するためのオープンインターフェース。多くのネイティブ C/C++ GGML バックエンドが提供されています（vllm.cpp、parakeet.cpp、voice-detect.cpp など）。
分散モード	PostgreSQL + NATS による水平スケーリング、スマートルーティング、レプリカ管理、再開可能なアップロード。
Web UI と CLI	統合 Web UI、ターミナルベースのチャットエージェント、モデル管理、ベンチマーク、対話型チャット用の `local-ai` CLI。

典型的なワークフロー（クイックスタート）

サーバーを実行 – 例：docker run -ti -p 8080:8080 localai/localai:latest（または macOS DMG を使用）。コンテナは GPU を自動検出し、適切なバックエンドをプルします。
モデルをロード – local-ai run llama-3.2-1b-instruct:q4_k_m または Hugging Face URL を指定。
対話する – local-ai chat --model llama-3.2-1b-instruct:q4_k_m または任意のクライアントから OpenAI 互換の HTTP API を呼び出します。
機能を追加 – 対応するバックエンドイメージをプルするだけで、ビジョン、TTS、自律エージェントを有効にできます。

誰が使うか？

開発者とスタートアップ：ベンダーロックインなしでオンプレミスの LLM またはマルチモーダルサービスが必要な場合。
厳格なデータプライバシーポリシーを持つ企業。
研究者：単一のインターフェースから多くのバックエンド（llama.cpp、vLLM、MLX など）を試したい場合。
エッジ展開：Jetson、Apple Silicon、または低消費電力 CPU 上。

最近のハイライト（2026 年リリース）

v4.11.0 – オーディオシーン分析、決定 API、モデルフェイルオーバーチェーン、署名付き OCI ギャラリー、テキストからアニメーション。
v4.10.0 – フリートダッシュボード、統合ベンチマークツール、プライベートモデル資格情報。
v4.9.0 – デフォルト拒否認証、コンテキスト圧縮、MiniMax-H3 ビデオプラスオーディオ生成。
v4.8.0 – vllm.cpp（アルファ）、画像から 3D、音声およびサウンドイベント検出用の新しい audio.cpp バックエンド。
v4.7-4.5 – 音声クローン、ビデオ生成、ツール呼び出しエージェント、生体認証バックエンド（voice-detect、face-detect）、リアルタイムストリーミング API。

結論

LocalAI は、真に積極的にメンテナンスされているオープンソースプラットフォームであり、さまざまな AI モデルとハードウェアアクセラレータを単一の OpenAI 互換 API の背後にまとめています。モジュール式のオンデマンドバックエンドアーキテクチャにより、軽量でありながら拡張可能で、マルチユーザー認証、分散スケーリング、組み込みの自律エージェントなど、多くの本番グレードの機能が含まれています。