thushan/olla

何を解決するか

Olla は、自己ホスト型 LLM インフラを管理するために設計された高性能プロキシおよびロードバランサーです。複数の推論ノード間でリクエストを信頼性高くルーティングする問題を解決し、異なるバックエンドに対して統一されたインターフェースを提供するとともに、フェイルオーバーと健全性監視により高可用性を確保します。

動作方法

Olla はクライアントとさまざまな LLM バックエンド（vLLM、Ollama、llama.cpp など）の間の仲介者として機能します。シンプルさを重視する Sherpa と、高性能を求める Olla の2つのプロキシエンジンを使用して、優先度と健全性に基づいてリクエストをルーティングします。KVキャッシュを意識したアフィニティルーティング（スタイキー・セッション）により、複数ターンの会話が同じバックエンドに固定され、パフォーマンスを最適化できます。また、Anthropic Messages API と OpenAI互換フォーマットの間で自動翻訳を行うことで、異なるプロバイダー間の互換性を確保します。

対象ユーザー

家庭用ラボから企業データセンターまで、自己ホスト型 LLM デプロイを管理する開発者や運用担当者向けです。複数の推論エンドポイントを効率的にロードバランシングおよび統合する必要がある方々に最適です。

主な特徴

• スマートロードバランシング: 優先度ベースのルーティング、自動フェイルオーバー、接続再試行機能。
• KVキャッシュアフィニティ: 特定のバックエンドに会話を固定するスタイキー・セッションによりパフォーマンスを最適化。
• 広範なバックエンド対応: vLLM、Ollama、llama.cpp、LM Studio など、ネイティブ統合をサポート。
• API翻訳: Anthropic Messages API と OpenAI互換フォーマット間の自動翻訳。
• 軽量なフットプリント: Go で記述され、50MB未満の RAM で動作。
• 統合ダッシュボード: 健全性と遅延を監視できる、読み取り専用のフリート概要画面。