NVIDIA/Personal-AI-Router

何を解決するか

NVIDIA Personal AI Router (PAIR) は、単一のネットワーク上の複数のローカルコンピュータを管理してAI推論ワークロードを処理する課題に対処します。ユーザーは複数のマシンに独立したAIリクエストを分散させることができ、単一のマシンがボトルネックになるのを防ぎます。これは、マルチエージェントアプリケーションのような並行ワークロードにおいて特に有用です。

動作方法

PAIRはローカル推論ルーターとして機能します。ネットワーク上の参加ノードを検出すると、サポートされる推論エンジン（OllamaやLM Studioなど）を管理し、OpenAI互換およびOllama互換のプロキシエンドポイントを提供します。リクエストが到着すると、PAIRはエンジンの利用可能状況、モデルの利用可能状況、および現在のワークロードに基づいて、適格なノードにルーティングします。

対象ユーザー

複数のローカルマシン（Windows、Linux、macOS）を持っている開発者やAI愛好家で、クラウドにデータを送信せずにローカルクラスタを構築してAI推論を行いたい人向けです。

特徴

• クロスプラットフォーム互換性: Windows 11、Linux、macOS（x64およびarm64）をサポート。
• 統一API: OpenAIおよびOllama互換のプロキシエンドポイントを提供。
• 簡単なセットアップ: エンジンとモデルのインストール・管理に使えるデスクトップアプリを備えています。
• ローカル最優先のプライバシー: プロンプトと応答をローカルネットワーク内に保持するように設計されています。
• 動的ルーティング: GPUおよびメモリ使用状況のリアルタイム信号に基づいてリクエストをルーティングします。