NVIDIA/Personal-AI-Router

解決的問題

NVIDIA Personal AI Router (PAIR) 解決了在單一網路中管理多台本地電腦以處理 AI 推論工作負載的挑戰。它允許使用者將獨立的 AI 請求分散到多台機器上，防止任何單一機器成為瓶頸，這在多代理應用等並行工作負載中尤其有用。

作用方式

PAIR 作為本地推論路由器運作。它會發現網路中的參與節點，管理支援的推論引擎（如 Ollama 和 LM Studio），並提供 OpenAI 相容與 Ollama 相容的代理端點。當請求到達時，PAIR 會根據引擎可用性、模型可用性與目前工作負載，將請求路由至合適的節點。

適用對象

擁有數台本地機器（Windows、Linux 或 macOS）並希望在不將資料傳送至雲端的情況下，建立本地叢集進行 AI 推論的開發者與 AI 愛好者。

主要特色

• 跨平台相容性：支援 Windows 11、Linux 與 macOS（x64 與 arm64）。
• 統一 API：提供與 OpenAI 及 Ollama 相容的代理端點。
• 輕鬆設定：內建桌面應用程式，用於安裝與管理引擎與模型。
• 本地優先隱私保護：設計為將提示與回應保留在本地網路中。
• 動態路由：根據即時 GPU 與記憶體使用狀況信號進行請求路由。