NVIDIA/Personal-AI-Router

解决的问题

NVIDIA Personal AI Router (PAIR) 解决了在单个网络上管理多台本地计算机以处理 AI 推理工作负载的挑战。它允许用户将独立的 AI 请求分发到多台机器上，防止任何单台机器成为瓶颈，这在多代理应用等并发工作负载中尤其有用。

工作原理

PAIR 作为本地推理路由器运行。它会发现网络中的参与节点，管理支持的推理引擎（如 Ollama 和 LM Studio），并提供 OpenAI 兼容和 Ollama 兼容的代理端点。当请求到达时，PAIR 会根据引擎可用性、模型可用性和当前工作负载，将请求路由到合适的节点。

适用人群

拥有多个本地机器（Windows、Linux 或 macOS）并希望在不将数据发送到云端的情况下，创建本地 AI 推理集群的开发者和 AI 爱好者。

主要亮点

• 跨平台兼容性：支持 Windows 11、Linux 和 macOS（x64 和 arm64）。
• 统一 API：提供与 OpenAI 和 Ollama 兼容的代理端点。
• 简易设置：包含桌面应用程序，用于安装和管理引擎及模型。
• 本地优先隐私保护：设计为将提示和响应保留在本地网络中。
• 动态路由：基于实时 GPU 和内存使用情况信号进行请求路由。