NVIDIA/Personal-AI-Router

Router that virtually distributes inference across connected devices in the home.

NVIDIA 个人 AI 路由器（PAIR）

它是什么 – PAIR 是一款桌面加服务应用，让同一本地网络上的多台计算机分担运行 LLM 推理的负载。它发现其他 PAIR 节点，跟踪每个节点拥有的推理引擎（Ollama、LM Studio、llama.cpp）和模型，然后将传入的 API 调用（OpenAI 风格、Anthropic 风格或 Ollama 风格）路由到最合适的机器。

关键理念

仅本地路由 – 所有流量都留在您的局域网内；无需云组件。
按请求路由 – 每个请求发送到拥有所需模型且有足够空闲 GPU/内存的单个节点。PAIR 不会将单个模型拆分到多个 GPU 或池化 GPU 内存。
跨平台 – 支持 Windows 11、Linux（deb 包）和 macOS（dmg）。任何受支持操作系统的节点都可以混合在集群中，同时支持 x86-64 和 arm64（Windows-ARM 为实验性）。
引擎管理 – PAIR 可以为您安装、启动、停止和更新受支持的引擎，并跟踪每个引擎中可用的模型。
多种 API 风格 – 暴露模拟 OpenAI、Anthropic Messages 和 Ollama API 的本地代理端点，因此现有客户端代码无需更改即可工作。

快速开始（桌面流程）

下载 – 从 GitHub 发布页面下载相应的安装程序（Windows .exe、Linux .deb、macOS .dmg）。
安装 – 运行安装程序；它会设置后台服务、防火墙规则和桌面 UI。
启动 PAIR – 像打开任何其他程序一样打开应用。
添加引擎 – 在 引擎设置 中点击 Ollama、LM Studio 或 llama.cpp 旁边的安装。PAIR 会自动下载并配置引擎。
添加模型 – 点击 添加模型，从内置列表中选择一个模型（例如 qwen4:12b 或来自 Hugging Face 的任何 GGUF 模型），并让引擎下载它。

测试 – 使用内置的测试按钮或简单的 curl 请求：

curl http://127.0.0.1:11434/v1/chat/completions \
     -H "Content-Type: application/json" \
     -d '{"model":"qwen4:12b","messages":[{"role":"user","content":"What does a router do?"}]}'

响应是标准的 OpenAI 风格 JSON 负载。

添加更多节点 – 在 设置 → 集群 中，在第一台机器上生成六位 PIN，在第二台机器上输入，然后在那里重复引擎/模型步骤。PAIR 现在会将请求路由到有容量的节点。

终端界面（无 GUI）

对于无头或服务器机器，PAIR 提供终端 UI，启动相同的后台服务并显示节点、作业和日志的全屏视图。桌面应用中可用的所有配置操作都可以从终端执行。

路由工作原理

PAIR 持续监控每个节点的 GPU 和内存使用情况。
当请求到达时，它会寻找满足以下条件的节点：
1. 已加载所需模型（或可以快速加载）。
2. 有足够的空闲资源进行推理。
3. 根据调度器当前负载最低。
请求通过适当的 API 端点转发到该节点的本地引擎。响应被代理回原始客户端。

支持的引擎和模型

引擎	提供内容	模型格式
Ollama	具有 OpenAI 兼容 API 的全栈服务器	`gguf` 和原生 Ollama 格式
LM Studio	GUI 驱动的服务器，也兼容 OpenAI	与 Ollama 相同
llama.cpp	用于 GGUF 文件的轻量级 CPU/GPU 推理	GGUF（`*.gguf`）

安装与升级

Windows/macOS – 双击安装程序并按照提示操作。安装程序会注册特权助手、添加防火墙规则，并设置自动更新检查（通过 设置 → 服务 选择加入）。
Linux – sudo apt install ./NVPAIR-Setup-*.deb。更新以新的 .deb 包形式提供；启用后应用可以自行更新。
从源码构建 – 有关先决条件以及编译服务和 UI 所需的 cargo/npm 命令，请参阅 docs/building.mdx。

卸载 / 重置

Windows：从 应用和功能 中卸载；卸载程序可选择删除 PAIR 数据。
Linux：sudo apt remove nvpair（保留数据）或 sudo apt purge nvpair（删除数据）。
macOS：运行捆绑的卸载脚本；添加 --purge 以删除数据。
重置数据 – 设置 → 服务 → 重置应用数据 清除 PAIR 自身的状态（设置、日志、证书、已安装的引擎），但保留模型文件。

路线图（高层即将开展的工作）

完整的 Windows ARM64 支持、DGX Station 兼容性。
新引擎集成：vLLM、EXO、ComfyUI、Unsloth、Tailscale。
高级路由功能：跨引擎 OpenAI 兼容路由、请求排队、QoS 调度器旋钮、KV 缓存感知调度。
可用性：仅请求者客户端、开机自动启动、更多稳定性改进。

许可证与贡献

根据 Apache 2.0 许可。
欢迎贡献；详情请参阅 CONTRIBUTING.md、CODE_OF_CONDUCT.md 和治理模型。
安全：PAIR 包括局域网发现、基于 PIN 的信任引导和本地 HTTP 端点。在不受信任的网络上部署前，请查看 SECURITY.md。

底线 – NVIDIA PAIR 是一款即用型跨平台路由器，让您将几台本地机器视为单一推理服务，在保持所有数据本地化的同时，为您处理引擎安装、模型管理和请求调度。