VecSzn/PolyStrata

它解决的问题

大型 AI 模型通常需要配备数百 GB 显存的服务器。PolyStrata 通过将模型分布在显卡和系统内存上，让你可以在普通 PC 上运行它们——例如配备 8 GB 显卡的笔记本电脑或 32 GB 内存的台式机。这意味着你可以在自己的机器上聊天、编写代码，并使用自己的应用和编码代理，所有数据都不会离开你的电脑。

工作原理

PolyStrata 包含一个自定义引擎，将模型的工作负载分配到显卡和内存之间。你经常使用的部分保留在显卡上，其余部分则等待在内存中——就像把常用物品放在台面上，其余放在储藏室里。安装程序会为你的显卡设置合适的引擎，下载模型，并启动本地服务器。然后，你可以通过浏览器访问 http://127.0.0.1:8080 与模型对话，或连接任何支持 OpenAI 或 Anthropic 风格 API 的应用。目前有十个模型可用，其中大部分是实验性的，还有几个可以读取图片。

适用人群

适合希望在自己的硬件上私密运行大型 AI 模型的人——使用 Claude Code 或 Cursor 等编码助手的开发者、拥有高性能游戏 PC 的爱好者，以及任何希望将数据保留在设备本地的人。它支持 Windows、Linux 和 Apple Silicon Mac（针对一个模型），安装程序还包含基准测试，以便你测量自己机器上的速度。

亮点

• 本地运行十个大型 AI 模型，包括 Qwen3.6、GLM 5.3 Flash、DeepSeek V4 Flash 等。
• 快速提示读取——在笔记本电脑上，提示读取速度比 llama.cpp 快 2.7–3.5 倍。
• 通过 OpenAI 和 Anthropic 兼容 API 与现有应用配合使用（例如 Claude Code、Codex）。
• 数据不会离开你的 PC；所有推理都在你的硬件上进行。
• 免费且开源。