Niko1221/Strata

Strata – 在消费级游戏电脑上运行 1250 亿参数的 LLM

这是什么

• 一个开源引擎，可让您在配备现代 GPU（12 GB VRAM 以上）的台式机上本地运行 Qwen‑3.8‑Flash‑Next 大型语言模型（约 1250 亿参数）。
• 模型经过高度压缩（GGUF 格式，如 Q2_0、IQ2_XS、IQ3_S 等），因此可以放入 RAM/VRAM，并在需要时从 SSD 流式传输。
• 提供 OpenAI 兼容的 HTTP API（http://127.0.0.1:8080/v1）和一个小型 Web UI，用于聊天、监控和图像输入。

为什么重要

• 大型 LLM 通常需要配备 40-100 GB 内存的服务器级 GPU。Strata 的“专家分割”技术将模型分散到 GPU、系统 RAM、CPU 和 SSD 上，使 1250 亿参数的模型可在典型的游戏设备上使用。
• 所有数据都保留在设备上，这有利于隐私和离线工作。

主要功能

功能	详细信息
支持的硬件	NVIDIA RTX 20-50 系列、AMD RX 7900 XT/XTX、RX 7800 XT、RX 9070 XT 等。最低 12 GB VRAM、32 GB RAM（建议 64 GB）。
模型大小	多种 GGUF 量化：Q2_0、IQ2_XS、IQ3_XXS、IQ3_S、Coder、Swift 1.5、Unsloth UD‑IQ4_XS 等。较小的文件运行更快；较大的功能更强。
性能	在 RTX 5070（12 GB）上，最快的 Q2_0 生成速度约为 94 tokens/s，提示词处理速度约为 2 650 tokens/s；IQ3_S 约为 53 tokens/s。也列出了 AMD 显卡的基准测试。
安装	一键脚本（START-HERE.bat / setup.sh）。安装程序会检测 GPU、选择合适的模型、下载约 70 GB 的权重，并启动本地服务器。
API	OpenAI 兼容的 /v1/chat/completions、/v1/completions、/v1/responses，以及 Anthropic 风格的 /v1/messages。可与任何客户端（Claude Code、Cursor、Copilot 等）搭配使用。
图像支持	AMD Linux 版本可选图片输入；Windows 版本目前缺少此功能。
多 GPU	实验性支持在两到三张显卡之间共享模型。
并行处理	默认为单请求模式；可启用有限的批处理（"parallel": 2）。
监控	Web UI 显示 GPU/CPU/RAM 使用量、token 吞吐量，以及实时的“监控”标签。
扩展性	可通过 SETUP.bat/setup.sh --setup 添加 GGUF 模型。

运作方式（高层级）

• 1250 亿参数的模型被分割成 24 576 个“专家”。最常使用的专家保留在 GPU 上；其余的位于系统 RAM 中，而查找表则位于 SSD 上。
• 一个轻量级的“猜测”模块预测候选 token，然后完整模型验证它们，提供 1.6-1.8 倍的速度提升。
• 提示词处理是分块的（每次最多 8 192 个 token），速度超过 1 000 tokens/s，可实现 32 KB 级别的上下文窗口。

开始使用

1. 确保您有支持的 GPU、≥32 GB RAM 和约 80 GB 的可用磁盘空间。
2. 克隆存储库或下载 zip，然后运行 START-HERE.bat（Windows）或 ./setup.sh（Linux）。
3. 按照提示操作 – 安装程序会选择适合您 RAM 的模型大小并下载。
4. 在浏览器中打开 http://127.0.0.1:8080 进行聊天，或将您的开发工具指向 http://127.0.0.1:8080/v1。

典型使用案例

• 本地代码助手，可读取大型代码库（最多 32 KB 上下文），而无需将数据发送到云端。
• 注重隐私的离线研究或创意写作。
• 在消费级硬件上进行 LLM 推理实验，用于教育或业余项目。

限制

• 需要相当强大的 PC（12 GB VRAM、32-64 GB RAM）。
• 首次启动时，模型加载到 RAM/VRAM 期间系统可能会冻结几分钟。
• 默认一次只能处理一个请求；较高的并行处理会降低每个请求的速度。
• 目前仅 AMD Linux 版本支持图像输入。

许可证与社区

• Strata 的代码采用 MIT 许可证。
• 底层模型权重受 Qwen 3.8‑Flash‑Next 和各种 GGUF 压缩器（ISTA‑DASLab、UkisAI、Unsloth）的许可证条款约束。
• 欢迎贡献；基准测试和故障排除提示收集在 docs/COMMUNITY_BENCHMARKS.md 文件中。

更多信息

• 详细速度表：docs/MODELS.md 和 docs/DETAILS.md。
• 安装指南：docs/INSTALL.md。
• 技术深入探讨：docs/HOW_IT_WORKS.md 和随附论文（docs/paper/Strata-Paper.pdf）。

---

Strata 让消费级游戏电脑像小型 AI 服务器一样运作，为您提供对 1250 亿参数 LLM 的私人、离线访问，并具有熟悉的 OpenAI 风格 API。