Strata 0.1.10 在 RTX 4090 上以约 100 token/s 的速度运行 Qwen 3.8 Flash Next 125B

TL;DR – Strata 的成就

Strata 0.1.10 让 1250 亿参数的 Qwen 3.8-Flash-Next 模型能够在单张消费级 GPU（如 RTX 4090）上以约 100 token/s 的速度运行，将服务器级大语言模型转变为桌面级助手。这一点至关重要，因为它消除了对昂贵云端推理的需求，实现了在现成硬件上进行高吞吐量、保护隐私的 AI 运行。

媲美小型模型的速度

在配备 128 GB DDR5 内存的 RTX 4090（24 GB 显存）上，作者报告速度为 124 token/s（扣除开销后约为 100 token/s）。
在低端显卡上的基准测试显示该引擎具有可预测的扩展性：RTX 5070 (12 GB) 在 IQ2_XS 量化下达到 53 token/s，而 AMD RX 9070 XT (16 GB) 在同一模型下达到 79 token/s。
**“写入答案”**指标（生成速度）超过了典型的阅读速度（约 60 token/s），这意味着模型输出文本的速度比人类阅读速度更快。
提示词加载速度同样令人印象深刻：在 RTX 5070 上，32 K token 的文档以 ~1 200 token/s 的速度被摄入，实现了近乎实时的上下文更新。

“我试了一下，效果出奇地好。在我的机器上（Nvidia 4090, 128GB DDR5, Ryzen 7950x3d），我得到了每秒 124 个 token 的速度” – @snehesht (HN 评论)

最低硬件要求

组件	最低要求	推荐配置
GPU	NVIDIA RTX 20/30/40/50 系列或 AMD Radeon 7900 XT/XTX, 7800 XT, 7700 XT, 9060 XT, 9070/9070 XT, 6800/6900 系列	24 GB 显存 (RTX 4090/3090) 以获得最佳速度；12 GB 显存可运行但吞吐量降低
系统内存	32 GB (适合最小的 "Coder" 模型)	64 GB+ 以运行完整模型套件 (IQ2_XS, IQ3_XXS, IQ3_S)
磁盘	~80 GB 可用空间，建议使用 SSD 以加快模型加载速度	NVMe SSD 以获得最佳交换性能
操作系统	Windows 10/11 或带有最新驱动程序的 Linux	—

安装程序会自动检测您的硬件并选择适合的最大模型。

一键安装（或 AI 辅助设置）

下载仓库 (git clone https://github.com/Niko1221/Strata.git)。
运行 Windows 上的 START-HERE.bat 或 Linux 上的 ./setup.sh。脚本将：
- 检测 GPU、内存和磁盘空间。
- 提示输入模型大小、上下文长度和图像支持（按 Enter 使用默认值）。
- 下载约 70 GB 的 GGUF 模型文件并解压。
等待 1-3 分钟，模型加载到内存中并填充 GPU 缓存。窗口会显示进度；在此阶段电脑可能会感觉卡顿。
打开 http://127.0.0.1:8080 在浏览器中访问 Strata UI（聊天、监控、关于）。

AI 辅助安装

如果您更喜欢使用语言模型来驱动设置，请将以下内容粘贴到您的编码助手中：

Set up Strata on this PC for me: https://github.com/Niko1221/Strata - follow docs/AI_SETUP.md in that repository.

助手将自动运行相同的安装步骤。

选择合适的量化模型

内存	推荐模型	原因
32 GB	Coder (32 GB)	针对代码优化；内存占用紧凑
48 GB	IQ2_XS (或 Q2_0)	适合的最小尺寸，生成速度最快
64 GB	IQ2_XS (默认) 或 IQ3_XXS / IQ3_S	所有尺寸均可运行；IQ3_S 在速度损失较小的情况下提供最高质量
96 GB+	IQ3_S 或 Unsloth UD-IQ4_XS (~4-bit)	加载最大的专家模型；UD-IQ4_XS 以速度换取更低的显存占用

Coder: 达到完整模型 SWE-bench 分数的 91%，但在非代码语言上较弱。
IQ2_XS: 2-bit 量化，大多数任务中速度与质量的最佳平衡点。
IQ3_S: 3-bit 量化，支持的尺寸中质量最高；在 RTX 5070 上以约 53 token/s 的速度运行。
Unsloth UD-IQ4_XS: ~4-bit，94 GB 下载；从 SSD 读取部分模型，导致在低内存系统上生成速度较慢。

在您自己的应用中使用模型

兼容 OpenAI 的端点: http://127.0.0.1:8080/v1。任何接受 OpenAI API 密钥的客户端都可以指向此 URL；密钥可以是任何字符串。
兼容 Anthropic 的端点: http://127.0.0.1:8080/v1/messages (相应设置 ANTHROPIC_BASE_URL)。
批处理: 默认情况下，Strata 一次处理一个请求。在 config.json 中设置 "parallel": 2 以允许两个并发流（在 12 GB 显卡上可能会降低单请求速度）。
图像输入: 在安装期间启用；Windows AMD 显卡目前不支持图像功能。
远程访问: 运行 START-HERE.bat --setup --host 0.0.0.0 --api-key <secret> 以在局域网中暴露 API（请务必使用密钥保护）。

社区反馈与常见问题

“我们离在本地运行类似 Opus 的模型的那一天越来越近了。梦想成真！” – @SuperV1234 (HN 评论)

“该模型是一个由 24,576 个小型专家组成的团队……” – Strata 文档，解释 MoE 卸载策略。

“我在配备 128 GB DDR4 内存的 RTX 4090 上看到了 > 110 token/s 的速度” – @mrinterweb (HN 评论)

“在配备 64 GB 内存的 5090 上运行快速的 iq2_xs 量化，速度约为 200 tok/s” – @IronWolve (HN 评论)

常见顾虑

质量与速度: 用户报告从 IQ2_XS 切换到 IQ3_S 时基准测试分数有轻微下降，但对于复杂的编码或多语言任务，这种权衡通常是值得的。
GPU 内存限制: 显存小于 12 GB 的显卡无法运行任何支持的量化版本；社区正在使用实验性补丁在旧显卡（Tesla V100, GTX 10 系列）上进行尝试，但性能会大幅下降。
并行请求: Strata 目前会对请求进行排队；真正的并行推理需要足够的显存来为每个流保留独立的专家子集。
AMD/Windows 上的图像支持: 尚未提供；Linux 用户可以通过 CPU 回退处理图像。

Strata 如何让 125 B 模型适配 12-24 GB 显存

专家混合 (MoE) 卸载 – 模型由 24,576 个专家组成；任何时候只有几千个活跃专家被缓存到 GPU 上。
驻留内存的专家池 – 所有专家都驻留在系统内存中；当 GPU 处理热点子集时，CPU 会交换所需的专家。
SSD 查找表 – 存储在 SSD 上的大型静态表加速了专家选择，减少了 CPU-内存流量。
猜测与检查流水线 – 轻量级辅助程序提出候选 token；完整的 MoE 对其进行验证，比朴素解码速度提升 1.6-1.8 倍。
分块上下文处理 – 长提示词以 8 192 token 的块读取，速度超过 1 000 token/s，从而在不阻塞 GPU 的情况下实现 32 K token 的上下文窗口。

完整的技术描述位于仓库的 HOW_IT_WORKS.md 和随附论文 (Strata-Paper.pdf) 中。

许可与致谢

模型: Qwen 3.8-Flash-Next (通过 Hugging Face 进行 MIT 兼容使用)。
量化: 由 ISTA-DASLab, UkisAI (Swift 1.5) 和 Unsloth 执行。
引擎: 基于 llama.cpp / ggml (BSD-3-Clause)。
Strata 代码: MIT 许可证 (见仓库中的 LICENSE)。
致谢: Qwen 团队、压缩贡献者以及维护 llama.cpp 的开源社区。

快速入门

# 在 Linux 上克隆并运行
git clone https://github.com/Niko1221/Strata.git && cd Strata
./setup.sh   # 按照提示操作，下载约 70 GB 模型
# 打开 UI
xdg-open http://127.0.0.1:8080

在 Windows 上，解压 zip 后双击 START-HERE.bat。

总结

Strata 表明，1250 亿参数的大语言模型可以在消费级 GPU 上本地运行，其 token 生成速度使交互式使用变得切实可行。通过将专家模型卸载到内存和 SSD，它绕过了传统的显存上限，为隐私优先、低延迟的 AI 应用打开了大门，而无需依赖昂贵的云端推理。