carloslfu/slotstream

Run a 105 GB AI model on a Mac that can't hold it. Qwen3.8-Flash-Next 4-bit, streamed from SSD on 16–64 GB Apple Silicon Macs. Fully native Swift, MLX and Metal. Offline, no Python. CLI, Swift library, and Ollama/OpenAI/Anthropic APIs. Works with Claude Code and Codex.

解决的问题

Slotstream 让你可以在通常无法容纳大型 AI 模型的 Mac 上运行超大规模模型（Qwen3.8-Flash-Next，1250 亿参数）。大多数 Mac 拥有 16–64 GB 内存，但该模型需要更多内存才能完全加载。Slotstream 将大部分模型保留在 SSD 上，仅加载当前需要的部分，因此你可以本地离线聊天、询问图像内容并运行编码代理。

工作原理

该模型采用混合专家架构：生成每段文本时仅使用其部分专家网络。Slotstream 将共享权重保留在 RAM 中，并从 SSD 将所需专家读取到缓存中。频繁使用的专家会保留在内存中，减少重复磁盘读取。它会自动为你的 Mac 选择内存预算和上下文窗口，并且一个调节器会在其他应用需要空间时调整缓存大小。整个引擎是一个基于 Apple 的 MLX 和 Metal 构建的原生 Swift 程序，在请求和 GPU 之间没有 Python 运行时。

适用人群

拥有 Apple Silicon Mac（16 GB 或以上，macOS 14+）且希望在没有云账户或超大内存机器的情况下运行前沿级开放模型的人。它也适合希望通过 OpenAI、Ollama 或 Anthropic 兼容 API 连接自己应用的开发者，或将其用作 Claude Code、Codex、Pi、opencode 和 Hermes 等编码代理的后端。它未针对 96 GB 以上内存的 Mac 进行优化，因为此类机器可将模型完全加载到内存中。

亮点

  • 通过从 SSD 流式加载专家，在 16–64 GB 内存的 Mac 上运行 1250 亿参数模型
  • 在 48 GB M5 Pro 上以 33 GB 内存预算测得每秒 20.91–23.69 个 token
  • 一次性下载模型后即可完全离线运行
  • 基于 MLX 和 Metal 的原生 Swift——无需 Python，一条命令安装
  • 支持图像、编码代理以及 OpenAI/Ollama/Anthropic 兼容 API
  • 自动内存规划和缓存调整，以适应其他应用的内存需求

相关

  • Dispatch
    slotstream: 在 48GB Mac 上运行 104GB Qwen3.8-Flash-Next

    slotstream 是一个基于 Swift 的工具，通过将专家模型从 SSD 流式传输到 RAM，使 Apple Silicon Mac 用户能够运行 104GB 的 Qwen3.8-Flash-Next 模型，在 48GB 硬件上可实现高达 12 tokens/s 的速度。

  • 项目
    SharpAI/SwiftLM

    一个原生 Swift、OpenAI 兼容的推理服务器，用于 Apple Silicon 上的 MLX 模型，具有 TurboQuant（4 倍 KV 缓存压缩）、MTP 投机解码和用于大型 MoE 模型的 SSD 流式传输，并在 M 系列芯片上进行了广泛的基准测试。

  • Dispatch
    Swiftlet 在 Mac 和 iPhone 上以低 RAM 使用量启用 35B 和 80B Qwen 模型

    Swiftlet 通过从存储流式传输 Mixture‑of‑Experts 权重，使您能够在 iPhone 上使用约 2.5 GB RAM 运行 35B Qwen 模型，在 Mac 上使用约 4.3 GB RAM 运行 80B Qwen 模型。

  • 项目
    leonickson1/Swiftlet

    一个 Swift 和 Metal 运行时，通过按需从存储流式传输专家到 RAM，使 Qwen 等大型 MoE 模型能够在 Apple 设备上运行。

  • 项目
    Niko1221/Strata

    Strata 是一款免费、MIT 许可的应用，可在您自己的计算机上本地运行 AI 模型——无需账户或云服务。它提供桌面应用和终端应用，支持多种模型系列（Qwen 和 DeepSeek 变体），并附有硬件要求和速度基准文档，同时通过 OpenAI/Anthropic 兼容 API 连接 Claude Code 和 Codex CLI 等编码工具。适用于 NVIDIA、AMD、Intel Arc、Apple Silicon 和 Ryzen AI Max 硬件。