Deltafin 在 MacBook Pro 上使用四個 SSD 以每秒 1 個 token 的速度運行 Kimi K3 (2.8T)

快速重點

Deltafin 在 M1 Max MacBook Pro 上從四個 SSD 流式傳輸未剪枝的 2.8 兆參數 Kimi K3 模型，並達到約 每秒 1 個 token（穩態 0.29 token/s）的效能，同時完全保留模型的專家路由與輸出品質。

Deltafin 的功能

Deltafin 是一個單一二進位的 Rust 執行環境，可運行 完整且未剪枝 的 Kimi K3 MoE 模型（2.78T 參數，約 1.45TB 的專家權重）。它根據需求從磁碟流式傳輸每個專家權重，並保持注意力主幹在 int8 狀態。該二進位檔強制要求 K3 本身決定每個 token；禁止使用任何草稿模型捷徑來改變最終輸出。

精確品質 – 與作者參考提示的輸出完全相同。
無模型壓縮 – 權重以發布時的 MXFP4 精度使用；僅注意力主幹為 int8，這在上游已被視為非位元精確。
流式架構 – 每個（層, 專家）讀取一個 17.5 MiB 的檔案，透過四個 Thunderbolt 5 SSD 外接盒使用 pread + F_NOCACHE。

在 M1 Max MacBook Pro 上的基準測試結果

指標	值	解釋
穩態解碼速度	0.2901 token/s（每 token 3.447 秒）	比先前 0.2847 token/s 的版本略有提升（約 1.9% 更高）。
短時間速度（128 token）	1.13 token/s	高於長期平均值，因快取已預熱。
17 token 基準的中位速度	0.96 token/s	接近作者上游報告的 0.684 token/s 參考值。
第一個 token 的時間（512 token 提示）	約 6.3 分鐘	預填（prefill）是主要成本；讀取放大係數 ≈6.2×。

歷史進展顯示，儲存路徑優化（例如分離需求與預取佇列、跨裝置平衡讀取）帶來快速提升。作者指出四項特定修正，共同貢獻了總速度提升的約 43%。

儲存子系統的工作原理

四個 SSD 透過 Thunderbolt 5 外接盒連接；每個儲存專家檔案的子集。
讀取路徑：專用執行緒池（預設 16 個執行緒）發出 pread 呼叫並搭配 F_NOCACHE，以避免作業系統頁面快取污染。
預取：原始實作依固定目錄順序遍歷，導致所有讀取都集中在單一外接盒。Deltafin 現在將預取調度至 預期完成時間最長 的裝置，提升平行度。
複製：熱門專家可跨兩個磁碟複製；將讀取分散至複本可增加約 10% 的吞吐量。
監控：附屬的 ARGODRIVE 個 repo 提供每裝置 10 ms 的讀取監控與屏障追蹤，記錄每個專家由哪個磁碟提供。

安裝與使用

1. 安裝二進位檔

git clone https://github.com/gavamedia/deltafin.git
cd deltafin
cargo build --locked --release

2. 準備模型

完整常駐模型（最快）

./target/release/deltafin setup --full   # 下載約 1.7 TB 的權重

流式模式（較低磁碟佔用）

./target/release/deltafin setup --stream   # 從約 215 GB 開始，按需取得專家

3. 執行提示

./target/release/deltafin run --chat \
  --prompt "What are the three largest moons of Saturn?"

加入 --stats 可查看每 token 的時間，或使用 --max-new N 限制生成的 token 數量。

4. 透過 OpenAI 兼容 API 提供服務

./target/release/deltafin serve --host 127.0.0.1 --port 8000

伺服器實作 /v1/chat/completions、/v1/completions 與 /v1/models，具備嚴格的輸入驗證與串流 SSE 輸出。

可選的 Qwen 增強模組

Deltafin 可載入小型 Qwen 模型（0.6B/1.7B），用於草稿原始續寫的 token。K3 隨後驗證草稿，使 17 token 完成的 速度提升達 2.7 倍，同時保留相同的輸出 ID。安裝方式如下：

./target/release/deltafin setup-qwen

這會額外佔用約 4.3 GiB 磁碟空間，且 不會加速聊天模式。

社群見解（Hacker News 評論）

對實用性的懷疑 – 多位評論者指出，6 分鐘的預填時間使系統不適合大多數即時使用情境。
硬體好奇 – 使用者詢問更快的 SSD（如 Intel Optane）是否能提升吞吐量；作者的測量已顯示明確的 裝置數量階梯效應（增加裝置時，效能從 57% → 78% → 92% → 100% 的四裝置速率）。
潛在延伸應用 – 有評論建議將此方法應用於其他 MoE 模型，如 GLM-Flash，顯示流式專家技術具有更廣泛的相關性。
對 README 的批評 – 多位使用者認為文件訊號過低，但作者後續補充了詳細的效能說明與失敗配置目錄，有助於他人重現結果。

作者仍需協助之處

專家主導的預填排程 – 每層僅讀取一次專家，並一起處理所有路由的資料列，可將 6.2× 的預填放大係數降低至 1×。
跨硬體驗證 – 確認所觀察到的裝置階梯擴展效應在非 Apple Silicon 平台上也成立。

為何這很重要

在消費級硬體上運行 2.8T 參數的 MoE 模型，顯示出 以儲存為中心的流式技術，能縮小前沿 AI 研究與個人計算可及性之間的差距。儘管原始解碼速度僅屬中等，但此實驗揭露了具體的工程瓶頸（讀取路徑競爭、預取平衡、專家複製），這些問題適用於任何大型 MoE 部署，無論是伺服器還是邊緣裝置。

授權與來源

Deltafin 程式碼：MIT 授權。
Kimi K3 權重、DSpark 檢查點，以及可選的 Qwen 檢查點保留其上游授權。
此專案獨立於 Moonshot AI，無任何企業關聯。