gavamedia/deltafin

Run full Kimi K3 on a single device. And an OpenAI-compatible API server for local chat and coding agents.

Deltafin – 在消費級機器上執行完整的 2.8T 參數 Kimi K3 模型

是什麼 – Deltafin 是一個單一二進制的 Rust 執行環境，可載入並產生文字，使用 未剪枝 的 2.8 兆參數 Kimi K3 混合專家模型（Moonshot AI 公開的精確權重）。此二進制檔案自行處理所有路由、分詞、快取與推論；無需 Python 層或外部伺服器。可選附加元件（小型 Qwen 模型與 DSpark 檢查點）可安裝以加速特定工作負載，但核心保證是 每個 token 最終均由 K3 本身產生，絕不會由壓縮或近似版本產生。

主要功能

特性	詳細
完整模型品質	保留全部 16 個 MoE 專家；無權重量化或剪枝。
原生單一二進制	使用 `cargo` 建構；執行時、分詞器與路由器編譯為一個可執行檔。
跨平台	macOS arm64（Metal/MPS）與 Linux x86_64/aarch64（CUDA 或 CPU）。
串流與 OpenAI 相容 API	`deltafin serve` 實作 `/v1/chat/completions`、`/v1/completions` 與 `/v1/models`，支援 SSE 串流。
按需模型串流下載	`setup --stream` 僅下載所需專家，從約 215 GB 開始，而非完整 1.7 TB。
可選 Qwen 附加元件	小型草稿模型（0.6B/1.7B）產生預測；K3 驗證後，原始生成速度最高提升約 2.7 倍，輸出完全一致。
效能追蹤	內建 `--stats` 標誌列印每 token 吞吐量；Apple M1 Max 的基準測試結果已記錄（約 0.29 token/s）。
健康檢查工具	安裝或升級後驗證執行時、模型檔案與快取。
MIT 許可核心	編譯的程式碼為 MIT；模型權重保留原始許可。

快速開始（來自 README）

# 1. 克隆並建構
git clone https://github.com/gavamedia/deltafin.git && cd deltafin
cargo build --locked --release

# 2. 下載模型（完整或串流）
# 完整 1.7 TB 下載（最快執行時）
./target/release/deltafin setup --full
# 或僅串流下載所需部分（從約 215 GB 開始）
./target/release/deltafin setup --stream

# 3. 可選 Qwen 附加元件，用於更快的原始生成
./target/release/deltafin setup-qwen

執行推論

聊天（使用 K3 的聊天範本，並在模型的回合結束 token 處停止）：

./target/release/deltafin run --chat --prompt "土星的三個最大衛星是什麼？"

原始續寫（指定 token 限制）：

./target/release/deltafin run --prompt "法國的首都是" --max-new 17

加入 --stats 可查看每 token 的耗時。

提供 OpenAI 相容端點

./target/release/deltafin serve --host 127.0.0.1 --port 8000

然後客戶端可呼叫：

curl http://127.0.0.1:8000/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{"model":"deltafin-kimi-k3","stream":true,"messages":[{"role":"user","content":"你好！"}]}'

伺服器強制執行 OpenAI API 的嚴格子集（僅文字、貪婪生成、一次一個請求），對不支援的欄位返回清晰錯誤訊息。

更新

./target/release/deltafin upgrade   # 重新建構二進制檔，保留模型檔案

腳本在拉取新提交前會檢查工作樹是否乾淨。

倉儲中包含的文件

NATIVE-RUNTIME.md – 單一二進制執行環境設計、路由、專家預取、分詞。
SERVER.md – 支援的 OpenAI API 欄位、串流行為、限制。
PERFORMANCE.md – 基準測試數字（如 M1 Max 上的 0.29 token/s）的測量方法。
PLATFORMS.md – 支援的 OS/CPU/GPU 組合及所需函式庫。
HEALTH-CHECKS.md, STORAGE.md, CONFIGURATION.md 等。

誰建構了它？

Deltafin 是一個獨立的開源專案，基於 Moonshot AI 官方發布的 Kimi K3 權重建構原生 Rust 執行環境。也整合了社群貢獻，如 DSpark 檢查點（Inferact）、GigaToken 分詞器，以及外部開發者貢獻的 SIMD/CUDA 優化。

許可證

Deltafin 程式碼庫採用 MIT 許可證 發布。模型權重、DSpark 和可選 Qwen 檢查點保留其原始許可（詳見 docs/THIRD_PARTY_NOTICES.md）。

總結 – Deltafin 是一個研究導向的工具，適合任何希望在高階筆電或工作站上實驗完整 Kimi K3 MoE 模型的使用者，無需為速度犧牲任何模型參數。它提供編譯後二進制檔、簡單 CLI 和 OpenAI 相容伺服器，全部文件化且開放授權。