gavamedia/deltafin

Run full Kimi K3 on a single device. And an OpenAI-compatible API server for local chat and coding agents.

Deltafin – 消費者向けマシン上で完全な2.8TパラメータのKimi K3モデルを実行

何であるか – Deltafinは、非剪定された2.8兆パラメータのKimi K3 Mixture-of-Expertsモデル（Moonshot AIが公開した正確な重み）をローカルで読み込み、テキスト生成を行う単一バイナリのRustランタイムです。このバイナリはルーティング、トークン化、キャッシュ、推論をすべて自前で処理します。Python層や外部サーバーは不要です。特定のワークロードを高速化するためのオプション追加機能（小さなQwenモデルとDSparkチェックポイント）をインストールできますが、核心的な保証はすべてのトークンはK3自身によって生成されるということです。圧縮または近似されたバージョンによって生成されることはありません。

主な機能

機能	詳細
完全モデル品質	16のMoEエキスパートすべてを保持。重みの量子化や剪定は一切行わない。
ネイティブ単一バイナリ	`cargo`でビルド。ランタイム、トークナイザー、ルーターが1つの実行可能ファイルにコンパイルされる。
クロスプラットフォーム	macOS arm64（Metal/MPS）およびLinux x86_64/aarch64（CUDAまたはCPU）。
ストリーミングおよびOpenAI互換API	`deltafin serve`は`/v1/chat/completions`、`/v1/completions`、`/v1/models`をSSEストリーミングで実装。
オンデマンドモデルストリーミング	`setup --stream`で必要なエキスパートのみをダウンロード。全1.7TBではなく、約215GBから開始。
オプションのQwen追加機能	小さなドラフトモデル（0.6B/1.7B）が予測を生成。K3が検証し、出力は同一ながら最大で約2.7倍の高速な生出力が可能。
パフォーマンス追跡	組み込みの`--stats`フラグで1トークンあたりのスループットを出力。Apple M1 Maxでのベンチマーク結果（約0.29トークン/秒）をドキュメント化済み。
ヘルスチェックユーティリティ	インストールまたはアップグレード後にランタイム、モデルファイル、キャッシュを検証。
MITライセンスのコア	コンパイルするコードはMIT。モデル重みは元のライセンスを維持。

クイックスタート（READMEから）

# 1. クローンしてビルド
git clone https://github.com/gavamedia/deltafin.git && cd deltafin
cargo build --locked --release

# 2. モデルのダウンロード（フルまたはストリーミング）
# フル1.7TBダウンロード（最速の実行）
./target/release/deltafin setup --full
# または必要な部分のみストリーミング（約215GBから開始）
./target/release/deltafin setup --stream

# 3. より高速な生出力を得るためのオプションQwen追加
./target/release/deltafin setup-qwen

推論の実行

チャット（K3のチャットテンプレートを使用し、モデルのターン終了トークンで停止）：

./target/release/deltafin run --chat --prompt "土星の3つの最大の衛星は何ですか？"

生継続（トークン数制限を指定）：

./target/release/deltafin run --prompt "フランスの首都は" --max-new 17

--statsを追加すると1トークンあたりのタイミングが表示されます。

OpenAI互換エンドポイントの提供

./target/release/deltafin serve --host 127.0.0.1 --port 8000

その後、クライアントは次のように呼び出せます：

curl http://127.0.0.1:8000/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{"model":"deltafin-kimi-k3","stream":true,"messages":[{"role":"user","content":"こんにちは！"}]}'

サーバーはOpenAI APIの厳密なサブセット（テキストのみ、グリーディ生成、1回に1つのリクエスト）を強制し、サポートされていないフィールドに対して明確なエラーメッセージを返します。

アップデート

./target/release/deltafin upgrade   # バイナリを再ビルド、モデルファイルは保持

スクリプトは、新しいコミットを取得する前に作業ツリーがクリーンであるかを確認します。

リポジトリ内に含まれるドキュメント

NATIVE-RUNTIME.md – 単一バイナリランタイム、ルーティング、エキスパート事前フェッチ、トークン化の設計。
SERVER.md – サポートされるOpenAI APIフィールド、ストリーミング動作、制限。
PERFORMANCE.md – ベンチマーク数値（例：M1 Maxでの0.29トークン/秒）の測定方法。
PLATFORMS.md – サポートされるOS/CPU/GPUの組み合わせと必要なライブラリ。
HEALTH-CHECKS.md, STORAGE.md, CONFIGURATION.md など。

誰が作成したか？

Deltafinは、Moonshot AIが公式に公開したKimi K3重みの上にネイティブRustランタイムを構築した独立したオープンソースプロジェクトです。また、コミュニティの貢献（InferactによるDSparkチェックポイント、GigaTokenトークナイザー、外部開発者によるSIMD/CUDA最適化など）も取り入れています。

ライセンス

DeltafinのコードベースはMITライセンスで公開されています。モデル重み、DSpark、およびオプションのQwenチェックポイントは、それぞれ元のライセンスを維持します（docs/THIRD_PARTY_NOTICES.mdにリスト済み）。

結論 – Deltafinは、高級ラップトップやワークステーション上で完全なKimi K3 MoEモデルを実験したい研究者や開発者向けのツールです。速度のためにモデルのパラメータを犠牲にすることなく、コンパイル済みバイナリ、シンプルなCLI、OpenAI互換サーバーを提供し、すべてがドキュメント化され、オープンにライセンスされています。