nace-ai/kapitsa

Blazing fast Apple Silicon optimized inference engine built for Qwen & Nemotron. OpenAI + Anthropic API compatible. Built by folks from nace.ai

十分なコンテキスト:

Kapitsaは、Appleシリコン搭載Mac上で大規模言語モデル（テキストを生成するAIの一種）を直接実行するプログラムです。クラウドもGPUカードも不要です。ソフトウェア作成を支援するツールである「コーディングエージェント」のバックエンドとして構築されています。

機能

3つのモデルファミリーをローカルで実行：Qwen、Nemotron、RecursiveのFlint。
ローカルモデル上でコーディングエージェントツール（opencode、Claude Code、Codex、pi）を起動します。
標準のサーバーAPIを2つ（OpenAIとAnthropic）公開し、他のアプリが通信できるようにします。

ハードウェア要件： それだけです。Appleシリコン搭載Mac（M1以降）でmacOS 14 Sonoma以降を実行していること。

インストールと最初の使用

1つのコマンドでインストール：

brew install nace-ai/tap/kapitsa

（curlスクリプトもあります）。次に、35Bモデルでopencodeと一緒に使用する場合：

kapitsa opencode --model 35b

メモリが少ないMac（16〜24GB）では、READMEはより迅速な応答のために--model 9bまたは4bを提案しています。

主なコマンド

コマンド	説明
`kapitsa serve`	チャット、OpenAI、Anthropic APIを備えたローカルサーバーをhttp://127.0.0.1:8000で起動します
`kapitsa claude`	Kapitsa上でClaude Codeを実行します
`kapitsa doctor`	MacのGPUとメモリ、およびどのモデルが適合するかを表示します
`kapitsa bench`	Macのベンチマークを実行し、（オプションで）結果をコミュニティと共有します
`kapitsa bench compare`	マシンにインストールされている他のエンジンに対して同じベンチマークを実行します
`kapitsa pull 27b`	起動せずにモデルをダウンロードします
`kapitsa list` / `kapitsa rm`	ダウンロードしたモデルを一覧表示/削除します
`kapitsa import model.gguf`	既存のQwenまたはFlint GGUFファイルをインポートします（LM Studio、Ollama、llama.cppから）
`kapitsa update`	Kapitsa自体をアップグレードします

高速化の仕組み — KFlash

通常のエンジンはトークンごとにテキストを生成します（トークンはおおよそ単語の断片です）。これを高速化するために、一部のエンジンは「ドラフター」を使用します。これは、次の約7トークンを推測する小さくて高速なモデルです。その後、大きなモデルがそれらの推測を1回のパスでチェックし、正しい連続部分を保持します。

KFlashはこれをさらに一歩進め、ツリー投機的復号化を採用しています。単一の推測チェーンをチェックする代わりに、大きなモデルはドラフターの上位候補の小さなツリーを同じ単一パスでチェックします。ドラフターがためらう場所では、次点の候補も一緒に運ばれてチェックされるため、各パスでより多くのトークンが生き残ります。ツリーのサイズは、特定のMacでの検証行のコストに合わせて調整されます。重要なのは、出力は通常の復号化と同一であることです。大きなモデルはすべてのトークンを検証します。

公開されているドラフターをそのまま使用します：z-labのDFlashおよびDFlash2、NVIDIAのDSparkおよびLiLiCorr。

速度の主張（READMEのベンチマークから）

他の9つのエンジンに対して測定された27のモデルとMacの組み合わせのうち、Kapitsaは25で最速のテキスト生成（復号化）速度でした。
llama.cppより最大3.5倍、oMLXより2.2倍高速（KFlashのおかげ）。
例：M1 Pro（16 GB）上の2ビット専門家を含むRecursive Flint 40B-A2.5B：61トークン/秒に対してllama.cppの43。
M4 Proでは、Flintのプロンプト処理はRecursive独自のエンジンの1.1〜1.2倍で、復号化は128Kトークンのコンテキストで1.3倍に引き離します。

すべて自分のMacで測定可能です：kapitsa benchとkapitsa bench compareが組み込まれています。

その他の注目すべき機能

SSDプレフィックスキャッシュ — サーバーを再起動して会話を保持します。35Bでの16Kトークンのフォローアップは約17秒から0.16秒（約100倍）になります。
プレフィックス再利用 — システムプロンプトを共有する新しい質問は、1.9秒ではなく0.06秒で開始します。
KFlashバジェット — 複数のリクエストが同時に1つの検証パスを共有し、27Bモデルで合計スループットが最大23%向上します。
出力チェック — プロジェクト内の速度の主張は、出力が元のモデルのノイズフロアの2倍以内に留まる場合にのみ信頼されます。

nace-ai/kapitsa

関連