lithos-ai/lithos-metal

lithos-metal は、Appleシリコン搭載Mac上で大規模言語モデル（Qwen3.8-27Bなど）を効率的に実行する、完全オープンソースの推論エンジンです。多数の小さな計算ステップをより大きな結合操作に融合することでオーバーヘッドを削減する、特殊化されたMetal GPUコード（「メガカーネル」）を生成します。

主要なアイデア

• メガカーネルとレイヤー単位の融合。 トークンごとに数百の小さなGPUカーネルを起動する代わりに、エンジンはレイヤー全体のミキサー（アテンションまたはGated DeltaNet）を単一の融合GPUプログラムにコンパイルします。永続的なGPUワーカー（スレッドグループ）が一連のタスクを実行し、中間データを再利用してメモリトラフィックを削減します。
• DSpark投機的復号。 小さな「ドラフト」モデルが最大7トークンのブロックを提案し、メインモデルがそのブロック全体を1回のフォワードパスで検証します。複数のトークンが受け入れられると、1回の高コストなモデルパスで複数の出力トークンが生成されます。
• GPU常駐制御。 トークン位置、受け入れられたトークン、状態のコミット/ロールバックはGPU上で追跡され、CPUとの往復を最小限に抑えます。
• Apple固有の最適化。 M3+/M5の機能（動的オンチップメモリ、インラインタンソル演算、調整されたタイルジオメトリなど）を活用して、スループットを最大化します。

提供と統合

Homebrewパッケージと、OpenAI互換API（Chat Completions、Responses、Anthropic Messages、Ollama）を公開するlithos-metal serveコマンドとして提供されます。付属のランチャー（lithos-metal opencode、claude、codex、hermes）を使用すると、グローバル設定を変更せずにコーディングエージェントをローカルサーバーにポイントできます。

ハードウェアとパフォーマンス

M3/M4/M5 Macを対象としています。代表的なケーススタディは、40コアのM5 Max（48 GB）でQwen3.8-27B-NVFP4を実行し、128トークンのコンテキストで約168トークン/秒、32Kコンテキストでは約127トークン/秒（ドラフト/検証オーバーヘッドを除いた予測値）を達成します。

ステータス: Apache 2.0、アーキテクチャ、Apple GPU実行、メガカーネル、投機的復号、拡張契約に関する活発な設計ドキュメントがあります。スタンドアロンエンジンであり、MPK/Mirageランタイムに依存しません（ただし、その作業に触発されました）。