Luce-Org/lucebox

Lucebox – コンシューマGPUおよび異種混合構成のための高性能LLM推論

概要 Luceboxは、モダンなC++（C++17）で書かれたオープンソースの推論エンジンで、NVIDIA（CUDA）とAMD（HIP）の両方のGPUをターゲットにしています。投機的推論に重点を置いており、カスタムカーネルがトークンのプリフィルを高速化し、デコードをより効率的に行います。多くの場合、軽量な「ドラフター」モデルを使用して、フルモデルの処理が完了する前に次のトークンを推測します。このプロジェクトは、一連の最適化（DFlash2、DSpark、PFlash、KVFlash、Megakernelなど）と、既製のモデル・ハードウェアプロファイルを提供します。

主な機能

• 投機的プリフィルとデコード – ドラフターがメインモデルに先行して実行され、プリフィルレイテンシを最大6倍削減し、デコード速度を数倍向上させます。
• ハードウェア固有のカーネル – コンシューマ向けRadeon R9700やRTX 3090/4090/5090から、DGX-SparkやJetson AGX Thorまで、幅広いGPU/APU向けにチューニングされています。
• 異種混合実行 – 複数のデバイスに処理を分散でき（例：ドラフターにAMD GPU、メインモデルに別のGPU）、非常に長いコンテキストにはSSD上の「エキスパート」を使用することもできます。
• ページ化アテンションと連続バッチ処理 – 多くのクライアントリクエストを低オーバーヘッドで維持し、チャットスタイルのワークロードのサーブに有効です。
• ビジョンサポート – 画像質問パイプラインが統合されており、同じエンジンでマルチモーダル推論が可能です。
• モデル非依存 – GGUF互換のチェックポイントであればどれでも動作します。READMEには、テスト済みの数十のモデル（Qwen 3.8 27B、DeepSeek V4、Laguna XS 33B、Gemma 4 26/31Bなど）と、対応するドラフター/量子化がリストされています。

パフォーマンスのハイライト（READMEから）

ハードウェア	モデル	速度
Radeon R9700	Qwen 3.8 27B (DFlash2)	208 tok/s (HumanEval)
RTX 5090	Qwen 3.8 27B	26kトークンプロンプトで110 tok/s
2× RTX 3090 (NVLink)	Qwen 3.8 + DFlash2	79.7 tok/s、デコード2.16倍高速
AMD混在 (R9700 + Strix Halo)	DeepSeek V4	デコード86 tok/s、プリフィル788 tok/s
ビジョン (R9700 + Strix Halo)	Qwen 3.8 27B vision	DGX Spark比3.2倍のスループット

始め方

1. インストール – リポジトリには、システムに基づいてCUDAまたはHIPを自動選択するCMakeビルドファイルが用意されています。
2. プロファイルを選択 – server/docs/RECOMMENDED_SETUPS.mdファイルには、各GPU/モデル組み合わせの既製コマンドラインフラグがリストされています（例：--profile ds41-lucebox）。
3. サーバーを実行 – 軽量HTTPサーバーがコードに同梱されており、標準のOpenAI互換チャット/完了リクエストを送信できます。
4. 拡張 – モジュラーデザインのカーネルにより、新しい投機的ドラフターを追加したり、他の量子化形式を統合したりできます。

誰が使うか

• 単一のコンシューマGPUで可能な限り高速な推論を求める研究者や愛好家。
• 多数の同時ユーザーに対して低レイテンシを必要とするプライベートLLMサービスを構築する開発者。
• データセンターグレードのサーバーを購入せずに、投機的デコード、異種混合デバイスパイプライン、またはマルチモーダル（画像テキスト）推論を試したい人。

詳細情報

• ウェブサイトとブログ – https://www.lucebox.com/ (詳細なベンチマーク記事)
• モデルの重み – Hugging FaceのLucebox組織でホストされています。
• コミュニティ – バッジバーのDiscordリンクから、リアルタイムのヘルプとパフォーマンスのヒントが得られます。

---

上記の情報はすべてリポジトリのREADMEから直接取得したものであり、外部の仮定は追加されていません。