antirez/ds4

何を解決するか

DwarfStarは、MacBook、NVIDIA GPU、Strix Haloシステムなどのエントリーレベルのハードウェア上で、高性能な大規模言語モデル（LLM）を実行する方法を提供します。特に、利用可能なシステムメモリを超える非常に大きなモデルを実行する課題に対処し、SSDストリーミングと複数マシン間の分散推論を実装しています。

動作方法

これは、一般的なランナーではなく、特定の高品質なモデル（DeepSeek V4、GLM 5.x、Qwen3.8 Flash Nextなど）に特化したネイティブで自己完結型の推論エンジンです。GGUFファイルを活用し、RDMAを介したテンソル並列化（Mac複数台構成）、複数システム間のRAMを統合するパイプライン並列化、生成速度を向上させる推測的デコードなどの技術を組み込んでいます。プロジェクトはllama.cppとGGMLのエンジニアリング基盤に基づいて構築されています。

対象ユーザー

96GB以上のMac、DGX Spark、またはマルチGPU NVIDIA構成などのハイエンド個人用ハードウェアをお持ちで、ローカルで実行可能なオープンウェイトモデルを動かしたいユーザー。また、AIコーディングエージェントを使用して、特定のハードウェア構成に合わせてソフトウェアをカスタマイズ・最適化したい開発者にも設計されています。

主な特徴

• ハードウェア最適化: Metal（Apple Silicon）、NVIDIA CUDA（Ada Lovelace/L40S対応）、ROCmのネイティブサポート。
• メモリ管理: SSDストリーミングにより、利用可能なRAMより大きなモデルを実行可能。
• 分散推論: RDMAを用いたMac間のテンソル並列化、複数システム間のパイプライン並列化をサポート。
• 統合ツールキット: ネイティブコーディングエージェント（ds4-agent）、APIアクセス用HTTPサーバー、機能評価ツール（ds4-eval）を内蔵。
• 高度なLLM機能: マルチモーダル入力用のビジョンエンコーダー、出力制御用の方向性ステアリング、推論努力度を調整可能な「思考」レベルをサポート。