StayLameBro/backburner

解決する課題

Backburnerは、コンシューマー向けデバイスで大規模言語モデル（LLM）をローカル実行する際のハードウェア制限に対処します。Macと、高速USB-Cで接続された1台以上のiPhoneまたはiPad間で計算負荷とメモリ要件を分散させることで、単一のデバイスでは大きすぎるモデルの実行を可能にします。

仕組み

このプロジェクトは llama.cpp のカスタムフォークを使用し、モデルのレイヤーをMacと接続されたiOSデバイス間で分割します。プリフィル（prefill）フェーズでは、Macが初期レイヤーを処理し、iPhoneが残りのレイヤーをGPUで処理します。長文コンテキストタスクの場合、iPhoneは外部メモリとして機能し、古いキー・バリュー（KV）ページを保持して、GPUとNeural Engineを使用してそれらのアテンション計算を行います。このシステムにより、十分に強力な単一マシンでモデルを実行した場合と全く同じ最終出力を得ることが保証されます。

対象ユーザー

このプロジェクトは、単体では十分なユニファイドメモリやGPUパワーを持たないAppleハードウェア上で、大規模かつ高コンテキストなLLM（Qwen3.8-27Bなど）をローカル実行したいパワーユーザーや開発者向けです。Apple Silicon搭載のMacと、比較的新しいiPhone（15 Pro以降）またはiPadを所有し、コマンドラインツールやアプリのサイドロードに慣れているユーザー向けに設計されています。

ハイライト

• コンテキスト容量の拡大： 本来64k以下に制限されるデバイスで、最大128k–140kのコンテキスト長を持つモデルの実行を可能にします。
• プリフィルの高速化： MacとiPhone間でレイヤー計算をパイプライン化することでプロンプト処理を加速し、待ち時間を20–44%削減します。
• Neural Engineの統合： iPhoneのNeural Engineを活用してキャッシュされたコンテキストのアテンション計算を最適化し、パフォーマンスをさらに向上させます。
• ロスレス推論： モデルの出力が単一マシンでの推論とトークン単位で同一であることを保証します。
• 拡張可能なアーキテクチャ： 将来的にMac、PC、モバイルデバイスの分散ネットワークをサポートし、さらに巨大なモデルを実行できるように設計されています。