StayLameBro/backburner

해결하는 문제

Backburner는 소비자용 기기에서 대규모 언어 모델(LLM)을 로컬로 실행할 때 발생하는 하드웨어적 한계를 해결합니다. Mac과 고속 USB-C로 연결된 하나 이상의 iPhone 또는 iPad에 계산 부하와 메모리 요구 사항을 분산함으로써, 단일 기기에서는 너무 큰 모델을 실행할 수 있게 해줍니다.

작동 방식

이 프로젝트는 llama.cpp의 커스텀 포크를 사용하여 모델의 레이어를 Mac과 연결된 iOS 기기 간에 분할합니다. 프리필(prefill) 단계에서는 Mac이 초기 레이어를 처리하고, iPhone은 나머지 레이어를 GPU에서 처리합니다. 긴 컨텍스트 작업의 경우, iPhone은 외부 메모리 저장소 역할을 하여 이전 키-값(KV) 페이지를 보관하고 GPU와 Neural Engine을 사용하여 어텐션 계산을 수행합니다. 이 시스템은 최종 출력이 충분히 강력한 단일 머신에서 모델을 실행할 때와 동일하게 유지되도록 보장합니다.

대상 사용자

이 프로젝트는 통합 메모리나 GPU 성능이 부족하여 대규모 고컨텍스트 LLM(예: Qwen3.8-27B)을 단독으로 실행할 수 없는 Apple 하드웨어에서 이를 로컬로 실행하고자 하는 파워 유저와 개발자를 위한 것입니다. Apple Silicon Mac과 최신 iPhone(15 Pro 이상) 또는 iPad를 보유하고 있으며, 명령줄 도구와 앱 사이드로딩에 익숙한 사용자를 위해 설계되었습니다.

주요 특징

• 컨텍스트 용량 증가: 64k 이하로 제한될 수 있는 기기에서 최대 128k–140k 컨텍스트 길이의 모델을 실행할 수 있습니다.
• 더 빠른 프리필: Mac과 iPhone 간에 레이어 계산을 파이프라인화하여 프롬프트 처리를 가속화하고 대기 시간을 20–44% 단축합니다.
• Neural Engine 통합: iPhone의 Neural Engine을 활용하여 캐시된 컨텍스트에 대한 어텐션 계산을 최적화하고 성능을 더욱 향상시킵니다.
• 무손실 추론: 모델 출력이 단일 머신 추론과 토큰 단위로 동일함을 보장합니다.
• 확장 가능한 아키텍처: 향후 Mac, PC, 모바일 기기의 분산 네트워크를 지원하여 훨씬 더 큰 모델을 실행할 수 있도록 설계되었습니다.