drumih/turbo-fieldfare

해결하는 문제

TurboFieldfare는 8 GB RAM만 탑재된 Apple Silicon Mac에서 260억 파라미터의 거대한 Gemma 4 모델을 실행할 수 있게 합니다. 일반적으로 이러한 모델을 전체 로드하려면 훨씬 더 많은 메모리가 필요하지만, 이 프로젝트는 필요한 모델 구성 요소만 SSD에서 온디맨드로 스트리밍하여 해당 제한을 우회합니다.

작동 방식

모델 전체를 메모리에 로드하는 대신, 런타임은 작은 코어와 KV 캐시를 RAM에 상주시킵니다. 커스텀 Swift 및 Metal 구현을 사용하여 각 토큰 생성 단계에 필요한 특정 "전문가(expert)" 가중치만 동적으로 가져와 캐시합니다. 청크 단위 프리필(chunked prefill)을 사용하여 프롬프트 처리를 최적화하고, 디스크에서 데이터를 스트리밍할 때 메모리 사용량을 관리하기 위해 제한된 캐시 정책을 사용합니다.

대상 사용자

이 프로젝트는 온디바이스 머신러닝에 관심이 있는 개발자와 연구자, 특히 리소스가 제한된 Apple Silicon 하드웨어에서 대규모 모델을 실행하려는 분들을 위한 것입니다. 커스텀 Metal 커널과 메모리 효율적인 추론 기술을 실험하고 싶은 분들에게 이상적입니다.

주요 특징

• 약 2 GB RAM 예산 내에서 26B Gemma 4 모델 실행.
• 네이티브 macOS 앱, CLI 및 OpenAI 호환 로컬 서버 포함.
• 전체 체크포인트를 스테이징할 필요 없이 모델 가중치를 커스텀 형식으로 직접 재패키징하는 스트리밍 설치 프로그램 제공.
• 양자화 연산, MoE (Mixture of Experts) 라우팅 및 효율적인 어텐션을 위한 커스텀 Metal 커널로 구축.
• M2 이상의 Apple Silicon 칩에서 컴패니언 팩을 통해 선택적인 비전 기능 지원.