lithos-ai/lithos-metal

lithos-metal은 Apple silicon Mac에서 대규모 언어 모델(예: Qwen3.8-27B)을 효율적으로 실행하는 완전한 오픈소스 추론 엔진입니다. 이 엔진은 많은 작은 계산 단계를 더 큰 결합 연산으로 융합하여 오버헤드를 줄이는 특화된 Metal GPU 코드("메가커널")를 생성합니다.

핵심 아이디어

• 메가커널 및 레이어별 융합. 토큰당 수백 개의 작은 GPU 커널을 실행하는 대신, 엔진은 레이어의 전체 믹서(어텐션 또는 Gated DeltaNet)를 단일 융합 GPU 프로그램으로 컴파일합니다. 영구 GPU 워커(스레드그룹)는 작업 시퀀스를 실행하여 중간 데이터를 재사용하고 메모리 트래픽을 줄입니다.
• DSpark 추측 디코딩. 작은 "드래프트" 모델이 최대 7개의 토큰으로 구성된 블록을 제안하고, 메인 모델은 단일 정방향 패스에서 전체 블록을 검증합니다. 여러 토큰이 수락되면, 하나의 비용이 많이 드는 모델 패스로 여러 출력 토큰을 생성할 수 있습니다.
• GPU 상주 제어. 토큰 위치, 수락된 토큰, 상태 커밋/롤백이 GPU 자체에서 추적되어 CPU 왕복을 최소화합니다.
• Apple 특화 최적화. 동적 온칩 메모리, 인라인 텐서 연산, 조정된 타일 지오메트리와 같은 M3+/M5 기능을 사용하여 처리량을 극대화합니다.

서빙 및 통합

Homebrew 패키지와 OpenAI 호환 API(Chat Completions, Responses, Anthropic Messages, Ollama)를 노출하는 lithos-metal serve 명령으로 제공됩니다. 동반 실행기(lithos-metal opencode, claude, codex, hermes)를 사용하면 전역 구성을 건드리지 않고 코딩 에이전트를 로컬 서버에 연결할 수 있습니다.

하드웨어 및 성능

M3/M4/M5 Mac을 대상으로 하며, 대표 사례 연구는 40코어 M5 Max(48GB)에서 Qwen3.8-27B-NVFP4를 실행하여 128토큰 컨텍스트에서 약 초당 168토큰, 32K 컨텍스트에서는 약 초당 127토큰으로 떨어지는 것입니다(드래프트/검증 오버헤드를 제외한 예상 수치).

상태: Apache 2.0, 아키텍처, Apple GPU 실행, 메가커널, 추측 디코딩, 확장 계약에 대한 활발한 설계 문서가 있습니다. 독립 실행 엔진으로, MPK/Mirage 런타임에 의존하지 않지만 해당 작업에서 영감을 받았습니다.