nace-ai/kapitsa

충분한 맥락:

Kapitsa는 Apple 실리콘 Mac에서 대규모 언어 모델(텍스트를 작성하는 AI 종류)을 직접 실행하는 프로그램입니다. 클라우드나 GPU 카드가 필요 없습니다. 소프트웨어 작성을 도와주는 도구인 "코딩 에이전트"의 백엔드로 구축되었습니다.

하는 일

• 로컬에서 세 가지 모델 제품군을 실행합니다: Qwen, Nemotron, Recursive의 Flint.
• 로컬 모델에서 코딩 에이전트 도구(opencode, Claude Code, Codex, pi)를 시작합니다.
• 두 가지 표준 서버 API(OpenAI 및 Anthropic)를 노출하여 다른 앱이 통신할 수 있게 합니다.

하드웨어 요구 사항: 그게 전부입니다. Apple 실리콘 Mac(M1 이상)에서 macOS 14 Sonoma 이상을 실행합니다.

설치 및 첫 사용

한 가지 명령으로 설치합니다:

brew install nace-ai/tap/kapitsa

(curl 스크립트도 있습니다). 그런 다음 35B 모델에서 opencode와 함께 사용하려면:

kapitsa opencode --model 35b

메모리가 적은 Mac(16–24GB)에서는 README가 더 빠른 응답을 위해 --model 9b 또는 4b를 제안합니다.

주요 명령

명령	설명
kapitsa serve	http://127.0.0.1:8000에서 채팅, OpenAI, Anthropic API를 갖춘 로컬 서버를 시작합니다
kapitsa claude	Kapitsa 위에서 Claude Code를 실행합니다
kapitsa doctor	Mac의 GPU와 메모리, 어떤 모델이 맞는지 표시합니다
kapitsa bench	Mac의 벤치마크를 실행하고 (선택적으로) 결과를 커뮤니티와 공유합니다
kapitsa bench compare	머신에 설치된 다른 엔진에 대해 동일한 벤치마크를 실행합니다
kapitsa pull 27b	시작하지 않고 모델을 다운로드합니다
kapitsa list / kapitsa rm	다운로드한 모델을 나열/삭제합니다
kapitsa import model.gguf	기존 Qwen 또는 Flint GGUF 파일을 가져옵니다(LM Studio, Ollama, llama.cpp에서)
kapitsa update	Kapitsa 자체를 업그레이드합니다

빠른 이유 — KFlash

일반 엔진은 토큰 단위로 텍스트를 생성합니다(토큰은 대략 단어 조각입니다). 속도를 높이기 위해 일부 엔진은 "드래프터"를 사용합니다. 드래프터는 다음 약 7개 토큰을 추측하는 작고 빠른 모델입니다. 큰 모델은 그런 다음 한 번의 패스로 추측을 확인하고 올바른 연속 부분을 유지합니다.

KFlash는 이 접근 방식을 한 단계 더 발전시켜 트리 투기적 디코딩을 사용합니다. 단일 추측 체인을 확인하는 대신 큰 모델은 드래프터의 상위 후보의 작은 트리를 동일한 단일 패스에서 확인합니다. 드래프터가 망설이는 곳에서는 차점 후보도 함께 전달되어 확인되므로 각 패스에서 더 많은 토큰이 살아남습니다. 트리 크기는 특정 Mac에서 확인 행의 비용에 맞게 조정됩니다. 중요하게도 출력은 일반 디코딩과 동일합니다. 큰 모델이 모든 토큰을 여전히 검증합니다.

게시된 드래프터를 그대로 사용합니다: z-lab의 DFlash 및 DFlash2, NVIDIA의 DSpark 및 LiLiCorr.

속도 주장(README 벤치마크에서)

• 다른 9개 엔진에 대해 측정된 27개의 모델 및 Mac 조합 중 Kapitsa는 25개에서 가장 빠른 텍스트 생성(디코딩) 속도를 보였습니다.
• llama.cpp보다 최대 3.5배, oMLX보다 2.2배 빠릅니다(KFlash 덕분).
• 예: M1 Pro(16GB)에서 2비트 전문가를 갖춘 Recursive Flint 40B-A2.5B: 61토큰/초 대 llama.cpp의 43.
• M4 Pro에서 Flint의 프롬프트 처리는 Recursive 자체 엔진의 1.1–1.2배이고, 디코딩은 128K 토큰 컨텍스트에서 1.3배로 앞서갑니다.

모든 것은 자신의 Mac에서 측정 가능합니다: kapitsa bench와 kapitsa bench compare가 내장되어 있습니다.

기타 주목할 만한 기능

• SSD 접두사 캐시 — 서버를 다시 시작하고 대화를 유지합니다. 35B에서 16K 토큰 후속 작업은 약 17초에서 0.16초(약 100배)로 줄어듭니다.
• 접두사 재사용 — 시스템 프롬프트를 공유하는 새 질문은 1.9초 대신 0.06초에 시작합니다.
• KFlash 예산 — 여러 요청이 동시에 하나의 검증 패스를 공유하여 27B 모델에서 총 처리량이 최대 23% 향상됩니다.
• 출력 확인 — 프로젝트의 속도 주장은 출력이 원본의 모델 노이즈 플로어의 두 배 이내로 유지되는 경우에만 신뢰됩니다.
• 라이선스: Apache 2.0, © 2026 Nace AI.