carloslfu/slotstream

해결하는 문제

Slotstream을 사용하면 일반적으로 메모리에 담을 수 없는 매우 큰 AI 모델(Qwen3.8-Flash-Next, 1250억 파라미터)을 Mac에서 실행할 수 있습니다. 대부분의 Mac은 16–64GB RAM을 갖추고 있지만, 이 모델을 완전히 메모리에 담으려면 훨씬 더 많은 메모리가 필요합니다. Slotstream은 모델의 대부분을 SSD에 유지하고 각 순간에 필요한 부분만 로드하므로, 채팅, 이미지 질문, 코딩 에이전트 실행을 로컬 및 오프라인으로 수행할 수 있습니다.

작동 방식

이 모델은 혼합 전문가 모델입니다. 각 텍스트 조각을 생성할 때 전문가 네트워크의 일부만 사용됩니다. Slotstream은 공유 가중치를 RAM에 유지하고 필요한 전문가를 SSD에서 캐시로 읽어옵니다. 자주 사용되는 전문가는 메모리에 남아 반복적인 디스크 읽기를 줄입니다. Mac에 맞게 메모리 예산과 컨텍스트 창을 자동으로 선택하며, 가버너가 다른 앱이 공간을 필요로 할 때 캐시 크기를 조정합니다. 전체 엔진은 Apple의 MLX와 Metal 위에 구축된 단일 네이티브 Swift 프로그램으로, 요청과 GPU 사이에 Python 런타임이 없습니다.

대상 사용자

Apple Silicon Mac(16GB 이상, macOS 14+)을 보유하고 클라우드 계정이나 대용량 메모리 머신 없이 프론티어급 오픈 모델을 실행하려는 사람. 또한 OpenAI, Ollama, Anthropic 호환 API를 통해 자체 앱을 연결하거나 Claude Code, Codex, Pi, opencode, Hermes와 같은 코딩 에이전트의 백엔드로 사용하려는 개발자에게 적합합니다. 모델이 메모리에 맞는 96GB 이상의 Mac에는 최적화되어 있지 않습니다.

주요 특징

• SSD에서 전문가를 스트리밍하여 16–64GB Mac에서 1250억 파라미터 모델 실행
• 48GB M5 Pro에서 33GB 메모리 예산으로 초당 20.91–23.69 토큰 측정
• 일회성 모델 다운로드 후 완전히 오프라인으로 작동
• MLX와 Metal 기반 네이티브 Swift — Python 불필요, 원커맨드 설치
• 이미지, 코딩 에이전트, OpenAI/Ollama/Anthropic 호환 API 지원
• 다른 앱이 RAM을 필요로 할 때 자동 메모리 계획 및 캐시 크기 조정