antirez/ds4

해결하는 문제

DwarfStar는 MacBook, NVIDIA GPU, Strix Halo 시스템과 같은 일반 소비자용 하드웨어에서 고성능 대규모 언어 모델(LLM)을 실행할 수 있는 방법을 제공합니다. 특히 시스템 RAM보다 큰 모델을 실행하는 문제를 해결하기 위해 SSD 스트리밍과 다중 머신 간 분산 추론을 구현합니다.

작동 방식

이것은 일반적인 실행기보다는 특정 고품질 모델(DeepSeek V4, GLM 5.x, Qwen3.8 Flash Next 등)에 특화된 네이티브이고 자체 포함된 추론 엔진입니다. GGUF 파일을 활용하며, RDMA를 통한 텐서 병렬화(다중 맥 환경), 시스템 간 RAM을 통합하는 파이프라인 병렬화, 생성 속도를 향상시키는 사전 추론 기법을 포함합니다. 프로젝트는 llama.cpp와 GGML의 기술적 기반 위에 구축되었습니다.

대상 사용자

96GB 이상의 맥, DGX Spark, 또는 멀티 GPU NVIDIA 구성과 같은 고성능 개인용 하드웨어를 보유하고 있으며, 로컬에서 실행 가능한 오픈웨이트 모델을 사용하고자 하는 사용자입니다. 또한 AI 코딩 에이전트를 사용하여 특정 하드웨어 구성에 맞게 소프트웨어를 맞춤화하고 최적화하고자 하는 개발자에게도 적합합니다.

주요 특징

• 하드웨어 최적화: Metal(Apple Silicon), NVIDIA CUDA(Ada Lovelace/L40S 포함), ROCm에 대한 네이티브 지원.
• 메모리 관리: SSD 스트리밍을 통해 사용 가능한 RAM보다 큰 모델을 실행할 수 있습니다.
• 분산 추론: RDMA를 사용한 맥 간 텐서 병렬화 및 다중 시스템 간 파이프라인 병렬화를 지원합니다.
• 통합 도구: 네이티브 코딩 에이전트(ds4-agent), API 접근을 위한 HTTP 서버, 기능 평가 도구(ds4-eval)를 포함합니다.
• 고급 LLM 기능: 멀티모달 입력을 위한 비전 인코더, 출력 제어를 위한 방향성 스티어링, 추론 노력 수준을 조절할 수 있는 '사고' 레벨을 지원합니다.