incoai/splash

해결하는 문제

Splash는 Apple silicon(M3 이상)에 특화된 로컬 추론 엔진으로, 단일 맥에서 대규모 언어 모델(LLM), 코딩 에이전트, 시각 능력이 있는 모델을 고성능으로 실행할 수 있게 해줍니다.

작동 방식

DFlash 2 예측 디코딩, 전용 Metal 커널, 자동 메모리 계획을 결합하여 고속을 달성합니다. 캐시된 접두사 재사용과 동시 요청의 자동 배치를 통해 처리량을 극대화합니다. GGUF 및 MLX 4비트 형식을 지원하며, 로컬 컴파일이나 Xcode 없이 로딩 시 가중치를 커널 레이아웃으로 변환합니다.

대상 사용자

Apple silicon 맥(M3 이상)을 사용하고, 고성능 로컬 LLM, 코딩 에이전트, 또는 OpenAI/Anthropic 호환 애플리케이션을 로컬에서 실행하고자 하는 개발자 및 AI 연구자.

주요 특징

• 고성능: Apple silicon에서 llama.cpp보다 훨씬 빠른 디코딩 속도.
• 광범위한 호환성: OpenAI 및 Anthropic API 표준을 지원하며, 스트리밍, 도구 호출, JSON 스키마 출력, 인라인 PDF 포함.
• 하드웨어 최적화: Apple silicon 전용으로 설계되었으며, 전용 Metal 커널과 자동 메모리/컨텍스트 크기 조정을 제공.
• 통합 기능: 내장 채팅 페이지와 시각 능력이 있는 모델 지원을 포함.