XHToken/Spark-X2.6

해결하는 문제

Spark-X2.6-4B는 스마트폰이나 노트북과 같은 기기에서 직접 실행되도록 구축된 소형 언어 모델로, 클라우드 서버에 의존하지 않고 도구 사용, 다단계 계획 수립, 소프트웨어 엔지니어링과 같은 실제 에이전트 작업을 처리할 수 있습니다. 제한된 메모리와 전력 내에서 성능을 균형 있게 유지하며 온디바이스에서 작동하는 유능한 AI를 제공하는 것을 목표로 합니다.

작동 방식

이전 모델인 Spark-X2.5-4B와 동일한 아키텍처를 유지하면서 더 나은 사후 학습을 통해 기능을 향상시켰습니다. 이를 통해 코딩, 에이전트 행동, 긴 문맥 이해, 다국어 능력 및 추론 능력이 강화되었습니다. none, low, high의 세 가지 구성 가능한 사고 수준을 제공하여 개발자가 추론 깊이와 지연 시간 및 추론 비용 사이에서 균형을 맞출 수 있습니다. 이 모델은 Transformers, SGLang, vLLM, MLX, llama.cpp, Ollama, LM Studio, Unsloth 등 다양한 추론 엔진에서 실행됩니다.

대상 사용자

온디바이스 AI 애플리케이션을 구축하는 개발자 및 팀, 특히 리소스가 제한된 하드웨어에서 성능 저하 없이 에이전트와 같은 행동(도구 사용, 계획 수립)이 필요한 경우에 적합합니다. 또한 Llama-Factory를 사용하여 모델을 미세 조정하려는 연구자에게도 적합합니다.

주요 특징

• 비슷한 크기의 오픈 소스 모델 중 최첨단 성능을 자랑하며, 때로는 약 90억 파라미터 모델과 대등하거나 능가하는 성능을 보입니다.
• SGLang으로 서비스할 경우 최대 1,048,576 토큰의 문맥 길이를 지원합니다(충분한 메모리 필요).
• none, low, high의 세 가지 수준으로 사고 예산을 제어할 수 있습니다.
• Hugging Face, ModelScope, Ollama 등의 플랫폼에서 이용 가능하며, SGLang/vLLM을 위한 OpenAI 호환 API를 제공합니다.
• Apache 2.0 라이선스.