Avarok-Cybersecurity/atlas

해결하는 문제

Atlas는 에지 디바이스에서 데이터센터 랙에 이르기까지 다양한 하드웨어에서 대규모 모델을 효율적으로 실행할 수 있도록 설계된 고성능 LLM 추론 엔진입니다. Python이나 PyTorch와 같은 무거운 종속성 없이도 작고 단일 바이너리 런타임을 제공하여, 특히 빈번한 도구 호출과 긴 컨텍스트 창을 포함하는 에이전트 워크로드에서 처리량을 극대화하고 지연 시간을 줄입니다.

작동 방식

순수한 Rust와 CUDA로 작성된 Atlas는 특정 하드웨어, 모델, 양자화 대상에 맞게 수작업으로 최적화된 CUDA 커널을 사용합니다. 다음과 같은 고급 최적화 기법을 구현했습니다:

• 예측 디코딩: MTP(Multi-Token Prediction) 드래프트 헤드와 DFlash 블록 확산을 모두 지원하여 초당 토큰 수를 증가시킵니다.
• 메모리 관리: 다중 대화를 위한 레디스 트리 프리픽스 캐싱과 FP8/NVFP4 양자화를 활용해 메모리 사용량을 줄입니다.
• SLAi 스케줄러: SLO를 고려한 스케줄러로 동시 시퀀스를 재정렬하여 검증 배치와 프리필 효율을 최적화합니다.
• 전문가 병렬화: 여러 노드(예: 2x GB10)를 통해 대규모 모델에 대해 확장 가능합니다.
• 하드웨어 추상화: 플러그 앤 플레이 아키텍처를 사용해 동일한 CUDA 소스를 NVIDIA 및 AMD(Scale를 통해) 등 다양한 타겟에 컴파일할 수 있습니다.

대상 사용자

Atlas는 성능, 낮은 오버헤드, 하드웨어 유연성이 중요한 생산 환경에서 LLM을 배포하는 개발자와 조직을 위한 것입니다. 특히 긴 컨텍스트 창과 빠른 도구 사용 루프를 필요로 하는 에이전트 기반 코딩 워크로드(Claude Code 또는 Cline 등)에 특화되어 있습니다.

주요 특징

• 순수한 Rust 런타임: Python이나 PyTorch 종속성이 없으며, 단일 약 75MB 바이너리로 배포됩니다.
• 광범위한 하드웨어 지원: NVIDIA DGX Spark(GB10/Blackwell) 및 AMD Strix Halo에서 검증 완료. Apple Silicon 초기 구동 중입니다.
• OpenAI 호환성: OpenAI, Anthropic, Responses API를 지원합니다.
• 고병렬성: 병렬도(C=1에서 C=128)의 광범위한 범위에서 vLLM을 능가하는 성능을 발휘합니다.
• 고급 양자화: 가중치 및 KV 캐시에 NVFP4 및 FP8 양자화를 지원합니다.