itigges22/ATLAS

해결하는 문제

ATLAS는 작고 오픈소스 LLM이 로컬에서 복잡한 소프트웨어 엔지니어링 작업을 수행할 수 있도록 합니다. 더 작은 모델이 선도적인 모델에 비해 내재된 추론 능력과 신뢰성 부족 문제를 해결하기 위해, 계획 수립, 후보 생성, 검증, 반복적 수정 시스템을 모델 주변에 구축합니다. 외부 API에 의존하지 않고, 일반 소비자용 하드웨어에서 실행됩니다.

작동 방식

ATLAS는 모델 성능을 향상시키기 위해 다층 아키텍처를 구현합니다.

• V3 파이프라인: 제약 기반 계획(PlanSearch), 다양한 후보 샘플링(DivSampling), PR-CoT Repair 및 반복적 개선 루프를 통해 단일 프롬프트를 검증된 해결책으로 변환합니다.
• 기하학적 렌즈: 모델 자체의 임베딩과 XGBoost 앙상블을 사용하는 에너지 기반 스코어링 시스템으로, 외부 오라클 없이 후보 품질을 예측합니다.
• Atlas-Proxy: Go 기반 오케스트레이터로 도구 호출 라우팅을 관리하고, GBNF 스키마를 통해 출력 구문을 강제하며, 구조적 수정을 유도하는 편향 완화를 적용합니다.
• 사전: 생성된 코드가 여러 언어(Python, Rust, Go, C 등)에서 컴파일되고 린트 및 테스트되는 격리된 실행 환경이며, 승인되기 전까지 검증됩니다.
• 로컬 추론: NVIDIA, AMD, Apple Silicon, Vulkan을 지원하는 GPU 가속화된 양자화 추론에 llama-server를 사용합니다.

대상 사용자

자신의 하드웨어(16GB 이상 VRAM 필요)에서 프라이빗하고 자체 호스팅된 코딩 에이전트를 사용하고 싶은 개발자, 그리고 토큰 단위 비용이나 데이터 프라이버시 우려 없이 작은 오픈웨이트 모델로 소프트웨어 개발을 원하는 사용자.

주요 특징

• 로컬 우선: 제3자 API 키가 필요 없으며, 완전히 자체 호스팅됩니다.
• 검증 루프: 코드를 사전에서 컴파일하고 테스트하여 배포 전 정확성을 보장합니다.
• 하드웨어 독립성: NVIDIA CUDA, AMD ROCm, Apple Metal, Vulkan을 포함한 다양한 GPU를 지원합니다.
• 네이티브 TUI: Bubbletea 기반 터미널 인터페이스로 실시간 채팅 및 파이프라인 모니터링이 가능합니다.
• 모델 독립성: 사용자가 자신의 GGUF 모델을 가져올 수 있으며, 자신의 워크로드에서 기하학적 렌즈를 재학습할 수 있습니다.