inferstep/ATLAS

해결하는 문제

ATLAS는 컴팩트한 오픈소스 모델이 복잡한 소프트웨어 엔지니어링 작업을 수행할 수 있도록 설계된 로컬 코딩 에이전트입니다. 프론티어 모델이 가진 고유한 추론 및 검증 능력이 부족한 소규모 모델의 문제를 LLM을 계획, 후보 생성, 품질 점수화, 샌드박스 테스트 시스템으로 둘러싸 해결합니다.

작동 방식

ATLAS는 모델 성능을 향상시키기 위해 다층 아키텍처를 구현합니다:

• V3 파이프라인: 제약 기반 계획(PlanSearch), 다양한 후보 샘플링(DivSampling), 반복 수리 루프(PR-CoT)를 사용하여 단일 프롬프트를 검증된 코드 후보로 전환하는 다단계 생성 프로세스입니다.
• Geometric Lens: 모델의 자체 임베딩을 사용하여 MLP 및 XGBoost 앙상블을 통해 후보 품질을 예측하는 에너지 기반 점수 시스템으로, 외부 오라클 없이 시스템이 후보를 거부하거나 선택할 수 있게 합니다.
• Atlas-Proxy: 도구 호출 라우팅을 처리하고, GBNF 스키마를 통해 출력 문법을 강제하며, 구조적 편집을 유도하기 위해 편향 완화를 적용하는 Go 기반 오케스트레이션 계층입니다.
• 샌드박스: 생성된 코드가 승인되기 전에 기존 또는 자체 생성 테스트 스위트에 대해 컴파일, 린트, 테스트되는 격리된 실행 환경입니다.
• 로컬 추론: NVIDIA, AMD, Apple Silicon 및 Vulkan을 지원하는 GPU 가속 양자화 추론을 위해 llama-server를 사용합니다.

대상 사용자

자체 하드웨어(16GB+ VRAM)에서 완전히 실행되어 개인 정보를 유지하고, 토큰별 API 비용을 피하며, 오픈 가중치 모델을 사용하려는 강력한 자체 호스팅 코딩 에이전트를 원하는 개발자를 위한 것입니다.

주요 특징

• 로컬 우선: 호스팅 API나 타사 키가 필요 없으며 소비자용 GPU에서 완전히 실행됩니다.
• 검증 루프: 코드는 프로젝트에 작성되기 전에 샌드박스에서 검증되어 환각을 줄입니다.
• 에이전트 워크플로: 파일 컨텍스트 및 셸 실행을 위한 슬래시 명령어가 포함된 네이티브 Bubbletea TUI를 포함합니다.
• 모델 무관: 다양한 GGUF 모델을 지원하며 로컬 Lens 및 ASA 교육/재교육 도구를 제공합니다.
• 하드웨어 다양성: CUDA, ROCm, Metal 및 Vulkan을 광범위하게 지원합니다.

SUMMARY: 소비자 하드웨어에서 소프트웨어 엔지니어링 작업을 수행하기 위해 계획, 샌드박스 검증, 에너지 기반 품질 점수화로 컴팩트한 오픈 모델을 강화하는 로컬 코딩 에이전트입니다.

TITLE: 컴팩트한 오픈 모델에 프론티어 스타일의 추론과 검증을 제공하는 로컬 코딩 에이전트