AtomicBot-ai/atomic-agent

해결하는 문제

Atomic Agent는 클라우드 호스팅 서비스의 높은 비용이나 개인정보 보호 문제 없이 사용자의 로컬 머신에서 복잡한 다단계 작업을 수행하도록 설계된 로컬 우선 AI 에이전트입니다. 대화 기록이 늘어남에 따라 모델이 과부하되는 것을 방지하는 '컨텍스트 절약 루프(context-frugal loop)'를 구현하여, 장기적인 작업에 소형 로컬 모델을 사용할 때 발생하는 문제를 해결합니다.

작동 방식

이 에이전트는 제어 루프에서 작동하며, 모델이 (문법 제약이 있는 JSON 도구 호출을 통해) 작업을 결정하고 실행한 뒤, 결과를 프롬프트에 다시 붙여넣는 대신 압축합니다. 커스텀 TurboQuant llama.cpp 백엔드를 활용하여 KV 캐시 양자화 및 추측 디코딩을 통해 처리량을 높이고 메모리 사용량을 줄입니다.

효율성을 유지하기 위해 세션, 메모리, 작업과 같은 상태를 로컬 SQLite 데이터베이스 및 파일로 외부화하며, 프롬프트에는 필요할 때만 호출되는 간결한 포인터만 포함됩니다. 클라우드 모델이 오케스트레이터 역할을 하고 로컬 모델이 실행의 대부분을 처리하는 'Fusion' 모드로 실행할 수도 있습니다.

대상 사용자

양자화된 로컬 모델이나 하이브리드 클라우드-로컬 설정을 사용하여 자신의 하드웨어에서 브라우저 제어, 파일 편집, 셸 명령 실행을 수행하고자 하는 개발자 및 파워 유저.

주요 특징

• 로컬 우선 아키텍처: 모든 상태, 메모리, 제어 루프가 사용자의 디스크에 저장됩니다.
• 광범위한 도구 지원: 웹 브라우징 (Playwright), 파일 시스템 작업, 셸 명령 실행, Git/GitHub 통합 및 문서 추출이 가능합니다.
• MCP 지원: 외부 Model Context Protocol (MCP) 서버에 연결하여 도구 레지스트리를 확장합니다.
• 고급 메모리 시스템: 프로필 사실, 에피소드 노트, 추출된 교훈을 SQLite에 저장하는 하이브리드 리콜 시스템을 사용합니다.
• 고성능: TurboQuant를 사용하여 소형 로컬 모델에 최적화되어 처리량이 30~50% 향상됩니다.
• Fusion 모드: 고성능 클라우드 모델이 작업을 계획하고 로컬 워커 모델 풀에 위임할 수 있습니다.