AtomicBot-ai/Atomic-Chat

해결하는 문제

Atomic Chat는 사용자의 기기에서 오픈웨이트 대규모 언어 모델(LLM)을 사생활 보호된 로컬 환경에서 실행할 수 있게 해주며, 모든 상호작용에서 클라우드 제공업체에 의존할 필요를 없앱니다. 또한 다른 AI 에이전트와 도구들이 API를 통해 사용할 수 있는 로컬 추론 엔진으로도 기능합니다.

작동 방식

이 애플리케이션은 HuggingFace에서 모델을 실행하기 위해 세 가지 다른 추론 엔진을 통합합니다: 커스텀 TurboQuant 버전의 llama.cpp, 공식 llama.cpp, 그리고 Apple Silicon용 MLX-VLM입니다. http://localhost:1337/v1에 OpenAI 호환 서버를 노출하여 OpenAI SDK를 지원하는 모든 도구가 로컬 모델을 백엔드로 사용할 수 있게 합니다. 또한 로컬과 클라우드 AI를 혼합하고 싶은 사용자를 위해 클라우드 모델 제공업체도 지원합니다.

대상 사용자

AI 대화의 완전한 프라이버시를 원하는 사용자, 로컬 추론 백엔드가 필요한 AI 에이전트 개발자, 특정 하드웨어(macOS, Windows, Linux, iOS, Android)에서 LLM 성능을 최적화하고 싶은 마니아들을 위한 것입니다.

주요 특징

• 고성능 디코딩: Multi-Token Prediction (MTP), DFlash 블록 디퓨전, Flash Attention을 지원하여 처리량을 크게 향상.
• 메모리 최적화: TurboQuant KV 캐시를 통해 CPU 및 GPU의 메모리 사용량을 줄입니다.
• 에이전트 통합: Claude Code, Cline, OpenHands 등 다양한 에이전트를 한 번의 클릭으로 시작할 수 있으며, Model Context Protocol (MCP)도 지원합니다.
• 다양한 배포 옵션: macOS, Windows, Linux용 데스크톱 앱과 iOS, Android용 모바일 앱으로 제공됩니다.
• 개발자 친화적: 기존 AI 도구와 쉽게 통합할 수 있는 드롭인 OpenAI 호환 API 제공.