AtomicBot-ai/Atomic-Chat

Local AI app and inference engine for agents. Run open-weight LLMs locally — private, 100% offline on your computer. Join our Discord: https://discord.com/invite/8wGSsvmg4V

Atomic Chat – 로컬 AI 채팅 및 추론 엔진

무엇인가요 – macOS, Windows, Linux용 데스크톱 앱과 iOS, Android용 모바일 앱으로, 자신의 기기에 오픈웨이트 LLM을 실행할 수 있게 해줍니다. 작은 "코어" 서비스를 포함하여 http://localhost:1337/v1에서 OpenAI 호환 HTTP 서버를 시작합니다. OpenAI API와 통신하는 도구(코딩 에이전트, IDE 플러그인, CLI 헬퍼 등)는 이 주소를 지정하고, 로컬에 로드된 모델을 클라우드 서비스처럼 사용할 수 있습니다.

주요 기능 (README에 설명됨)

로컬 모델 지원 – Hugging Face GGUF 모델 (Llama, Gemma, Qwen, Mistral, Phi 등)
속도 향상 기술 –
- 다중 토큰 예측 (MTP) 추측 디코딩 (30–70% 빠름, Gemma 4에서는 최대 3배)
- DFlash 블록 차이 디코딩 (특정 모델에서 최대 6배 빠름, Apple‑Silicon 전용)
- TurboQuant KV 캐시 (llama.cpp용, 약 4.3배 메모리 절약, Windows, Linux, macOS, CPU 및 GPU 모두 지원)
- EAGLE‑3 추측 디코딩 (Apple‑Silicon에서 Gemma 4용, MLX)
엔진 옵션 – 동일한 API 뒤에서 선택 가능한 세 가지 백엔드:
1. atomic-llama-cpp-turboquant (TurboQuant가 강화된 llama.cpp 포크)
2. 공식 llama.cpp (Windows/Linux 기본, MTP 제공)
3. MLX‑VLM (Apple‑Silicon 네이티브, 시각-언어 모델도 실행 가능)
클라우드 모델 백업 – OpenAI, Anthropic, Mistral, Groq, MiniMax, Qwen, Moonshot의 내장 제공자. 동일한 채팅에서 로컬 모델과 클라우드 모델을 혼합 사용 가능.
원클릭 에이전트 통합 – Atomic Agent, Claude Code, OpenCode, Goose, Kilo Code 등 인기 오픈소스 에이전트를 버튼 하나로 시작할 수 있으며, 자동으로 로컬 서버를 사용합니다.
개인정보 최우선 – 서버는 기본적으로 127.0.0.1에 바인딩됩니다. 로컬 모델에는 API 키가 필요 없으며, 모든 대화 데이터는 기기 내부에 유지됩니다.
API 호환성 – OpenAI chat/completions 엔드포인트와 동일한 요청 형식. curl, 공식 openai Python 클라이언트, 또는 OpenAI 엔드포인트를 기대하는 모든 IDE 플러그인과 호환됩니다.

시작하기 (빠른 시작)

다운로드 – 릴리스 페이지에서 적절한 바이너리 (macOS DMG, Windows EXE, Linux AppImage)를 다운로드하거나, App Store / Play Store에서 모바일 앱을 설치합니다.
앱을 실행하고 Hugging Face에서 모델을 추가 (UI가 GGUF 파일을 자동으로 다운로드합니다).
모델이 로드되면 앱은 자동으로 포트 1337에서 로컬 OpenAI 호환 서버를 시작합니다.

어떤 클라이언트든 http://localhost:1337/v1로 연결 – 예시:

curl http://localhost:1337/v1/chat/completions \
     -H "Content-Type: application/json" \
     -d '{"model":"gemma-2b-it","messages":[{"role":"user","content":"Say hello"}]}'

또는 Python에서:

from openai import OpenAI
client = OpenAI(base_url="http://localhost:1337/v1", api_key="not-needed")
resp = client.chat.completions.create(model="gemma-2b-it", messages=[{"role":"user","content":"Say hello"}])
print(resp.choices[0].message.content)

소스에서 설치하기 (개발자용)

사전 요구 사항: Node ≥ 20, Yarn ≥ 4.5, Make, Rust (Tauri용), Apple Silicon 사용 시 Metal 툴체인.

빌드:

git clone https://github.com/AtomicBot-ai/Atomic-Chat
cd Atomic-Chat
make dev   # 종속성 설치, 코어 빌드, 앱 실행

사용 가능한 make 타겟: dev, build, test, clean.

모델 다운로드, 엔진 실행, API 라우팅 등의 중추적인 작업은 별도의 리포지토리 atomic‑chat‑core 에 있으며, 별도 CLI로도 실행 가능 (atomic-chat-core serve …).

시스템 요구 사항

OS	최소 하드웨어
macOS 13.6+	3 B 모델: 8 GB RAM, 7 B 모델: 16 GB, 13 B 모델: 32 GB
Windows 10/11 x64	동일한 RAM 가이드라인
Linux x86_64 (glibc ≥ 2.35)	동일한 RAM; GPU 가속을 위한 선택적 Vulkan 드라이버
iOS / Android	앱 스토어 버전

누구에게 적합한가요?

클라우드에 데이터를 전송하지 않고 LLM을 실험하고 싶은 개인정보에 민감한 개발자.
이미 OpenAI API를 사용하는 도구 개발자 (코딩 어시스턴트, IDE 플러그인, 자율 에이전트) – 베이스 URL만 변경하면 로컬 모델로 즉시 전환 가능.
llama.cpp, MLX‑VLM 또는 기타 오픈웨이트 모델 위에 바로 사용 가능한 UI와 API 계층을 찾는 연구자/취미가.

커뮤니티 및 지원

Discord: https://discord.com/invite/8wGSsvmg4V
버그 리포트용 GitHub issues.
기여: UI 리포지토리(이 리포지토리)와 코어 리포지토리 양쪽 모두 PR을 환영합니다.

TL;DR

Atomic Chat은 오픈웨이트 LLM을 로컬 OpenAI 호환 서버로 변환하는 크로스플랫폼 GUI입니다. 여러 가지 성능 최적화 추론 백엔드와 인기 있는 오픈소스 AI 에이전트에 대한 즉시 통합을 제공합니다. 익숙한 API를 통해 개인 정보 보호가 보장된 기기 내 LLM 추론을 원하는 모든 사람에게 적합합니다.