Generated-Computers/Locals

해결하는 문제

Mac에서 코딩 에이전트(OpenCode, Cline, Aider 등)를 위해 AI 모델을 실행하는 것은 일반적으로 느리고 번거롭습니다. 이러한 에이전트는 많은 도구 호출을 수행하고 긴 대화를 유지하며 종종 병렬로 실행되지만, 일반적인 로컬 모델 서버는 단순 채팅용으로 구축되어 있어 이러한 작업 부하에 적합하지 않습니다. Locals는 에이전트를 위해 특별히 설계된 로컬 서버로, Apple 실리콘에서 최대 3배 더 빠르게 실행되도록 하면서 모든 데이터를 자신의 머신에 안전하게 보관합니다.

작동 방식

Locals는 AI 모델을 Mac의 GPU에서 직접 실행합니다. 요청을 하나씩 처리하는 대신 여러 에이전트의 요청을 일괄 처리하고, 소수의 동시 요청에 최적화된 GPU 커널을 사용합니다. 이를 통해 8개의 에이전트가 완료되는 시간이 2개의 에이전트가 순차적으로 완료되는 시간과 거의 비슷해집니다. 또한 응답 생성 시 GPU에서 직접 문법을 적용하므로 도구 호출과 JSON 출력이 항상 필요한 스키마와 일치하며, 깨지거나 잘못된 형식의 호출이 발생하지 않습니다. 대화와 시스템 프롬프트는 캐시되어 턴 간에 재사용되므로 긴 세션도 거의 즉시 시작됩니다(138,000 토큰 대화의 다음 턴은 2.4초 만에 시작). 또한 반복 루프 감지, 메모리 부족 충돌 방지, 에이전트 응답 없음 시 서버 해제와 같은 안전 장치도 포함되어 있습니다.

대상 사용자

Mac에서 AI 코딩 어시스턴트를 사용하며 더 빠르고 안정적인 성능을 원하는 개발자. OpenCode, Cline, Aider, OpenHands, Claude Code와 같은 도구 및 OpenAI, Anthropic, Ollama API를 지원하는 모든 앱과 호환됩니다. Apple 실리콘(M1 이상)이 탑재된 Mac과 macOS 14 이상이 필요합니다. 여러 에이전트 인스턴스를 동시에 실행하거나 긴 프롬프트를 작업할 때 특히 유용합니다.

주요 특징

• 병렬 에이전트 속도: 8개의 동시 요청 시 mlx-lm 대비 3.1배 높은 토큰 처리량(M2 Pro에서 271 vs 87 tokens/s).
• 항상 유효한 도구 호출: 응답은 GPU 측 문법에 의해 제한되므로 필드와 인수가 항상 스키마와 일치합니다.
• 빠른 재개: 프롬프트와 대화가 디스크에 캐시되므로 재시작 후 에이전트의 첫 번째 요청이 16초가 아닌 1.7초 만에 완료됩니다.
• 단일 명령 설정: locals code로 프로젝트에서 OpenCode를 열고, locals launch로 다른 많은 에이전트 도구에 연결합니다.
• 팀 모드: locals run은 작업을 여러 에이전트로 분할하여 각 에이전트가 프로젝트의 복사본에서 실행되도록 하며, 테스트가 통과될 때만 변경 사항을 적용합니다.
• 기존 도구와 호환: 일반적인 포트에서 Ollama, LM Studio, mlx-lm 또는 llama.cpp 서버를 대체할 수 있어 기존 클라이언트를 변경 없이 그대로 사용할 수 있습니다.