itayinbarr/little-coder

해결하는 문제

little-coder는 소형 로컬 LLM을 위해 특별히 설계된 코딩 에이전트입니다. 복잡한 코딩 작업을 위해 일반적으로 GPT-4와 같은 거대 모델이 필요했던 격차를 해소하며, 사용자가 Qwen3.6-35B-A3B와 같은 모델을 사용하여 노트북에서 직접 고성능 코딩 어시스턴트를 실행할 수 있도록 합니다.

작동 방식

pi 에이전트 프레임워크를 기반으로 구축된 little-coder는 30개 이상의 특수 확장 기능, 30개의 스킬 markdown 파일, 그리고 Python 벤치마크 하네스를 추가합니다. 번들된 확장 기능만 로드하는 런처를 사용하여 예측 가능하고 최소화된 컨텍스트(약 7k tokens)를 유지합니다.

주요 작동 메커니즘은 다음과 같습니다:

• Plan Mode: 에이전트가 작업을 조사하고, 명확한 질문을 던지며, 구현 전에 계획을 수립하는 리서치 우선 접근 방식입니다.
• Sub-coders (dispatch): 메인 대화를 어지럽히지 않고 격리된 읽기 전용 하위 세션을 생성하여 질문을 조사하는 기능입니다.
• Deep Research: 외부 및 온라인 리서치 전용 모드로, 인용이 포함된 markdown 보고서를 생성합니다.
• Tool Skill Cards: 현재 요구 사항(오류 복구, 최신성, 의도)에 따라 도구 사용 가이드를 동적으로 주입합니다.
• Background Jobs: 빌드나 학습과 같이 오래 걸리는 명령을 백그라운드에서 실행하고, 특정 이벤트 발생 시에만 모델을 깨웁니다.

대상 사용자

개인 정보 보호, 비용 절감 또는 소형 모델 성능 실험을 위해 자신의 하드웨어(llama.cpp, Ollama 또는 LM Studio 사용)에서 강력한 코딩 에이전트를 실행하려는 개발자.

주요 특징

• 로컬 우선 최적화: Qwen3.6-35B-A3B와 같은 모델에 맞게 조정되었으며, MoE (Mixture of Experts)를 위한 특정 구성을 통해 제한된 VRAM에 대형 모델을 맞출 수 있습니다.
• 유연한 모델 라우팅: 로컬 제공자(llama.cpp, Ollama, LM Studio) 및 클라우드 제공자(Anthropic, OpenAI)를 지원하며 설정을 쉽게 재정의할 수 있습니다.
• 계층적 작업 관리: 계획과 구현을 분리하여 컨텍스트 윈도우 효율성을 유지합니다.
• 고급 TUI: 누적 토큰, 캐시 적중률, 컨텍스트 윈도우 사용량을 추적하는 상세한 상태 표시줄을 포함합니다.
• 확장성: 사용자는 구성 디렉토리를 통해 자신만의 확장 기능을 추가할 수 있습니다.