samuelfaj/distill

Distill – 터미널 기반의 코딩 어시스턴트

무엇인가요 – Distill은 코드베이스를 읽고, 파일을 편집하며, 쉘 명령어를 실행하면서 대규모 언어 모델(LLM)과 대화할 수 있는 명령줄 도구입니다. 전체 상호작용을 터미널 내에서 유지합니다. OpenAI 호환 모델(로컬 또는 호스팅)을 위한 가벼운 래퍼로 작동하며, Grok, ChatGPT, OpenRouter와도 통합됩니다.

주요 기능

• 다중 모델 계층 – 세 가지 역할을 구성할 수 있습니다:
  • 추론 모델 – 주요이고 무거운 모델로, 무거운 추론과 코드 변경을 담당합니다.
  • 워커 모델 (옵션) – 동일한 대화 내에서 더 저렴한 호출을 처리할 수 있는 가벼운 모델입니다.
  • 유용성 모델 – 값 추출, 로그 요약, 텍스트 압축과 같은 제한된 작업에 특화된 모델입니다.
• 자동 라우팅 (Jev) – 각 요청마다 어떤 계층이 호출을 처리할지, 얼마나 많은 "노력"(모델 크기/온도)을 사용할지, 그리고 유용성 모델로 백업할지 내부 결정 레이어가 결정합니다. 라우팅 로직은 투명하며 GROK_LOG_JEV=1로 확인할 수 있습니다.
• 프로바이더 무관 – Grok, ChatGPT, OpenRouter 또는 자체 호스팅된 OpenAI 호환 서버와 작동합니다. 필수 로그인 없이, 도달 가능한 엔드포인트와 적절한 API 키만 있으면 됩니다.
• 제로 설치 런타임 – macOS Apple Silicon, Intel, Linux x86_64/ARM64용 사전 빌드된 바이너리가 단일 curl … | sh 명령어로 설치됩니다. 최종 사용자에게 Rust 툴체인은 필요하지 않습니다.
• 프로파일 기반 설정 – 설정은 ~/.distill (또는 사용자 지정 DISTILL_HOME)에 저장됩니다. 각 프로바이더용 별도의 자격 증명을 유지하고, 간단한 슬래시 명령어(/model, /worker-model, /utility-model)로 모델을 전환할 수 있습니다.
• 실시간 업데이트 – distill update로 설치된 바이너리를 업그레이드하면서도 설정, 자격 증명, 세션 상태를 유지합니다.

시작 방법

# 설치 (macOS/Linux)
curl -fsSL https://raw.githubusercontent.com/samuelfaj/distill/main/install.sh -o /tmp/distill-install.sh
sh /tmp/distill-install.sh
export PATH="$HOME/.local/share/distill/bin:$PATH"

distill            # 인터랙티브 UI 시작

UI 내에서 Model tiers 화면에서 모델을 변경하거나 다음과 같은 명령어를 입력할 수 있습니다:

/model gpt-6-astra auto
/worker-model gpt-5.6-luna auto
/utility-model openrouter-qwen37 auto

도구는 선택된 워커 모델이 추론 모델의 컨텍스트 창 내에 맞는지 자동으로 확인합니다.

로컬 모델로 실행하기 – OpenAI 호환 서버(예: Ollama, vLLM)를 시작하고 ~/.distill/config.toml에 항목을 추가합니다:

[models]
default = "local"

[model.local]
name = "Local model"
model = "my-local-model"
base_url = "http://127.0.0.1:8000/v1"
api_backend = "chat_completions"

Distill은 이후 모든 계층을 해당 서버로 라우팅합니다(또는 로컬 유용성 모델과 원격 추론 모델을 혼합할 수도 있습니다).

소스에서 빌드하기 – 사용자 지정 바이너리가 필요한 경우, 리포지토리를 클론하고 Cargo로 컴파일합니다:

git clone https://github.com/samuelfaj/distill.git
cd distill
cargo build --locked --release -p distill-pager-bin --bin distill
./target/release/distill

리포지토리는 필요한 Rust 버전을 고정하는 rust-toolchain.toml 파일을 포함하고 있습니다.

라이선스 – Apache 2.0 (see LICENSE). 기여는 CONTRIBUTING.md에 기재된 정책에 따라 환영합니다.

---

Distill은 개발자가 쉘 내에 머무르면서 모델이 코드를 읽고 편집하며 실행하는 것을 지원하는 터미널 중심의 LLM 기반 페어 프로그래머입니다. 프로바이더 세부 정보를 추상화하고, 자동 모델 계층 라우팅을 제공하며, 클라우드 API와 자체 호스팅 모델 모두에서 작동합니다.