sybil-solutions/local-studio

Control panel for VLLM, Sglang, llama.cpp, exllamav3

Local Studio – 자체 호스팅 LLM을 위한 데스크톱 UI

개요

  • 오픈 소스 T3 Code 애플리케이션의 얇은 포크로, 자체 대규모 언어 모델을 로컬에서 실행하기 위한 최고 수준의 지원을 추가합니다.
  • 모델과 채팅하고, 도구 호출을 실행하고, 스레드를 보고, 소스 제어 스타일 세션을 관리할 수 있는 그래픽 "에이전트 UI"를 제공합니다.
  • 머신의 모든 추론 서버(vLLM, SGLang, llama.cpp 또는 OpenAI 호환 /v1/models 엔드포인트를 노출하는 모든 서버)를 검색하고 단일 OpenAI/Anthropic 호환 게이트웨이 아래에서 다시 내보내는 로컬 컨트롤러를 번들로 제공합니다.
  • Tailscale을 통해 연결된 머신 플릿을 지원하여 개인 네트워크의 모든 컴퓨터에 로드된 모델을 다른 컴퓨터에서 사용할 수 있으며 Linux/macOS 호스트에 컨트롤러를 한 번의 클릭으로 설치할 수 있습니다.
  • 널리 사용되는 호스팅 모델(Claude, Cursor, Grok 등)과 함께 실행되고 스트리밍, 도구 호출, 중단, 롤백 및 토큰 사용량 추적을 지원하는 추가 공급자 – Pi 및 Oh My Pi – 를 포함합니다.

중요한 이유

  • 개발자, 연구자 또는 취미 사용자가 상용 AI 어시스턴트 도구와 유사한 세련된 데스크톱 경험을 얻으면서 데이터와 모델을 사내에 유지할 수 있습니다.
  • Tailscale 기반 플릿을 사용하면 사용자 지정 네트워킹 코드를 작성하지 않고도 여러 머신에 걸쳐 GPU 리소스를 쉽게 풀링할 수 있습니다.
  • 로컬 추론 서버를 표준 OpenAI 엔드포인트로 다시 내보내면 OpenAI API를 기대하는 기존 라이브러리와 도구를 변경 없이 사용할 수 있습니다.

시작하기

  1. 최신 GitHub 릴리스에서 운영 체제용 설치 프로그램을 다운로드합니다(macOS용 DMG, Windows용 .exe, Linux용 AppImage 또는 .deb).
  2. 설치 프로그램을 실행합니다 – macOS 빌드는 서명/공증되었습니다. Windows 빌드는 현재 SmartScreen 확인이 필요합니다.
  3. 실행 후, 데스크톱이 로컬 컨트롤러를 검색할 수 있도록 하나 이상의 에이전트 CLI(예: pi 또는 omp)에 로그인합니다.
  4. 설정 → 로컬을 열어 Tailscale 네트워크의 다른 머신을 확인합니다. 컨트롤러가 이미 실행 중이면 연결을 클릭하고, 그렇지 않으면 설치를 클릭하여 Local Studio가 Linux/macOS 호스트에 SSH를 통해 컨트롤러를 자동으로 설치하도록 합니다.
  5. 공급자(Pi, Oh My Pi 또는 OpenAI 호환 서버)를 선택하고 채팅을 시작하거나 스크립트를 실행합니다.

개발자 워크플로우

  • Node 24, pnpm 11, Bun 1.3.14가 필요합니다.
  • pnpm install로 종속성을 설치합니다.
  • 컨트롤러만 실행: pnpm --filter @local-studio/controller start.
  • 개발 모드(핫 리로드)로 데스크톱 실행: pnpm dev:desktop --port 18773 --home-dir .t3.
  • 프로덕션용으로 빌드 후 시작: pnpm build:desktop && T3CODE_HOME="$PWD/.t3" pnpm start:desktop.
  • 저장소는 포크를 가볍게 유지하고 업스트림 변경 사항을 쉽게 병합할 수 있도록 4,000줄 소스 예산(node scripts/local-check.mjs)을 적용합니다.

릴리스 프로세스

  • CI는 x64 및 arm64 모두에 대해 서명된 macOS DMG, Windows NSIS 설치 프로그램, Linux AppImage/.deb 패키지를 빌드합니다.
  • 컨트롤러 바이너리와 업데이트 매니페스트도 게시됩니다.

라이선스

  • MIT 라이선스(업스트림 T3 Code 프로젝트와 동일). 추가 Oh My Pi 구성 요소는 assets/OMP-LICENSE.txt에 자체 라이선스가 있습니다.

결론: Local Studio는 Tailscale을 통한 내장 다중 머신 플릿 관리를 갖춘 자체 호스팅 LLM을 위한 실용적인 오픈 소스 데스크톱 프론트엔드로, 추론 스택을 자신의 통제 하에 유지하면서 최신 AI 어시스턴트의 편의성을 원하는 모든 사람에게 견고한 선택입니다.

관련

  • 프로젝트
  • 프로젝트
  • 프로젝트
  • 프로젝트
  • 프로젝트