TokenRhythm/opensquilla

OpenSquilla — Token-Efficient AI Agent with same budget, higher intelligence density

OpenSquilla – 토큰 효율적인 마이크로커널 AI 에이전트

소개 – OpenSquilla는 각 사용자 턴을 요청을 처리할 수 있는 가장 저렴한 LLM으로 라우팅하는 로컬 실행 AI 에이전트 프레임워크입니다. 가벼운 온디바이스 모델 라우터(SquillaRouter), 영구 메모리, 샌드박스된 도구 레이어, 내장 웹 검색 및 온디바이스 임베딩을 단일 “턴 루프” 내에서 결합합니다. 동일한 루프가 데스크톱 GUI, CLI 및 채팅 채널 통합을 구동하므로 에이전트와 대화하는 방식에 관계없이 동작이 동일합니다.

중요성 – 각 턴에 대해 가장 비용 효율적인 모델을 자동으로 선택함으로써 OpenSquilla는 기능을 유지하면서 토큰 지출을 줄입니다. 라우터는 또한 여러 모델을 앙상블할 수 있으며, 저자들은 이 기술이 “Fable 5” 벤치마크보다 성능이 뛰어나다고 주장합니다.

주요 구성 요소

구성 요소 역할
SquillaRouter 어떤 LLM을 호출할지 결정하는 온디바이스 라우터(ONNX Runtime, LightGBM 등 지원)
프로바이더 레이어 >20개 LLM 프로바이더에 대한 통합 API(TokenRhythm, OpenRouter, OpenAI, Anthropic, Ollama, Gemini, Qwen/DashScope, …)
영구 메모리 세션 간 장기 컨텍스트 저장
계층화된 샌드박스 도구 실행을 격리하고 재시도하여 안전한 도구 사용 보장
내장 웹 검색 및 임베딩 외부 서비스 없이 검색 증강 생성(RAG) 가능
제어 콘솔 데스크톱 사용을 위해 Electron 셸에 패키징된 Vue 기반 웹 UI

설치 방법 (택 1)

  1. 데스크톱 설치 프로그램 – Vue 콘솔과 모든 네이티브 런타임이 포함된 사전 빌드된 .dmg(mac Apple Silicon) 또는 .exe(Windows). Git이나 Node가 필요하지 않습니다.
  2. 빠른 터미널 설치 – 모든 OS에 권장됩니다. uv Python 패키지 관리자를 사용하여 GitHub 릴리스에서 휠을 설치합니다:
    uv tool install --python 3.12 "opensquilla[recommended] @ https://github.com/TokenRhythm/opensquilla/releases/download/v0.5.4/opensquilla-0.5.4-py3-none-any.whl"
opensquilla onboard
opensquilla gateway run
  3. 소스에서 설치 – 저장소를 클론하고(Git LFS가 모델 에셋을 가져옴), 제공된 scripts/install_source.sh/.ps1을 실행하여 Vue UI를 빌드하고, 종속성을 설치하며, opensquilla 명령을 등록합니다.
  4. 소스에서 개발 – 기여자용. uv sync를 사용하여 로컬 편집 가능 환경을 만든 다음 uv run opensquilla …를 실행합니다.

참고 – 라우터에는 네이티브 런타임이 필요합니다(Windows의 경우 ONNX Runtime, macOS의 경우 libomp). 데스크톱 설치 프로그램에는 이들이 번들로 포함되어 있으며, 터미널 설치 시 Visual C++ 재배포 가능 패키지(Windows) 또는 brew install libomp(macOS)를 설치해야 할 수 있습니다.

일반적인 워크플로우

# 에이전트 설정 (한 번)
opensquilla onboard          # 설정 생성, install_id 생성, 원격 측정 옵트아웃 프롬프트 실행

# 게이트웨이 시작 (턴을 처리하는 장기 실행 프로세스)
opensquilla gateway run

# CLI, 웹 UI 또는 연결된 채널(Slack, Discord, Matrix 등)을 통해 상호 작용
opensquilla chat "AI 안전에 대한 최신 뉴스 요약"

게이트웨이는 다음을 수행합니다:

  1. 사용자 턴을 수신합니다.
  2. 토큰 예산 내에서 응답할 수 있는 프로바이더를 SquillaRouter에 문의합니다.
  3. 선택한 LLM을 호출하고, 선택적으로 검색된 웹 결과나 임베딩으로 프롬프트를 보강합니다.
  4. 턴을 영구 메모리에 저장하고 라우팅 결정을 기록합니다.
  5. 응답을 원래 인터페이스로 반환합니다.

지원 통합 (즉시 사용 가능)

  • Feishu, Telegram, DingTalk, QQ, WeCom, Slack, Discord
  • 선택적 추가 기능: Matrix(선택적 종단 간 암호화 포함), WeasyPrint를 통한 PDF 생성 등

개인정보 보호 및 원격 측정

OpenSquilla는 첫 시작 시 그리고 하루에 한 번 가명화된 원격 측정 데이터를 전송합니다: 설치 ID(해시된 MAC/IP), 버전, OS, 토큰 사용량 집계 및 설치 방법. 콘텐츠, API 키 또는 개인 식별자는 전송되지 않습니다. 원격 측정 및 자동 업데이트 확인은 다음을 통해 비활성화할 수 있습니다:

[privacy]
disable_network_observability = true

또는 레거시 환경 변수 OPENSQUILLA_TELEMETRY_DISABLED / OPENSQUILLA_UPDATE_CHECK_DISABLED.

라이선스 및 커뮤니티

  • 라이선스: Apache 2.0 (허용적, 상업적 사용 가능).
  • 문서: 제품 가이드, CLI 참조 및 기술 보고서(arXiv 2607.11399)가 저장소에 포함되어 있습니다.
  • 릴리스 상태: 0.5.4 (안정). 진행 중인 개발은 main 브랜치에서 추적되며, CI 배지는 자동화된 테스트를 보여줍니다.
  • 지원: GitHub에서 이슈를 열 수 있으며, 웹사이트 opensquilla.ai는 보고서, 문서 및 연락처 정보에 대한 링크를 제공합니다.

누가 혜택을 볼 수 있나요?

  • 별도의 라우터를 연결하지 않고 로컬에서 실행되는 비용 인식형 LLM 에이전트를 원하는 개발자.
  • Windows/macOS/Linux에서 작동하며 기본 제공되는 데스크톱 UI를 제공하는 단일 바이너리가 필요한 제품 팀.
  • 핵심 라우팅과 메모리가 온디바이스에 유지되므로 엄격한 데이터 개인정보 보호 요구 사항이 있는 팀.
  • “에이전트 라우팅” 및 동반 기술 보고서에 설명된 데이터 플라이휠 개념에 관심 있는 연구원.

빠른 시작 체크리스트

  1. uv를 설치합니다 (또는 소스에서 빌드하는 경우 Python 3.12+ 및 Node 22.12+ 필요).
  2. 설치 경로를 선택합니다 (데스크톱 설치 프로그램 또는 uv tool install).
  3. opensquilla onboard를 실행하여 설정을 생성합니다.
  4. opensquilla gateway run으로 게이트웨이를 시작합니다.
  5. opensquilla chat를 통해 상호 작용하거나 http://localhost:…에서 웹 UI를 엽니다.

결론: OpenSquilla는 토큰 효율적인 라우팅, 통합 인터페이스 및 온디바이스 개인정보 보호에 중점을 둔 실제 프로덕션급 AI 에이전트 플랫폼입니다. 잘 문서화되어 있고 크로스 플랫폼이며 허용적인 오픈 소스 라이선스로 출시되었습니다.

관련

  • 프로젝트
    espeak-ng/espeak-ng

    포르망 합성 기술을 사용하여 100개 이상의 언어를 지원하고 매우 작은 메모리 사용량을 자랑하는 컴팩트한 오픈소스 텍스트 음성 합성기입니다.

  • 프로젝트
    akitaonrails/ai-memory

    ai‑memory는 Git 기반 위키에 일반 마크다운 파일로 코드 어시스턴트가 수행한 모든 관찰(프롬프트, 도구 호출, 세션 경계)을 기록하는 Rust 기반 서버입니다. 로컬, Docker/Podman, 또는 홈랩 박스에서 실행 가능하며, Claude Code, Codex, Cursor, Gemini CLI 등 수많은 에이전트, 기기, 팀원 간에 공유할 수 있습니다. 에이전트가 게시하는 훅은 세션 종료 시 통합되어 읽기 쉬운 위키 페이지로 변환되며, 다음 세션은 이전 세션이 어디서 멈췄는지 정확히 이어갈 수 있도록 간결한 핸드오프를 제공합니다. 저장소는 인간이 읽을 수 있는 마크다운과 SQLite 인덱스(FTS5, 엔티티 및 선택적 벡터 검색)로 구성됩니다. 기본적으로 LLM 또는 임베딩 키가 필요 없지만, 선택적 Anthropic/OpenAI 통합을 통해 LLM 생성 요약과 의미적 검색 기능을 추가할 수 있습니다. 다중 사용자 인증, 감사 로그, 개인별 속성이 내장되어 있습니다. Arch AUR, Docker 래퍼, 또는 네이티브 바이너리로 설치하고, 서버를 시작하며, 클라이언트와 훅을 등록하면 시스템은 투명하게 작동합니다.

  • 프로젝트
    TraderAlice/OpenAlice

    OpenAlice는 개인 트레이더를 위한 로컬 실행 AI 오케스트레이터입니다. LLM 에이전트(Claude, Codex, Pi 등)를 플러그인하고 시장 데이터, 리서치 워크스페이스(Git 백업 폴더), 브로커 계정에 연결할 수 있습니다. 에이전트는 데이터 가져오기, 퀀트 분석 실행, 보고서 생성, 트레이드 주문 초안 작성까지 수행하며 사용자는 Git 스타일 인터페이스로 검토하고 커밋합니다. 제품은 데스크톱 앱(macOS/Windows)으로 제공되며 CLI/Docker 옵션을 포함하고 스케줄링, 이슈 추적, 후속 조치용 중앙 인박스를 갖추고 있습니다. 트레이딩 실행은 베타로 표시되며 먼저 페이퍼 또는 테스트 계정용으로 설계되었습니다.

  • 프로젝트
    trailofbits/skills

    Trail of Bits Skills는 수십 가지 보안 중심의 "스킬"(예: 정적 분석, 스마트 계약 감사, YARA 규칙 작성, 변형 테스트)을 추가하는 Claude Code/Codex 플러그인 마켓플레이스입니다. 단일 명령어 `/plugin marketplace add trailofbits/skills`로 설치한 후, LLM에서 개별 플러그인을 호출하여 구체적인 분석을 수행하고 구조화된 결과를 얻을 수 있습니다.