opensquilla/opensquilla

해결하는 문제

OpenSquilla는 토큰 효율적인 에이전트 프레임워크를 제공하여 대규모 언어 모델 사용에 따른 높은 비용과 복잡성 문제를 해결합니다. 지능형 라우팅과 다양한 인터페이스를 통한 통합된 상호작용을 통해 예산을 최소화하면서 역량을 극대화하는 것을 목표로 합니다.

작동 방식

이 시스템은 로컬 모델 라우터(SquillaRouter)가 각 상호작용을 특정 작업을 처리할 수 있는 가장 비용 효율적인 모델로 안내하는 마이크로커널 아키텍처를 사용합니다. 도구 디스패치, 재시도 및 결정 로깅을 관리하는 단일 공유 턴 루프를 특징으로 합니다. 에이전트에는 지속적 메모리, 레이어형 샌드박스, 내장 웹 검색 및 온디바이스 임베딩이 포함됩니다. 플러그형 레이어를 통해 OpenAI, Anthropic, Ollama 및 DeepSeek를 포함한 광범위한 제공업체를 지원합니다.

대상 사용자

• 최종 사용자: 데스크톱 또는 CLI 기반 AI 어시스턴트를 찾는 사용자.
• 개발자: Web UI, CLI 및 다양한 채팅 채널(Slack, Discord 또는 Telegram 등)에서 동일하게 작동하는 통합된 에이전트 루프가 필요한 개발자.
• 개인정보 보호를 중시하는 사용자: 로컬 라우팅과 데이터 및 텔레메트리 관리 기능을 원하는 사용자.

주요 특징

• 지능형 라우팅: 온디바이스 라우터를 사용하여 가장 저렴하고 실행 가능한 모델을 선택합니다.
• 멀티 인터페이스 지원: Web UI, CLI 및 채팅 채널에서 일관된 동작을 보장합니다。
• 광범위한 제공업체 지원: OpenRouter 및 Ollama를 통한 로컬 모델을 포함하여 20개 이상의 LLM 제공업체에 연결됩니다.
• 풍부한 기능 세트: 지속적 메모리, 웹 검색 및 샌드박스 실행이 포함됩니다。
• 유연한 배포: 데스크톱 앱, CLI 도구 또는 소스 설치를 통해 사용할 수 있습니다.