opensquilla/opensquilla

解決的問題

OpenSquilla 透過提供高 Token 效率的代理框架，解決了使用大型語言模型成本高昂且複雜的問題。它旨在透過智慧路由和跨不同介面的統一互動，在最大限度提高能力的同時最小化預算。

工作原理

該系統採用微核心架構，其中本地模型路由器 (SquillaRouter) 將每次互動引導至能夠處理特定任務的最具成本效益的模型。它具有單一共享的輪詢循環，用於管理工具分發、重試和決策日誌。該代理包括持久化記憶、分層沙箱、內建網路搜尋和裝置端嵌入。透過可插拔層，它支援包括 OpenAI、Anthropic、Ollama 和 DeepSeek 在內的廣泛提供商。

適用對象

• 終端用戶：正在尋找桌面或基於 CLI 的 AI 助手的人。
• 開發者：需要一個在 Web UI、CLI 和各種聊天頻道（如 Slack、Discord 或 Telegram）中運行方式完全一致的統一代理循環的人。
• 注重隱私的用戶：希望實現本地路由並能夠管理數據和遙測數據的人。

亮點

• 智慧路由：使用裝置端路由器選擇最便宜且能力匹配的模型。
• 多介面支援：在 Web UI、CLI 和聊天頻道中保持一致的行為。
• 廣泛的提供商支援：連接到超過 20 個 LLM 提供商，包括透過 Ollama 連接的本地模型和 OpenRouter。
• 豐富的功能集：包括持久化記憶、網路搜尋和沙箱執行。
• 靈活的部署：提供桌面應用程式、CLI 工具或透過原始碼安裝。