opensquilla: 這是什麼、解決什麼問題以及為什麼它正受到關注
opensquilla: 這是什麼、解決什麼問題以及為什麼它正受到關注
解決的問題
OpenSquilla 是一個高代幣效率的 AI agent,旨在透過將請求路由至能夠處理特定任務且最具成本效益的模型,來降低成本並提高效能。
它提供了一個統一的介面,用於透過 CLI、Web UI 以及各種聊天頻道(例如 Telegram、Slack 和 Discord)與 AI agent 進行互動。
工作原理
該系統採用微核心架構,配備一個本地模型路由(SquillaRouter),可分析對話的每一輪,並將其導向至最便宜且相容的 LLM。它整合了可插拔的供應商層,支援超過 20 個供應商(包括 OpenAI、Anthropic 和 Ollama),並具備持久記憶、分層沙盒執行環境,以及內建的網頁搜尋與裝置端嵌入(on-device embeddings),以在所有進入點維持一致的操作迴圈。
對象為何人
它是為那些想要一個多功能 AI agent 的使用者而設計的,該 agent 可以部署在本地或透過雲端供應商部署,並能整合進現有的通訊頻道中,且針對代幣使用量與預算進行了優化。
重點特色
- 高代幣效率路由:自動為每個請求選擇最便宜且具備能力的模型。
- 多頻道支援:在 Web UI、CLI 以及 Slack、Discord 和 Telegram 等聊天平台上的行為完全一致。
- 廣泛的供應商相容性:透過可插拔層支援 20 多個 LLM 供應商。
- 整合工具:包含持久記憶、分層沙盒、裝置端嵌入以及網頁搜尋功能。
Sources
- undefinedopensquilla/opensquilla