usemoss/moss

解決的問題

大多數AI代理的檢索架構依賴於遠端向量資料庫，造成網路往返延遲增加200–500毫秒。這種延遲會破壞即時對話型AI（如語音機器人或協作者）的流暢性，使其顯得反應遲鈍。

工作原理

Moss不是傳統資料庫，而是一個搜尋執行時。它採用混合架構，由三部分組成：

1. Moss Cloud：負責文件攝入、嵌入、儲存與分發。
2. Index：將文件與向量打包為單一的雲端儲存工件。
3. Runtime：作為SDK直接嵌入到應用程式中（支援Python、TypeScript、Elixir和C）。執行時透過HTTPS拉取索引並保留在記憶體中，使查詢能在應用程式流程中本地處理，從而在熱路徑上完全消除網路跳躍。

它還提供WebAssembly建構，可在瀏覽器中完全執行語意搜尋。

適用對象

開發即時對話型AI代理、語音機器人、協作者以及需要超低延遲檢索的離線優先應用程式的開發者。

核心亮點

• 超低延遲：透過在流程內執行搜尋，實現包含嵌入在內的查詢時間低於10毫秒。
• 混合搜尋：在單一查詢中結合語意搜尋與關鍵字搜尋。
• 內建嵌入：開箱即用包含嵌入模型，無需外部API金鑰。
• 瀏覽器支援：基於WASM的SDK可在客戶端無需伺服器實現語意搜尋。
• 廣泛整合：相容LangChain、LlamaIndex、DSPy以及多種語音AI平台（Pipecat、Vapi、ElevenLabs）。