RunanywhereAI/RCLI

解決的問題

RCLI 為 macOS 提供了一個完全本地化、在設備上運行的語音 AI 助手，無需依賴雲端 API 或網路連接。使用者可透過語音控制電腦，查詢自己的文件，並在不將資料傳送至外部伺服器的情況下，分析來自攝影機或螢幕的視覺資訊。

工作原理

它實現了完整的 AI 流程，包含語音轉文字（STT）、大型語言模型（LLM）與文字轉語音（TTS），所有元件皆在 Apple Silicon 上原生執行。系統使用專有的 GPU 推論引擎 MetalRT（適用於 M3 芯片及更新版本）或回退至 llama.cpp（適用於 M1/M2 芯片），以確保低延遲。它透過 AppleScript 與 shell 命令與 macOS 整合，執行系統操作，並使用混合向量 + BM25 檢索系統，對 PDF、DOCX 與文字檔案實作本地 RAG（檢索增強生成）。

適用對象

希望擁有私密、低延遲語音助理，具備系統控制、文件智慧與設備端視覺分析能力的 Apple Silicon（M1、M2、M3、M4）Mac 使用者。

主要特色

• 本地執行：100% 在設備上推論，無需雲端服務或 API 金鑰。
• 系統控制：內建 40 種 macOS 操作，涵蓋生產力、通訊、媒體與系統設定。
• 多模態能力：設備端 VLM（視覺-語言模型）支援分析影像、即時攝影機畫面與螢幕區域。
• 高效率：透過 MetalRT 引擎實現低於 200ms 的端對端語音延遲與高 LLM 吞吐量。
• 文件智慧：對索引文件的查詢實現約 4ms 的檢索延遲，支援本地 RAG。
• 互動式 TUI：基於終端的儀表板，用於管理模型、語音與系統操作。