RunanywhereAI/RCLI

解决的问题

RCLI 为 macOS 提供了一个完全本地化的、在设备上运行的语音 AI 助手，无需依赖云 API 或互联网连接。用户可以通过语音控制计算机，查询自己的文档，并在不将数据发送到外部服务器的情况下分析来自摄像头或屏幕的视觉信息。

工作原理

它实现了完整的 AI 流水线，包括语音识别（STT）、大语言模型（LLM）和语音合成（TTS），所有组件均在 Apple Silicon 上原生运行。系统使用专有的 GPU 推理引擎 MetalRT（适用于 M3 芯片及更新型号）或回退到 llama.cpp（适用于 M1/M2 芯片），以确保低延迟。它通过 AppleScript 和 shell 命令与 macOS 集成，执行系统操作，并使用混合向量 + BM25 检索系统，对 PDF、DOCX 和文本文件实现本地 RAG（检索增强生成）。

适用人群

希望拥有私密、低延迟语音助手，具备系统控制、文档智能和设备端视觉分析能力的 Apple Silicon（M1、M2、M3、M4）Mac 用户。

主要亮点

• 本地执行：100% 在设备上推理，无需云服务或 API 密钥。
• 系统控制：内置 40 个 macOS 操作，涵盖生产力、通信、媒体和系统设置。
• 多模态能力：设备端 VLM（视觉-语言模型）支持分析图像、实时摄像头画面和屏幕区域。
• 高性能：通过 MetalRT 引擎实现低于 200ms 的端到端语音延迟和高 LLM 吞吐量。
• 文档智能：对索引文档的查询实现约 4ms 的检索延迟，支持本地 RAG。
• 交互式 TUI：基于终端的仪表板，用于管理模型、语音和系统操作。