TurixAI/TuriX-CUA

解決的問題

TuriX 為 AI 模型提供了一種直接與電腦桌面介面互動的方式。透過允許 AI 代理在人類可以使用的任何軟體（如網頁瀏覽器、辦公套件和公司內部工具）上執行操作（如點擊和打字），消除了對特定應用程式 API 的需求。

工作原理

該系統使用視覺語言模型 (VLM) 作為「大腦」來感知螢幕並決定操作。它可以配置不同的模型（包括透過 Ollama 使用的本地模型），並支援多代理架構，其中不同的模型可以處理規劃、執行和記憶。它與 Model Context Protocol (MCP) 整合，允許其他代理（如 Claude for Desktop）觸發桌面操作。此外，它使用「Skills」（基於 Markdown 的劇本）為代理提供複雜任務的具體指令。

適用對象

• 正在尋找開源電腦使用代理的開發人員和研究人員。
• 希望跨多個應用程式自動化重複性桌面工作流的進階使用者。
• 希望為 GUI 自動化測試不同 VLM 策略的 AI 工程師。

亮點

• 高成功率：在 OSWorld 基準測試中達到 64.2%，在 macOS 特定基準測試中達到 80% 以上。
• 不依賴 API：在 GUI 上運行，這意味著它可以與任何沒有公開 API 的應用程式一起工作。
• 模型熱插拔：使用者可以透過簡單的設定檔更改底層 AI 模型，而無需更改程式碼。
• 跨平台支援：適用於 macOS、Windows 和 Linux。
• MCP 整合：與 Model Context Protocol 相容，實現與其他 AI 代理的無縫連接。