Open-Interface: 一个使用 LLM 模拟鼠标和键盘输入的跨平台计算机自动化工具

它解决了什么问题

Open Interface 允许用户使用自然语言请求来控制他们的计算机。它通过自动化键盘和鼠标输入来执行跨各种应用程序的复杂任务，从而消除了手动导航的需求。

工作原理

该系统以循环方式运行：它将用户的目标和当前屏幕的截图发送到 LLM 后端（例如 GPT-4o 或 Gemini）。LLM 确定必要的步骤，然后通过解释器和执行器来模拟所需的鼠标和键盘操作。该应用程序会持续获取更新的截图以评估进度并根据需要进行纠偏。

适用人群

它专为 macOS、Windows 和 Linux 用户设计，旨在自动化重复的计算机任务或在软件中执行操作而无需手动输入。

亮点

• 跨平台支持：兼容 macOS、Windows 和 Linux。
• 灵活的 LLM 后端：支持 GPT-4o、Google Gemini 以及其他 OpenAI 风格的 API（例如 Llava）。
• 视觉反馈循环：使用实时截图来监控进度并调整操作。
• 广泛的应用：能够处理从解决 Wordle 到在 Google Docs 中创建饮食计划等各种任务。