AmberSahdev/Open-Interface

Control Any Computer Using LLMs.

What it solves

Open Interface 允许用户使用自然语言请求来控制计算机。它通过自动化键盘和鼠标输入，消除手动导航的需求，能够在各种应用程序中执行复杂任务。

How it works

系统在循环中运行：将用户的目标和当前屏幕的截图发送给 LLM 后端（如 GPT-4o 或 Gemini）。LLM 确定所需步骤，这些步骤随后通过解释器和执行器模拟所需的鼠标和键盘操作。应用程序持续获取更新的截图，以评估进度并在需要时进行纠正。

Who it’s for

它面向 macOS、Windows 和 Linux 用户，适用于想要自动化重复性计算机任务或在软件中执行操作而无需手动输入的人。

Highlights

  • Cross-platform support: Compatible with macOS, Windows, and Linux.
  • Flexible LLM backends: Supports GPT-4o, Google Gemini, and other OpenAI-style APIs (e.g., Llava).
  • Visual feedback loop: Uses real-time screenshots to monitor progress and adjust actions.
  • Broad application: Capable of tasks ranging from solving Wordle to creating meal plans in Google Docs.