AmberSahdev/Open-Interface

Control Any Computer Using LLMs.

What it solves

Open Interface 允許使用者以自然語言請求來控制電腦。它透過自動化鍵盤與滑鼠輸入，消除手動導覽的需求，能在各種應用程式中執行複雜任務。

How it works

系統以迴圈方式運作：將使用者的目標與當前螢幕的截圖傳送給 LLM 後端（例如 GPT-4o 或 Gemini）。LLM 會決定所需步驟，這些步驟再經由解譯器與執行器，模擬相應的滑鼠與鍵盤操作。應用程式會持續取得更新的截圖，以評估進度並在需要時校正方向。

Who it’s for

此工具設計給 macOS、Windows 與 Linux 使用者，適用於想要自動化重複性電腦任務或在軟體中執行操作而不需手動輸入的人。

Highlights

  • Cross-platform support: Compatible with macOS, Windows, and Linux.
  • Flexible LLM backends: Supports GPT-4o, Google Gemini, and other OpenAI-style APIs (e.g., Llava).
  • Visual feedback loop: Uses real-time screenshots to monitor progress and adjust actions.
  • Broad application: Capable of tasks ranging from solving Wordle to creating meal plans in Google Docs.