AmberSahdev/Open-Interface
Control Any Computer Using LLMs.
What it solves
Open Interface は、自然言語のリクエストでコンピュータを制御できるようにします。キーボードとマウス入力を自動化することで手動での操作が不要になり、さまざまなアプリケーションで複雑なタスクを実行できます。
How it works
システムはループで動作します：ユーザーの目標と現在の画面のスクリーンショットを LLM バックエンド（例: GPT-4o や Gemini）に送ります。LLM が必要な手順を決定し、インタプリタとエグゼクタを通して必要なマウス・キーボード操作をシミュレートします。アプリは継続的にスクリーンショットを取得し、進捗を評価して必要に応じて修正します。
Who it’s for
macOS、Windows、Linux のユーザー向けで、繰り返しのコンピュータ作業を自動化したり、手動入力なしでソフトウェア内の操作を行いたい人に適しています。
Highlights
- Cross-platform support: Compatible with macOS, Windows, and Linux.
- Flexible LLM backends: Supports GPT-4o, Google Gemini, and other OpenAI-style APIs (e.g., Llava).
- Visual feedback loop: Uses real-time screenshots to monitor progress and adjust actions.
- Broad application: Capable of tasks ranging from solving Wordle to creating meal plans in Google Docs.