Open-Interface: LLMを使用してマウスとキーボード入力をシミュレートするクロスプラットフォーム・コンピュータ自動化ツール

何を解決するか

Open Interfaceを使用すると、ユーザーは自然言語のリクエストを使用してコンピュータを制御できます。キーボードとマウスの入力を自動化して、さまざまなアプリケーションにわたって複雑なタスクを実行することで、手動での操作の必要性を排除します。

仕組み

システムはループ内で動作します。ユーザーの目標と現在の画面のスクリーンショットをLLMバックエンド（GPT-4oやGeminiなど）に送信します。LLMが必要なステップを決定し、それがインタープリターとエグゼキューターを介して渡され、必要なマウスとキーボードのアクションをシミュレートします。アプリは継続的に更新されたスクリーンショットを取得して、進捗を状況に応じて評価し、軌道修正を行います。

対象ユーザー

macOS、Windows、およびLinuxのユーザーで、繰り返しのコンピュータタスクを自動化したい、または手動入力なしでソフトウェア内でアクションを実行したいと考えている方向けに設計されています。

ハイライト

• クロスプラットフォーム対応: macOS、Windows、およびLinuxと互換性があります。
• 柔軟なLLMバックエンド: GPT-4o、Google Gemini、およびその他のOpenAIスタイルのAPI（例：Llava）をサポートしています。
• 視覚的フィードバックループ: リアルタイムのスクリーンショットを使用して進捗をモニタリングし、アクションを調整します。
• 幅広いアプリケーション: Wordleの解決からGoogle Docsでの食事プランの作成まで、幅広いタスクを実行可能です。