Open-Interface: 一款使用 LLM 模擬滑鼠與鍵盤輸入的跨平台電腦自動化工具

它解決了什麼問題

Open Interface 允許使用者透過自然語言請求來控制電腦。它透過自動化鍵盤與滑鼠輸入來執行跨各種應用程式的複雜任務，從而消除了手動操作的需求。

運作原理

系統以迴圈方式運作：它將使用者的目標與目前螢幕的截圖傳送至 LLM 後端（例如 GPT-4o 或 Gemini）。LLM 會決定必要的步驟，接著這些步驟會透過解釋器與執行器來模擬所需的滑鼠與鍵盤動作。應用程式會持續擷取更新後的截圖以評估進度並根據需要進行修正。

對象是誰

它是為 macOS、Windows 與 Linux 使用者設計的，旨在自動化重複性的電腦任務，或在不需手動輸入的情況下在軟體中執行動作。

重點特色

• 跨平台支援：相容於 macOS、Windows 與 Linux。
• 靈活的 LLM 後端：支援 GPT-4o、Google Gemini 以及其他 OpenAI 風格的 API（例如 Llava）。
• 視覺回饋迴圈：使用即時截圖來監控進度並調整動作。
• 廣泛的應用：能夠執行從解 Wordle 到在 Google Docs 中建立飲食計畫等各種任務。