OpenAdaptAI/OpenAdapt

Compiles a demonstrated GUI task into a program that reports VERIFIED only if an independent check agrees. pip install openadapt; openadapt flow tutorial. Compiler lives in openadapt-flow.

解決的問題

OpenAdapt 提供了一種方法,讓 AI 代理能夠與缺乏 API 的圖形使用者介面 (GUI) 互動。它透過允許人類示範一項任務來解決「最後一哩執行」的問題,該示範隨後會被編譯成一個確定性程式,並可由代理執行且附帶已驗證的結果,確保代理不僅僅是「盲目點擊」,而是真正達成預期的商業效果。

運作方式

使用者會在特定介面上(網頁瀏覽器、原生桌面或如 RDP/Citrix 的遠端顯示)錄製任務示範。這段錄製內容會被編譯成一個套件,定義了動作序列和預期的「效果合約」(記錄系統中的變更)。

當代理呼叫此套件時,執行階段會執行這些步驟,然後使用獨立檢查(例如:唯讀 API 或 OCR)來驗證結果,確認交易是否確實提交。如果驗證失敗或系統狀態不明確,執行將會停止,而不是回報虛假的成功。

適用對象

專為開發人員與解決方案工程師設計,他們正在建構需要在舊版或封閉軟體環境中執行可靠、已驗證交易的電腦操作代理。

重點功能

  • 已驗證的執行:使用獨立的證據層級來確認商業效果,防止代理根據螢幕上的橫幅謊報成功。
  • 多介面支援:跨網頁瀏覽器、原生作業系統 (Windows、macOS、Linux) 及遠端顯示 (RDP、Citrix) 運作。
  • 確定性控制:將示範編譯為程式,在主動控制迴圈中執行時無需生成式模型 API。
  • 組合性:允許將多個已編譯的套件串接在一起,並在它們之間進行資料傳遞。

相關

  • 專案
  • Dispatch
  • 專案
  • 專案
  • 專案