simular-ai/Agent-S

Agent S: an open agentic framework that uses computers like a human

它解決了什麼問題

Agent S 旨在克服建立能像人類般自然且有效與電腦圖形使用者介面（GUI）互動的 AI 代理的困難。它提供了一個跨 Windows、macOS 與 Linux 的自主電腦使用框架，使代理能透過解析螢幕內容並執行動作來完成複雜任務。

它如何運作

系統使用「Agent‑Computer Interface（ACI）」將高層次的代理決策轉換為可執行的指令。通常採用雙模型架構：一個主生成模型（例如 GPT‑5）負責高層次推理，另一個專門的 grounding 模型（例如 UI‑TARS）將這些意圖映射到精確的螢幕座標與操作。此框架亦可擴充本地程式環境，讓代理執行 Python 與 Bash 程式碼，以完成資料處理或系統自動化等較 GUI 互動更有效的任務。

目標對象

本專案適合開發者與研究人員構建自主 GUI 代理、希望以 AI 取代手動工作流程的自動化工程師，以及對最先進的電腦使用代理（CUA）感興趣的人士。

重點特色

  • 人類水平表現：Agent S3 在 OSWorld 基準測試中超過人類水平（72.60%）。
  • 跨平台支援：支援 Windows、macOS 與 Linux。
  • 零樣本泛化：在未經特定訓練的 WindowsAgentArena 與 AndroidWorld 等新環境中亦能展現強大功能。
  • 混合互動：結合 GUI 互動與執行本地程式碼的能力，以處理複雜系統任務。