simular-ai/Agent-S

Agent S: an open agentic framework that uses computers like a human

它解决了什么

Agent S 旨在克服创建能够像人类一样自然且高效与计算机图形用户界面（GUI）交互的 AI 代理的难题。它提供了一个跨 Windows、macOS 和 Linux 的自主计算机使用框架，使代理能够通过解释屏幕内容并执行操作来完成复杂任务。

它如何工作

系统使用 Agent‑Computer Interface（ACI）将高层次的代理决策转换为可执行的命令。通常采用双模型架构：一个主生成模型（如 GPT‑5）负责高层次推理，另一个专用的 grounding 模型（如 UI‑TARS）将这些意图映射到精确的屏幕坐标和操作。该框架还可以扩展本地编码环境，让代理执行 Python 和 Bash 代码，以完成数据处理或系统自动化等比 GUI 交互更高效的任务。

适用人群

本项目面向开发者和研究人员构建自主 GUI 代理、希望用 AI 替代手动工作流的自动化工程师，以及对最先进的计算机使用代理（CUA）感兴趣的人员。

亮点

  • 人类水平表现：Agent S3 在 OSWorld 基准上已超越人类水平（72.60%）。
  • 跨平台支持：兼容 Windows、macOS 与 Linux。
  • 零样本泛化：在未进行特定训练的 WindowsAgentArena 和 AndroidWorld 等新环境中也能展现强大能力。
  • 混合交互：结合 GUI 交互与执行本地代码的能力，以处理复杂系统任务。