simular-ai/Agent-S

解决的问题

Agent S 旨在通过图形用户界面（GUI）与桌面和 Web 应用程序交互，其方式与人类完全相同——使用鼠标、键盘和屏幕。它消除了为每个应用程序使用特定 API 或自定义脚本的需求，允许在 macOS、Windows 和 Linux 上的任何软件中执行自然语言任务。

工作原理

该框架结合了主生成模型（如 GPT-5 或 Claude）和接地模型（如 UI-TARS），将自然语言指令转换为精确的 GUI 操作。它捕获屏幕截图，进行分析，然后执行点击、键入和滚动操作。它还具有一个反思代理来协助工作代理，以及一个可选的本地编码环境，允许代理执行 Python 和 Bash 代码以进行数据处理或系统自动化任务。

适用人群

该项目面向研究操作系统代理的 AI 研究人员、希望自动化自己桌面工作流程的开发人员，以及为开源计算机使用代理做出贡献的贡献者。

亮点

• 跨平台支持：适用于 Windows、macOS 和 Linux。
• 人类级性能：Agent S3 在 OSWorld 基准测试中超越了人类级性能（72.60%）。
• 模型无关：支持来自 OpenAI、Anthropic、Gemini 以及通过 vLLM 或 Open Router 提供的开放权重提供商的模型。
• 集成代码执行：可以在本地执行任意 Python 和 Bash 代码，以处理复杂的数据操作或系统任务。