InternLM/WildClawBench

解决的问题

WildClawBench 旨在超越孤立的能力测试（如简单的函数调用或 JSON 解析），以评估 AI 智能体能否执行复杂的端到端现实世界工作。它通过在具有高风险、长周期任务的实时环境中测试智能体，这些任务需要自主规划和错误恢复，从而弥补了基准测试性能与实际效用之间的差距。

工作原理

智能体被部署到一个实时的 OpenClaw 环境（一个个人 AI 助手框架）中，可以访问真实工具，如 Web 浏览器、bash 终端、文件系统、电子邮件和日历。该基准测试由 60 个原创的、手工构建的任务组成，涵盖六个类别：生产力流程、代码智能、社交互动、搜索与检索、创意综合以及安全对齐。

为了确保可复现性并防止数据泄露，每个任务都在隔离的 Docker 容器中运行。该系统支持四种不同的智能体框架（OpenClaw、Claude Code、Codex CLI 和 Hermes Agent），使研究人员能够区分底层 LLM 的能力与智能体框架提供的脚手架。

适用人群

该工具面向构建智能体系统的 AI 研究人员和开发者，他们需要一套严格且实用的评估套件，以衡量其模型在现实世界场景中的自主性、多模态能力和安全性。

亮点

• 真实世界环境：使用实时工具而非模拟来测试实际的智能体能力。
• 多样化的任务套件：60 个原创任务，涵盖从剪辑足球精彩片段到协商电子邮件和调试未记录代码等各个方面。
• 框架对比：支持四种不同的智能体框架，以将模型性能与脚手架隔离开来。
• 隔离执行：每个任务都在其自己的 Docker 容器中运行，以确保可复现性和安全性。
• 多模态测试：包括需要视频理解和跨模态综合的任务。