zli12321/LHTB

长时程终端基准测试（LHTB）

它是什么 – LHTB 是一个研究基准，用于评估大型语言模型（LLM）智能体在进入一个真实的、有状态的终端（Docker 风格的沙箱）后，被要求持续工作数百步时的表现。与典型的编程测试（一旦生成程序即结束）不同，LHTB 衡量的是智能体在长时间范围内维持有用、渐进式工作的能力，使用隐藏的验证器检查最终状态，而不是智能体自身的日志。

主要特点

• 77 个任务（版本 2.0），分为 46 个原始的“交互式工作流”任务和 31 个新的重建任务（例如，从科学工具的输出重现其行为）。任务涵盖游戏、逆向工程、科学计算、地理空间分析、OCR、化学、控制系统等。
• 容器化终端 – 每个任务都在沙箱环境中运行；智能体通过类似 shell 的界面进行交互。
• 隐藏的、从工件重建的验证器 – 智能体声明完成后，一个单独的验证器重建预期工件并检查。智能体永远看不到验证器的内部，防止作弊。
• 持续运行直至超时 – 对于长时程任务，测试框架保持智能体存活直到总时间预算耗尽，在每个检查点后重新运行验证器，只允许二进制“通过/失败”信号。这迫使智能体持续改进而不是提前停止。
• 修改后的 Harbor 测试框架 – 仓库附带一个修补版的开源 Harbor 评估框架，实现了持续运行直至超时的逻辑，并隔离验证器以防止智能体读取隐藏的评分文件。
• 大量结果 – README 包含 2026 年 10 月（15 个模型，每个任务 3 小时预算）和更早快照的排行榜，显示平均奖励、解决率和每任务成本分析。

为什么重要 – LHTB 将 LLM 智能体从一次性代码生成推向在真实、有状态环境中的持续问题解决。在此基准上的成功表明智能体可以管理长时间运行的工作流，如数据管道、科学模拟或多步软件调试，这些是自主 AI 助手的核心用例。

如何使用

1. 选择任务 – 每个任务位于 tasks/ 或 tasks-2.0/ 下，遵循标准 Harbor 布局（源文件、task.toml、隐藏验证器等）。
2. 配置 Harbor – 复制 configs/examples/ 中的一个示例 YAML（例如 terminus2_openai.yaml），并将其指向所需的任务目录。
3. 运行测试框架 – 调用提供的脚本（或您自己的运行器）在沙箱中启动智能体。测试框架将强制执行时间预算，每 30 分钟检查一次验证器，并应用持续运行直至超时的策略。
4. 检查结果 – 运行完成后，测试框架写入 scorecard.json 和日志，显示最终奖励（0–1）以及隐藏验证器是否通过。

仓库中链接的资源

• 博客文章概述：https://zli12321.github.io/LHTB/
• 交互式数据网站（Hugging Face Space）：https://huggingface.co/spaces/IntelligenceLab/Terminal-Data-Website
• 任务定义和基准提交的完整数据集：https://huggingface.co/datasets/IntelligenceLab/Long-Horizon-Terminal-Bench
• 排行榜页面：https://zli12321.github.io/LHTB/leaderboard.html
• 修改后的 Harbor 测试框架（harbor/）及补丁详情。

引用 – 该基准在 arXiv 论文 Long‑Horizon Terminal‑Bench（arXiv:2607.08964）中描述。README 提供了 BibTeX 片段以供引用。

---

以上所有信息均直接取自仓库的 README；未添加任何外部假设。