hamishivi/tmax

解决的问题

Tmax 为创建能够使用计算机终端的强大 AI 代理提供了一个全面的框架。它简化了构建这些代理的整个生命周期，包括生成合成训练数据、训练模型以及在复杂的终端任务上评估其性能。

如何工作

该项目分为四个主要阶段：

1. 数据生成：使用可扩展的管道合成多样且具备难度感知的终端任务。这些任务被打包为自包含的 Docker 或 Apptainer 环境，并配有程序化验证器，用于检查代理是否成功完成任务。
2. 代理实现：采用基于 LiteLLM 的 "Vanillux2Agent"，利用特定的提示模板、bash 工具模式和格式错误恢复机制，在活跃环境中执行命令。
3. 训练：使用 open-instruct 的分支执行监督微调（SFT）和直接偏好优化（DPPO）强化学习（RL），以优化模型。
4. 评估：使用 vLLM 进行模型服务，并通过 Beaker 管道对模型在 Terminal-Bench 和 SWE-bench 等数据集上进行测试。

适用人群

专注于构建能够与操作系统交互、管理文件并执行 shell 命令以解决技术问题的自主代理的 AI 研究人员和开发者。

主要亮点

• 端到端流程：涵盖从合成数据生成到最终评估的全部环节。
• 大规模任务语料库：包含一个公开的 15k 任务语料库（Harbor 格式），包含自包含任务和复杂的多模态任务。
• 程序化验证：每个任务都配有验证器，可客观衡量任务完成情况。
• 灵活的沙箱环境：支持多种执行环境，包括本地 Docker 和 Daytona 云沙箱。