BotPsy-0.8B:Tether AI 基于 Qwen3.5 构建的设备端智能体模型
TL;DR: Tether AI Research 推出了 BotPsy-0.8B,这是一个基于 Qwen3.5-0.8B 构建的 0.8B 参数智能体语言模型,用于设备端工具调用。它在智能体基准测试中的得分大约是基础模型的两倍,并且在该实验室测试的所有不超过 1.2B 参数的模型中表现最佳,使得专门的本地智能体成为中低难度任务中前沿云端模型的实际替代方案。
BotPsy-0.8B 是什么
BotPsy-0.8B 是一个亚十亿参数的语言模型,专为函数调用和智能体工作流设计。Tether AI Research 在 Qwen3.5-0.8B 的基础上构建了它,并将其定位为“个人助理”,可在网络搜索与研究、旅行与生活方式、商业与金融、业务与客户运营、设备与车辆控制、文件与文档、日历、电子邮件和消息传递等任务中使用工具。
该模型旨在用于设备端部署。Tether AI Research 认为,前沿云端 LLM 具有高昂且多变的运营成本,可能被提供商更改或弃用,提供有限的工作流定制,并带来隐私和数据控制风险。它还指出,并非所有任务都需要前沿级别的智能:小型专用智能体在特定任务上可以更便宜且同样有能力。
由于其参数数量,BotPsy-0.8B 最适合中低难度任务。Tether AI Research 明确表示,该模型仍会出错,不适用于高风险场景。
基准测试结果:1.2B 参数及以下的最先进水平
据 Tether AI Research 称,BotPsy-0.8B 在其规模下实现了最先进的工具使用和智能体性能。它在实验室测试的所有六个工具使用和智能体基准测试中均优于所有不超过 1.2B 参数的模型:BFCL v4、ACEBench、τ-bench、ToolSandbox、Claw-Eval 和 BrowseComp-Plus。
与其 Qwen3.5-0.8B 基础模型相比,BotPsy-0.8B 在关键基准测试中的智能体能力大约翻倍:BFCL v4 从 23.4 升至 44.0,ACEBench 从 30.1 升至 58.7,τ-bench 从 23.2 升至 51.5。其六个基准测试的未加权平均值为 45.0,而基础模型为 24.7,Qwen3.5-2B-Think 为 38.8,LFM2.5-1.2B-Think 为 25.3,MiniCPM5-1B-Think 为 22.7。
| 基准测试 | BotPsy-0.8B | Qwen3.5-0.8B-Think 基础 | Qwen3.5-2B-Think | LFM2.5-1.2B-Think | MiniCPM5-1B-Think |
|---|---|---|---|---|---|
| BFCL v4 | 44.0 | 23.4 | 37.7 | 28.1 | 22.8 |
| ACEBench | 58.7 | 30.1 | 55.4 | 39.4 | 24.5 |
| τ-bench | 51.5 | 23.2 | 46.5 | 6.5 | 28.8 |
| Claw-Eval | 46.5 | 39.3 | 48.9 | 31.6 | 31.0 |
| BrowseComp-Plus | 4.5 | 1.9 | 2.8 | 0.2 | 0.8 |
| ToolSandbox | 64.6 | 30.5 | 41.2 | 45.7 | 28.1 |
| 平均值 | 45.0 | 24.7 | 38.8 | 25.3 | 22.7 |
BotPsy-0.8B 还在六个基准测试中的五个击败了 Qwen3.5-2B-Think(一个大小为 2.5 倍的模型):BFCL v4(44.0 对 37.7)、ACEBench(58.7 对 55.4)、τ-bench(51.5 对 46.5)、ToolSandbox(64.6 对 41.2)和 BrowseComp-Plus(4.5 对 2.8)。仅在 Claw-Eval 上,Qwen3.5-2B-Think 以 48.9 对 46.5 领先。
多轮工作流和工具调用可靠性
最大的相对提升出现在多轮、有状态交互中。在 BFCL v4 多轮任务中,BotPsy-0.8B 从基础模型的 7.5 升至 46.1,几乎是 Qwen3.5-2B-Think 的 23.8 的两倍。在 ACEBench Agent 上,它从 7.9 升至 28.3,而 Qwen3.5-2B-Think 为 16.2。
在 τ²-bench(测试严格策略下的长客户对话)中,BotPsy-0.8B 在零售领域得分 67.8,而基础模型为 33.9;在电信领域得分 82.5,而 Qwen3.5-2B-Think 为 69.3,MiniCPM5-1B-Think 为 74.0。它在帖子中显示的五项多轮基准测试中领先四项。在 τ³-bench 银行业务中,没有模型得分超过 5;BotPsy-0.8B 得分 4.1,与基础模型持平,而 Qwen3.5-2B-Think 得分 4.8。
BotPsy-0.8B 还设计为知道何时不调用工具。在 BFCL v4 幻觉测试(检查模型在不存在合适工具时是否拒绝)中,它得分 86.1,是所有测试模型中最高的。在涉及不完整请求、错误参数或不可用工具的 ACEBench 特殊案例中,它得分 51.3,高于基础模型的 13.7,尽管 Qwen3.5-2B-Think 以 58.0 领先。
知识和指令遵循
根据帖子,工具使用训练并未牺牲通用知识。GPQA Diamond 从基础模型的 33.2 升至 BotPsy-0.8B 的 38.1,MMLU-Pro 从 41.6 升至 48.9。两者都是测试中 1.2B 参数及以下模型的最佳得分。知识仍然主要随参数数量扩展:Qwen3.5-2B-Think 在 GPQA Diamond 上得分 59.9,在 MMLU-Pro 上得分 65.5。因此,Tether AI Research 将 BotPsy-0.8B 描述为旨在调用工具获取其不知道的事实,而非知识模型。
指令遵循显著提升。IFEval 从 59.7 升至 90.8,IFBench 从 22.0 升至 55.9,是所有测试模型中 IFBench 得分最高的。在 Multi-IF(测试八种语言中三轮指令遵循)中,BotPsy-0.8B 得分 67.2,与 Qwen3.5-2B-Think 的 66.9 和 LFM2.5-1.2B-Think 的 68.2 相当。它在第 1 轮表现最强,得分 84.3,但随着指令累积下降更快,第 3 轮达到 51.0,而这两个模型分别为 56.5 和 56.2。
低资源语言仍然是一个弱点。印地语得分 24.5,俄语得分 57.6,远低于英语、中文、法语、西班牙语、意大利语和葡萄牙语的 72-80 范围。
安全性和推理效率
在六个危害类别的自动红队测试中,BotPsy-0.8B 产生不安全响应的比例为 21%,而基础模型为 36%。这是测试中不超过 1.2B 参数模型中的最低不安全率:LFM2.5-1.2B-Think 为 35%,MiniCPM5-1B-Think 为 47%。在提示注入攻击(对读取不可信工具输出的智能体很重要)下,不安全率从基础模型的 46% 降至 BotPsy-0.8B 的 31%。
BotPsy-0.8B 还以更少的推理达到正确答案。在所有五个模型都正确回答的问题上,它在 GPQA Diamond 上使用的推理 token 比基础模型少约 3 倍(3,690 对 11,563),在 MMLU-Pro 上少 2.7 倍(1,912 对 5,105)。在所有 IFBench 尝试中,陷入重复推理循环的比率从 22.9% 降至 1.4%,达到 32k token 限制的运行从 28.3% 降至 0.2%。Tether AI Research 表示,更短、更果断的推理应能减少设备端延迟。
在多轮智能体任务中,BotPsy-0.8B 在 τ²-bench 上所有五个模型都解决的任务中,比基础模型需要更少的助手轮次。在 τ²-retail 上,它使用 10.7 轮,而基础模型为 11.7 轮,减少 9%;在 τ²-telecom 上,它使用 13.1 轮,而基础模型为 17.6 轮,减少 26%。同时,它通过零售任务的数量是基础模型的 2.0 倍,电信任务的数量是 2.6 倍。
训练方法:四个阶段和三个反馈信号
BotPsy-0.8B 经过四个连续阶段的后期训练:监督微调、多教师策略蒸馏,以及两轮强化学习。每个阶段都从上一阶段的最佳检查点开始,并使用不同的学习信号:演示、专家教师 token 分布和基于规则的工具调用奖励。
第一阶段是对工具使用对话进行全参数监督微调,包括来自模拟环境的多轮智能体轨迹、重放的单次、并行和多步调用,以及不应调用工具的情况。第二阶段使用策略蒸馏:学生生成自己的响应,专家教师使用逐 token 反向 KL 散度对每个 token 提供反馈。教师是三个 Qwen3.5-4B 模型,分别针对工具使用、通用推理和指令遵循进行了 RL 训练。每个提示路由到一个教师。此阶段主要恢复在监督微调期间退化的知识和指令遵循,同时工具使用指标也有所提升。
最后两个阶段使用 DAPO 进行强化学习,仅从规则和验证器计算的奖励中学习。第一轮 RL 侧重于工具调用,以及指令遵循和 STEM 多项选择题。其工具调用奖励首先检查推理和工具调用格式,然后通过将预测的工具名称、参数名称和参数值与真实值匹配来提供细粒度的部分信用,类似于 ToolRL 而非 Tool-N1 的二元正确性奖励。第二轮 RL 将混合范围扩大到通用领域的可验证任务:数学、代码、知识问题、指令遵循、结构化输出和模拟工作场所环境中的多步工具使用。尽管该混合不包含多轮对话,但它进一步改进了多轮函数调用。
部署、许可和限制
帖子称,BotPsy-0.8B 将以 Apache 2.0 许可证开放权重发布,用于研究和教育用途。它将提供三种精度——bf16、Q8 和 Q4——作为 Hugging Face safetensors 以及用于 QVAC SDK 和 llama.cpp 的 GGUF 文件。
BotPsy-0.8B 主要使用英语进行训练和测试,英语是推荐语言。它最适合中低难度任务,不适用于安全关键或高风险自动化决策,或涉及金钱、个人信息、健康和其他敏感主题的应用。
其弱点包括开放式搜索和 Qwen3.5-2B-Think 仍领先的几个领域。BrowseComp-Plus 得分 4.5,是五个模型中最好的,但绝对值较低。在 BFCL 网络搜索上得分 14.0,在记忆上得分 16.3,落后于 Qwen3.5-2B-Think 的 19.8 和 26.1。在 Claw-Eval 上,它比基础模型有所改进,46.5 对 39.3,但仍低于 Qwen3.5-2B-Think 的 48.9。多步信息检索是最明显的弱点:复杂的信息检索与研究场景得分 15,而该组中单次调用得分为 79。
更广泛的愿景
Tether AI Research 表示,未来的开发将扩展设备端智能体能力,覆盖更多硬件和本地服务。计划的工作包括:为 Tether 的 Hypersearch 提供更强大的去中心化点对点查询,通过 QVAC Fabric 优化本地微调,在离线-在线转换期间将繁重计算从智能手机委派到家庭 PC 或可信的安全 P2P 节点,更强的隐私协议,以及跨可信本地网络的安全智能体间通信。
发布的意义
BotPsy-0.8B 表明,亚十亿参数模型可以专门用于工具使用和智能体工作流,同时保留通用知识和指令遵循。其基准测试概况——智能体得分约为基础模型的两倍,在不超过 1.2B 参数的模型中领先,并在六个智能体基准测试中的五个中与 2.5 倍大的兄弟模型竞争——支持了这样的论点:许多日常助理任务可以在本地运行,而不是通过前沿云端 API。权衡也很明显:开放式搜索较弱,低资源语言存在差距,以及任务难度有明确上限。