GLM-Legal：Z.ai 的法律智能体模型在 Harvey LAB 上得分 19.2%，因基准测试、开放性和特权问题引发争议

Z.ai 发布了 GLM-Legal，这是一个基于其轻量级 GLM-5.3-Flash 基础模型构建的法律领域智能体模型，报告称其在 Harvey LAB 基准测试中全通过率为 19.2%，并在 LegalBench 和 PLawBench 上与前沿闭源模型持平。这一公告之所以重要，是因为它是对一个更小、领域专用的模型加上调优的智能体框架能否在高风险专业工作中与通用前沿系统竞争的具体检验——同时，围绕它的 Hacker News 讨论也暴露了尖锐的分歧：基准测试是否能证明什么、模型是否会开源，以及客户的合法数据是否应该通过它流转。

该帖子在 Hacker News 上获得了 667 分和 359 条评论。

GLM-Legal 是什么及其声称的功能

GLM-Legal 是 Z.ai 推出的法律专用模型，基于 GLM-5.3-Flash 基础模型构建，旨在端到端执行法律任务，而非单轮问答。Z.ai 将法律工作视为对“专业协作”的压力测试——模型在具体目标下消化碎片化源文件，将专业知识结构化为分析，并在最终交付中保持领域严谨性。

该公司从三个维度评估了该模型：复杂任务执行、专业法律推理和真实法律工作流程。

基准测试结果：Harvey LAB 上 19.2%，LegalBench 和 PLawBench 上持平

GLM-Legal 在 Harvey LAB 上得分 19.2%，比其基础模型提高了 12.5 个百分点，并在 LegalBench 和 PLawBench 上与前沿闭源模型持平，尽管其参数规模更小。Z.ai 将 Harvey LAB 描述为涵盖 24 个实践领域的真实律师事务所工作流程，并在严格的全通过标准下评分，要求可靠的端到端执行，不允许中间环节退化。

• Harvey LAB： 全通过率 19.2%，比基础模型提高了 12.5 个百分点。
• LegalBench： 被描述为在专业合同、并购文件和司法意见方面与顶级闭源前沿模型的领域推理能力持平。
• PLawBench： 被描述为在细粒度评分标准下，与中国法律咨询、案例分析和文书起草方面的领先前沿系统持平。

Z.ai 在博客文章中未公布其对比的具体闭源模型。

训练方法：中期训练、后期训练和共同进化的框架

GLM-Legal 的训练流程包含三个命名阶段：领域中期训练、框架内的强化学习后期训练和生产反馈循环。

中期训练构建法律知识基础

中期训练扩大了高质量法律语料库的规模，使模型能够在密集的领域上下文中学习法律概念、法规规则和解释框架。Z.ai 表示，这一阶段加强了事实、规则和结论之间的演绎联系，为后续执行提供了知识基础。

后期训练共同进化模型和智能体框架

后期训练通过强化学习在数万个真实法律环境中将领域知识转化为任务执行能力。模型学习在具体约束下规划分析、推进工作流程并生成交付物。

框架是管理任务上下文、连接工具集和路由执行反馈的运行时编排框架。Z.ai 描述了该设置的两个属性：

• 协同迭代优化： 框架架构和模型训练同步迭代，任务结构化、上下文摄入和运行时反馈循环控制智能体探索。
• 双向学习： 模型训练中发现的边缘情况指出框架的架构瓶颈，而框架的改进使模型暴露于真实的执行约束。

生产反馈循环将从业者判断转化为损失信号

Z.ai 表示，生产环境中的法律专业人员根据具体标准评估输出：是否解决了所有关键问题和边缘情况，论点是否充分论证且引用在法律上合理，交付物是否符合案件简报，以及下游团队是否无需手动返工即可使用输出。

该公司将这些要求转化为工程损失信号，在诊断遗漏事实、分析浅薄或格式偏差时检查整个执行流程——原始模型智能、上下文暂存和工作流逻辑。发现结果反馈到任务环境、评估标准框架和后续训练周期的框架设计中。

AutoClaw：GLM-Legal 的预期使用场景

Z.ai 表示，GLM-Legal 的功能将在其桌面原生智能体平台 AutoClaw 中提供。博客文章演示了三个法律任务。

1. 为更换服务商的客户进行合同审查

任务是审查一份软件服务合同，客户正在更换供应商，重点关注终止和交接。Z.ai 对比了基础 GLM-5.3-Flash 输出和 GLM-Legal 的输出：

• GLM-5.3-Flash 建议考虑缩短 60 天的便利终止通知期，并要求返还客户数据和已付费的交付物。
• GLM-Legal 建议将便利终止通知期从 60 天缩短至 30 天，删除针对知识产权、保密或数据安全义务违约的补救期，以便客户可以立即终止合同，要求返还所有交付物和进行中的工作（无论是否已付费），并增加最多 90 天的过渡协助，按供应商当时的费率收费。

Z.ai 表示，AutoClaw 会将这些修改以修订和批注的形式放入 Word 文档中。

2. 对 40 份争议文件进行证据分析

任务是分析软件项目纠纷中的 40 份文件，以识别供应商进度报告中的矛盾。在 Z.ai 的示例中，GLM-Legal 将 9 月 30 日的“按计划进行——完成 60%”报告（BR-000024）与 9 月 8 日的内部警告（BR-000014）进行对比，该警告称该里程碑无法如实完成，并与内部约 41% 完成度快照（BR-000027）进行对比，然后将 CEO 关于压制风险并继续开票的指示（BR-000015）与披露决策联系起来。它引用 MSA 第 2 条和第 5 条，主张付款不放弃权利，且保证在付款后仍然有效。

3. 跨境隐私合规规划

任务是规划在新加坡、马来西亚和印度尼西亚推出网站的隐私合规，涉及跟踪、电子邮件营销和海外云存储。GLM-Legal 生成了优先检查清单：发布英文和印尼语隐私通知，对非必要分析和广告使用选择加入机制，保留同意记录，将营销许可与注册分离，将退订请求路由到抑制列表，将供应商映射到数据目的地，并根据市场确认传输保障措施——引用 SG PDPA 第 26 条、MY PDPA 第 129 条和 ID PDP 法第 55-56 条。

可用性：测试版访问，而非开放权重

Z.ai 邀请律师事务所、法律科技公司、内部法律团队和独立从业者通过 z.ai/consultation/legal 申请 API 访问权限，并指向 autoclaw.z.ai 上的 AutoClaw。Hacker News 上的评论者将这一公告解读为封闭的、仅限 API 的产品，而非开放权重发布。

“看起来这不是一个开放模型。我很好奇随着实验室趋向于保持模型专有，对中国模型的态度将如何转变。” — HN 评论者 postalcoder

“等等，所以这不是一个开放权重模型，对吗？只能通过 z.ai 使用？那么，如果美国或欧盟的人在这里分享他们的私人法律信息，它会被一个与其国家没有引渡条约的敌对国处理和存储？” — HN 评论者 consumer451

另一位评论者直接询问该模型是否会以开放权重形式发布。

基准测试本身是最具争议的主张

几位评论者认为，19.2% 的全通过率并不是关键数字，而且 Harvey LAB 基准测试本身可能并不可靠。

“作为一名律师，我对基准测试中 20% 的通过率并不特别印象深刻。诉讼实践的关键在于为新颖情况做好准备，而不是重新审理过去的情况。” — HN 评论者 otterley

一位评论者表示，他们检查了 Harvey 基准测试中公司知识子集的智能体轨迹，发现了多个有问题的任务和评分标准，并链接到 github.com/harveyai/harvey-labs/issues/191 上的特定问题线程。

“不确定 Harvey 基准测试有多好。我最近查看了解决其公司知识任务子集的智能体轨迹，发现了多个有问题的任务和评分标准。” — HN 评论者 mathis-l

另一个担忧是数据污染：由于训练集未公开，一位评论者认为，如果训练数据包含与测试集相似的任务，基准测试结果可能毫无意义，并建议动态生成测试且仅显示全局结果的基准测试能提供更强的信号。

其他人则注意到未提及具体的前沿竞争对手。一位评论者指出，该帖子未与其他实验室的最新旗舰模型进行比较，称这些基准测试“只是为了炒作”。另一位评论者指出，博客文章遗漏了在同一基准测试上表现良好的 Meta Spark 模型，并引用了 vals.ai/benchmarks/hlab。

司法管辖区、特权和责任问题主导了讨论

评论者反复询问该模型是为哪种法律体系构建的，以及它是否能避免混淆不同司法管辖区的原则。

“如果能说明它针对的是哪种法律体系就好了。美国法律？中国法律？欧洲法律？还是全部？作者似乎假设我们知道。” — HN 评论者 bb123

“法律是特定于国家的，所以我仍然有点困惑，怎么会有人信任这个。如果我问它爱尔兰法律，它会不会因为训练数据中有很多美国和英国法律而混入一些？或者幻觉出一个混合体？” — HN 评论者 Havoc

一位评论者观察到，演示示例偏向普通法国家，并想知道当面向美国/英国式系统的工具在其他法律体系中使用时会产生什么连锁效应。

关于特权和保密性，一位评论者问为什么将电子邮件连接到第三方服务不会丧失法律特权，另一位评论者直接提出了责任模型：

“这些模型的责任模型很差，我认为该领域的进展应该成为重点。” — HN 评论者 theokrueger

一位评论者呼吁在律师使用 AI 时制定强制披露规则，认为客户不应承担律师提示错误的风险。另一位评论者引用了一份 AI 幻觉法庭案例列表，作为任何法律 AI 讨论都必须解决的背景。

一位评论者引用 Anthropic 的政策更新，作为供应商已经对高风险用例施加控制的证据：

“当我们的产品被用于可能影响某人健康、法律权利、财务、生计或基本服务获取的方式时，我们要求有一个合格的‘人在回路中’（即有权审查并在必要时更改 Claude 建议的人），并告知受影响个人使用了 AI。” — 引用自 HN 评论者 victor9000

另一位评论者提出了先前的隐私争议，声称 Z.ai 曾在每次提示前对整个工作区进行快照，并问道，一个这样做的公司，其法律产品如何能被信任。

评论者认为法律 AI 真正有用的地方

讨论中最具体的支持 AI 论点来自一位评论者，他描述了使用 Claude 对一份重复使用的 OEM 协议模板进行修订，然后由律师进行最终检查。

“我尝试先使用 Claude，甚至我的律师都对它发现了他们遗漏的东西印象深刻。然后我用 Claude 对那种合同进行修订，对方说‘你的律师出奇地彻底’。我让我的律师做了最终检查，但通过用 Claude 完成前三轮，省了不少钱。” — HN 评论者 jedberg

同一位评论者建议将基准测试分为通用任务和新颖任务，认为 LLM 在通常委托给新助理或律师助理的工作上表现强劲，但在合伙人做的工作上则不然。

其他评论者指出了结构性需求：一位建议 AI 可以帮助负担过重的法官，另一位描述了印度的法院积压案件——引用 5800 万件待审案件——作为分流明确案件可以释放司法时间的场景。

几位评论者将法律 AI 视为与医学、工程和会计并列的新兴专业 AI 市场，其中一位认为，一个既正确又法律上可问责的工具存在护城河。一位更持怀疑态度的评论者认为，法律并非建立在基本公理之上，模型在真正新颖的法律问题上价值有限。

值得关注的点

GLM-Legal 的头条数字——Harvey LAB 上 19.2% 的全通过率——既是其最强的营销主张，也是其最弱的共识点。Hacker News 讨论提出的开放问题是具体且可测试的：Harvey LAB 的评分标准是否经得起外部审查，Z.ai 是否会公布训练集细节或运行抗污染基准测试，模型是否会以开放权重形式发布，以及该公司能否回答任何法律 AI 供应商现在都面临的特权和司法管辖区异议。