harveyai/harvey-labs

解决的问题

Harvey LAB 解决了衡量 AI 智能体在专业法律环境中表现的难题。它提供了一种标准化的方法，用于测试智能体是否能够准确处理复杂的现实法律任务。

工作原理

该项目由两个主要部分组成：一个包含超过 2,000 项法律任务的综合数据集（包括指令、源文档和评分标准），以及一个执行工具。开发者可以使用 lab-core Python 包来针对这些任务运行其智能体，系统随后会根据提供的评分标准评估智能体的输出，从而生成性能报告和对比仪表板。

适用对象

它专为构建法律行业 AI 智能体的研究人员和开发者设计，他们需要一个严谨、可重复的框架来对模型在真实法律工作流中的表现进行基准测试。

主要亮点

• 包含涵盖 24 个执业领域的超过 2,000 项法律任务。
• 提供用于运行和评分智能体表现的执行工具。
• 通过评分标准和基于 LLM 的评估支持详细的评估。
• 提供用于集成到自定义智能体开发工作流中的 Python 库 (lab-core)。