harveyai/harvey-labs

解決する課題

Harvey LABは、専門的な法務環境におけるAIエージェントのパフォーマンスを測定する難しさを解決します。AIエージェントが複雑で現実的な法務タスクを正確に処理できるかどうかをテストするための標準化された方法を提供します。

仕組み

このプロジェクトは、2,000以上の法務タスク（指示、ソースドキュメント、採点基準を含む）からなる包括的なデータセットと、実行ハーネスの2つの主要コンポーネントで構成されています。開発者は lab-core Pythonパッケージを使用して、これらのタスクに対してエージェントを実行します。システムは提供された採点基準に基づいてエージェントの出力を評価し、パフォーマンスレポートや比較ダッシュボードを生成します。

対象ユーザー

法務業界向けのAIエージェントを構築する研究者や開発者向けに設計されており、現実的な法務ワークフローにおけるモデルのパフォーマンスをベンチマークするための厳密で再現可能なフレームワークを必要とする方に最適です。

ハイライト

• 24の業務分野にわたる2,000以上の法務タスクを収録。
• エージェントのパフォーマンスを実行および採点するための実行ハーネスを提供。
• 採点基準とLLMベースの判定による詳細な評価をサポート。
• カスタムエージェント開発ワークフローに統合するためのPythonライブラリ (lab-core) を提供。