GLM-Legal: Z.aiの法務エージェントモデル、Harvey LABで19.2%を記録、ベンチマーク・オープン性・特権をめぐり批判を浴びる

Z.aiは、軽量なGLM-5.3-Flash基盤モデル上に構築された法務ドメイン特化型エージェントモデルGLM-Legalを公開し、Harvey LABベンチマークで19.2%のオールパス率を達成し、LegalBenchとPLawBenchではフロンティアのクローズドソースモデルと同等の性能を報告しました。この発表が重要なのは、より小型でドメイン特化したモデルと調整されたエージェントハーネスが、高度な専門業務において汎用フロンティアシステムと競争できるかどうかの具体的な試金石となるからです。また、Hacker Newsでの議論では、ベンチマークが何かを証明するのか、モデルがオープンになるのか、クライアントの法務データをこのモデルに流すべきかどうかについて、激しい意見の対立が表面化しました。

この投稿はHacker Newsで667ポイント、359コメントを獲得しました。

GLM-Legalとは何か、そして何を主張しているか

GLM-Legalは、Z.aiが開発した法務特化型モデルで、GLM-5.3-Flash基盤上に構築されており、単発の質問応答ではなく、エンドツーエンドの法務タスク実行を目的としています。Z.aiは法務業務を「プロフェッショナル・カウワーク」のストレステストと位置づけています。これは、具体的な目標のもとで断片的なソースファイルを理解し、専門知識を分析に構造化し、最終成果物までドメインの厳密性を維持するモデルを指します。

同社は、複雑なタスク実行、専門的な法的推論、実世界の法務ワークフローの3つの軸でモデルを評価しました。

ベンチマーク結果: Harvey LABで19.2%、LegalBenchとPLawBenchで同等

GLM-LegalはHarvey LABで19.2%を記録し、ベースモデルから12.5ポイント改善しました。また、パラメータ数が少ないにもかかわらず、LegalBenchとPLawBenchではフロンティアのクローズドソースモデルと同等の性能を示しました。Z.aiはHarvey LABについて、24の業務分野にわたる実世界の法律事務所ワークフローをカバーし、中間段階での性能低下なしに信頼性の高いエンドツーエンド実行を要求する厳格なオールパス基準で評価されると説明しています。

  • Harvey LAB: オールパス率19.2%、ベースモデルから12.5ポイント改善。
  • LegalBench: 専門的な契約、合併申請、司法判断において、トップのクローズドソースフロンティアモデルとドメイン推論で同等と説明。
  • PLawBench: 中国語の法律相談、事例分析、文書作成において、詳細な評価基準のもとで主要フロンティアシステムと同等と説明。

Z.aiはブログ投稿で比較対象となった特定のクローズドソースモデルを公開していません。

トレーニング方法論: ミッドトレーニング、ポストトレーニング、共進化するハーネス

GLM-Legalのトレーニングパイプラインには、ドメインミッドトレーニング、ハーネス内での強化学習ポストトレーニング、本番環境からのフィードバックループという3つの名前付きステージがあります。

ミッドトレーニングは法的知識基盤を構築する

ミッドトレーニングでは、高品質な法務コーパスの量を拡大し、モデルが密集したドメインコンテキストで法的概念、法規、解釈枠組みを学習できるようにします。Z.aiは、このステージが事実、規則、結論の間の演繹的接続を強化し、下流の実行のための知識基盤を提供すると述べています。

ポストトレーニングはモデルとエージェントハーネスを共進化させる

ポストトレーニングでは、数万の現実的な法務環境での強化学習を通じて、ドメイン知識をタスク実行に変換します。モデルは、分析を計画し、ワークフローを進め、具体的な制約下で成果物を生成することを学習します。

ハーネスは、タスクコンテキストを管理し、ツールセットを接続し、実行フィードバックをルーティングするランタイムオーケストレーションフレームワークです。Z.aiはこのセットアップの2つの特性を説明しています。

  • 共反復最適化: ハーネスアーキテクチャとモデルトレーニングは連動して反復され、タスク構造化、コンテキスト取り込み、ランタイムフィードバックループがエージェントの探索を制御します。
  • 双方向学習: モデルトレーニング中に表面化したエッジケースはハーネスのアーキテクチャ上のボトルネックを特定し、ハーネスの改良はモデルを現実的な実行制約にさらします。

本番環境からのフィードバックループは実務家の判断を損失シグナルに変換する

Z.aiは、本番環境の法務専門家が具体的な基準に基づいて出力を評価すると述べています。すべての重要な問題とエッジケースが対処されているか、議論が十分に裏付けられ引用が法的に健全か、成果物が案件ブリーフに準拠しているか、下流チームが手作業なしで出力を使用できるか、などです。

同社はこれらの要件を工学的な損失シグナルに変換し、見逃した事実、浅い分析、形式逸脱を診断する際に、生のモデルインテリジェンス、コンテキストステージング、ワークフローロジックを含む実行パイプライン全体を検査します。発見事項は、その後のトレーニングサイクルのためにタスク環境、評価ルーブリック、ハーネス設計にフィードバックされます。

AutoClaw: GLM-Legalの使用が想定される場所

Z.aiは、GLM-Legalの機能がデスクトップネイティブのエージェントプラットフォームAutoClawで利用可能になると述べています。ブログ投稿では3つの法務タスクがデモンストレーションされています。

1. プロバイダーを変更するクライアント向けの契約レビュー

タスクは、ベンダーを変更するクライアント向けのソフトウェアサービス契約をレビューし、終了と引き継ぎに焦点を当てるものです。Z.aiはベースのGLM-5.3-Flash出力とGLM-Legalの出力を対比しています。

  • GLM-5.3-Flashは、60日間の都合による終了通知期間の短縮を検討し、クライアントデータと有料成果物の返還を要求することを提案。
  • GLM-Legalは、都合による終了通知を60日から30日に短縮し、IP、機密性、データセキュリティ義務の違反に対する治癒期間を削除してクライアントが即時終了できるようにし、支払いの有無にかかわらずすべての成果物と進行中の作業の返還を要求し、プロバイダーの当時のレートで最大90日間の移行支援を追加することを推奨。

Z.aiは、AutoClawがこれらの編集をWord文書に変更履歴とコメント付きで配置すると述べています。

2. 40件の紛争文書にわたる証拠分析

タスクは、ソフトウェアプロジェクト紛争からの40件の文書を分析し、プロバイダーの進捗報告の矛盾を特定することです。Z.aiの例では、GLM-Legalは9月30日の「順調 – 60%完了」報告（BR-000024）を、9月8日のマイルストーンを正直に達成できないという内部警告（BR-000014）および内部の約41%完了スナップショット（BR-000027）と照合し、リスクを隠蔽して請求を続けるよう指示したCEOの指示（BR-000015）を開示決定に結び付けます。また、支払いが権利を放棄せず、保証が支払い後も存続するという命題についてMSA §§2および5を引用しています。

3. クロスボーダーのプライバシーコンプライアンス計画

タスクは、シンガポール、マレーシア、インドネシアでローンチするウェブサイトのプライバシーコンプライアンスを計画することであり、トラッキング、メールマーケティング、海外クラウドストレージを含みます。GLM-Legalは優先順位付きチェックリストを生成します。英語とインドネシア語のプライバシー通知を公開し、非必須の分析・広告にはオプトインを使用し、同意記録を保持し、マーケティング許可を登録から分離し、配信停止リクエストを抑制リストにルーティングし、ベンダーをデータ宛先にマッピングし、市場ごとの移転保護措置を確認する — SG PDPA s26、MY PDPA s129、ID PDP法第55〜56条を引用。

可用性: ベータアクセス、オープンウェイトではない

Z.aiは、法律事務所、リーガルテック企業、社内法務チーム、独立系実務家に対し、z.ai/consultation/legalでAPIアクセスを申請するよう招待し、autoclaw.z.aiのAutoClawを案内しています。Hacker Newsのコメント投稿者は、この発表をオープンウェイトリリースではなく、クローズドでAPI限定の提供と解釈しました。

「これはオープンモデルではないようです。ラボがプロプライエタリに保つ傾向にある中で、中国モデルに対する感情がどう変わるか興味があります。」 — HNコメンター postalcoder

「待って、つまりこれはオープンウェイトモデルではないということですか？ z.ai経由でのみ利用可能？ つまり、米国やEUの人がここでプライベートな法務情報を共有した場合、自国との犯罪人引き渡し条約がない敵対国によって処理・保存されるということですか？」 — HNコメンター consumer451

別のコメンターは、モデルがいつかオープンウェイトとしてリリースされるかどうかを直接尋ねました。

ベンチマーク自体が最も争われている主張

複数のコメンターが、19.2%のオールパス率は重要ではなく、Harvey LABベンチマーク自体が信頼できる尺度ではない可能性があると主張しました。

「弁護士として、ベンチマークでの20%の合格率には特に感心しません。訴訟実務の要点は、新しい状況に備えることであり、過去の状況を再訴訟することではありません。」 — HNコメンター otterley

あるコメンターは、Harveyベンチマークのファーム知識サブセットからのエージェントトレースを調査し、複数の問題のあるタスクとルーブリックを発見したと述べ、github.com/harveyai/harvey-labs/issues/191の特定のイシュースレッドにリンクしました。

「Harveyベンチマークがどれほど優れているかはわかりません。最近、エージェントがファーム知識タスクサブセットを解くトレースを調べたところ、複数の問題のあるタスクとルーブリックを見つけました。」 — HNコメンター mathis-l

別の懸念は汚染でした。トレーニングセットが開示されていないため、トレーニングデータにテストセットと類似したタスクが含まれている場合、ベンチマーク結果は無意味になる可能性があるとコメンターは主張し、テストを動的に生成しグローバルな結果のみを明らかにするベンチマークがより強力なシグナルを与えると提案しました。

また、名前の挙がったフロンティア競合他社が存在しないことも指摘されました。あるコメンターは、この投稿が他のラボの最新フラッグシップモデルと比較しておらず、ベンチマークを「誇大広告のため」と呼びました。別のコメンターは、ブログ投稿が同じベンチマークで良好なパフォーマンスを示すMeta Sparkモデルを省略していると指摘し、vals.ai/benchmarks/hlabを引用しました。

管轄権、特権、責任の問題がスレッドを支配

コメンターは繰り返し、このモデルがどの法体系向けに構築されているのか、異なる管轄区域の法理を混在させないかどうかを尋ねました。

「どの法体系向けに設定されているかが書かれていると良いですね。米国法？ 中国法？ 欧州法？ すべて？ 著者は私たちが知っていると思っているようです。」 — HNコメンター bb123

「法律は国固有なので、誰がこれを信頼するのかまだ混乱しています。アイルランド法について尋ねたら、トレーニングデータに米国法や英国法がたくさんあるので、それらを混ぜてしまうのでしょうか？ それとも混合物を幻覚するのでしょうか？」 — HNコメンター Havoc

あるコメンターは、デモンストレーションされた例がコモンロー諸国に偏っていると観察し、米国/英国型システム向けのツールが他の法体系で使用された場合の波及効果について疑問を呈しました。

特権と機密性について、あるコメンターは、メールをサードパーティサービスに接続しても法的特権が失われないのはなぜかと尋ね、別のコメンターは責任モデルに直接言及しました。

「これらのモデルの責任モデルは貧弱です。この分野の進歩に重点を置くべきだと思います。」 — HNコメンター theokrueger

あるコメンターは、弁護士がAIを使用する際の強制的な開示規則を求め、クライアントが弁護士のプロンプトミスのリスクを負うべきではないと主張しました。別のコメンターは、AI幻覚に関する裁判例のリストを引用し、法務AIの議論が対処しなければならない文脈として挙げました。

あるコメンターは、Anthropicのポリシー更新を引用し、ベンダーがすでに高リスクのユースケースに対する管理を主張している証拠としました。

「当社の製品が、健康、法的権利、財務、生計、または必須サービスへのアクセスに影響を与える可能性のある方法で使用される場合、資格のある「ヒューマン・イン・ザ・ループ」（つまり、Claudeの推奨事項をレビューし、必要に応じて変更する権限を持つ人物）が存在し、影響を受ける個人にAIが使用されたことが伝えられることを要求します。」 — HNコメンター victor9000による引用

別のコメンターは、以前のプライバシー論争を提起し、Z.aiがすべてのプロンプトの前にワークスペース全体をスナップショットしていたと主張し、そのようなことをした会社から法務製品をどう信頼できるかと尋ねました。

コメンターが法務AIが実際に役立つと考える場所

スレッドで最も具体的なAI賛成論は、Claudeを使用して繰り返し発生するOEM契約テンプレートをレッドラインし、その後弁護士に最終チェックを依頼したというコメンターの説明から来ました。

「最初にClaudeを使ってみたところ、弁護士も見逃していた点を見つけたことに感心していました。その後、Claudeを使ってそのタイプの契約をレッドラインしたところ、相手方は「あなたの弁護士は驚くほど徹底していますね」と言いました。最終チェックは弁護士に依頼しましたが、最初の3ラウンドをClaudeで行うことでかなりの費用を節約できました。」 — HNコメンター jedberg

同じコメンターは、ベンチマークを一般的なタスクと新しいタスクに分割することを提案し、LLMは通常、新人アソシエイトやパラリーガルに委任される作業には強いが、パートナーが行う作業には強くないと主張しました。

他のコメンターは構造的な需要を指摘しました。あるコメンターはAIが過負荷の裁判官を支援できると提案し、別のコメンターはインドの裁判所のバックログ（5,800万件の未処理事件）を、明確な事件をトリアージすることで司法時間を解放できる場所として説明しました。

複数のコメンターは、法務AIを医療、工学、会計と並ぶ新興のプロフェッショナルAI市場と位置づけ、正確で法的に説明責任のあるツールには堀が存在すると主張しました。より懐疑的なコメンターは、法律は基本公理に基づいて構築されておらず、モデルは真に新しい法的問題では限定的な価値しかないと主張しました。

注目すべき点

GLM-Legalの見出しとなる数字 — Harvey LABでの19.2%のオールパス率 — は、最も強力なマーケティング主張であると同時に、最も弱い合意点でもあります。Hacker Newsスレッドが提起する未解決の質問は具体的で検証可能です。Harvey LABのルーブリックが外部レビューに耐えるかどうか、Z.aiがトレーニングセットの詳細を公開するか汚染耐性のあるベンチマークを実行するかどうか、モデルがいつかオープンウェイトとしてリリースされるかどうか、そして同社が現在すべての法務AIベンダーが直面する特権と管轄権の異議に答えることができるかどうかです。

Sources

関連