GLM-Legal: Z.ai의 법률 에이전트 모델, Harvey LAB에서 19.2% 기록, 벤치마크·개방성·특권 논란에 휩싸여

Z.ai는 경량 GLM-5.3-Flash 기반 위에 구축된 법률 도메인 에이전트 모델인 GLM-Legal을 출시하면서 Harvey LAB 벤치마크에서 19.2%의 전체 통과율을 기록했고 LegalBench와 PLawBench에서는 최첨단 폐쇄형 모델과 동등한 성능을 보인다고 보고했습니다. 이 발표가 중요한 이유는 소규모 도메인 특화 모델과 튜닝된 에이전트 하네스가 고위험 전문 업무에서 범용 최첨단 시스템과 경쟁할 수 있는지에 대한 구체적인 시험이기 때문이며, Hacker News에서의 논의가 벤치마크가 무엇을 증명하는지, 모델이 공개될 것인지, 고객 법률 데이터가 이를 통해 흘러가야 하는지에 대해 날카로운 의견 대립을 표면화했기 때문입니다.

이 게시물은 Hacker News에서 667포인트와 359개의 댓글을 기록했습니다.

GLM-Legal이 무엇이며 무엇을 한다고 주장하는가

GLM-Legal은 Z.ai의 법률 특화 모델로, GLM-5.3-Flash 기반 위에 구축되었으며 단일 턴 질문 응답이 아닌 종단 간 법률 작업 실행을 목표로 합니다. Z.ai는 법률 작업을 "전문가 협업(Professional Cowork)"에 대한 스트레스 테스트로 규정합니다. 즉, 구체적인 목표 아래 단편적인 소스 파일을 소화하고, 전문 지식을 분석으로 구조화하며, 최종 전달까지 도메인 엄격성을 유지하는 모델을 의미합니다.

회사는 복잡한 작업 실행, 특화된 법률 추론, 실제 법률 워크플로우라는 세 가지 축으로 모델을 평가했습니다.

벤치마크 결과: Harvey LAB에서 19.2%, LegalBench와 PLawBench에서 동등한 성능

GLM-Legal은 Harvey LAB에서 19.2%를 기록하여 기본 모델보다 12.5%포인트 개선되었으며, 더 적은 파라미터에도 불구하고 LegalBench와 PLawBench에서 최첨단 폐쇄형 모델과 동등한 성능을 보입니다. Z.ai는 Harvey LAB이 24개 실무 영역에 걸친 실제 로펌 워크플로우를 다루며, 중간 단계의 성능 저하 없이 안정적인 종단 간 실행을 요구하는 엄격한 전체 통과 기준으로 평가된다고 설명합니다.

  • Harvey LAB: 19.2% 전체 통과율, 기본 모델 대비 12.5%포인트 개선.
  • LegalBench: 특화된 계약, 합병 서류, 사법 의견에서 최고 폐쇄형 최첨단 모델과 도메인 추론 동등성.
  • PLawBench: 세분화된 평가 기준에서 중국 법률 상담, 사례 분석, 문서 작성에서 선도적인 최첨단 시스템과 동등성.

Z.ai는 블로그 게시물에서 비교한 특정 폐쇄형 모델을 공개하지 않습니다.

훈련 방법론: 중간 훈련, 사후 훈련, 그리고 공진화하는 하네스

GLM-Legal의 훈련 파이프라인은 도메인 중간 훈련, 하네스 내 강화 학습 사후 훈련, 생산 피드백 루프라는 세 가지 명명된 단계로 구성됩니다.

중간 훈련은 법률 지식 기반을 구축합니다

중간 훈련은 고품질 법률 말뭉치의 양을 확장하여 모델이 밀집된 도메인 맥락에서 법률 개념, 법령 규칙, 해석 프레임워크를 학습하도록 합니다. Z.ai는 이 단계가 사실, 규칙, 결론 사이의 연역적 연결을 강화하여 다운스트림 실행을 위한 지식 기반을 제공한다고 말합니다.

사후 훈련은 모델과 에이전트 하네스를 공진화시킵니다

사후 훈련은 수만 개의 현실적인 법률 환경에서 강화 학습을 통해 도메인 지식을 작업 실행으로 전환합니다. 모델은 구체적인 제약 조건에서 분석을 계획하고, 워크플로우를 진행하며, 결과물을 생성하는 방법을 학습합니다.

하네스는 작업 컨텍스트를 관리하고, 도구 세트를 연결하며, 실행 피드백을 라우팅하는 런타임 오케스트레이션 프레임워크입니다. Z.ai는 이 설정의 두 가지 속성을 설명합니다:

  • 공동 반복 최적화: 하네스 아키텍처와 모델 훈련은 단계적으로 반복되며, 작업 구조화, 컨텍스트 수집, 런타임 피드백 루프가 에이전트 탐색을 제어합니다.
  • 양방향 학습: 모델 훈련 중 표면화된 엣지 케이스는 하네스의 아키텍처 병목을 식별하고, 하네스 개선은 모델을 현실적인 실행 제약에 노출시킵니다.

생산 피드백 루프는 실무자 판단을 손실 신호로 전환합니다

Z.ai는 생산 환경에서 법률 전문가가 구체적인 기준에 따라 출력을 평가한다고 말합니다: 모든 중요한 문제와 엣지 케이스가 다루어졌는지, 주장이 잘 입증되고 인용이 법적으로 타당한지, 결과물이 사건 브리프를 준수하는지, 다운스트림 팀이 수동 재작업 없이 출력을 사용할 수 있는지.

회사는 이러한 요구 사항을 엔지니어링 손실 신호로 전환하고, 놓친 사실, 얕은 분석, 형식 편차를 진단할 때 전체 실행 파이프라인(원시 모델 지능, 컨텍스트 스테이징, 워크플로우 로직)을 검사합니다. 발견 사항은 후속 훈련 주기를 위해 작업 환경, 평가 기준, 하네스 설계에 다시 피드백됩니다.

AutoClaw: GLM-Legal이 사용되도록 의도된 곳

Z.ai는 GLM-Legal 기능이 데스크톱 네이티브 에이전트 플랫폼인 AutoClaw에서 제공될 것이라고 말합니다. 블로그 게시물은 세 가지 법률 작업을 시연합니다.

1. 공급업체를 전환하는 고객을 위한 계약 검토

작업은 공급업체를 변경하는 고객을 위한 소프트웨어 서비스 계약을 검토하는 것으로, 종료 및 인수인계에 초점을 맞춥니다. Z.ai는 기본 GLM-5.3-Flash 출력과 GLM-Legal의 출력을 대조합니다:

  • GLM-5.3-Flash는 60일 편의 종료 통지 기간을 단축하고 고객 데이터 및 유료 결과물의 반환을 요구하는 것을 고려할 것을 제안합니다.
  • GLM-Legal은 편의 종료 통지 기간을 60일에서 30일로 줄이고, IP, 기밀성, 데이터 보안 의무 위반에 대한 치유 기간을 제거하여 고객이 즉시 종료할 수 있도록 하며, 지불 여부와 관계없이 모든 결과물과 진행 중인 작업의 반환을 요구하고, 공급업체의 현재 요율로 최대 90일간의 전환 지원을 추가할 것을 권장합니다.

Z.ai는 AutoClaw가 이러한 편집 내용을 Word 문서에 변경 추적 및 주석과 함께 배치한다고 말합니다.

2. 40개 분쟁 문서에 걸친 증거 분석

작업은 소프트웨어 프로젝트 분쟁에서 40개 문서를 분석하여 공급업체의 진행 보고서에서 모순을 식별하는 것입니다. Z.ai의 예에서 GLM-Legal은 9월 30일 "ON TRACK – 60% COMPLETE" 보고서(BR-000024)를 9월 8일 마일스톤을 정직하게 충족할 수 없다는 내부 경고(BR-000014) 및 내부 약 41% 완료 스냅샷(BR-000027)과 대조한 다음, 위험을 억제하고 계속 청구하라는 CEO 지시(BR-000015)를 공개 결정과 연결합니다. 또한 지불이 권리를 포기하지 않으며 보증이 지불 후에도 존속한다는 주장에 대해 MSA §§2 및 5를 인용합니다.

3. 국경 간 개인정보 보호 규정 준수 계획

작업은 트래킹, 이메일 마케팅, 해외 클라우드 스토리지를 사용하는 싱가포르, 말레이시아, 인도네시아에서 출시되는 웹사이트를 위한 개인정보 보호 규정 준수를 계획하는 것입니다. GLM-Legal은 우선순위 체크리스트를 생성합니다: 영어 및 인도네시아어 개인정보 보호 고지 게시, 비필수 분석 및 광고에 대한 옵트인 사용, 동의 기록 유지, 마케팅 허가를 등록과 분리, 수신 거부 요청을 억제 목록으로 라우팅, 공급업체를 데이터 목적지에 매핑, 시장별 전송 보호 조치 확인 — SG PDPA s26, MY PDPA s129, ID PDP Law Arts 55–56을 인용합니다.

가용성: 베타 액세스, 오픈 웨이트 아님

Z.ai는 로펌, 법률 기술 회사, 사내 법무 팀, 독립 실무자에게 z.ai/consultation/legal에서 API 액세스를 신청하도록 초대하고, autoclaw.z.ai에서 AutoClaw를 안내합니다. Hacker News의 댓글 작성자들은 이 발표를 오픈 웨이트 출시가 아닌 폐쇄형 API 전용 제공으로 읽었습니다.

"이건 오픈 모델이 아닌 것 같네요. 연구소들이 모델을 독점적으로 유지하는 추세 속에서 중국 모델에 대한 태도가 어떻게 바뀔지 궁금하네요." — HN 댓글 작성자 postalcoder

"잠깐, 이건 오픈 웨이트 모델이 아니죠? z.ai에서만 사용 가능한가요? 그렇다면 미국이나 EU 사람이 여기에 개인 법률 정보를 공유하면, 그 정보는 그들의 국가와 범죄인 인도 조약이 없는 적대국에 의해 처리되고 저장되는 건가요?" — HN 댓글 작성자 consumer451

또 다른 댓글 작성자는 모델이 언젠가 오픈 웨이트로 출시될지 직접 물었습니다.

벤치마크 자체가 가장 논쟁이 되는 주장입니다

여러 댓글 작성자는 19.2%의 전체 통과율이 중요한 숫자가 아니며 Harvey LAB 벤치마크 자체가 신뢰할 수 있는 측정 도구가 아닐 수 있다고 주장했습니다.

"변호사로서 저는 벤치마크에서 20% 통과율에 특별히 감명받지 않습니다. 소송 실무의 핵심은 새로운 상황에 대비하는 것이지 과거의 상황을 다시 다루는 것이 아니기 때문입니다." — HN 댓글 작성자 otterley

한 댓글 작성자는 Harvey 벤치마크의 기업 지식 하위 집합에서 에이전트 추적을 검사했으며 여러 문제가 있는 작업과 평가 기준을 발견했다고 말하며 github.com/harveyai/harvey-labs/issues/191의 특정 이슈 스레드에 링크했습니다.

"Harvey 벤치마크가 얼마나 좋은지 확실하지 않네요. 최근에 그들의 기업 지식 작업 하위 집합을 푸는 에이전트의 추적을 살펴봤는데 여러 문제가 있는 작업과 평가 기준을 발견했습니다." — HN 댓글 작성자 mathis-l

별도의 우려는 오염이었습니다: 훈련 세트가 공개되지 않았기 때문에, 훈련 데이터에 테스트 세트와 유사한 작업이 포함되어 있다면 벤치마크 결과가 무의미할 수 있다고 한 댓글 작성자는 주장했으며, 테스트를 동적으로 생성하고 전역 결과만 공개하는 벤치마크가 더 강력한 신호를 제공할 것이라고 제안했습니다.

다른 사람들은 이름이 명시된 최첨단 경쟁자가 없다는 점을 지적했습니다. 한 댓글 작성자는 게시물이 다른 연구소의 최신 플래그십 모델과 비교하지 않는다고 관찰하며 벤치마크를 "과대광고용"이라고 불렀습니다. 또 다른 사람은 블로그 게시물이 동일한 벤치마크에서 잘 수행되는 것으로 보이는 Meta Spark 모델을 생략했다고 지적하며 vals.ai/benchmarks/hlab를 인용했습니다.

관할권, 특권, 책임 문제가 스레드를 지배합니다

댓글 작성자들은 모델이 어떤 법체계를 위해 구축되었는지, 그리고 다른 관할권의 법리를 혼합하지 않을 수 있는지 반복적으로 물었습니다.

"어떤 법체계를 위해 설정되었는지 말해주면 좋겠네요. 미국법? 중국법? 유럽법? 전부? 작성자는 우리가 알 것이라고 가정하는 것 같아요." — HN 댓글 작성자 bb123

"법은 국가별로 다르기 때문에 누가 이걸 신뢰할 수 있을지 여전히 혼란스럽습니다. 아일랜드 법에 대해 물어보면 훈련 데이터에 미국과 영국 법이 많아서 그걸 섞을까요? 아니면 혼합된 것을 환각할까요?" — HN 댓글 작성자 Havoc

한 댓글 작성자는 시연된 예가 영미법 국가에 치우쳐 있으며, 미국/영국식 시스템에 맞춰진 도구가 다른 법체계에서 사용될 때 파급 효과가 있을지 궁금해했습니다.

특권과 기밀성에 대해 한 댓글 작성자는 이메일을 제3자 서비스에 연결하는 것이 법적 특권을 상실시키지 않는 이유를 물었고, 다른 사람은 책임 모델을 직접 제기했습니다:

"이러한 모델의 책임 모델은 빈약합니다. 그 영역에서의 진전이 큰 초점이 되어야 한다고 생각합니다." — HN 댓글 작성자 theokrueger

한 댓글 작성자는 변호사가 AI를 사용할 때 의무적 공개 규칙을 요구하며, 고객이 변호사의 프롬프트 실수 위험을 부담해서는 안 된다고 주장했습니다. 다른 사람은 법률 AI 논의가 다루어야 할 맥락으로 AI 환각 법원 사례 목록을 인용했습니다.

한 댓글 작성자는 Anthropic의 정책 업데이트를 인용하며 공급업체가 이미 고위험 사용 사례에 대한 통제를 주장하고 있다는 증거로 제시했습니다:

"우리 제품이 누군가의 건강, 법적 권리, 재정, 생계, 또는 필수 서비스 접근에 영향을 줄 수 있는 방식으로 사용될 때, 우리는 자격을 갖춘 '인간 개입'(즉, Claude의 권장 사항을 검토하고 필요한 경우 변경할 권한이 있는 사람)을 요구하며, 영향을 받는 개인에게 AI가 사용되었음을 알리도록 요구합니다." — HN 댓글 작성자 victor9000이 인용

별도의 댓글 작성자는 이전 개인정보 보호 논란을 제기하며 Z.ai가 모든 프롬프트 전에 전체 작업 공간을 스냅샷했다고 주장했고, 그러한 행동을 한 회사에서 법률 제품을 어떻게 신뢰할 수 있는지 물었습니다.

댓글 작성자들이 법률 AI가 실제로 도움이 된다고 생각하는 곳

스레드에서 가장 구체적인 AI 찬성 주장은 반복적인 OEM 계약 템플릿을 수정하기 위해 Claude를 사용한 다음 변호사가 최종 확인을 하도록 한 댓글 작성자에게서 나왔습니다.

"저는 먼저 Claude를 사용해 보았고, 제 변호사도 그들이 놓친 것을 찾아낸 것에 감명받았습니다. 그런 다음 Claude로 그 유형의 계약을 수정했고 상대방은 '당신 변호사가 놀랍도록 철저하네요'라고 말했습니다. 저는 변호사에게 최종 확인을 맡겼지만, 처음 세 라운드를 Claude로 처리하여 많은 비용을 절약했습니다." — HN 댓글 작성자 jedberg

같은 댓글 작성자는 벤치마크를 일반 작업과 새로운 작업으로 나누어야 한다고 제안하며, LLM이 일반적으로 신입 변호사나 법률 비서에게 위임되는 작업에는 강하지만 파트너가 수행하는 작업에는 강하지 않다고 주장했습니다.

다른 댓글 작성자들은 구조적 수요를 지적했습니다: 한 사람은 AI가 과중한 판사를 도울 수 있다고 제안했고, 다른 사람은 인도의 법원 적체(5,800만 건의 미결 사건)를 명확한 사건을 분류하여 법원 시간을 확보할 수 있는 곳으로 설명했습니다.

여러 댓글 작성자는 법률 AI를 의학, 공학, 회계와 함께 떠오르는 전문 AI 시장으로 규정했으며, 한 사람은 정확하고 법적으로 책임질 수 있는 도구에 해자가 존재한다고 주장했습니다. 더 회의적인 댓글 작성자는 법이 기본 공리에 기반하지 않으며 모델이 진정으로 새로운 법적 질문에서 가치가 제한적이라고 주장했습니다.

주목할 점

GLM-Legal의 헤드라인 숫자 — Harvey LAB에서 19.2% 전체 통과 — 는 동시에 가장 강력한 마케팅 주장이자 가장 약한 합의 지점입니다. Hacker News 스레드가 제기하는 열린 질문은 구체적이고 테스트 가능합니다: Harvey LAB 평가 기준이 외부 검토에서 견딜 수 있는지, Z.ai가 훈련 세트 세부 정보를 공개하거나 오염 저항 벤치마크를 실행할지, 모델이 언젠가 오픈 웨이트로 출시될지, 그리고 회사가 모든 법률 AI 공급업체가 직면하는 특권 및 관할권 반대를 해결할 수 있는지입니다.

Sources

관련