법률 실무에서의 AI 환각 현상의 위험성

대규모 언어 모델(LLM)의 법률 전문직으로의 통합은 효율성과 속도를 약속했습니다. 그러나 반복적이고 위험한 추세가 나타났습니다. 바로 변호사들이 법원 제출 서류에 존재하지 않는 법적 판례—'환각(hallucinations)'—를 인용하는 것입니다. 이 현상은 전문적 과실과 자동화된 도구에 대한 과도한 의존이 만나는 임계 지점을 보여줍니다.

AI 환각의 문제점

AI 모델은 법적 기록의 사실적 데이터베이스를 검색하도록 설계된 것이 아니라, 시퀀스에서 다음에 올 가능성이 가장 높은 토큰을 예측하도록 설계되었습니다. 판례법을 요청받을 때, 이러한 모델들은 그럴듯한 사건명, 권수, 법적 논거를 갖춘, 실제처럼 보이는 인용구를 생성하지만, 이는 완전히 조작된 것입니다.

법률 전문가들에게 위험은 전문적 기준의 정확성에 있습니다. 법은 전제된 시스템입니다. 가짜 판례를 인용하는 것은 단순한 기술적 오류가 아니라, 법원에 대한 성실 의무(duty of candor)를 근본적으로 저버리는 행위입니다.

기계에 대한 신뢰의 심리학

전문가들은 기계가 인간보다 더 많은 지식을 가지고 있으며 본질적으로 오류가 없다고 믿는 광범위한 경향이 있다고 제안합니다. 이러한 '자동화 편향(automation bias)'은 실무자들이 검증 없이 AI의 결과물을 신뢰하게 만듭니다.

하지만 비판론자들은 이러한 신뢰가 무지에서 비롯된 것이 아니라 효율성에 대한 욕구에서 비롯된다고 주장합니다. 한 관찰자는 다음과 같이 언급했습니다:

"기계가 고장 나고 실패할 수 있다는 것을 사람들이 알고 있다고 의심됩니다. 그들은 단지 게으르고, 가능한 한 자주 자신의 업무를 컴퓨터에 넘겨주고 싶어 할 뿐입니다."

이러한 관점에서 '컴퓨터가 그랬다'는 변명은 종종 수동 검증이라는 엄격하고 시간이 많이 소요되는 작업을 피하기 위한 방패로 사용됩니다.

검증의 비용

이 문제의 주요 동인 중 하나는 법률 실무 내의 경제적 압박입니다. 인용구를 검증하는 과정은 여러 단계를 포함합니다: LexisNexis 또는 Google Scholar와 같은 데이터베이스에서 해당 사건이 존재하는지 확인하고, 그 다음 요약을 읽어 문맥이 AI의 설명과 일치하는지 확인하는 것입니다.

이 검증 과정은 인턴이나 법률 보조원(paralegal)의 인적 노동을 필요로 합니다. 로펌이 이러한 확인을 수행하는 데 필요한 몇 시간의의 노동을 투자할 의사가 없을 때, 그들은 제출 서류의 무결성을 위험에 빠뜨리게 됩니다. AI가 생성한 인용구를 검증하지 못하는 것은 본질적으로 법률 업무의 기본적인 품질 보증에 투자하지 못하는 실패입니다.

책임과 전문적 결과

법률 전문직은 자율 규제 체계이며 판례법의 무결성에 의존하기 때문에, 이러한 오류에 대한 결과는 엄중해야 합니다. 어떤 이들은 이러한 환각을 기술적 결함으로 볼 수도 있지만, 이는 전문직 윤리 위반을 나타냅니다.

일부에서는 유일하고 효과적인 억제책은 변호사 자격 박탈(disbarment)이라고 주장합니다. 그 논리는, 일단 몇 명의 변호사가 AI 생성 콘텐츠를 검증하지 못한 것에 대해 자격증을 상과하게 되면, 업계가 자신이 보수를 받는 업무를 수행하는 데 필요한 엄격함으로 돌아갈 것이라는 것입니다. 그때까지는 AI의 효율성과 동일한 전문적 책임 사이의 긴장 관계가 법률 분야의 중대한한 위험으로 남아 있을 것입니다.