잉글랜드와 웨일스 경찰, 법정 진술서 작성 시 AI 사용 중단 명령 받음

잉글랜드와 웨일스의 경찰 조직들은 법정 진술서 작성 시 인공지능(AI) 사용을 중단하라는 지시를 받았습니다. 이번 지침은 상용 AI 도구들이 적절한 평가 없이 배포되고 있으며, AI가 생성한 텍스트에 대한 인간의 검토에 의만 의존하는 것은 오류나 환각(hallucinations) 현상에 대한 불충분한 안전장치라는 우려에서 비롯되었습니다.

법률 문서에서 평가되지 않은 AI 배포의 위험성

법 집행 기관들은 이러한 시스템들이 법적 증언이라는 사용 사례에 대해 적절한 평가를 거치기 전에 Microsoft Copilot을 포함한 상용 AI 도구들을 배포해 왔습니다. 주요 위험은 사용자들이 AI가 생성한 초안을 시작점이 아닌 최종 결과물로 취급하며 안주하게 되는 경향입니다.

많은 경찰 조직이 경찰관들이 "모든 생성물을 확인해야 한다"는 정책을 명시하고 있지만, 비판론자들은 이것이 법정 진술서의 무결성을 보장하기 위한 실행 가능한 해결책이 아니라고 주장합니다. Hacker News의 커뮤니티 토론에서 언급된 바와 같이, 경찰관들이 도구의 편리함에 익숙해지면 단순히 "내용을 벽 너머로 던져버리는(throw stuff over the wall)" 중대한 위험이 존재합니다.

상용구(Boilerplate)와 주관적 증언 사이의 결정적인 차이

법 집행 분야에서 AI를 효과적으로 사용하려면 행정적 상용구와 주관적 증거 사이를 엄격히 구분해야 합니다. 사건을 설명하는 데 사용되는 특정 어휘는 법적 맥락에서 매우 중요합니다. 따라서 주관적인 정보는 AI의 종합이 아닌 경찰관 자신의 관찰과 인지 과정에서 비롯되어야 합니다.

상용구 텍스트의 경우, 대규모 언어 모델(LLMs)과 관련된 "환각" 현상에 비해 더 신뢰할 수 있고 오류가 적은 전통적인 복사-붙여넣기 방식과 비교했을 때 AI의 유용성에 의문이 제기되고 있습니다.

AI 생성 텍스트에 대한 제안된 대안

행정적 부담을 줄이면서 증거의 증거력을 높이기 위해, 일부에서는 비디오 기반 보고 방식으로의 전환을 제안합니다. 이 방식은 경찰관이 사건 발생 직후 사실 관계와 결정의 이유를 구술하는 것을 포함합니다.

이 방식의 장점은 다음과 같습니다:

• 즉각적인 기록: 사실 관계가 경찰관의 기억에 생생할 때 기록됩니다.
• 변조 방지: 비디오는 일반적으로 평문 텍스트보다 AI 기반 조작에 더 강한 저항성을 가집니다.
• 진정성: 몸짓 언어와 구두 증언은 서면 보고서보다 더 많은 맥락을 제공합니다.
• 효율성: 자동 전사(Auto-transcription) 기능을 사용하여 증언의 원래 출처를 희생하지 않으면서 법정 기록에 필요한 텍스트를 생성할 수 있습니다.

정부의 AI 도입에 관한 광범위한 Implications

잉글랜드와 웨일스의 상황은 공공 부문에서 생산성 격차를 해소하기 위해 AI를 도입하는 것과 관련된 더 넓은 긴장 관계를 반영합니다. 특히 정확성이 무엇보다 중요한 사법부와 같은 고위험 환경에 도구가 적용될 때, 실현되지 않을 수도 있는 생산성 향상을 약속하는 AI 기업들에 상당한 납세자의 세금이 투입되고 있다는 우려가 있습니다.