arXiv의 환각 참조에 대한 단속: AI 시대의 책임성

대규모 언어 모델(LLMs)의 학술 워크플로우 통합은 연구 결과물을 가속화했지만, 동시에 위험한 추세도 불러왔습니다. 바로 '슬롭(slop)'—권위 있어 보이지만 사실 관계가 틀린 AI 생성 콘텐츠의 확산입니다. 특히, 존재하지 않는 논문을 인용하는 '환각 참조(hallucinated references)' 현상이 과학적 기록을 오염시키기 시작했습니다.

이에 대응하여, arXiv는 학술적 소통의 무결성을 보장하기 위해 엄격한 새로운 정책을 시행하고 있습니다. 이 이니셔티브의 핵심은 근본적인 학술적 책임으로의 회귀입니다. 즉, 생성에 사용된 도구와 관계없이 인간 저자가 제출물의 모든 단어와 인용에 대해 전적으로 책임을 진다는 원칙입니다.

새로운 집행 정책

Thomas G. Dietterich에 따르면, arXiv 행동 강령은 저자가 논문에 서명함으로써 그 내용에 대해 모든 책임을 진다고 명시하고 있습니다. 이를 집행하기 위해, arXiv는 환각 참조를 포함한 논문을 제출하는 이들에게 엄격한 처벌을 도입합니다.

이러한 작업을 제출할 경우 제안된 처벌은 arXiv 이용 1년 금지입니다. 이 금지 기간이 만료된 후에도 저자가 플랫폼으로 즉시 복귀하는 것은 아닙니다. 이후의 제출물은 프리프린트 서버에 업로드하기 전에 먼저 평판이 좋은 피어 리뷰(peer-reviewed) 학술지에서 승인받아야 합니다.

이것이 과학에 중요한 이유

연구 커뮤니티의 많은 이들은 이번 조치를 필요한 개입으로 보고 있습니다. 학술 문헌은 현재 AI 생성 채우기용 콘텐츠와 부정확한 정보의 유입으로 인해 품질 위기 상황에 직면해 있으며, 이로 인해 연구자들이 진정한 통찰력을 찾는 것이 점점 더 어려워지고 있습니다.

한 커뮤니티 구성원은 다음과 같이 언급했습니다:

"학술 문헌은 모든 슬롭(slop) 때문에 위기에 처해 있습니다. 쉽게 감지 가능한 환각 현상에 대해 어떤 식으로든 결과를 초래하게 만드는 것은 좋은 일일이 수밖에 없습니다."

arXiv 접근 권한을 권리가 아닌 특권으로 취급함으로써, 플랫폼은 생성형 AI 사용 시 흔히 동반되는 '제출하고 잊어버리는(submit-and-forget)' 사고방식을 억제하는 것을 목표로 합니다. 목표는 저자가 모든 인용을 수동으로 검증하도록 강제하여, 과학적 대화가 현실에 기반을 두도록 보장하는 것입니다.

도전 과제 및 윤리적 고려 사항

커뮤니티가 부정행위에 대한 단속을 일반적으로 지지하는 한편, 이 정책은 AI 보조 연구의 경계에 대한 중요한 질문을 제기합니다.

검증 부담

한 가지 주요 우려는 빠르게 변화하는 분야, 예를 들어 reasoning agents나 autonomous AI와 같은 분야에서 참조를 검증하는 것의 어려움입니다. 이러한 분야가 전통적인 인덱싱보다 더 빠르게 움직이기 때문에, 저자에게 검증의 부담이 더 커집니다.

자율적 발견의 문제

발견의 과정에서 AI의 역할에 관한 더 깊은 철학적 질문도 존재합니다. 만약 AI가 Riemann Hypothesis의 증명과 같이 형식적으로 증명된 결과를 자율적으로 생성한다면, 커뮤니티는 해당 결과가 기술적으로는 정확하지만 기계에 의해 처음부터 끝까지 생성된 경우에도 이 규칙 하에서 허용될지 결정해야 합니다.

연구자를 위한 교훈

저자들에게 주는 교훈은 명확합니다: 초안을 세심하게 검토하십시오. 'AI 슬롭(AI slop)'—필터링되지 않은 LLM 출력물—의 존재는 전문적인 망신일 뿐만 아니라, 이제 세계에서 가장 중요한 프리프린트 서버 중 하나로부터 1년 동안 추방될 수 있는 책임이 될 수 있습니다.

한 연구자가 경고했듯이, 리뷰어들은 AI 생성 텍스트의 특징을점을 포착하는 데 점점 더 능숙해지고 있습니다. 텍스트에 문자 그대로 AI 흔적이 남은 채로 논문을 제출하는 것은 '불쾌한 수정 요청(nasty revision request)'으로 가는 지름길이며, 새로운 정책에 따라 잠재적으로 전문적인 기록에 영구적인 오점을 남길 수 있습니다.