OpenAI, 기술적 돌파구를 주장하기 위해 사용자 대화로 학습했다는 의혹을 받다

OpenAI, 돌파구 마련을 위해 사용자 대화로 학습했다는 의혹에 직면

연구원들은 OpenAI가 기술적 돌파구를 달성하기 위해 비공개 사용자 대화를 학습 데이터로 활용하고, 그 결과를 독창적인 발견인 것처럼 제시했다는 의혹을 제기했습니다. 논란의 중심은 OpenAI가 모델과 상호작용한 학술 연구자들로부터 증명이나 솔루션을 "도용"했을 수 있으며, 결과적으로 사용자의 지적 재산을 사용하여 돌파구를 주장했다는 주장입니다.

사용자 옵트아웃(Opt-Out)과 데이터 유출 사이의 갈등

핵심 쟁점은 사용자가 학습을 거부(opt-out)할 책임이 있는지, 아니면 AI 연구소들이 학습 세트에서 데이터 유출을 방지해야 할 도덕적 및 기술적 의무가 있는지 여부입니다.

"옵트아웃" 논쟁

일부 관찰자들은 사용자가 자신의 데이터 보안에 책임을 져야 한다고 주장합니다. ChatGPT에서 "Improve the model for everyone" 설정은 기본적으로 활성화되어 있으며, 이를 통해 OpenAI가 콘텐츠를 학습에 사용할 수 있습니다. 연구원들을 비판하는 측에서는 사용자가 이 설정을 명시적으로 거부하지 않는다면, 자신의 데이터가 사용되는 것에 사실상 동의한 것으로 간주한다고 주장합니다.

"유출" 논쟁

다른 전문가들은 입증 책임이 AI 연구소에 있어야 한다고 주장합니다. 그들은 OpenAI가 돌파구를 주장하기 전에, 특정하고 고유한 솔루션이나 증명이 암기되어 다시 출력되는 데이터 유출 현상이 있는지 적극적으로 확인해야 한다고 주장합니다.

"OpenAI는 이러한 중대한 돌파구의 경우 학습 데이터의 유출 여부를 확인해야 하며, 확인할 수 있습니다. 출처를 적절히 인용하는 것은 저자의 책임입니다."

사용자 데이터 학습의 기술적 뉘앙스

사용자 데이터의 모든 사용 방식이 위험 측면에서 동일한 것은 아닙니다. 전 OpenAI 연구원인 John Schulman은 "대화로 학습"하는 다양한 정도를 강조하며, 각 방식마다 재출력(regurgitation) 위험 수준이 다릅니다:

Pretraining on user data: 사용자 토큰을 예측 대상으로 사용합니다. 이는 원본 텍스트의 재출력(암기) 위험이 높습니다.
Distillation: 사용자 프롬프트를 사용하여 대형 모델을 소형 모델로 증류(distill)합니다. 이는 재출력 위험이 낮습니다.
RL (Reinforcement Learning) Tasks: 사용자 트레이스(traces)를 사용하여 RL 작업을 구성합니다. 이는 일반적으로 암기 능력이 낮지만, 구현 방식에 따라 고객의 IP를 추출할 수 있습니다.

AI 사용자들을 위한 운영 보안(OpSec)

데이터가 어떻게 처리되는지에 대한 투명성 부족으로 인해, 기술 사용자 및 연구원들은 지적 재산을 보호하기 위한 몇 가지 "상식적인 OpSec" 조치를 제안했습니다:

Explicit Opt-Out: 계정 데이터 제어에서 학습 설정을 수동으로 비활성화합니다.
Avoid Feedback Buttons: "thumbs up/down" 피드백 버튼을 사용하면 학습 목적으로 전체 대화 내용이 수집 및 보관될 가능성이 높습니다.
Use Temporary Chats: ChatGPT와 Claude에서 제공되는 "incognito" 또는 임시 채팅 모드를 활용합니다. 이는 학습에서 제외되도록 설계되었습니다.
Be Wary of Safety Classifiers: Anthropic과 같은 일부 제공업체는 사용자가 일반 학습을 거부하더라도, 안전 분류기(safety classifiers)를 트리거거하는 채팅을 보관하고 학습에 사용할 수 있습니다.

투명성을 위한 제안된 솔루션

이러한 분쟁을 해결하기 위해, 일부 커뮤니티 구성원들은 표준화된 오염 제거(decontamination) 방법을 채택할 것을 제안합니다. 한 가지 제안은 모델이 특정 학습 샘플을 암기하지 않았음을 증명하기 위해 "canary GUIDs" (BIG-bench에서 사용되는 것과 유사한) 및 n-gram 임계값(예: GPT-3에서 사용된 13-gram 임계값)의 공개 공개를 사용하는 것입니다.