OpenAI와 미발표 수학 연구의 윤리

갈등: LLM 시대의 지적 재산권

연구자들은 프런티어 AI 연구소, 특히 OpenAI가 미발표 수학 연구를 신뢰할 수 있는지에 대해 심각한 우려를 제기하고 있습니다. 논란의 핵심은 브레인스토밍이나 검증을 위해 AI와 공유한 독점적인 아이디어가 학습 데이터셋에 포함되거나, 내부 팀이 학술적 돌파구를 가로채기 위해 사용될 위험이 있다는 점입니다.

이 논쟁은 수학자 Andreas Thom이 non-sofic group의 발견과 관련하여 OpenAI와 나눈 대화 내용을 상세히 설명하면서 다시 불붙었습니다. Thom은 ChatGPT와 expander matching problem 및 관련 확장 연구에 대해 논의한 후, OpenAI가 그의 연구와 유사한 발견을 발표했다는 점에 주목했습니다. 질문을 받았을 때, OpenAI 관계자들은 대화가 결과에 영향을 미치지 않았다는 점을 단정적으로 부인했지만, 나중에 나온 성명에서는 "[사용자] 사용으로부터 파생된 비식별 데이터"가 모델 개선에 도움이 되었을 수 있다고 시사했습니다.

"Opt-Out"의 역설과 데이터 흡수

쟁점의 핵심은 개인정보 보호 설정과 opt-out 설정의 실효성입니다. 사용자가 "모두를 위해 모델 개선(Improve the model for everyone)" 설정을 비활성화할 수 있지만, 커뮤니티에서는 몇 가지 기술적 및 절차적 허점이 있다고 지적합니다:

Temporal Gaps (시간적 격차): opt-out을 선택하면 일반적으로 새로운 대화에만 적용됩니다. opt-out을 하기 전에 공유된 데이터는 학습 코퍼스에 남아 있습니다.
Implicit Feedback (암묵적 피드백): 응답에 대해 "따봉(thumbs up/down)"을 클릭하거나 선호하는 출력을 선택하는 등의 행동은 일반적인 학습 opt-out 설정과 관계없이 데이터 흡수를 유발할 수 있습니다.
De-identification (비식별화): OpenAI는 비식별 데이터를 사용할 수 있다는 가능성을 배제할 수 없다고 밝혔습니다. 비판론자들은 고급 수학과 같이 신호 대 잡음비가 좁고 높은 도메인에서는, 고유한 증명이나 새로운 접근 방식의 "비식별화"가 아이디어의 지적 가치를 제거하지 않으며, 결과적으로 모델이 특정 사용자 데이터를 사용하지 않았다고 주장하면서도 연구자의 아이디어를 "가로채는(scoop)" 것을 가능하게 한다고 주장합니다.
Backend Activations (백엔드 활성화): 일부에서는 모델 활성화(prompt에 의해 트리거되는 내부 수학적 표현)가 맵핑될 수 있으며, 이를 통해 원시 텍스트를 "학습 데이터"로 사용하지 않고도 모델의 잠재적 표현을 개선하는 데 사용될 수 있다고 주장합니다.

학술적 기여도 "세탁"

학습의 기술적 측면을 넘어, 정보의 "세탁"에 관한 더 넓은적은 윤리적 우려가 있습니다. 만약 모델이 연구자 A의 미발표 연구를 학습하고, 그 후 연구자 B(또는 OpenAI 내부 팀)가 그 모델을 사용하여 문제를 해결한다면, 연구자 A의 원래 기여도는 기여도 표시 없이 사라지게 됩니다.

"OpenAI는 중개자로서 B에서 A로 정보를 세탁하여 기여도를 삭제했습니다. A가 자신도 모르게 B를 가로챘습니다!"

이는 AI 기업이 의도치 않게(또는 의도적으로) 지적 재산권 도용용 통로 역할을 하게 되는 시나리오를 만듭니다. 즉, 모델의 출력은 미발표된 인간의 입력값의 종합이 아니라, AI 또는 그 개발자의 돌파구로 제시됩니다.

반론: 무차별 대입(Brute Force) vs. 직관

일부 관찰자들은 AI의 직관에 수학자들의 아이디어를 "심어주는(seeding)" 것에 대한 의심을 충분히 과대평가하고 있다고 주장합니다. 그들은 현재 AI의 발전 방향—특히 수학과 같이 검증 가능한 도메인에서 대규모 컴퓨팅 자원과 강화 학습(RL)을 사용한다는 점—이 모델이 초인적인 기술을 독립적으로 발견할 수 있게 한다고 제안합니다.

이 경우, 논거는 수학이 self-play를 통해 검증 가능한 완전한 도메인이라는 점입니다. 충분한 컴퓨팅 자원을 가진 탐색 에이전트(search agent)는 휴리스틱 무차별 대입(heuristic brute force)과 RL을 통해 Millennium Prize 문제를 (예: Navier-Stokes 존재성과 매끄러움 문제) 해결할 수 있으며, 이로 인해 특정 사용자의 prompt가 최종적인 돌파구에 아무런 영향을 미하지 않을 수 있습니다. 나머지

연구자를 위한 위험 요약

과학의 최런선에 있는 학계 및 연구자들에게, 비판론자들 사이의 현재 합의는 완전한 개인정보 보호가 결치함를 가정하는 것입니다. 권장되는 보호 조치는 다음과 같습니다:

Local LLMs: 개인용 하드웨어에서 추론(inference)을 실행하여 데이터가 로컬 환경을 벗어나지 않도록 합니다.
Business Accounts: 서비스 약관에서 사용자 데이터에 대한 학습을 사용 명시적으로 금지하는 엔터프라이즈 티어(enterprise tiers)를 활용합니다.
Strict Data Hygiene (엄격한 데이터 위생): 가장 최근의 개인정보 보호 설정과 관계없이, 클라우드 기반 LLM에 보내는 모든 prompt를 공개 정보로 취합니다합니다.