OpenAI 운영 피어 리뷰: AI 지원 감시 계획 방해

OpenAI는 "Operation Peer Review"라 불리는 ChatGPT 계정 클러스터를 차단했으며, 이들은 중국에서 시작된 것으로 추정되고 감시 계획, 정치 연구, 소셜 미디어 모니터링 도구 개발을 지원하는 데 사용되었습니다. 이 조치는 대규모 공개 영향 작전이 아니라 능력 개발 및 내부 분석을 위해 AI를 활용한 네트워크를 차단합니다.

네트워크 식별 및 행동 패턴

"Peer Review" 네트워크는 중국 본토 근무 시간에 맞는 행동 패턴을 보이고 중국어 프롬프트를 사용한 ChatGPT 계정들로 구성되었습니다. OpenAI는 활동의 양과 다양성이 자동화된 API 사용보다 수동 프롬프트와 일치한다고 언급했습니다. 최소 한 사례에서는 하나의 계정이 여러 운영자에 의해 공유된 것으로 보이는 증거가 있었습니다.

주요 운영 작업 흐름

이 클러스터의 운영자들은 네 가지 주요 활동 범주에 참여했습니다:

정치 및 정부 연구

네트워크는 ChatGPT를 기본 연구 도구로 사용하여 미국 싱크탱크와 미국, 호주, 캄보디아의 정치인 및 정부 관료에 대한 공개 정보를 수집했습니다.

문서 분석 및 번역

운영자들은 모델을 사용해 영어 문서의 스크린샷을 읽고, 번역하고, 분석했습니다. 이 문서들에는 다양한 서구 도시에서의 위구르 인권 시위 발표(소셜 미디어에서 유출된 것으로 추정)와 인도‑태평양 지역의 외교 및 정부 주제와 관련된 자료가 포함되었습니다. OpenAI는 이러한 문서들의 진위 여부나 획득 경로를 판단할 충분한 증거가 없다고 밝혔습니다.

영향력 확보를 위한 콘텐츠 생성

행위자들은 미국 정책, 정치, 그리고 특히 파룬궁과 같은 중국 반체제 조직에 대한 짧은~중간 길이의 댓글을 생성했습니다. 일부 프롬프트는 모델이 "Thompson"이라는 영어 사용자의 인물을 가정하도록 요청했습니다. 그러나 OpenAI는 이러한 생성된 댓글이 온라인에 게시된 증거를 찾지 못했습니다.

감시 도구 개발

네트워크는 ChatGPT를 사용해 코드를 편집·디버깅하고 "Qianyue Overseas Public Opinion AI Assistant" (千阅境外舆情AI助手)라는 AI 기반 소셜 미디어 청취 도구의 홍보 자료를 생성했습니다.

도구 설명에 따르면, OpenAI가 독립적으로 확인할 수 없었지만, 이 어시스턴트는 다음과 같이 설계되었습니다:

• X, Facebook, YouTube, Instagram, Telegram, Reddit 등 플랫폼의 게시물 및 댓글을 수집·분석한다.
• 중국의 정치·사회 주제, 특히 중국 내 인권 시위 참석을 촉구하는 소셜 미디어 대화를 식별한다.
• 이러한 인사이트를 미국, 독일, 영국에서 시위를 모니터링하는 정보 요원 및 해외 주재 중국 대사관 등 중국 당국에 전달한다.

기술 구현 및 모델 사용

네트워크가 개발 및 정제에 ChatGPT를 사용했지만, 감시 도구의 실제 실행은 OpenAI 모델에 의해 구동되는 것으로 보이지 않았습니다. 네트워크가 디버깅한 코드는 종종 Ollama를 통해 배포된 Meta의 Llama 3.1 8B를 분석 및 생성 엔진으로 참조했습니다.

또한, 네트워크는 악성코드 분석용 코드를 디버깅하면서 Alibaba Cloud의 Qwen 및 DeepSeek의 미지정 모델 등 다른 모델들을 언급했습니다. 한 운영자는 성과 평가에서 중국 고객을 위한 피싱 이메일을 생성했다고 주장했지만, OpenAI는 이 이메일 활동이 AI에 의해 구동된 증거를 찾지 못했습니다.

영향 평가

OpenAI는 대부분의 활동이 코드 디버깅 및 이미지 분석과 같은 내부 역량 개발에 초점을 맞추었으며, 공개 배포보다는 내부 용도였다고 보고했습니다. 일부 콘텐츠가 소셜 미디어 댓글과 유사했지만, OpenAI는 이러한 댓글이 온라인에 게시된 증거를 찾지 못했습니다. OpenAI는 이 작전의 전체 영향을 평가하려면 네트워크가 사용한 오픈소스 모델 운영자를 포함한 다른 이해관계자와의 협력이 필요하다고 언급했습니다.