OpenAI, AI 지원 로맨스 베이팅 및 피그 부처링 사기 차단

OpenAI는 캄보디아에서 활동하는 네트워크가 "피그 부처링" 사기를 조장하기 위해 사용한 다수의 ChatGPT 계정을 차단했습니다. 이 행위자들은 AI를 이용해 대화를 번역하고 소셜 미디어 참여를 생성하여 대상자를 사기성 암호화폐 및 외환 투자로 유인했습니다.

목표 소셜 미디어 참여

사기 네트워크는 ChatGPT를 사용해 일본어, 중국어, 영어로 짧은 댓글을 생성하여 Facebook, X, Instagram 등 플랫폼에서 잠재 피해자와 접촉을 시작했습니다.

인구통계: 이 작전은 주로 40세 이상 남성을 대상으로 했으며, 특히 의료 분야 종사자를 많이 겨냥했습니다.
관심사: 사기꾼들은 참여율을 높이기 위해 골프 관련 게시물을 특별히 목표로 삼았습니다.
시각적 기만: 계정들은 젊은 여성의 프로필 사진을 사용했으며, OpenAI는 이것이 AI 생성이 아니라 실제 인플루언서와 모델의 사진을 복제한 것으로 판단했습니다.
전술: 댓글은 종종 질문으로 끝나 답변을 유도했으며, 경우에 따라 몇 달 또는 몇 년 전의 게시물을 목표로 삼기도 했습니다.

초기 공개 참여를 넘어, 행위자들은 OpenAI 모델을 사용해 지속적인 대화를 관리하고 가짜 페르소나를 유지했습니다.

행위자들의 주요 언어는 중국어인 것으로 보였습니다. 그들은 모델을 사용해 중국어 메시지를 일본어 또는 영어로, 혹은 그 반대로 번역하여 다양한 언어권의 대상과 소통했습니다.

사기꾼들은 모델에 방대한 전기 정보를 제공해 AI가 응답을 생성하도록 안내했습니다. 이러한 가짜 페르소나는 일반적으로 다음을 포함했습니다:

OpenAI는 이 행위자들이 초기 접촉에서 금융 사기로 이어지도록 대상자를 이동시키는 6단계 워크플로우를 확인했습니다:

공개 참여: 소셜 미디어에 댓글을 게시하여(주로 골프 관련) 접촉을 시작합니다.
다이렉트 메시징: AI가 생성한 대화형 댓글을 사용해 대화를 다이렉트 메시지로 옮깁니다.
보안 메시징: 대상에게 WhatsApp이나 LINE과 같은 보안 앱으로 이동하도록 유도하며, 종종 소셜 미디어에 대한 신뢰 부족이나 물류적 변명을 제시합니다.
로맨틱 참여: 점점 더 친밀하고 애정 어린 메시지를 생성해 신뢰를 구축합니다.
재정적 참여: 암호화폐, 금, 외환 투자에서 높은 수익을 자랑하며, 성공을 금융 관련 친척 덕분이라고 말합니다.
사기: 피해자를 거래 앱에 돈을 이체하도록 설득하고, 피해자가 수익을 인출하려 할 때는 필수 수수료와 같은 변명을 만들어냅니다.

OpenAI는 많은 시도가 대상이 사기를 인식하는 "초기 실패"로 끝났지만, 일부 대화에서는 수천 달러 규모의 거래가 언급되었다고 밝혔습니다.

네트워크는 탐지를 피하고 대상을 관리하기 위해 다양한 도구를 활용했으며, 여기에는 다음이 포함됩니다:

OpenAI는 자사의 정책이 사기나 부정 행위에 도구를 사용하는 것을 엄격히 금지한다고 밝혔습니다. 회사는 이 차단된 네트워크에 대한 정보를 업계 동료 및 관련 당국과 공유했습니다.