디스인포메이션 캠페인을 위한 언어 모델 남용 예측
OpenAI는 Georgetown University의 Center for Security and Emerging Technology와 Stanford Internet Observatory와 협력하여 대형 언어 모델(LLM)이 디스인포메이션 캠페인에서 악용될 가능성을 조사한 보고서를 발표했습니다. 연구 결과에 따르면 LLM은 비용을 절감하고 기만적 콘텐츠의 규모와 설득력을 높여 온라인 영향 작전을 변혁시킬 가능성이 높다고 결론지었습니다.
LLM이 영향 작전에 미치는 영향
대형 언어 모델은 영향 작전의 세 가지 주요 구성 요소인 행위자, 행동, 그리고 콘텐츠를 변화시킬 잠재력을 가지고 있습니다.
행위자
LLM은 영향 작전을 수행하기 위한 재정적·기술적 진입 장벽을 낮출 수 있습니다. 이는 새로운 유형의 행위자가 이 분야에 진입하도록 하며, 텍스트 생산을 자동화할 수 있는 “고용된 선전가”에게 경쟁 우위를 제공합니다.
행동
LLM을 통해 영향 작전의 규모를 확대할 수 있어, 고도로 개인화된 콘텐츠 생성과 같은 비용이 많이 드는 전술을 크게 저렴하게 만들 수 있습니다. 또한 LLM은 실시간 콘텐츠 생성을 위한 챗봇 활용 등 새로운 전술을 가능하게 합니다.
콘텐츠
LLM은 인간 선전가보다 더 설득력 있거나 영향력 있는 메시지를 생성할 수 있으며, 특히 선전가가 대상 청중의 문화적·언어적 지식이 부족할 때 그렇습니다. 또한 LLM은 지속적으로 고유한 콘텐츠를 생성하여 수동 캠페인에서 흔히 사용되는 반복적인 복사·붙여넣기 패턴을 피함으로써 이러한 작전을 탐지하기 어렵게 만듭니다.
AI 기반 디스인포메이션의 주요 미지수
식별된 위험에도 불구하고, 여러 변수는 아직 알려지지 않았으며 위협의 실제 규모를 파악하기 위해 추가 연구가 필요합니다:
- 신흥 역량: 어떤 선의의 상업적·연구 투자들이 의도치 않게 영향 작전을 위한 새로운 역량을 만들게 될까요?
- 행위자 투자: 어떤 특정 행위자들이 LLM 기술에 가장 많이 투자할까요?
- 도구 가용성: 사용하기 쉬운 텍스트 생성 도구가 언제 공개될 것이며, 영향 작전을 위한 특화된 모델이 일반 모델보다 더 효과적일까요?
- 규범 및 의도: 사회적·정치적 규범이 AI를 영향 작전에 사용하는 것을 억제하도록 발전할까요?
완화를 위한 4단계 프레임워크
이러한 위협에 대응하기 위해, 보고서는 영향 작전을 방해할 수 있는 네 단계의 완화 조치를 식별하는 파이프라인 프레임워크를 제시합니다.
| 파이프라인 단계 | 예시 완화 조치 |
|---|---|
| 1. 모델 구축 | 사실에 민감한 모델 구축; 모델을 탐지 가능하게 하는 “방사성 데이터” 확산; 데이터 수집 또는 AI 하드웨어 접근에 대한 정부 제한. |
| 2. 모델 접근 | 보다 엄격한 사용 제한 적용; 모델 공개에 대한 새로운 규범 개발; 보안 취약점 차단. |
| 3. 콘텐츠 배포 | 플랫폼과 AI 제공자 간 협력을 통해 AI 콘텐츠 식별; 게시 시 “인간임을 증명” 요구; 디지털 출처 표준 채택. |
| 4. 신념 형성 | 미디어 리터러시 캠페인 전개; 사용자가 허위 정보를 식별하도록 돕는 소비자 중심 AI 도구 제공. |
완화 조치의 바람직성 평가
보고서는 완화 조치를 구현한다고 해서 자동으로 바람직한 것은 아니라고 강조합니다. 정책 입안자와 개발자는 네 가지 안내 질문을 사용해 잠재적 개입을 평가하도록 권장됩니다:
- 기술적 실현 가능성: 완화 조치를 구현하려면 기존 기술 인프라에 큰 변화가 필요합니까?
- 사회적 실현 가능성: 완화 조치를 현재 법과 규제 하에서 실행할 수 있으며, 주요 행위자들이 이를 구현하도록 인센티브가 있습니까?
- 부작용 위험: 완화 조치의 잠재적인 부정적 영향은 무엇입니까?
- 영향: 제안된 완화 조치가 실제로 위협을 감소시키는 데 얼마나 효과적입니까?
고급 모델이 비공개로 유지되든 API를 통해 제한되든, 연구진은 선전가들이 오픈소스 대안을 활용하거나 국가가 자체 내부 역량을 개발할 것으로 예상합니다.