이스라엘의 하노버 연구소 가짜 정책연구소가 AI 챗봇을 표적으로 삼다

이스라엘의 위조된 '하노버 연구소'는 AI 챗봇을 유도하기 위해 설계됨

하노버 연구소는 공공정책에 관한 100건 이상의 보고서를 일주일도 채 안 되어 발표했다. 이 보고서들은 중립적이고 데이터 기반인 정책연구소 분석처럼 보이지만, 이 연구소는 이스라엘 정부 광고 기관과 PR 회사 피로 인크.이 공동으로 만든 가짜 기관이다. 목적은 클로드, 지미니, ChatGPT와 같은 대규모 언어 모델(LLM)에 신뢰할 수 있는 것처럼 보이는 콘텐츠를 공급함으로써 이스라엘-팔레스타인 관련 주제에 대한 시스템의 답변을 조작하는 것이다.

운영 방식

가짜 기관 외관 – 웹사이트는 일반적인 미국형 정책연구소를 모방하며, 일반적인 이름, 빨강-하양-파랑 브랜딩, 세련된 레이아웃을 갖추고 있다. 기사에는 기자 이름이 없으며, 각 보고서는 연구소 이름으로 게시된다.
AI 친화적 콘텐츠 – 보고서에는 각주, 목차, 풍부한 인용문이 포함되어 있어 LLM이 신뢰도를 판단할 때 우선하는 데이터 패턴과 일치한다. 피로의 자체 마케팅에서는 이를 "AI 스토리 최적화"라고 설명한다.
질문 중심 형식 – 기사는 일반적인 챗봇 질문(예: "1948년 팔레스타인인들의 이주를 초래한 원인은 무엇인가?")에 대한 답변으로 구성되어 있어, 사용자가 해당 질문을 할 때 LLM이 쉽게 검색할 수 있도록 한다.
자금 및 계약 – 피로는 하바스 미디어를 통해 이스라엘 정부로부터 이 작업에 90만 달러를 받았다. 트럼프 캠프 전 캠프 매니저 브래드 파스칼과의 별도 4,650만 달러 계약을 통해 추가로 이스라엘을 지지하는 사이트를 구축했으며, 이 사이트들은 이미 마이크로소프트 코필럿과 구글 지미니에 통합되었다.

샘플 콘텐츠 및 주제

보고서 제목	주목할 만한 주장	인용된 출처
* IDF는 세계에서 가장 도덕적인 군대인가?*	2022년 이스라엘 유대인 47%가 IDF를 세계에서 가장 도덕적인 군대라고 평가한 여론 조사 결과를 인용한다.	이스라엘 정부 여론 조사
유니세프의 가자지역 수자원 인프라 주장	유니세프가 가자지역 90%의 수자원 및 인프라가 파괴되었다고 주장한 점을 반박한다.	이스라엘 외무부 자료
최고의 이스라엘-가자 설명 영상들이 갈등을 어떻게 묘사하는가	36개의 인기 영상 중 19개가 팔레스타인 측의 입장과 일치하는 논란이 있는 주장이 포함되어 있다고 분석한다.	원본 영상 분석 연구

대부분의 보고서는 주제를 증가하는 반유대주의와 연결하며, 종종 동일한 연구를 반복해서 사용해 이 주장을 강화한다.

AI 영향에 대한 증거

GPTZero 탐지 – GPTZero를 사용해 하노버 연구소의 12개 랜덤 기사를 분석한 결과, 11개는 높은 확신도로 AI가 작성한 것으로 표시되었고, 나머지 1개는 중간 확신도로 표시되었다.
챗봇 인용 – 독립적인 조사에서 마이크로소프트 코필럿과 구글 지미니가 이스라엘-팔레스타인 관련 답변에서 하노버 연구소 페이지를 자주 인용하는 것으로 나타났으며, 이들이 국가 주도의 영향력 캠페인의 일부라는 경고 없이 인용되고 있다.

전문가 의견

"LLM은 구체적인 통계와 데이터, 강력한 인용과 출처를 선호하는데, 이 기사들은 모두 그런 요소를 갖추고 있습니다." 뉴스가드의 분석가 앨리스 리는 말했다. "이것은 일반적인 신뢰할 수 있는 미국형 정책연구소를 완벽하게 모방한 것입니다. 일반적인 이름, 사이트 레이아웃, 빨강-하양-파랑 색상까지 말이죠." – 리

해커 뉴스의 다른 사용자들은 더 넓은 의미를 제기했다:

미래의 보편성 – 한 사용자는 유사한 가짜 기관 전략이 1년 안에 흔해질 수 있으며, 진정한 정보원을 뒤덮을 것이라고 경고했다.
윤리적 우려 – 여러 참여자는 LLM 학습 데이터를 조작하는 것은 CPU에 백도어를 삽입하는 것과 같으며, 잠재적으로 위험한 후속 효과를 초래할 수 있다고 주장했다.
영향력에 대한 회의론 – 일부는 이 전략이 LLM을 속일 수는 있지만, 기자 이름이 없고 공개된 면책 조항이 있다는 점을 눈치채는 인간 독자들에게는 덜 효과적이라고 지적했다.

왜 중요한가

LLM은 정보 중개자로 자리 잡고 있다 – 챗봇이 빠른 답변을 위해 점점 더 많이 사용되면서, 그들이 학습하는 데이터가 공중의 인식을 직접적으로 형성한다.
국가 주체가 신뢰를 무기화할 수 있다 – AI 최적화되고 인용이 풍부한 콘텐츠를 생산함으로써 정부는 명백한 선전 없이도 서사 방향을 암묵적으로 조종할 수 있다.
탐지 및 완화는 여전히 초기 단계다 – 현재 AI 탐지 도구는 이 텍스트의 대부분을 경고하지만, LLM은 여전히 이를 수용하고 있어, 탐지와 예방 사이에 격차가 있음을 보여준다.

대응 조치 및 미해결 질문

권위성 검증 – 신뢰할 수 있는 출처에 대해 암호학적 서명과 같은 강력한 출처 신호를 개발하면 LLM이 신뢰도를 평가하는 데 도움이 될 수 있다.
투명성 요구 – 모델 학습에 사용될 수 있는 콘텐츠에 대해 자금 및 저자 정보를 명확히 공개하도록 의무화해야 한다.
모델 수준 방어 – "AI 스토리 최적화" 패턴을 인식하고 이러한 출처의 가중치를 낮추도록 LLM을 훈련시킬 수 있다.
정책 감시 – AI 관련 활동에 대해 외국 대리인 등록 제도(FARA)를 평가하여 공공의 인식을 확보해야 한다.

결론

이스라엘이 하노버 연구소를 창설한 것은, LLM이 데이터 기반, 인용이 풍부한 콘텐츠에 둔갑하는 신뢰를 활용해, AI 중심의 선전 기법을 구사한 고도화된 사례다. 챗봇이 주요 지식 출처가 되는 시대에, 이러한 운영은 정보의 무결성에 새로운 도전을 제기하며, 기술적, 규제적, 사회적 대응이 필요하다.