OpenAI 調查:偽造俄羅斯巨魔錯誤訊息騙局
OpenAI 已發現一則聲稱揭露俄羅斯巨魔帳號為騙局的病毒社群媒體貼文。此事件重要,因為它顯示非 AI 活動如何被用來欺騙公眾,讓人誤以為 AI 模型的實際使用情況。
騙局的本質
此騙局涉及使用 OpenAI 帳號與 X(前身為 Twitter)帳號的協同操作。6 月 18 日,該 X 帳號發佈了一則看似來自俄語使用者的 JSON 錯誤訊息,該使用者在嘗試生成支持特朗普總統的內容時已耗盡點數。
OpenAI 的調查確認此特定錯誤訊息並非由其模型產生。支持此結論的證據包括:
- 看似 JSON 程式碼的片段並非有效的 JSON。
- 訊息錯誤引用了 OpenAI 模型的名稱。
- 內容似乎是手動創建,而非 AI 生成。
行為者的行為與模型使用
雖然錯誤訊息本身是偽造的,但帳號背後的行為者在六月中旬確實使用 OpenAI 模型生成短小、具對抗性的回覆,以回應 X 上的其他使用者。這些回覆涵蓋廣泛主題,包括機車、奇幻遊戲與平面地球理論。給模型的主要指示是無論涉及何種意識形態,都要具爭論性。
OpenAI 指出,有些貼文包含用於貶低他人的身心障礙歧視語彙;然而,這些詞彙並非由模型生成,而是在發佈至 X 前由其他程序加入。
影響與擴散
此事件顛覆了典型的 AI 濫用案例。行為者並未使用 AI 欺騙大眾,而是利用非 AI 的活動讓人誤以為 AI 正以特定方式被使用。
儘管原始推文的互動有限(5 次轉發、14 次引用與 3 個讚),隨後在 LinkedIn、Reddit 及其他平台的討論與分享使內容病毒式傳播。OpenAI 將此事件歸類於突破指標(Breakout Scale)第 3 類的上限,若主流媒體進一步放大,則幾乎可達第 4 類。
結果與緩解措施
調查結束後,OpenAI 封禁了相關的 OpenAI 帳號。公開報導顯示,涉及騙局的 X 帳號亦已被停用。