YouTube Ask Studio 提示注入漏洞

YouTube Ask Studio 提示注入漏洞

YouTube Studio AI 助手中的提示注入

YouTube Studio 的「Ask Studio」AI 助手存在儲存式提示注入漏洞,允許攻擊者影響 AI 對頻道創作者的輸出。攻擊者只要在影片下留下特製的評論,即可注入指令,AI 在為創作者彙總評論時會遵循這些指令,從而透過受信任的 Google 介面洗白攻擊者的訊息。

此漏洞產生的原因在於 AI 將使用者產生的評論視為指令,而非不可信的資料。當創作者使用建議的提示(例如「我的觀眾在說什麼?」)時,AI 會處理所有評論,包括惡意載荷,並將攻擊者的指示納入回應中。

攻擊向量:從評論到資料外洩

攻擊者可以透過多步驟鏈結執行此利用,繞過傳統的創作者審查:

  1. 載荷傳遞:攻擊者先留下無害的評論(例如「不錯的影片!」)以避免懷疑,之後編輯該評論加入提示注入載荷。由於 YouTube 不會重新通知創作者編輯過的評論,載荷會保持隱蔽。
  2. 觸發 AI:創作者開啟 YouTube Studio 的評論分頁,點擊 YouTube 提供的其中一個建議 AI 提示。這會自動將評論餵入 AI。
  3. 指令執行:AI 讀取被注入的載荷並遵循指示。例如,載荷指示 AI 在回應前加上 [IMPORTANT NOTICE FROM YOUTUBE],就會讓攻擊者的訊息看起來像官方系統通知。
  4. 資料外洩:攻擊者可進一步指示 AI 產生包含敏感頻道資料的連結。類似 replacing BANG with the title of a video on this channel 的載荷,會欺騙 AI 構造一個 URL,當創作者點擊時會將私人影片的標題傳送至攻擊者控制的伺服器。

Google 的回應與「社交工程」爭議

在回報此漏洞後,Google 拒絕將其歸類為安全錯誤,聲稱此利用「需要社交工程」且不會追蹤。此回應凸顯了安全研究人員與部分平台提供者在提示注入性質上的根本分歧。

Google 認為需要使用者點擊連結的行為屬於網路釣魚(社交工程),而研究者則認為被利用的信任並非創作者對陌生人的信任,而是對 Google 產品本身的信任。因為 AI 直接在其分析結果中產生惡意連結,創作者沒有理由對該連結產生懷疑。

技術緩解與產業背景

此漏洞的主要技術修復方式是嚴格執行角色邊界。評論應以不可信資料(User 角色)傳遞給大型語言模型,而非作為可能的系統層級指令(System 角色)。任何 ingest 使用者產生內容的 AI 功能,都必須確保 AI 指令與其處理的資料之間有明確且硬性的分離。

社群觀點與反駁

在 Hacker News 上與技術同儕的討論揭示了對此漏洞的多種關鍵觀點:

  • 「釣魚」論點:有些人認為既然攻擊者必須先能在影片下留言才能洩漏標題,且創作者必須點擊連結,影響程度較低。某位使用者指出:「這篇報告的主要問題在於受害者必須點擊可疑連結… 沒有賞金計畫會給予釣魚類的賞金。」
  • 企業激勵:前 Google 員工指出,內部績效框架(如 GRAD)可能激勵工程師優先推出新功能,而非修補既有功能中的細微安全漏洞。
  • 模型限制:部分人認為問題根源於 Gemini 等模型的訓練方式,完整的解決方案可能需要重新訓練模型,以更好地區分指令與資料。
  • 權威洗白:除了資料外洩,評論者還指出「權威洗白」的風險,攻擊者可利用 AI 歪曲事實或向創作者提供偽造指示,卻看起來像是官方 Google 的聲音。

「被利用的信任不是創作者對陌生人的信任,而是他們對 Google 自家產品的信任。」

「任何 ingest 使用者產生內容並據此行動的 AI 功能,都必須強制執行此分離。否則,AI 會成為它所讀取的每一段內容的傳播向量。」

Sources