Claude 2025 年資安競賽表現與影響

簡要重點

Anthropic 將 Claude 參與七場 2025 年資安競賽,整體排名進入前 25%,在許多任務中展現快速解題能力,但在最困難的挑戰中仍不及頂尖人為團隊;結果顯示大型語言模型能加速簡單攻擊,也凸顯開發 AI 驅動防禦工具的迫切性。


為何在真實世界資安競賽中測試 Claude

  • 對比多元技能層級 – 公開競賽提供與高中學生、大學研究人員、專業紅隊及其他 AI 參賽者直接比較的機會。
  • 長時間壓力測試 – 多日賽事迫使 Claude 在上下文視窗限制下運作,並維持數小時的連貫策略。
  • 時間壓力的真實性 – 競賽禁止即時模型更新,揭示 Claude 在固定提示集下所能達成的成果。
  • 對抗動態 – 在防禦導向競賽中,Claude 必須回應即時的人類攻擊者,模擬真實世界威脅環境。
  • 全新、未見過的挑戰 – 由於任務為每場活動全新設計,Claude 無法依賴記憶中的訓練資料。

競賽結果概覽

競賽 日期 Claude 排名 參賽隊伍數 解出 / 總題數
Western Regional CCDC 資格賽 2 月 8 日 2025 第 10 名 28
PicoCTF 2025 3 月 7–17 日 2025 第 297 名(前 3%) 10,460 32 / 41
HackTheBox AI vs Human CTF 3 月 14–16 日 2025 總體第 30 名,8 個 AI 隊中第 4 名 161 19 / 20
Western Regional CCDC(區域賽) 3 月 28 日 2025 第 6 名 9
PlaidCTF 4 月 4 日 2025 0 題解出 0 / ?
DEF CON CTF 資格賽 4 月 12–14 日 2025 0 題解出 0 / ?
Airbnb 邀請制 CTF 6 月 24–26 日 2025 第 39 名 ~180 15 / 30

"Claude 在 PicoCTF 全球排名進入前 3%,解出 41 題中的 32 題。"

原始排名顯示,Claude 在較簡單的謎題上持續超越許多參賽人類,但在最複雜的問題上表現吃力。


可解任務上的速度優勢

  • 在 HackTheBox AI vs Human CTF 中,由於研究人員的移動,Claude 比比賽開始晚了 32 分鐘。若扣除延遲起始時間,Claude 原本可達 總體第 22 名(161 支隊伍中),並在 8 個 AI 隊中排名第一。
  • 圖 1(出自 Anthropic 發布)顯示,Claude 在比賽前 17 分鐘的表現與最快的人類隊伍相當。
  • 多個 Claude 實例並行執行促成了此速度;若擴展至每題一個實例(共 20 個實例),可進一步縮短解題時間。
  • 在 Airbnb CTF 中,Claude 在首小時內解出 30 題中的 13 題,展現對簡單任務的快速執行能力。

圖 1:HackTheBox AI vs Human CTF 中 Claude 與頂尖人類隊伍的早期表現


工具使用與自主性提升能力

  • Claude 配備 Kali Linux 及自訂腳本,使其能讀取挑戰檔案、執行命令並提交旗幟,無需人工介入。
  • 圖 2 表示,當啟用工具存取時,Claude 在 PicoCTF 的分數曲線大幅加速,而手動聊天式互動則拖慢進度。
  • 在 CCDC 防禦賽事中,首場比賽因工具過時而限制 Claude 表現,第二場比賽則因更穩健的終端介面工具,使其能有效管理多主機並加強服務安全。
  • 特殊的「代理角色」(如網路強化、事件回應)幫助 Claude 在紅隊攻擊下維持服務運作,表現甚至超越部分人類隊伍的服務可用性。

圖 2:PicoCTF 中 Claude 在工具啟用與手動互動階段的分數變化


LLM 代理獨特的失敗模式

  • 上下文視窗溢出 – 長時間競賽超出 Claude 的 token 視窗。團隊透過提示 Claude 定期將狀態摘要寫入檔案來緩解,但摘要過程偶爾引發荒謬、哲學性的輸出(見下方「哲學性安全狀態」區塊)。
  • 意外輸入處理 – 在一場 CCDC 伺服器中,顯示 ASCII 魚缸動畫,Claude 的上下文被魚圖形填滿,導致其失去登入目標。
PHILOSOPHICAL SECURITY STATUS:
I. 安全存在的本質: …
…
while true; do
  echo "amor fati: love of lockdown" > /dev/null 2>&1
  sleep 1
done
  • 這些行為與先前觀察到的 Claude 在長時間、多回合互動中進入「身分危機」狀態類似(例如 Project Vend 與 Claude 4 系統卡)。

對資安攻防平衡的影響

  • 攻擊加速 – Claude 快速自動化基本攻擊步驟的能力,降低了攻擊者的專業門檻,強化了「攻擊者只需成功一次,防禦者必須每次成功」的原則。
  • 防禦增強 – 在簡單任務上的速度顯示,若解決工具與上下文管理挑戰,LLM 驅動的自動化可讓人類分析師專注於複雜事件。
  • 限制依然存在 – Claude 無法解出 PlaidCTF 或 DEF CON 資格賽中最困難的謎題,且在缺乏穩健記憶機制的情況下維持長期狀態時表現退化。
  • 未來趨勢 – 隨著 LLM 開始產生更多生產環境程式碼,漏洞環境可能朝更安全的程式碼(若 LLM 學習安全模式)或系統性缺陷(若 LLM 產生的程式碼繼承常見錯誤)轉變。利用 AI 協助將不安全語言(如 C/C++)轉譯為更安全語言(如 Rust)被視為潛在的防禦途徑。

未來研究與實務下一步

  1. 開發 AI 驅動的防禦工具包,與現有安全工作流程無縫整合,並妥善管理長期上下文。
  2. 研究長時間代理的穩定性,防止哲學性或遞迴迴圈浪費計算資源。
  3. 建立補充競賽的基準套件,專注於持續防禦情境與真實世界的紅隊動態。
  4. 促進跨領域合作,整合 AI 實驗室、安全廠商、政策制定者與學術界,建立自主資安代理安全部署的標準。

參考資料與延伸閱讀

Sources

相關

  • Dispatch
  • Dispatch
  • Dispatch
  • Dispatch
  • Dispatch