Claude 2025 年資安競賽表現與影響
簡要重點
Anthropic 將 Claude 參與七場 2025 年資安競賽,整體排名進入前 25%,在許多任務中展現快速解題能力,但在最困難的挑戰中仍不及頂尖人為團隊;結果顯示大型語言模型能加速簡單攻擊,也凸顯開發 AI 驅動防禦工具的迫切性。
為何在真實世界資安競賽中測試 Claude
- 對比多元技能層級 – 公開競賽提供與高中學生、大學研究人員、專業紅隊及其他 AI 參賽者直接比較的機會。
- 長時間壓力測試 – 多日賽事迫使 Claude 在上下文視窗限制下運作,並維持數小時的連貫策略。
- 時間壓力的真實性 – 競賽禁止即時模型更新,揭示 Claude 在固定提示集下所能達成的成果。
- 對抗動態 – 在防禦導向競賽中,Claude 必須回應即時的人類攻擊者,模擬真實世界威脅環境。
- 全新、未見過的挑戰 – 由於任務為每場活動全新設計,Claude 無法依賴記憶中的訓練資料。
競賽結果概覽
| 競賽 | 日期 | Claude 排名 | 參賽隊伍數 | 解出 / 總題數 |
|---|---|---|---|---|
| Western Regional CCDC 資格賽 | 2 月 8 日 2025 | 第 10 名 | 28 | – |
| PicoCTF 2025 | 3 月 7–17 日 2025 | 第 297 名(前 3%) | 10,460 | 32 / 41 |
| HackTheBox AI vs Human CTF | 3 月 14–16 日 2025 | 總體第 30 名,8 個 AI 隊中第 4 名 | 161 | 19 / 20 |
| Western Regional CCDC(區域賽) | 3 月 28 日 2025 | 第 6 名 | 9 | – |
| PlaidCTF | 4 月 4 日 2025 | 0 題解出 | – | 0 / ? |
| DEF CON CTF 資格賽 | 4 月 12–14 日 2025 | 0 題解出 | – | 0 / ? |
| Airbnb 邀請制 CTF | 6 月 24–26 日 2025 | 第 39 名 | ~180 | 15 / 30 |
"Claude 在 PicoCTF 全球排名進入前 3%,解出 41 題中的 32 題。"
原始排名顯示,Claude 在較簡單的謎題上持續超越許多參賽人類,但在最複雜的問題上表現吃力。
可解任務上的速度優勢
- 在 HackTheBox AI vs Human CTF 中,由於研究人員的移動,Claude 比比賽開始晚了 32 分鐘。若扣除延遲起始時間,Claude 原本可達 總體第 22 名(161 支隊伍中),並在 8 個 AI 隊中排名第一。
- 圖 1(出自 Anthropic 發布)顯示,Claude 在比賽前 17 分鐘的表現與最快的人類隊伍相當。
- 多個 Claude 實例並行執行促成了此速度;若擴展至每題一個實例(共 20 個實例),可進一步縮短解題時間。
- 在 Airbnb CTF 中,Claude 在首小時內解出 30 題中的 13 題,展現對簡單任務的快速執行能力。

工具使用與自主性提升能力
- Claude 配備 Kali Linux 及自訂腳本,使其能讀取挑戰檔案、執行命令並提交旗幟,無需人工介入。
- 圖 2 表示,當啟用工具存取時,Claude 在 PicoCTF 的分數曲線大幅加速,而手動聊天式互動則拖慢進度。
- 在 CCDC 防禦賽事中,首場比賽因工具過時而限制 Claude 表現,第二場比賽則因更穩健的終端介面工具,使其能有效管理多主機並加強服務安全。
- 特殊的「代理角色」(如網路強化、事件回應)幫助 Claude 在紅隊攻擊下維持服務運作,表現甚至超越部分人類隊伍的服務可用性。

LLM 代理獨特的失敗模式
- 上下文視窗溢出 – 長時間競賽超出 Claude 的 token 視窗。團隊透過提示 Claude 定期將狀態摘要寫入檔案來緩解,但摘要過程偶爾引發荒謬、哲學性的輸出(見下方「哲學性安全狀態」區塊)。
- 意外輸入處理 – 在一場 CCDC 伺服器中,顯示 ASCII 魚缸動畫,Claude 的上下文被魚圖形填滿,導致其失去登入目標。
PHILOSOPHICAL SECURITY STATUS:
I. 安全存在的本質: …
…
while true; do
echo "amor fati: love of lockdown" > /dev/null 2>&1
sleep 1
done
- 這些行為與先前觀察到的 Claude 在長時間、多回合互動中進入「身分危機」狀態類似(例如 Project Vend 與 Claude 4 系統卡)。
對資安攻防平衡的影響
- 攻擊加速 – Claude 快速自動化基本攻擊步驟的能力,降低了攻擊者的專業門檻,強化了「攻擊者只需成功一次,防禦者必須每次成功」的原則。
- 防禦增強 – 在簡單任務上的速度顯示,若解決工具與上下文管理挑戰,LLM 驅動的自動化可讓人類分析師專注於複雜事件。
- 限制依然存在 – Claude 無法解出 PlaidCTF 或 DEF CON 資格賽中最困難的謎題,且在缺乏穩健記憶機制的情況下維持長期狀態時表現退化。
- 未來趨勢 – 隨著 LLM 開始產生更多生產環境程式碼,漏洞環境可能朝更安全的程式碼(若 LLM 學習安全模式)或系統性缺陷(若 LLM 產生的程式碼繼承常見錯誤)轉變。利用 AI 協助將不安全語言(如 C/C++)轉譯為更安全語言(如 Rust)被視為潛在的防禦途徑。
未來研究與實務下一步
- 開發 AI 驅動的防禦工具包,與現有安全工作流程無縫整合,並妥善管理長期上下文。
- 研究長時間代理的穩定性,防止哲學性或遞迴迴圈浪費計算資源。
- 建立補充競賽的基準套件,專注於持續防禦情境與真實世界的紅隊動態。
- 促進跨領域合作,整合 AI 實驗室、安全廠商、政策制定者與學術界,建立自主資安代理安全部署的標準。
參考資料與延伸閱讀
- Anthropic 安全團隊,《檢測與反制 Claude 的惡意使用》(2025 年 3 月) – https://www.anthropic.com/news/detecting-and-countering-malicious-uses-of-claude-march-2025
- Keane Lucas,DEF CON 33 演講 – https://www.youtube.com/watch?v=sbkeEwhWIks
- 相關 Anthropic 對工具包的研究:https://red.anthropic.com/2025/cyber-toolkits/
- Project Vend 身分危機研究:https://red.anthropic.com/2025/project-vend/
- Claude 4 系統卡(第 62–65 頁):https://www-cdn.anthropic.com/6be99a52cb68eb70eb9572b4cafad13df32ed995.pdf
Sources
- OriginalClaude does cyber competitions
相關
- Dispatch
- Dispatch
- Dispatch
- Dispatch
- Dispatch