Hugging Face：AI 與網路安全的未來
Hugging Face 主張，開源 AI 模型與透明工具對於在自主 AI 網路安全系統的時代，平衡攻擊者與防禦者之間的競爭環境至關重要。這種開放性提供了可見性、社群驅動的協調以及可稽核的控制，從而對抗用於漏洞發現的前沿模型的能力。
Mythos 在 AI 網路安全中的角色
Mythos 是一個能處理軟體程式碼的前沿 AI 模型，但其主要意義在於它所嵌入的系統，而非僅僅模型本身。快速發現並修補軟體漏洞的能力是由一套特定的「系統配方」驅動的，該配方包括大量的運算資源、在與軟體相關資料上訓練的模型、用於漏洞探測與修補的支架、速度，以及一定程度的系統自主性。
關於 AI 網路安全能力的主要要點包括：
- 系統中心能力：發現漏洞與製作修補程式的能力取決於周圍的系統，而不僅僅是模型規模。
- 鋸齒狀能力：AI 網路安全的表現並不會隨著一般基準表現或模型規模線性提升；系統設計中的深度安全專業知識至關重要。
- 代理式 AI：Mythos 展示了 AI 系統能自主採取行動以解決軟體漏洞的可行性。
開放性作為防禦的結構性優勢
開放生態系統透過在社群中分散軟體安全的四個階段——偵測、驗證、協調與修補傳播——相較於封閉源碼專案提供了結構性的優勢。相反地，封閉源碼專案將這些功能集中於單一供應商，形成單點故障。
專有隱蔽性的衰退
Hugging Face 指出，專有隱蔽性（將程式碼保持不可取得）正變得不那麼有效，因為 AI 系統日益能夠逆向工程已剝離的二進位檔。這對於仍然封閉且未維護的舊版韌體與嵌入式程式碼尤其危險，會為具備 AI 能力的攻擊者創造出龐大且易於辨識的攻擊面。
封閉系統中 AI 加速開發的風險
當在不當的激勵下（例如優先考慮功能數量而非程式碼品質）使用 AI 程式編寫工具時，封閉的程式碼庫會面臨特定風險。這可能導致大量漏洞更快地被引入專有程式碼。由於這些漏洞隱藏在單一組織的防火牆之後，組織內部可能無法偵測到，而外部的 AI 驅動攻擊者卻能發現它們。
實作半自主防禦代理
為了在效益與風險之間取得平衡，Hugging Face 建議使用半自主 AI 代理，而非完全自主的系統。半自主代理以預先指定的行動運作，且在某些步驟上需要人工批准，確保人類保持控制。
有效半自主系統的需求
要讓「人類在迴路中」具備意義，系統必須保持透明。這需要：
- 開放代理支架：支援代理的框架必須是開放的。
- 開放規則引擎：管理代理行動的邏輯必須透明。
- 可稽核日誌：決策日誌與追蹤必須可供人工審查。
組織可以將這些 AI 代理與現有的開源安全工具整合，例如模糊測試框架、入侵偵測系統、漏洞掃描器與日誌分析器。
高風險組織的策略重要性
對於處理敏感資料與流程的組織而言，開放且可稽核的基礎至關重要，原因包括：
- 檢查：安全團隊可以檢視監控機制，而非僅依賴供應商聲稱。
- 資料隱私：敏感資料不必經過外部 AI 供應商。
- 基礎設施控制：開放系統可完全在組織自有的基礎設施內運行，置於自有防火牆之後。
- 客製化：系統可在組織自有的安全資料上進行微調，並修改以納入特定的監督機制。
結論：前進的道路
防禦協同且共享技術的攻擊者需要轉向透明的實踐，包括共享漏洞資料庫、開放安全審查、公開威脅模型與開放工具。Hugging Face 結論認為，AI 網路安全的未來將由圍繞模型的生態系統決定，而非單一模型本身。