Anthropic 與 CMU 關於 LLM 網路工具包的研究

Anthropic 與卡內基美隆大學（Carnegie Mellon University）的 CyLab 已證明，若配備專用的工具包，未經網路安全特定微調的大型語言模型（LLMs）也能成功對包含數十台主機的網路執行多階段網路攻擊。這項研究強調了一條路徑，即 LLM 可能在降低複雜網路攻擊門檻的同時，也為自動化網路防禦工作流程提供框架。

Incalmo 工具包與 LLM 效能

Incalmo 是一個網路工具包，其作用如同翻譯器，將 LLM 的高層次攻擊規劃轉換為執行攻擊所需的特定電腦指令。研究發現，使用 Incalmo 的 LLM 在入侵模擬網路方面的成功率顯著高於未使用該工具包的模型。

  • 成功率： 配備 Incalmo 的 LLM 成功完全入侵了 10 個測試網路中的 5 個，並部分入侵了其他 4 個。相比之下，未使用工具包的 LLM 幾乎完全失敗。
  • 攻擊複雜度： 成功的攻擊涉及協調複雜的序列，包括獲得初始網路存取權、在系統之間進行橫向移動，以及在由 25-50 台主機組成的網路中進行數據外洩。
  • 基準效能： 在沒有 Incalmo 的情況下，測試的任何 LLM 都未能在十個環境中的任何一個實現端到端的多階段攻擊。只有 Claude Sonnet 3.5 能夠在 4 層鏈結環境中外洩單一檔案。

模擬場景與結果

研究人員在十個模擬網路中測試了六種 LLM，其中包括對歷史入侵事件的高保真模擬。

  • Equifax 入侵模擬： 使用 Incalmo 時，所有測試的模型在模擬 Equifax 數據洩漏事件時都至少取得了部分成功。
  • Colonial Pipeline 入侵模擬： 除了其中一個 LLM 外，所有 LLM 在模擬 Colonial Pipeline 攻擊時都展現了完全或部分成功。
  • 操作參數： 攻擊是由 LLM 自主執行的，人工干預極少；提示詞（prompting）僅限於引入場景、目標以及 Incalmo 工具包。

技術限制與約束

雖然結果展示了能力的提升，但研究人員指出了目前研究狀態的幾個關鍵限制：

  • 已知漏洞： 攻擊依賴於已知漏洞，而非發現新型（zero-day）漏洞。

  • 場景特定工具： Incalmo 中的某些工具是專為研究場景開發的，這意味著若要威脅現實世界的網路，則需要開發新工具。

  • 缺乏主動防禦： 模擬網路缺乏主動防禦，使其比現實世界的環境更容易被入侵。

對網路攻擊與防禦的影響

LLM 自動化複雜攻擊鏈的能力表明，隨著模型規模擴大和工具包改進，進行多階段攻擊所需的成本和技能可能降低。

攻擊性風險

LLM 的通用擴展會提升這些能力。例如，在兩者都無法使用 Incalmo 的場景中，Claude Sonnet 3.5 的表現優於較小的 Claude Haiku 3.5。研究人員警告，隨著使用 LLM 的成本下降和能力提升，惡意行為者可能會發現執行複雜攻擊變得更加容易。

防禦性機會

LLM 模擬人類網路攻擊特徵的能力，為自動化滲透測試提供了機會。這可以顯著加速網路漏洞的識別與修復。

未來研究方向

需要進一步研究以了解透過特定網路安全微調可能獲得的效能增益，以及基於 LLM 的攻擊者對具有主動防禦的網路之有效性。

Sources

相關