msoedov/agentic_security

解決的問題

Agentic Security 是一款開源漏洞掃描器，旨在保護大型語言模型 (LLM) 和代理工作流免受安全威脅。它幫助開發人員和安全團隊在部署到生產環境之前，主動識別越獄、模糊測試漏洞和多模態攻擊等弱點。

工作原理

該工具透過使用多種攻擊向量探測 LLM API 來運行。它使用純文本 HTTP 規範連接到目標模型，並將佔位符替換為特定的攻擊提示詞。它可以從 Hugging Face、本地 CSV 檔案載入數據集，或使用變異（如 Base64 編碼或 ROT13）生成動態數據集以繞過安全過濾器。該系統支援文本、圖像和音訊模態，並可以作為自動化安全檢查整合到 CI/CD 流水線中。

適用對象

本專案面向需要對其 AI 系統進行壓力測試並確保其能夠抵禦對抗性攻擊的 AI 開發人員、安全研究人員和安全團隊。

亮點

• 多模態探測：支援對文本、圖像和音訊輸入進行漏洞掃描。
• 多步越獄：模擬迭代攻擊序列以發現深層的安全弱點。
• 基於 RL 的攻擊：使用強化學習建立能夠針對模型防禦進行進化的自適應探測器。
• CI/CD 整合：包含用於開發期間自動化安全掃描的範例 GitHub Action。
• 可擴展的數據集：允許用戶添加自定義 CSV 數據集或整合來自 Hugging Face 的現有數據集。