praetorian-inc/augustus

解決する問題

Augustusは、大規模言語モデル（LLM）のセキュリティと堅牢性をテストするために設計された脆弱性スキャナーです。セキュリティ専門家が、敵対的攻撃者によって悪用される可能性のある、プロンプトインジェクション、脱獄、データ抽出の脆弱性などの弱点を特定するのに役立ちます。

仕組み

Augustusはパイプラインアーキテクチャを使用して敵対的攻撃を実行します。プローブ（攻撃パターン）を選択し、必要に応じてバッファ変換（Base64エンコーディングや翻訳など）を適用して検出を回避し、ジェネレーター（プロバイダー統合）を介してターゲットLLMにプロンプトを送信します。その後、検出器（パターンマッチングまたはLLM-as-a-judgeを使用）が応答を分析し、攻撃が成功したかどうかを判断します。

複雑な攻撃には、専用のエンジンを使用します。

• シングルターンエンジン: PAIRやTAPなどのプローブに対してプロンプトを反復的に改良します。
• マルチターンエンジン: 会話履歴を維持して、Crescendo（段階的なエスカレーション）、GOAT（適応型テクニック切り替え）、Hydra（拒否時のバックトラッキング）、Mischievous User（カジュアルなペルソナ探索）などの戦略を使用して安全フィルターを回避します。

対象読者

研究指向のフレームワークではなく、LLMのレッドチーミングと脆弱性評価のための本番環境対応ツールを必要とするセキュリティ専門家とエンタープライズチーム向けに構築されています。

ハイライト

• 広範な攻撃ライブラリ: 脱獄、RAGポイズニング、エージェント攻撃など、47カテゴリにわたる210以上の脆弱性プローブ。
• 幅広いプロバイダーサポート: OpenAI、Anthropic、Azure、Bedrock、Vertex AI、およびOllamaなどのローカルオプションを含む28のLLMプロバイダーと統合。
• 包括的な検出: LLM-as-a-judgeやPerspective APIを含む90以上の検出器。
• 本番環境対応機能: 高性能なGoで記述され、同時スキャン、レート制限、シングルバイナリ配布を備えています。
• 柔軟な出力: Table、JSON、JSONL、HTML形式でレポートを生成します。