416rehman/DeepZero

解決する課題

DeepZeroは、脆弱性調査のために設計された自動化パイプラインエンジンです。セキュリティ研究者が、ソフトウェア（カーネルドライバなど）のインジェスト、フィルタリング、および分析のプロセスを自動化してセキュリティ上の欠陥を見つけることを可能にし、手動のオーケストレーションを宣言的なシステムに置き換えます。

仕組み

ユーザーは研究ワークフローをYAMLファイルとして定義し、これが一連のステージとして機能します。エンジンはこれらのステージの実行を処理し、ThreadPoolExecutorを介して並列性を管理し、各サンプルの状態をディスクに保存することでフォールトトレランスを確保します。これにより、進捗を失うことなく実行を一時停止および再開できます。分析フェーズでは、LiteLLMを通じて様々なLLMプロバイダーと統合され、Jinja2テンプレートを使用してモデルに調査結果を評価するようプロンプトを送信します。

対象者

従来のセキュリティツールとAI駆動の評価を組み合わせて、大量のファイル（例：バイナリファイルやソースコード）の分析をスケールさせる必要があるセキュリティ研究者や脆弱性アナリスト向けに構築されています。

ハイライト

• Pipeline-as-YAML: インジェスト、フィルタリング、および変換ステージの複雑なチェーンを宣言的に定義します。
• 再開可能な実行: サンプルごとのアトミックな状態永続化により、中断した箇所から正確に再開できます。
• LLM統合: Jinja2テンプレートによる柔軟なプロンプティングと、LiteLLMを介した複数のLLMプロバイダーのサポート。
• 拡張可能なアーキテクチャ: ユーザーは独自の専門ツールを統合するために、Pythonクラスとしてカスタムプロセッサを作成できます。
• 並列実行: 大規模なデータセットの処理を高速化するために、ステージごとに構成可能な並列実行を提供します。