416rehman/DeepZero

해결하는 문제

DeepZero는 취약성 연구를 위한 자동화된 파이프라인 엔진을 제공합니다. 복잡한 보안 분석 워크플로우를 수동으로 조율하는 노동을 제거하고, 연구자가 YAML을 사용하여 데이터 수집, 필터링, 변환, LLM 기반 평가 단계를 선언적으로 순서대로 정의할 수 있게 합니다.

작동 방식

사용자는 YAML 파일을 사용하여 분석 파이프라인을 정의합니다. 엔진은 이러한 단계의 실행을 처리하며, ThreadPoolExecutor를 통해 병렬성을 관리하고, 디스크에 샘플 단위의 원자적 상태를 유지합니다. 이로 인해 프로세스가 중단된 경우, 중단된 지점에서 다시 시작할 수 있습니다. AI 기반 분석의 경우, LiteLLM를 통해 다양한 LLM 제공업체와 통합되며, Jinja2를 사용하여 프롬프트 템플릿을 구성합니다.

대상 사용자

소프트웨어(예: 커널 드라이버)의 분석을 확장하고 데이터 처리 및 평가 파이프라인의 반복 작업을 자동화하고자 하는 보안 연구자 및 취약성 분석가를 위한 것입니다.

주요 기능

• 파이프라인은 YAML로 정의: 인젝스트, 필터링, LLM 평가 단계를 선언적으로 연결 가능.
• 재시작 가능한 실행: 디스크에 상태를 유지하여 크래시나 수동 중단 후 재개 가능.
• 병렬 실행: 각 단계별로 병렬 처리 수를 설정 가능하여 처리 속도 향상.
• LLM 통합: LiteLLM를 통해 어떤 LLM 제공업체도 지원하며, 유연한 Jinja2 프롬프트 템플릿 사용 가능.
• 확장 가능한 아키텍처: 사용자가 커스텀 Python 프로세서를 작성하여 파이프라인 기능을 확장 가능.