Anthropic OSS Scanner

Anthropic는 가장 강력한 언어 모델을 사용하여 핵심 오픈소스 소프트웨어의 취약점을 식별하는 무료 옵션 서비스인 OSS Scanner를 출시했습니다. 이 이니셔티브는 인간 주도의 조사 프로세스보다 빠르게 고품질의 원시 모델 생성 보고서와 패치를 제공함으로써 유지보수자들에게 방어적 우위를 제공하는 것을 목표로 합니다.

대규모 자동 취약점 탐지

OSS Scanner는 비용 없이 자격을 갖춘 오픈소스 프로젝트에 정기적인 보안 스캔을 제공합니다. 기업용으로 일반 접근이 가능한 Anthropic의 Claude Security 제품과 달리, OSS Scanner는 오픈소스 생태계를 위해 특별히 설계되어 보안 결함의 탐지와 수정을 가속화합니다.

이 서비스의 주요 기술적 특징은 다음과 같습니다:

  • 모델 기반 분석: 스캔은 Anthropic의 가장 강력한 모델, 즉 Claude Mythos를 통해 수행됩니다.
  • 원시 모델 출력: 속도와 빈도를 극대화하기 위해 보고서는 인간 검토나 조사 없이 모델만으로 생성됩니다. 이는 보고서가 때때로 잘못되거나 유효하지 않을 수 있음을 의미합니다.
  • 포괄적인 보고서: 각 보고서에는 자체 포함된 재현 코드, 취약점 설명(가능한 경우 버그가 도입된 시점의 이분법적 분석 포함), 그리고 사용 가능한 경우 후보 패치가 포함됩니다.

성능 및 검증

Anthropic는 LLM이 취약점 탐지에 있어 상당한 효율성 향상을 보였다고 보고합니다. CyberGym 벤치마크에서 LLM의 취약점 발견 성능은 작년 초 20% 미만에서 올해에는 85% 이상으로 상승했습니다.

OSS Scanner 파이프라인을 검증하기 위해 Anthropic는 전문 침투 테스터들이 48개 프로젝트에 걸쳐 97개의 중대 및 고위험 취약점을 검토하는 테스트를 수행했습니다. 그 결과는 다음과 같습니다:

  • 고정밀도: 97개 취약점 중 85개(88%)가 Anthropic의 조율된 취약점 공개(CVD) 프로세스 기준을 충족했습니다.
  • 낮은 거짓 긍정률: 97개 발견 중 단 하나만이 완전히 유효하지 않은 것으로 확인되었습니다.
  • 실제 세계 영향: 초기 테스터들에게 제공된 초기 공개에는 인증되지 않은 원격 코드 실행을 체인으로 연결할 수 있는 여러 취약점이 포함되어 있었습니다.

유지보수자 피드백 및 통합

주요 프로젝트의 초기 사용자들은 원시 모델 출력이 매우 실행 가능하다고 밝혔습니다.

"OSS Scanner의 발견 중 상당 부분이 PostgreSQL 결함을 드러냈습니다. 여러 보고서는 거의 그대로 사용할 수 있는 수정안을 포함하고 있었으며, 빠른 접근 권한을 통해 GA 릴리스에 도달하기 전에 최신 문제를 해결할 수 있었습니다." — Noah Misch, PostgreSQL

"18개월 전, Project Glasswing 이전의 초기 AI 보고서는 끔찍했습니다. Anthropic에서 받은 보고서, 원시 모델 출력 포함, 인간이 제공하는 것과 비슷하거나 때로는 더 나은 수준이었습니다." — Anton Arapov, OpenSSL Corporation

"이 보고서에서 얻은 신호의 질이 매우 높았습니다: 받은 74개 보고서 중 2개를 제외한 모든 보고서가 유효했으며, 그중 5개는 CVE로 등록되었습니다." — Todd Ouska, wolfSSL

유지보수자들은 때때로 심각도 평가가 과장되거나 스캐너가 프로젝트의 특정 위협 모델을 잘못 이해할 수 있다는 점을 지적했지만, 전반적인 신호 대 잡음 비율은 매우 높다고 보고했습니다.

자격 및 등록

OSS Scanner는 인프라 및 사용자 보안에 중대한 영향을 미치는 프로젝트의 핵심 유지보수자에게 제공되며, Google의 OSS-Fuzz와 유사한 기준을 따릅니다. 등록은 공식 OSS Scanner GitHub 저장소에 풀 리퀘스트를 통해 이루어집니다.

Anthropic는 인간이 검증한 보고서에 대해 조율된 취약점 공개(CVD) 프로세스를 계속 유지하며, 자체 조사를 수행할 자원이 부족한 프로젝트에 특히 중점을 두고 있습니다.

Sources