Anthropic Project Glasswing 7개월 성과 검토

Project Glasswing 성과 개요

Project Glasswing 출시 7개월 후, Anthropic의 취약점 공개 원장을 분석한 결과, 이 프로젝트가 대량의 발견 사항을 실행 가능한 보안 수정 사항으로 전환하는 데 어려움을 겪고 있는 것으로 나타났습니다. Anthropic은 약 38,000건의 발견 사항을 보고했지만, 그중 극히 일부만이 검증 및 수정되어 프로젝트의 확장성과 보고된 진양성(true-positive) 비율의 정확성에 대한 우려가 제기되고 있습니다.

공개 및 수정 과정의 불일치

VulnCheck가 추적한 데이터에 따르면 Anthropic의 모델이 생성한 발견 사항의 양과 관리자가 실제로 해결한 취약점 수 사이에 상당한 차이가 있음이 드러났습니다. 2026년 11월 기준으로 Anthropic은 37,966건의 발견 사항을 보고했으나, 수정된 것으로 표시된 것은 217건(약 0.6%)에 불과합니다. 또한 중복(1,654건) 또는 철회(419건)로 표시된 발견 사항의 수가 확인된 수정 사항의 수를 앞지르고 있어, 분류(triage) 프로세스가 모델 생성 보고서의 양을 따라가지 못하고 있음을 시사합니다.

오픈 소스 관리자의 부담

Anthropic이 opt-in 방식의 OSS Scanner로 전환함에 따라 검증 부담이 Anthropic 내부 팀에서 개별 오픈 소스 관리자에게로 넘어갔습니다. curl과 같은 프로젝트의 실제 테스트는 이 모델의 문제점을 잘 보여줍니다. 최근 curl에 제출된 45건의 보고서 중 관리자들은 19건이 취약점이 아니며, 6건은 낮은 심각도의 문제이고, 9건은 아직 평가되지 않았음을 확인했습니다. 이러한 높은 오탐(false-positive) 비율은 보고서를 분류하는 데 필요한 수동 작업과 결합되어, 이 이니셔티브가 비례적인 보안 개선을 제공하지 못한 채 관리자들에게 지속 불가능한 업무 부하를 준다는 비판을 낳고 있습니다.

업계의 시각 및 반론

이러한 결과에 대한 커뮤니티의 반응은 엇갈립니다. 비판자들은 이 프로젝트가 과대 포장되었으며, 대량의 "쓰레기(slop)" 발견 사항이 보안 팀을 압도한다고 주장합니다. 반면, 일부 관리자들은 모델이 인간 감사자가 놓칠 수 있는 복잡하고 유효한 취약점을 식별할 수 있다며 긍정적인 경험을 보고하기도 합니다.

업계 관찰자들은 또한 공개 원장이 프로젝트 전체 활동의 일부만을 나타낼 뿐이라고 지적합니다. 가치 있는 작업의 상당 부분은 비공개 기업 코드베이스 내에서 이루어지며, 여기서 취약점은 공개 CVE 할당 없이 내부적으로 수정됩니다. 한 댓글 작성자가 언급했듯이, "CVE 공개 데이터셋이 기대에 미치지 못한다고 해서 모든 문제가 CVE 번호가 할당되지 않을 비공개 기업 코드베이스에 있다는 사실이 달라지는 것은 아닙니다."

AI 기반 취약점 탐지에 대한 결론

AI 모델이 잠재적인 보안 결함을 식별하는 데 명확한 유용성을 보여주지만, 현재의 Project Glasswing 구현은 강력한 인간 개입(human-in-the-loop) 분류 없는 자동화된 탐지의 한계를 보여줍니다. 업계는 이러한 도구가 보안 태세의 진정한 변화를 의미하는지, 아니면 오픈 소스 생태계에 신호보다 소음만 더 많이 만드는 마케팅 주도형 이니셔티브인지에 대해 여전히 의견이 갈리고 있습니다.

Sources

관련