Anthropic FlashProve: 오픈소스 400B 파라미터 MoE 모델을 위한 증명 가능한 추론

TL;DR

Anthropic의 FlashProve는 특정 400B 파라미터 혼합 전문가(mixture-of-experts) 모델이 응답을 생성했음을 암호학적으로 증명할 수 있으며, 단일 H100 GPU에서 초당 110개 이상의 토큰으로 약 19MB의 증명을 생성합니다. 검증은 CPU에서 수 초 내에 완료되어 모델 가중치를 노출하지 않고 신뢰할 수 있는 AI 추론을 가능하게 합니다.

FlashProve가 달성한 것

FlashProve는 영지식 간결한 지식 인수(zero-knowledge succinct argument of knowledge, zkSNARK)를 사용하여 증명 가능한 추론(PI) 을 구현합니다. 모델 제공자가 구체적인 가중치 집합에 커밋한 다음 각 생성 토큰에 짧은 증명을 첨부할 수 있게 하여, 공개 커밋만 보유한 모든 검증자가 토큰이 커밋된 모델에서 나왔는지 확인할 수 있게 합니다.

주요 보장 사항:

  • 완전성(Completeness) – 정직한 증명자의 증명은 항상 검증됩니다.
  • 건전성(Soundness) – 거짓 명제에 대한 증명을 위조하려면 표준 암호화 가정을 깨야 합니다.
  • 영지식(Zero-knowledge) – 증명은 모델의 가중치에 대한 정보를 노출하지 않습니다(아키텍처는 여전히 보입니다).
  • 간결성(Succinctness) – 1,024토큰 요청은 약 19MB 증명을 생성하며, 24코어 CPU에서 검증은 약 17초가 걸립니다.

성능 수치

구성 요소 하드웨어 처리량 증명 크기
증명자(온라인) 1× NVIDIA H100 + 24 CPU 코어 110토큰/초 (24개 요청에 약 223초) 1,024토큰 배치당 18.78MB
검증자 24코어 CPU (GPU 없음) – 증명당 17초 (24스레드)
오프라인 커밋 1× H100 39분 (모델당 1회) 총 6.5MB

8개의 H100에서 vLLM을 사용한 일반 추론과 비교할 때, FlashProve의 온라인 단계는 GPU 시간이 70–95배 더 많이 들지만, 오버헤드는 이전 오픈소스 zkML 시스템(0.001~0.05토큰/초 범위)보다 훨씬 낮습니다. Attestable과 같은 상용 노력은 31B 밀집 모델에 대해 53–77토큰/초를 보고하지만, FlashProve는 400B MoE 모델에 대해 초당 100토큰을 초과하는 최초의 오픈소스 프로토타입입니다.

시스템 아키텍처

오프라인 단계

  1. 모델 커밋 – 증명자는 정확한 정수 양자화 가중치(4비트)의 암호화 지문을 계산하고 이를 게시합니다(약 6.5MB). 커밋은 새 커밋이 필요하기 전까지 약 1,600만 번의 추론 요청에 유효합니다.

온라인 단계

  1. 요청 – 검증자가 프롬프트를 보내고 모델의 출력을 받습니다.
  2. 증명 생성 – 증명자는 모델을 실행(프리필 방식)하면서 동시에 커밋된 가중치가 정확한 탐욕적 토큰 시퀀스를 생성한다는 zkSNARK 증명을 구성합니다.
  3. 검증 – 검증자는 공개 커밋, 프롬프트 및 출력에 대해 증명을 확인합니다. 가중치나 아키텍처 세부 정보는 노출되지 않습니다.

기술 핵심

FlashProve의 zkSNARK는 표준 대화형 오라클 증명 → 해시 기반 SNARK 파이프라인을 따르며 다음을 사용합니다:

  • 선형 제약 조건을 사용한 코드 근접성 테스트
  • 룩업 인수
  • 양자 후 보안 해시 함수

증명 시스템은 MoE 추론에 맞게 조정되었습니다: 토큰당 실제로 활성화되는 약 17B 파라미터만 암호화 작업에 포함되어 전체 모델 비용이 아닌 활성 전문가에 선형적인 비용을 제공합니다.

형식 검증 및 신뢰

Anthropic은 다음을 제공합니다:

  • 프로토콜 및 세 가지 최상위 보안 속성(완전성, 건전성, 영지식)에 대한 Lean 사양.
  • 실제로 사용되는 빠른 C++ 검증자와 동등함이 증명된 Lean 검증자(느리지만 기계 검증됨).
  • Lean 정리를 위한 대화형 시각화 도구.

저자는 두 가지 신뢰 격차를 인정합니다:

  1. 빠른 C++ 코드는 공식적으로 검증되지 않았습니다. Lean 사양과 일치할 것으로 예상되지만 다를 수 있습니다.
  2. 증명자 구현은 공식적으로 검증되지 않았습니다(Lean 증명자를 실행하는 것은 비현실적입니다). 따라서 실행 코드에 대한 감사가 필요합니다.

Anthropic이 강조한 응용 분야

  • 규제 페이싱 – 규제 기관은 증명 배치를 요청하여 제공자의 하드웨어가 숨은 훈련이 아닌 추론에 전용되는지 확인할 수 있습니다.
  • 변조 탐지 – 손상된 서버는 승인되지 않은 가중치 집합에 대한 유효한 증명을 위조할 수 없습니다.
  • 텍스트 출처 – 사용자는 "이 코드는 최첨단 모델에 의해 감사되었습니다"와 같은 주장이 사용된 정확한 모델의 증명으로 뒷받침되는지 확인할 수 있습니다.
  • 모델 승인 강제 – 당국은 승인된 모델만 제공된다는 증명을 요구할 수 있습니다.

커뮤니티 반응 (Hacker News 댓글)

  • @neuwirth는 FlashProve가 이전 VerInf 프로젝트를 기반으로 하지만 귀속이 제한적이라고 지적합니다.
  • @vessenes는 성능 향상을 칭찬하지만 증명 생성이 여전히 90–100배의 계산 오버헤드를 발생시킨다고 경고하며, 숨겨진 프롬프트 섹션이 비공개로 유지된다는 것을 증명하는 미해결 문제도 제기합니다.
  • @nemo1618는 오픈 가중치 모델의 경우 증명 가능한 추론이 사소하다(모델을 다시 실행)고 주장하며, ZKP가 주로 폐쇄 가중치 서비스에 중요하다고 강조합니다.
  • @ajb는 실용적 유용성에 의문을 제기하며, 증명이 모델이 더 저렴한 모델로 교체되지 않았음을 확인할 뿐 답변이 신뢰할 수 있다는 것을 확인하지 않는다고 제안합니다.
  • @grey-area와 @thereader12는 기술이 내부 규정 준수나 규제 포획을 넘어 최종 사용자에게 도움이 되는지 회의적입니다.
  • @fscaramuzza와 @ronfriedhaber는 밀집 모델에 대해 유사한 초당 토큰 속도를 보고하는 Attestable의 병행 작업을 언급합니다.
  • @wcoenen은 시스템이 양자화된 배포와 전체 정밀도 배포를 감지할 수 있는지 묻습니다. 답변은 FlashProve가 가중치의 정확한 정수 버전을 증명하므로 부동 소수점 또는 샘플링 디코딩은 발산하여 증명을 무효화할 수 있다는 것입니다.
  • @jmort는 소프트웨어 전용 ZK 증명과 기밀 컴퓨팅 하드웨어 증명 사이의 트레이드오프 질문을 제기하며, 전자가 모델 내부를 노출하지 않는다고 언급합니다.

전반적으로 커뮤니티는 기술적 돌파구를 인정하지만 실제 채택은 사용 사례 관련성, 증명 크기, 지연 시간 및 기존 AI 서비스 파이프라인과의 통합에 달려 있다고 강조합니다.

한계

  • 증명 범위 – 현재 탐욕적 디코딩 하의 정수 양자화 모델로 제한됩니다. 확률적 샘플링이나 부동 소수점 추론은 포함되지 않습니다.
  • 컨텍스트 길이 – 증명은 최대 1,024토큰을 지원하며, 많은 채팅 응용 프로그램에서 사용되는 수천 토큰 창보다 훨씬 짧습니다.
  • 아키텍처 노출 – 시스템은 가중치를 숨기지만 MoE 아키텍처는 숨기지 않습니다. 밀집 모델은 다른 구성이 필요합니다.
  • 부채널 누출 – 증명 생성 중 타이밍 또는 메모리 액세스 패턴은 이론적으로 가중치 정보를 누출할 수 있습니다. 이는 범위를 벗어납니다.
  • 코드 검증 격차 – 빠른 C++ 검증자는 공식적으로 검증되지 않았으며 증명자에는 공식 보장이 없습니다.

시작 방법

Anthropic은 Apache 2.0 라이선스로 다음을 공개합니다:

  1. 기술 보고서 – 상세 설계 및 성능 분석.
  2. 프로토콜 사양(PDF) – 증명 시스템의 공식 설명.
  3. 실행 코드 – 증명자, 빠른 C++ 검증자 및 Lean 검증자.
  4. Lean 증명 – 보안 속성의 기계 검증된 명제.
  5. 대화형 시각화 도구 – Lean 정리를 탐색하기 위한 HTML 도구.

모든 아티팩트는 GitHub 저장소 anthropics/FlashProve에서 사용할 수 있습니다.

결론: FlashProve는 최첨단 규모의 MoE 모델에 대한 zkSNARK 기반 증명 가능한 추론이 이제 실용적임을 보여주며, 단일 H100 GPU에서 초당 100토큰 이상, CPU에서 수 초 내에 검증되는 20MB 미만의 증명을 달성합니다. 여전히 주목할 만한 한계가 있는 연구 프로토타입이지만, 오픈소스 릴리스는 신뢰할 수 있는 AI 서비스, 규제 도구 및 영지식 머신러닝에 대한 향후 학술 작업을 위한 구체적인 기반을 제공합니다.

Sources