02 Anthropic 오픈소스인프라

Anthropic FlashProve: 응답이 약속한 모델에서 나왔는지 암호로 증명하는 오픈소스

Anthropic 연구 글 'Progress on provable inference for large language models' 대표 이미지
이미지 출처: Anthropic 개념 일러스트 (생성 이미지)

무엇인가요

FlashProve는 모델 제공자가 가중치를 공개하지 않고도 '이 응답은 약속한 바로 그 가중치에서 나왔다'고 증명하는 시스템이에요. zkSNARK(내용을 드러내지 않고 계산이 맞았음을 짧은 증명으로 보여 주는 암호 기법)를 써요. 4비트 Llama 4 Maverick(400B MoE)에서 H100 한 장으로 초당 약 110토큰업체 주장을 증명하고, 1,024토큰 요청당 증명 파일은 약 19MB업체 주장이에요. 검증은 GPU 없이 24코어 CPU에서 17초쯤업체 주장 걸려요. 증명기, C++ 빠른 검증기, Lean으로 검증한 느린 검증기와 Lean 증명을 Apache 2.0으로 공개했어요.

왜 중요한가요

라우팅 서비스가 비싼 모델 대신 싼 모델을 몰래 붙이거나 공격자가 토큰 스트림을 바꿔치기해도 지금은 사용자가 알아챌 방법이 없어요. 이런 증명이 실용 수준이 되면 서드파티 API 중계, 모델 평가 기관, 규제 준수 확인에서 '어떤 모델이 답했는가'를 따질 수 있어요. 다만 비용이 vLLM 추론의 70~95배업체 주장 GPU 시간이라 당장은 표본 검사나 사후 감사에 맞는 수준이에요.

완성도

Research 연구연구 프로토타입이에요. 컨텍스트가 1,024토큰까지이고 정수 모델과 그리디 디코딩만 증명하며 빠른 C++ 코드와 Lean 명세가 일치한다는 보장은 없다고 Anthropic이 직접 밝혔어요.

앞으로 이렇게 지켜보세요

  • 성능 재현: GitHub 저장소 이슈와 독립 연구자 측정에서 초당 110토큰 수치가 재현되는지 보세요.
  • 범위 확대: 긴 컨텍스트, 샘플링 디코딩, 아키텍처 숨기기가 후속 버전에 들어가는지 지켜보세요.
  • 실서비스 적용: Anthropic이 자사 API나 평가 기관 협업에 증명을 붙이는지 공식 발표를 확인하세요.

같은 날 다른 소식