동찰 Beating AI 속보, Anthropic이 FlashProve를 오픈소스로 공개하며 암호화폐 분야에서 흔히 쓰이는 zkSNARK(영지식 증명) 기술을 AI 모델 추론에 도입했다.
이 기술은 원래 거래 세부 정보를 공개하지 않고도 블록체인 거래의 유효성을 증명할 수 있었다. Anthropic은 이를 활용해 또 다른 문제를 해결하려 한다. 사용자가 특정 AI 모델의 API를 고가에 구매했을 때, 서비스 제공자가 몰래 저렴한 모델로 바꿨는지 어떻게 알 수 있을까?
FlashProve는 서비스 제공자가 먼저 모델 가중치에 대한 암호화 지문을 생성하고, 추론 결과에 대한 수학적 증명을 제공하도록 한다. 사용자는 모델 가중치를 받거나 모델을 다시 실행할 필요 없이, 지정된 출력이 사전에 약속된 가중치 집합에서 나온 것인지 확인할 수 있다. Claude도 이 시스템의 연구 개발과 최적화에 참여했다.
Anthropic은 이미 Meta의 4000억 파라미터 모델인 Llama 4 Maverick에서 실험을 완료했다. 1024개 토큰의 컨텍스트를 처리할 때마다 생성되는 증명은 약 19MB이며, 일반 CPU로 검증하는 데 약 17초가 걸린다.
다만 현재는 증명 하나당 출력 토큰 하나만 검증할 수 있어 전체 답변을 검증하는 것은 아직 불가능하다. 증명 생성에 필요한 GPU 연산 시간도 일반 추론의 약 70~95배에 달한다. 앞으로 이를 통해 몰래 모델을 바꾸는 API 서비스 제공자를 적발할 수 있을지는 증명 비용이 언제 낮아지느냐에 달려 있다.