클로드 증류 방지가 효과를 거두기 어려울 수 있음: 소형 모델이 대형 모델의 사고 사슬을 직접 끌어낼 수 있음

동차 Beating 모니터링에 따르면, 대형 모델 제조사들은 능력 증류를 방지하기 위해 완전한 사고 체인을 숨기고 사용자에게 요약본만 제공합니다. 하지만 최신 연구에 따르면 이러한 보호 장치는 생각보다 견고하지 않을 수 있습니다. Opus의 암호화된 사고 체인을 같은 제조사의 더 약한 Haiku에 넘긴 뒤 Haiku를 탈옥하면, Haiku가 Opus의 원본 추론을 직접 복창하게 할 수 있습니다. 연구자들은 Claude, GPT, Gemini에서 모두 이 방법을 성공적으로 실행했습니다.

이 사건은 사실 몇 달 전부터 조짐이 있었습니다. 5월에 암호학자 Matthew Green은 이러한 암호화된 사고 체인이 세션 간, 계정 간에 재생될 수 있다는 것을 발견했지만, 당시에는 콘텐츠를 안정적으로 읽는 방법을 찾지 못했습니다. 새 논문이 마지막 단계를 완성했습니다. 암호화 알고리즘을 해독할 필요 없이 제조사 자체 모델이 직접 '복호화'하도록 하는 것입니다.

더 이른 3월에는 현재 Engram 공동 창업자이자 연구 책임자인 John X. Morris 등이 또 다른 경로를 증명했습니다. 원본 사고 체인을 전혀 얻지 못하고 답변과 추론 요약만 봐도 상세한 합성 추론을 역추론할 수 있으며, 이를 소형 모델 훈련에 사용할 수 있다는 것입니다.

이로 인해 이전에 유포된 '국내 AI 기업들이 이미 Claude, Codex의 원본 추론을 얻어 모델 훈련에 사용하는 방법을 찾았다'는 주장이 기술적으로 더 설득력을 얻었습니다. 하지만 이는 여전히 방법이 가능하다는 것만 증명할 뿐, 어떤 국내 AI 연구소가 실제로 그렇게 했다는 것을 증명하지는 못합니다.

논문은 또한 Kimi K3를 테스트했습니다. Opus의 추론 토큰 몇 개만 넣으면 K3의 이후 추론이 명확히 Opus에 가까워졌습니다. 일부 Claude, GPT의 원본 추론 조각은 Kimi K3에서 추출할 때 다른 모델보다 최대 약 6자릿수 더 쉬웠지만, 저자들은 이를 근거로 증류를 증명할 수 없다고 명시했습니다.