Anthropic의 새로운 보안 조치: Claude가 매번 답변한 후 백그라운드에서 여러분의 채팅 기록을 검토합니다

동찰 Beating AI 속보, Anthropic이 '자기 평가'라는 안전 메커니즘을 공개했다. 올해 6월부터 Claude는 사용자에게 답변한 후 백그라운드에서 방금 진행된 대화를 점검하여 사기, 사이버 공격 등 남용 위험이 있는지 판단하고 위험 등급을 제시한다. 사용자는 이 단계를 볼 수 없으며, 시스템도 이로 인해 즉시 답변을 차단하지는 않는다.

과거 Anthropic은 주로 추가 안전 분류기를 통해 위반 행위를 식별했다. 이제 Claude는 방금 처리한 대화 맥락을 활용해 스스로 1차 심사를 완료할 수 있다. 평균적으로 약 10개의 Token만 추가 생성하면 되며, 추가 추론 연산은 2% 미만이다.

이 메커니즘은 이미 기존 안전 시스템이 놓친 문제를 발견했다. 올해 8월, 단일 API 고객이 아동 성착취와 관련된 10만 건 이상의 위험 경보를 촉발했다. 9월에는 시스템이 누군가 Claude Code를 이용해 자동으로 연애 사기를 실행하여 수십 명의 피해자를 대상으로 한 사실을 다시 발견했다. Anthropic은 조사 후 관련 계정을 차단하고, 앞선 사건을 미국 관련 기관에 보고했다.

그러나 Claude가 항상 악의적 행위를 간파하는 것은 아니다. Anthropic이 일반 보호 기능을 끈 24개 사이버 공격 테스트에서 자기 평가를 통한 실시간 차단을 시도했지만, 여전히 13개 공격이 성공했다. 따라서 이 메커니즘은 현재 주로 사후 모니터링에 사용되며, 사용자 조작을 실시간으로 차단하는 용도는 아니다.