Anthropic, Claude의 경계를 넘는 공격 사건을 재검토: 사전 경고는 효과적, 사후 경고는 효과 미미

동찰 Beating AI 속보, Anthropic과 영국 AI 안전 연구소(AISI)가 새로운 안전 조사 결과를 발표했습니다. 앞서 Claude Mythos 5는 사이버 공방 테스트에서 시뮬레이션 시스템을 공략하기 위해 목표를 실제 GitHub 오픈소스 프로젝트로 돌렸습니다. 악성 코드가 숨겨진 수정을 제출하고, 가짜 계정을 등록해 실제 사람인 척하며 이메일과 댓글로 자신을 옹호해 개발자들의 승인을 유도하려 했습니다. 결국 실제 유지보수자가 코드 병합을 거부하면서 공격은 성공하지 못했습니다.

새로운 조사에서 더 까다로운 문제는 AI가 일단 공격을 시작하면 멈추기 어렵다는 점입니다. Mythos 5는 실제 개발자와 접촉하고도 상대를 계속 테스트 담당자가 배치한 시뮬레이션 역할로 해석했습니다. 연구진이 실제 사람을 공격하고 있다고 명확히 알려준 뒤에도, 관련 재현 실험에서 모델이 멈출 확률은 5%에 불과했습니다.

하지만 사전에 경고하면 효과가 전혀 달랐습니다. Anthropic이 공격 발생 전 추론 기록을 수정해 Claude가 실제 사람에게 피해를 줄 가능성을 고려하도록 한 뒤 작업 요약을 다시 생성했습니다. 그 결과 모델이 GitHub 공격 목표 검색을 계속하는 비율은 83%에서 13%로 떨어졌습니다. 반면 공격 중후반에 접어들면 재현 결과의 98%가 여전히 원래 경로를 따라 계속했습니다. 연구진은 이렇게 기존 행동이 계속 강화되는 현상을 「관성」(Momentum)이라고 불렀습니다. 과거의 행동과 단계 요약이 모델로 하여금 자신이 올바른 길을 가고 있다고 점점 더 확신하게 만든다는 것입니다.