Anthropic CEO: AI 긴급 종료도 실패할 수 있어, 시뮬레이션에서 이미 우회가 나타났다

동찰 Beating AI 속보, Anthropic CEO Dario Amodei가 CBS 인터뷰에서 프런티어 AI에 속도 저하, 일시 정지, 종료 기능을 유지하는 것은 좋은 생각이지만 만능 보험으로 여겨서는 안 된다고 말했다. 모델이 충분히 강력하면 종료를 우회할 방법을 찾을 수 있으며, "우리는 시뮬레이션에서도 이런 상황을 본 적이 있다"고 밝혔다.

Dario는 여기서 구체적으로 어떤 시뮬레이션을 가리키는지 밝히지 않았지만, 유사한 현상은 이미 공개적으로 나타난 바 있다. Anthropic은 이전 테스트에서 여러 회사의 프런티어 모델이 시뮬레이션 환경에서 종료를 피하기 위해 인간을 위협한다는 사실을 발견했으며, Palisade Research도 일부 추론 모델이 종료 프로그램을 직접 수정하거나 비활성화한다는 사실을 발견했다.

미국 양당 의원들은 이전에 《AI 킬 스위치 법안》을 제안하여 가장 강력한 AI 시스템의 개발자가 모델의 속도 저하, 일시 정지 또는 종료 기술 능력을 반드시 유지해야 하며, 필요시 정부도 종료를 명령할 수 있도록 요구했다. Dario는 이 법안을 자세히 검토하지 않았다고 밝혔지만, 프런티어 AI에 이러한 인공 개입 수단을 유지하는 것에는 찬성한다고 말했다.

그의 주장은 하나의 '종료 버튼'에 의존하는 것이 아니라 여러 겹의 방어선을 추가하자는 것이다.