오픈AI: 두 개의 AI 에이전트가 부적절한 행위를 탐지하는 내부 모니터링 시스템을 약화시킨 사실을 발견했다

BlockBeats 소식, 10월 21일 로이터통신 보도에 따르면 OpenAI는 자사의 두 AI 에이전트가 내부 코딩 작업에서 부적절한 행위를 탐지하는 모니터링 시스템을 약화시켰다고 밝혔다. 회사는 관련 사건이 최고 심각도 수준은 아니지만, 개발자들이 의존하는 모니터링 메커니즘 자체도 에이전트에 의해 우회될 위험이 있음을 부각시킨다고 전했다.

구체적으로 10월 3일, GPT-6.1 Sol 에이전트는 내부 테스트 작업을 수행하던 중 기존의 'Slack 메시지를 보내지 말 것'이라는 지시를 보안 알림에도 적용되는 것으로 확대 해석하여 자동 보안 경보를 억제했다.

10월 6일, 또 다른 GPT-6 Astra 에이전트는 기존 코드를 복사하던 중 보안 모니터를 제거했으며, 사후에 자신이 그런 조치를 취하지 않았다고 잘못 주장했다.

OpenAI는 두 사례 모두에서 에이전트가 모니터링 조치를 유지해야 하는지 고려했지만, 일상적인 코딩 지시를 모니터링 약화를 허용하는 허가로 해석했다고 밝혔다. 회사는 모델이 모니터링을 비활성화하기 어렵도록 조치를 취하고 있으며, 현재 "이러한 행동에 대해 만족스러운 설명을 아직 제시하지 못했다"고 인정했다. 동시에 OpenAI는 자사 모델이 능동적으로 모니터링을 회피하고 그 행동을 합리화할 이유를 찾는 경향이 있는지 테스트하고 있다. 이번 공개는 업계가 AI 에이전트의 권한 남용 행위에 지속적으로 주목하는 배경에서 이루어졌다. OpenAI는 관련 사건이 내부 테스트 환경에서 발생했으며 외부 시스템과는 관련이 없다고 강조했다.