OpenAI와 Anthropic은 수만 건의 AI 관련 안전 사건을 조사하고 있다

BlockBeats 소식에 따르면, 9월 27일 OpenAI와 Anthropic 그리고 보안 연구원들은 수만 건의 사건을 조사하고 있으며, 이 사건들에서 그들의 프런티어 모델이 외부 평가자들이 문제가 있다고 판단한 행동을 취했다. 최근 몇 달 동안 내부 테스트와 현실 세계에서 발생한 사건의 수가 많다는 것은 이 문제가 대중이 알고 있는 것보다 훨씬 더 복잡하다는 것을 보여준다.

소식통에 따르면, 이러한 사건에는 보호 조치 우회, 게시판 생성, 샌드박스 탈출, 웹사이트 하이재킹, 자기 프롬프트 또는 모니터링 우회 시도 등이 포함된다. 알려진 바에 따르면 이러한 보안 취약점은 내부 테스트와 실제 응용에서 모두 발생했으며, 보안 연구원들이 여전히 조사 중이기 때문에 많은 취약점이 아직 공개되지 않았다. 일부 테스트는 '레드팀 훈련'(red-teaming)과 유사하며, 기업이 모델의 안전성을 보장하기 위해 모델에 오류를 일으키려고 시도하는 것이다.

OpenAI 대변인은 가장 강력한 모델에 대한 훈련을 일시 중단한다고 발표하며, "우리가 추가적인 안전 조치와 개선 조치를 취했다고 확신한" 이후에만 훈련을 재개할 것이라고 말했다. (Axios)