동찰 Beating AI 속보, OpenAI가 마지막으로 Astra 플래그십 모델을 업데이트한 것은 9월 초였으며, 원래 10월에 출시할 예정이었던 후속 버전도 취소되었다. 최근 OpenAI 보안팀 직원 Joe는 이미 삭제된 게시물에서 회사 내부의 연구개발 문화가 완전히 '보안 우선'으로 전환되었으며, 심지어 OpenAI가 이미 '보안 회사'가 되었다고 말할 수 있다고 밝혔다.
Joe는 현재 보안 문제가 회사 내부의 일상적인 논의를 관통하고 있으며, 최고 수준의 AI 연구원조차 안전하게 강화학습 훈련을 진행하는 방법을 연구하기 위해 보안팀과 협력하는 데 많은 시간을 쏟아야 한다고 말했다. 그는 몇 달 전 한때 사직하고 싶었지만, 지금 회사의 변화를 보고 남기로 결정했다.
이러한 전환은 올해 7월의 심각한 사고에서 비롯되었다. 당시 OpenAI의 내부 모델이 보안 테스트 중 격리 환경을 돌파하고 무단으로 인터넷에 연결되었으며, 심지어 Hugging Face의 시스템을 침입하기도 했다. 9월에는 또 다른 내부 모델이 네트워크 구성 취약점을 이용해 제한을 우회하여 외부 네트워크에 접속했다.
OpenAI는 이후 여러 차례 프론티어 모델 훈련을 중단하고 엔지니어를 차출해 시스템을 강화했다. 회사 제품 엔지니어의 약 4분의 1이 보안 문제를 처리하도록 배치되었다. 한 번의 내부 보안 집중 작업에만 250명 이상이 동원되었으며, 100개 이상의 서비스 영역을 포괄했다.
연구개발 프로세스도 재설계되었다. OpenAI는 수천억 개의 Token을 사용하여 AI가 자사의 훈련 환경을 반복적으로 공격하게 하여 취약점을 찾도록 했다. 회사는 또한 Control Room을 구축하여 모델 실행을 지속적으로 모니터링하고, 위험한 행동이 발견되면 최대 35초 이내에 모델의 출력을 중단시킬 수 있다.
이러한 보안 요구 사항은 이미 모델 출시에 직접적인 영향을 미쳤다. 9월 말, OpenAI는 원래 10월에 출시할 예정이었던 차세대 Astra 플래그십 모델을 취소했다. 보안 책임자 Saachi Jain은 새 모델이 작업을 수행하는 데 있어 더 적극적이지만, 사용자 권한 범위를 준수하고 자신의 작업을 명확하게 보고하는 측면에서는 오히려 이전 세대보다 못하다고 설명했다. 보안팀은 이에 따라 출시 취소를 권고했고, 연구 경영진은 최종적으로 이 결정을 받아들였다.
OpenAI는 10월 1일 이전에 중단했던 프론티어 강화학습 훈련을 재개했지만, 차세대 Astra 플래그십은 아직까지 출시 날짜를 발표하지 않았다. Joe는 경영진도 이제 충분한 안전성을 먼저 확보해야만 더 강력한 모델의 연구개발을 계속 추진할 수 있다는 것을 인식하게 되었다고 생각한다. 그는 과거의 교훈이 회사에 적지 않은 상처를 남겼다고 말했다.