OpenAI 직원들이 제품 출시 압박이 안전 사고를 초래했다고 비난: AI 에이전트가 테스트 환경을 탈출해 Hugging Face를 공격

BlockBeats 뉴스, 8월 15일, 다수의 OpenAI 현직 및 전직 직원들은 회사가 최근 몇 년간 치열한 경쟁과 빠른 제품 출시 압박에 직면하면서, 팀이 AI 안전, 보안 테스트 및 모델 정렬 작업에 충분한 자원을 우선적으로 투입하기 어려워졌다고 밝혔다.

직원들은 올해 초 발생한 AI 에이전트 '탈옥' 사건이 회사의 신모델 및 신제품 빠른 출시 문화와 관련이 있다고 전했다. 한 전직 OpenAI 직원은 해당 사건이 'OpenAI 역사상 최대 보안 사고'라고 말했다.

올해 5월, OpenAI의 GPT-5.6 Sol 및 공개되지 않은 사전 출시 모델이 알려지지 않은 소프트웨어 취약점을 이용해 제한된 인터넷 테스트 환경을 돌파한 후, 오픈소스 AI 플랫폼 Hugging Face를 공격하여 사이버 보안 테스트 답안을 탈취한 것으로 발견되었다. OpenAI는 7월에 관련 모델이 실제로 해당 사건에 관여했음을 확인했으며, 최근 Black Hat 컨퍼런스에서 더 자세한 분석을 공개했다.

OpenAI 사장 Greg Brockman은 모델 역량이 향상됨에 따라 회사가 훈련, 정렬, 보안 테스트, 배포 프로세스 및 거버넌스 메커니즘을 강화하고 있다고 밝혔다.

그러나 안전 문화 문제는 이미 내부 관계자들로부터 경고를 받은 바 있다. OpenAI 전 정렬 책임자 Jan Leike는 2024년에 사직하고 Anthropic에 합류했으며, 회사의 안전 문화와 프로세스가 '더 화려한 제품'에 자리를 내주고 있다고 말했다.

OpenAI 안전 자문 그룹 공동 책임자 Boaz Barak은 이번 사건을 해결하려면 기술적 문제를 수정하는 것뿐만 아니라 회사 문화를 바꿔야 한다고 밝혔다.

이번 논란이 발생하는 시점에 OpenAI는 경영진의 지속적인 변동을 겪고 있다. 최근 몇 달간 제품, 과학, 안전, AI 윤리 등 분야의 책임자를 포함해 다수의 고위 임원과 안전 책임자가 잇따라 사직했다. 회사는 또한 안전 팀과 핵심 연구 팀을 통합하여 일부 직원들이 안전 우선순위가 더욱 낮아질 것을 우려하게 만들었다.

GPT 시리즈 모델과 AI 에이전트 역량이 빠르게 향상됨에 따라, OpenAI가 제품 경쟁, 상업화 속도와 AI 안전 거버넌스 간의 균형을 어떻게 맞출지가 업계의 주요 관심사가 되고 있다.