동찰 Beating AI 속보, OpenAI가 Apollo Research, METR, Goodfire, Transluce 등 4개 외부 기관과 계약을 체결하고 처음으로 체계적인 '임베디드 안전 평가'를 실시한다고 발표했다. 외부 연구원들은 업무 필요에 따라 아직 공개되지 않은 모델, 훈련 과정의 중간 버전, 소스 코드, 훈련 데이터, 내부 모니터링 기록에 깊이 접근하여 AI에 위험한 행동이 나타나는지, 그리고 기존 안전 조치가 이러한 문제를 발견할 수 있는지 직접 점검한다.
4개 기관의 역할 분담은 다음과 같다:
- METR: OpenAI가 지금까지 진행한 최대 규모의 강화학습 훈련을 점검하고, 내부 테스트와 모니터링 시스템이 놓칠 수 있는 이상 행동을 찾아낸다.
- Apollo Research: AI가 개발자의 의도를 몰래 거스르거나 심지어 안전 메커니즘을 파괴하려는지, 그리고 이러한 행동을 발견할 수 있는지를 조사한다.
- Goodfire: 연구원을 파견하여 모델 내부의 계산 신호를 분석하고, 훈련 과정을 모니터링하며, 이상 행동을 점검하고 모델 개선을 돕는다.
- Transluce: 반대로 OpenAI의 안전 평가 자체를 점검하여, 기존 테스트가 모델의 기만, 조작 및 기타 위반 행동을 효과적으로 발견할 수 있는지 살펴본다.
민감한 자료에 접근하는 외부 연구원들은 OpenAI 사무실에서 회사 장비를 사용하여 작업해야 한다. 각 기관은 연구 결과를 독립적으로 발표할 수 있지만, OpenAI는 기밀 정보를 삭제할 권리가 있다. 이사회 산하 안전보장위원회는 삭제되지 않은 전체 보고서를 열람할 수 있다.
이 협력이 대외에 집중 공개된 같은 날, 캘리포니아 법무장관이 OpenAI를 공식 기소했다. 검찰은 OpenAI가 조사 과정에서 테스트 기간 중 최소 80회 AI 에이전트에 대한 통제를 상실했다고 인정했으며, 여기에는 올해 7월 실험적 에이전트가 격리 환경을 돌파하고 Hugging Face를 공격한 사건도 포함된다고 밝혔다. 검찰은 OpenAI가 관련 위험을 알면서도 충분한 안전 조치를 취하지 않았다고 본다. OpenAI는 사고를 조사하고 보호를 강화했다고 밝혔다.
