OpenAI 수석 과학자가 Astra 논란에 대응: 새로운 아키텍처가 모델을 갑자기 블랙박스로 만들지 않았다

동차 Beating AI 속보, OpenAI 수석 과학자 Jakub Pachocki가 Astra 순환 아키텍처에 대한 외부 해석을 반박했습니다. 그는 Astra를 포함한 현재 OpenAI의 최첨단 모델들은 계산 그래프 깊이가 GPT-4와 최대 2배 차이에 불과하며, 갑자기 몇 자릿수나 증가하지 않았다고 말했습니다.

이는 주로 《The Information》의 이전 보도에 대한 응답입니다. 해당 보도는 Astra가 recurrent depth를 사용하여 동일한 Transformer 레이어 세트를 반복 계산한다고 폭로했습니다. 일부 추론은 모델 내부에서 발생할 수 있어, 모든 것을 사고 사슬(CoT)로 작성할 필요가 없으며, 이로 인해 모델이 점점 더 모니터링하기 어려워질 수 있다는 우려도 제기되었습니다.

Pachocki는 CoT 모니터링이 실제로 취약하며, 더 모니터링하기 어려운 방향으로 발전하고 있음을 인정했습니다. 그러나 그는 그 원인이 모델 아키텍처 변화에 달려 있지 않다고 분명히 밝혔습니다. OpenAI는 첫 번째 추론 모델부터 CoT 모니터링을 유지하고 사용해 왔으며, 현재도 이 기능을 강화하는 것을 핵심 연구 목표로 삼고 있습니다.