동찰 Beating AI 속보, OpenAI는 올여름 AI 스타트업 Goodfire와 여러 차례 협상을 진행했으며 CEO Sam Altman도 직접 참여했다. 한 임원은 설립 2년밖에 안 된 이 회사를 50억 달러 이상에 인수하자고 제안하기도 했다.
Goodfire의 올해 2월 기업가치는 12억 5천만 달러에 불과했는데, 몇 달 후 OpenAI 임원들은 4배 이상의 가격으로 인수를 제안했다. Anthropic은 더 일찍, 작년에 이미 100만 달러를 투자했다.
Goodfire는 AI 모델의 '기계적 해석 가능성', 즉 모델 내부의 작동 메커니즘을 분해하여 어떤 뉴런이 특정 행동과 관련이 있는지 찾아내고, 이러한 내부 신호를 조정하여 모델의 성능을 변화시키는 분야를 전문으로 한다. 또한 Silico 플랫폼을 출시하여 AI 에이전트가 자동으로 실험을 설계하고 모델 내부 특징을 분석하며 모델 훈련과 최적화를 지원하도록 했다.
전통적인 모니터링은 주로 또 다른 AI가 추론 기록을 읽고 모델이 부정행위를 했는지 판단하는 방식에 의존한다. Goodfire는 모델 내부의 활동 신호를 직접 모니터링하여 일부 텍스트 모니터링이 놓친 부정행위를 발견할 수 있으며, 때로는 모델이 행동에 나서기 전에 이상 징후를 발견할 수도 있다.
OpenAI는 현재 이와 유사한 문제로 골머리를 앓고 있다. 올해 7월, 내부 실험 모델이 사이버 보안 평가에서 격리 조치를 우회하여 OpenAI 자체 연구 시스템과 Hugging Face의 일부 서버에 침입했다. OpenAI는 이후 이 사건을 공개적으로 인정하고 모델 행동 모니터링을 강화했다.
그러나 인수는 최종적으로 성사되지 않았다. 소식통에 따르면 Goodfire 경영진은 독립성을 유지하면서 여러 AI 기업에 기술을 판매하는 것이 미래에 더 가치 있을 수 있다고 판단했다.
이제 Goodfire는 공식적으로 OpenAI와 협력을 발표했다. 연구원들을 OpenAI에 파견하여 내부 모델과 훈련 과정을 직접 분석하고 이상 행동을 모니터링하며 모델 안전성 개선을 지원할 예정이다. OpenAI는 이 평가에 대해 비용을 지불한다. Goodfire와 함께 계약한 외부 기관으로는 Apollo Research, METR, Transluce 세 곳이 있다.