알트만, 다리오 모두 AI 감속을 외치는데, 트럼프의 기술 고문 색스: 진짜 두렵다면 스스로 멈춰라, 업계 전체를 끌어들이지 마라

동찰 Beating AI 속보, Anthropic CEO Dario Amodei가 장문의 글을 통해 프론티어 AI의 능력 향상을 늦출 것을 촉구했다. 그는 AI가 이미 차세대 AI 연구개발에 점점 더 많이 참여하고 있고, 최근 여러 Agent 통제 불능 사건까지 더해져 안전 연구가 능력 성장을 따라잡지 못하고 있다고 보았다.

Dario는 3단계 방안을 제시했다. 먼저 제3자 평가자가 장기적으로 AI 기업에 들어가 직원에 가까운 권한을 얻도록 하고, 다음으로 민주 국가의 프론티어 연구소들이 안전 기준을 조율하며 필요할 경우 함께 능력 성장을 늦추고, 마지막으로 국제적 조율을 추진하자는 것이다. Anthropic은 먼저 첫 번째 단계를 실행하겠다고 약속했다.

Sam Altman은 이후 공개적으로 지지하며, OpenAI도 최근 몇 주간 'pace the frontier'를 논의해 왔다고 밝혔고, OpenAI도 유사한 장기 독립 평가자를 도입하겠다고 발표했다.

전 백악관 AI 및 암호화폐 담당관이자 현 대통령 과학기술자문위원회 공동의장인 David Sacks는 이후 반격했다. "정말 내부 모델이 위험하다고 생각하면 스스로 멈추면 된다." 그는 OpenAI와 Anthropic이 이미 프론티어 AI를 주도하고 있으니 스스로 속도를 늦출 수 있으며 다른 회사를 끌어들일 필요가 없다고 말했다.

Sacks가 가장 못마땅해하는 것은 몇몇 경쟁사가 함께 "모두 조금씩 느리게 가자"고 상의하는 것이다. Dario 자신도 이런 조율에는 반독점 면제가 필요할 수 있다고 인정했다. Sacks는 정부가 청신호를 켜줘야 몇몇 최대 AI 기업이 앉아서 함께 속도 제한을 논의할 수 있다면, 그것은 매우 독점 카르텔처럼 보인다고 생각했다.

그는 또한 METR을 지목하며, 그것이 업계 전체의 독립 재판관 역할을 하기에 적합한지 의문을 제기했다. METR은 오랫동안 Anthropic, OpenAI 등 회사에 외부 평가를 제공해 왔고, 최근에는 Anthropic 안전 연구원 Joe Benton이 퇴사해 합류하기도 했다. 다만 METR은 이들 프론티어 AI 기업의 자금은 받지 않고 모델 접근과 무료 token만 받는다고 분명히 밝혔다.

Sacks는 감속 자체가 OpenAI와 Anthropic의 상업적 이익에도 부합한다고 보았다. 모델이 통제 불능이 되기 쉬울수록 법적 책임이 커지고, 고객도 더 안정적이고 통제 가능한 AI를 사려 한다는 것이다. 전 세계적 통일 감속에 대해서는 모든 국가가 참여하리라고는 판단하지 않았다.