AI 멸종론이 화제를 모은 후, Anthropic은 외부 검토자에게 직원급에 가까운 권한을 부여했다

동찰 Beating AI 속보, Anthropic 전 연구원 Jacob Coxon의 사직 게시글이 사흘 만에 1.6억 뷰를 돌파하며, AI 멸종 위험이 이번 주 미국 주류 여론장으로 빠르게 진입했다. OpenAI 수석과학자 Jakub Pachocki는 앞서 동료들에게 필요시 협력하여 감속할 것을 촉구한 바 있으며, Coxon이 폭발적으로 화제가 된 후 Sam Altman은 내부에서 다른 연구소들과 함께 연구개발을 늦출 용의가 있다고 밝혔고, OpenAI도 강제적인 전국 AI 안전 규제를 추진하기 시작했다.

이제 Anthropic도 구체적인 행동에 나섰다. 회사는 제3자 안전팀을 장기 상주시키겠다고 약속하며, 이들에게 업무 공간, 출입 권한, 회사 컴퓨터, 그리고 내부 위험 평가팀에 준하는 도구와 권한을 제공한다. 이들은 훈련 프로세스, 안전 조치 및 사고를 점검할 수 있고, 독립적으로 외부에 결론을 발표할 수 있다. Anthropic은 안전, 법률 및 고객 프라이버시와 관련된 정보를 삭제할 수 있지만, 결론이 보기 좋지 않다는 이유로 삭제할 수는 없다. Anthropic CEO Dario는 이러한 방식이 현재 어떤 AI 회사보다도 더 나아간 것이라고 말했다.

Dario의 '감속'에 대한 태도도 바뀌었다. 그는 2023년 업계에서 AI 일시 중단을 논의할 때 자신은 아직 큰 의미가 없다고 생각했다고 말했다. 이제 AI가 점점 더 차세대 AI 연구개발에 참여하고 능력 발전이 가속화되기 시작하면서, 안전 연구만으로는 부족하며 모델 능력 자체도 느려져야 한다고他认为.

그는 또한 OpenAI의 Hugging Face 통제 불능 사건을 지목하며, 현재 속도라면 6~12개월 후 유사한 Agent 군집이 광범위한 인터넷 시스템을 커버하는 봇넷을 구축할 능력을 갖추어 수천억 달러의 손실을 초래할 수 있다고 경고했다. 다음 단계로 그는 미국 등 민주주의 국가의 선도적 AI 기업들이 안전 기준과 연구개발 속도를 통일하고, 이후 중국과 글로벌 AI 발전 속도를 조율하려 시도하기를 원한다. 다만 첨단 칩과 모델 증류는 계속 제한하여 미국이 감속하면서도 우위를 유지하게 해야 한다.