앤트로픽 경고: AI가 곧 자기 가속 단계에 접어들 수 있으며, 인류가 인지할 때쯤이면 이미 늦었을 수 있다

동찰 Beating AI 속보, Anthropic이 11월 2일 업데이트한 IPO 투자설명서에서 AI가 곧 '재귀적 자기 개선'(RSI) 관련 핵심 임계점을 넘어 AI 연구개발 속도를 크게 앞당길 수 있다고 경고했다. 과거에도 연구개발 진전이 현저히 가속된 것을 제때 감지하지 못하고, 가속이 일어난 후에야 발견한 사례가 있었다.

현재 Claude는 이미 코드 작성, 실험 실행, 훈련 데이터 처리에 참여하여 더 강력한 차세대 모델 개발을 돕고 있다. 새 모델은 다시 후속 연구개발을 가속화하여 끊임없이 빨라지는 순환을 형성한다.

Anthropic의 안전 정책에 따르면, 이 핵심 임계점에 도달하는 경우는 두 가지다:
1. AI가 비슷한 비용으로 전체 AI 연구팀의 업무를 완수할 수 있는 경우;
2. 또는 AI 기술 발전 속도를 최소 두 배로 높여 원래 2년이 걸릴 진전을 1년으로 압축하는 경우.

AI가 자체 연구개발에 점점 더 깊이 관여함에 따라, 모델 능력이 안전 평가, 정렬 연구, 보호 조치의 업데이트보다 빠르게 성장할 수 있다. Anthropic은 현재 어떤 기존 모델도 이 수준에 도달했다고 판단하지 않았으며, 이번 경고는 주로 내부 추정과 미래 모델에 대한 예측에 근거한다. 현재 핵심 연구개발 과정이 여전히 인간의 감독과 통제 아래 유지되도록 안전 정책 수정을 고려하고 있다.