앤트로픽 전 연구원이 다시 경고했다: 알고리즘 발전이 가속화되고 있으며, 더 강력한 AI를 훈련하는 데 컴퓨팅 파워에 의존할 필요가 없을 수도 있다

동찰 Beating AI 속보, 올해 9월 OpenAI와 Anthropic에서 사전 학습 연구를 했던 Jacob Coxon이 사직하며 두 회사가 자기 개선이 가능한 초지능으로 치닫고 있다며 "우리의 목숨을 걸고 도박하는 것"이라고 맹비난했습니다. 이 발언으로 미국 의원들은 규제 강화를 촉구했고, 머스크는 그가 규제 홍보에 협조하는 것 아닌지 의심하기까지 했습니다.

이제 Coxon은 다시 Anthropic IPO 로드쇼에 나온 한 장의 그림을 게시하며 이것이 그가 사직하게 된 중요한 이유 중 하나라고 밝혔습니다. "이 그림은 너무나 충격적이었고, 그들이 이를 공개했다는 게 믿기지 않았습니다."

Anthropic은 원래 이 그림으로 자사의 기술 우위를 보여주려 했습니다. 알고리즘이 계속 개선됨에 따라 동일한 코딩 능력을 가진 모델을 훈련하는 데 필요한 연산량이 점점 줄어든다는 것이었습니다.

그러나 Coxon은 그림의 세로축이 이미 로그 스케일을 채택했는데도 곡선이 여전히 점점 더 가팔라지고 있다는 점에 주목했습니다. 이는 데이터가 정확하다면 훈련 효율 향상 속도 자체도 빨라지고 있음을 의미합니다. 그는 이를 근거로 Anthropic의 알고리즘 발전이 이미 "초지수적 성장"을 보이고 있다고 주장했습니다.

Mythos는 이 가파른 곡선 위의 평범한 한 지점일 수 있습니다. Anthropic은 이미 최초보다 훨씬 적은 연산량으로 Mythos와 동등한 수준의 모델을 훈련할 수 있습니다. 동일한 연산량을 투입한다면 더 강력한 AI를 훈련할 수 있을 가능성이 있습니다.

또한 훈련 알고리즘 개선에 반드시 천재 연구원이 끊임없이 획기적인 아이디어를 제시해야 하는 것은 아니며, 이런 작업은 이미 자동화가 가능한 단계에 근접했습니다. Anthropic 공동 창업자 Tom Brown도 로드쇼에서 향후 Claude가 스스로 훈련 효율을 높이는 방법을 발견할 수 있을 것으로 기대한다고 언급했습니다. 새로운 방법은 더 강력한 모델을 훈련하는 데 쓰일 수 있고, 더 강력한 모델은 다시 새로운 최적화 방법을 찾아낼 수 있습니다.

다만 이 그림에는 구체적인 연산량 배수가 공개되지 않았고, 데이터 포인트는 세 개뿐이며 그림 아래에는 위치가 예시일 뿐이라고 명시되어 있습니다.

Coxon은 2027년에 프런티어 AI 연구개발을 일시 중단하여 경쟁사가 따라잡을 수 있게 해야 한다고 주장합니다. 이렇게 하면 인간 수준의 AI 능력이 점차 누구나 사용할 수 있는 일반 상품이 되어, OpenAI와 Anthropic이 선도 모델로 구축한 우위를 깨뜨릴 수 있다는 것입니다.