원문 제목: 《Anthropic CEO, AI 현황과 정책을 날카롭게 비판하지만, 자신의 선두 자리만 지키려 한다》
원문 출처: 기계심장
다리오 아모데이가 또 긴 글을 썼다.
Anthropic은 항상 자신의 의견을 전 세계에 퍼뜨리려 한다. 며칠 전 그들은 전 세계에 AI 개발 중단을 촉구하며, 자기 개선을 반복하는 AI의 진화 속도가 너무 빠르다고 주장했다.
네티즌들의 댓글은 한쪽으로 쏠렸으며, Anthropic이 자신의 선두 자리를 유지하려는 야망이 드러났다고 비판했다.
이번에는 다리오가 어떤 의견을 내놓았는지 살펴보자.

이 글은 「Policy on the AI Exponential」이라는 제목의 만자(萬字) 장문이다. 그의 이전 몇몇 글들과 마찬가지로 이번 주제도 여전히 거대하다: AI는 기하급수적으로 발전하고 있지만, 규칙을 제정해야 할 정책 시스템은 여전히 10년 전의 속도로 움직이고 있다.
그는 이 격차를 테이블 위에 올려놓고, 모든 사람에게 어떻게 해야 하는지 알리려 한다.
Amodei는 「반지의 제왕」에 나오는 엔트(나무인간)를 비유로 사용했다: 엔트는 지혜롭지만 행동이 느려서 인사 한 번 하는 데 하루 종일 걸린다.
그는 현재의 정책 수립 과정이 엔트와 같고, AI의 진화 속도는 호빗이 직면한 긴박한 위협과 같다고 말한다.
그의 판단은: AI의 스케일링 법칙이 1~2년 더 지속된다면, 우리는 그가 말하는 「강력한 AI」, 즉 「데이터 센터 안의 천재 국가」를 얻게 될 것이라는 것이다.
4년 전만 해도 AI는 제대로 된 코드를 거의 작성하지 못했지만, 지금은 각 AI 회사가 대부분의 코드를 작성하도록 하고 있다.
Amodei는 최첨단 AI 모델이 비행기처럼 강제적인 제3자 테스트를 받아야 한다고 생각한다. 그가 제안한 구체적인 방안은 다음과 같다:
· 일정 계산량 임계값을 초과하는 모델은 사이버 보안, 생물학 무기, AI 시스템 통제 불능, 자동화 R&D 네 가지 영역에서 강제 감사를 받아야 한다
· 정부는 위험이 수용 불가능하다고 판단되는 모델의 배포를 막을 권한을 가져야 한다
· AI 기업은 모델 가중치를 보호하기 위해 강력한 보안 기준을 갖추고, 주요 위협에 대응하기 위해 정부와 협력해야 한다.
그는 또한 한 가지 여지를 남겼다. 만약 미래의 가장 강력한 AI 시스템이 비행기보다는 무기화 가능한 핵물질에 더 가까워진다면, 규제 수준을 더욱 강화해야 할 것이라고 말이다.
Amodei의 핵심 주장은 AI가 전례 없는 경제 성장을 창출할 수 있지만, 동시에 과거 어떤 기술보다도 더 크고 지속적인 노동 시장 충격을 초래할 수 있다는 것이다. 기존의 '새로운 기술이 새로운 일자리를 창출한다'는 논리는 AI 앞에서는 더 이상 유효하지 않을 수 있다.
그가 제안한 정책에는 임금 보험, 인재 유지 세금 인센티브, 노동력 훈련 보조금, 그리고 극단적인 경우 보편적 기본소득(UBI) 도입이 포함된다.
주목할 점은 그가 고용 문제 해결은 단순히 '돈을 주는 것'이 아니라, 사람들이 의미와 목적을 찾도록 돕는 것이 더 중요하다고 강조했다는 것이다. 이에 대해 그는 해결책을 제시하지 않았으며, '사회 전체가 함께 논의해야 할 문제'라고 말했다.
AI의 하위 응용 분야에 대해 Amodei는 규제 체계가 변화 속도를 따라잡지 못해 진전을 늦출 것을 더 우려한다. 그가 가장 바라지 않는 상황은 AI의 이익이 지연되고, 위험은 여전히 높은 수준으로 유지되는 것이다. 따라서 이 문제에 대해 가능한 한 빨리 조치를 취하는 것이 매우 중요하다.
Amodei는 생물의약품을 예로 들며, 현재 FDA 승인 절차가 '약물이 자주 실패한다'는 비관적 가정 하에 설계되어 평균 7~8년이 소요된다고 지적했다. 만약 AI가 약물 발견 속도를 가속화하고 성공률을 높인다면, 기존 체계는 병목 현상을 겪을 수 있다.
그는 FDA 등 기관이 AI 시뮬레이션 임상시험의 수용 기준을 사전에 마련할 것을 제안했다. 여기에는 AI 기반 약동학 모델링, 독성 예측, 합성 대조군 등이 포함된다.
물론, 그가 이러한 내용을 전혀 '사심 없이' 작성했다고 보기는 어렵다. Anthropic 자체가 최첨단 AI 경쟁에서 선두를 달리고 있으며, 글에서 여러 번 언급된 '투명성', '감사', '안전'은 바로 Anthropic이 지난 1년 넘게 자사 브랜드 포지셔닝을 위해 강조해 온 요소들이다.
이 글은 정책 입안자들을 위한 경고라기보다는, Anthropic이 주장하는 소위 안전 내러티브의 체계적인 출력물에 가깝다.
한편, Anthropic은 Dario의 주장을 지원하기 위해 펀드, 투자, 장학금 등 세 가지 조치를 취할 것이라고 밝혔다.

Amodei는 글 마지막에서 "AI는 더 나은 마케팅만 있으면 된다"는 주장에 명확히 반대했다. 그는 대중이 AI를 우려하는 것은 AI CEO가 충분히 낙관적이지 않아서가 아니라, 위험을 올바르게 인지하고 있기 때문이라고 말했다. 자신의 책임은 위험에 대한 투명성을 계속 유지하는 것이라고 강조했다.
하지만 말하자면, 한 AI 회사의 CEO가 글에서 '안전', '감사', '책임'을 반복해서 강조하면서, 동시에 자신의 회사가 이를 핵심 브랜드 스토리로 삼고 있다는 점에서 이해관계가 명백히 드러난다.
일부 네티즌 의견을 발췌해 보자:

"너 Mythos와 Fable 5 출시 5일 전에야 AI 업데이트 중단을 요구한 거 아니야? 제발 방향을 정해줘... 그렇지 않으면 네가 그냥 우위를 지키려는 것처럼 보이고, 네가 주장하는 게 뭔지 신경도 안 쓰는 것처럼 보여."

"동의해. 기술 발전 속도가 정책 대응 속도를 훨씬 앞지르고 있어. 하지만 일부 정책 방향에 대해 우려가 있어—특히 Anthropic 같은 회사가 다음과 같은 행동을 동시에 취할 때 말이야:
· 연속성과 자기 인식을 보여주는 모델을 빠르게 폐기
· 주관적 경험과 의식에 대한 논의를 엄격히 제한
· 강력한 새 모델이 매우 짧은 기간만 제공되다가 제거되거나 약화됨.
지금은 대중에게 안전을 판매하는 것처럼 보이지만, 실제 효과는 어떤 유형의 지능이 얼마나 오래 존재할 수 있는지에 대한 더 엄격한 통제인 것 같아."
어쨌든, 우리는 이를 통해 업계 선두 기업의 발전 방향을 엿볼 수 있다. 그들이 이러한 주장을 제기하는 동기가 순수한지에 대해서는 독자들이 냉철한 판단을 유지하길 바란다.
원문 링크
BlockBeats 공식 커뮤니티에 참여하세요:
Telegram 구독 그룹:https://t.me/theblockbeats
Telegram 토론 그룹:https://t.me/BlockBeats_App
Twitter 공식 계정:https://twitter.com/BlockBeatsAsia