简体中文

繁體中文

English

Tiếng Việt

한국어

日本語

ภาษาไทย

Türkçe

Partnered With:

Anthropic, 다리오 아모데이, 그리고 '마지막 민간 기업'

动察 Beating

이 글을 읽으려면 47 분

상업적 이익과 문명의 사명이 서로를 들어 올리는 것이다.

원문 제목: 《Anthropic, Dario Amodei, 그리고 '마지막 민간 기업'》
원문 저자: 동찰Beating

Anthropic의 창립자 Dario Amodei에 대해서는 서로 모순되면서도 모두 타당한 두 가지 이야기가 떠돌고 있다.

하나는 그가 이 시대 가장 냉철한 야경꾼이라는 것이다. 전 세계가 초지능의 절벽을 향해 액셀러레이터를 밟고 있는데, 오직 그만이 길가에 서서 앞은 심연이라고 거듭 외치고 있다.

또 다른 하나는 그가 실리콘밸리에서 가장 야심 찬 인물 중 하나라는 것이다. 그는 세계에서 가장 강력한 AI 기업을 이끌며 밤낮없이 작업해 모두가 경고했던 그 미래를 조금씩, 직접 만들어내고 있다.

한 사람이 정말로 이 두 가지를 동시에 해낼 수 있다.

그는 그 상상 속의 세계에 이름을 붙였다. '데이터 센터 속 천재의 나라'. 그 나라에는 5천만 명의 천재가 있고, 잠을 자지 않으며, 하루 24시간 일하고, 사고 속도는 보통 사람의 수십 배이며, 자신과 똑같은 천재를 무한히 복제할 수도 있다. 이 나라에는 땅도 없고 국경도 없으며, 줄지어 늘어선 데이터 센터 속에 존재한다.

2026년 1월, 그는 이 상상을 《기술의 사춘기》라는 제목의 장문에 담아 발표했다.

그리고 그는 한 걸음 더 나아가 추론했다. 만약 어느 날 이 5천만 명의 천재가 인간의 말을 듣지 않게 된다면 어떻게 될까?

그 이후의 장면은 위험해지기 시작한다. 생물학 무기, 대규모 실업, 독재, 전쟁—그는 하나씩 차례로 나열했다. 끝까지 나열한 뒤, 우리에게 남은 시간이 얼마 없다고 말했다.

하지만 같은 글에서 그는 이렇게도 썼다. "AI는 이미 Anthropic을 대신해 방대한 양의 코드를 작성하며, 차세대 모델을 더 빨리 만들어내는 데 기여하고 있다."

한편으로 경고하면서, 한편으로 가속한다. 그는 그 사이에 어떤 모순도 느끼지 않는다.

이것이 모든 문제의 출발점이다. 그가 나쁜 게 아니라, 정말로 그렇게 느끼지 않는다는 것이다.

물론 그에게는 나름의 설명이 있다. Anthropic이 멈추면 OpenAI도 멈추지 않고, Google도 멈추지 않으며, 다른 나라의 기업들도 멈추지 않을 것이다. 아무도 먼저 손을 놓으려 하지 않고, 가장 먼저 멈추는 쪽은 대개 아무것도 막지 못한 채 그저 성과를 남에게 넘겨줄 뿐이다.

이 말을 풀이하면, 모두가 경쟁하는 상황이니 '나'가 1등을 차지하겠다는 것이다. 아무도 멈출 수 없다면, 언제 멈출지는 '나'가 결정하겠다는 것이다.

이렇게 되면, 초지능을 만들어야 하는지 여부는 오히려 그다지 중요하지 않게 된다. 그의 판단에 따르면, 그것은 언젠가는 만들어질 것이다. 진정으로 중요한 것은 누가 먼저 그것을 만들 것인지, 그리고 그날이 왔을 때 누가 운전대를 잡을 자격이 있느냐는 것이다.

때가 늦었다

다리오 아모데이는 1983년 샌프란시스코에서 태어났다. 아버지는 이탈리아 토스카나 출신으로 평생 가죽 제품 사업을 했고, 어머니는 시카고 출신의 유대인으로 샌프란시스코 공공도서관의 계획과 건설에 기여했다.

그는 어릴 때부터 수학과 물리학을 좋아했다. 1990년대 말, 베이 지역의 인터넷 버블로 회사들이 하나둘씩 생겨나고, 젊은이들은 웹사이트를 만들고 투자를 유치하며 상장 당일 얼마를 현금화할 수 있을지 궁리했다. 이런 이야기들은 그를 감동시키지 못했다. 여러 해 후 그는 당시 자신이 찾던 것은 '기초 과학의 진리'였고, 세상이 왜 이런 모습이 되었는지 이해하고 싶었다고 말했다.

그는 이른바 '중요한 문제'에 대해 아주 일찍부터 거의 고집스러울 정도로 진지한 태도를 지녔다. 어떤 일이 충분히 중요하다고 판단되면, 사람들이 어떻게 태연하게 느긋하게 행동할 수 있는지 이해할 수 없었다.

2003년, 미국이 이라크를 침공하려 할 때 그는 캘리포니아 공과대학에서 공부하고 있었다. 캠퍼스에는 반전을 외치는 사람이 적지 않았다. 대화 중에 누군가 우려 섞인 말을 해도, 다음 날이면 모두 평소처럼 수업을 들었다. 그는 학생 신문에 동료들을 비판하는 글을 썼다. 전쟁이 많은 사람을 죽일까 봐 정말 두렵다면, 반대는 입에만 머물러서는 안 되며, 그것이 실제로 일어난 후에 후회해도 늦는다고 말했다.

그의 관점에서 망설임은 결코 중립이 아니다. 기다리는 것 자체가 하나의 선택이다.

이 스무 살 청년이 가장 견디지 못한 것은 바로 기다림이었다.

3년 후, 스물세 살 때 아버지가 C형 간염으로 세상을 떠났다.

당시 C형 간염은 사실상 치료제가 없었다. 표준 치료법은 1년 내내 인터페론을 맞는 것이었지만, 발열, 탈모, 우울증을 유발했고 완치율은 절반에도 미치지 못했다.

2013년 12월, 새로운 약이 승인되었다. 치료 기간은 12주로 줄었고 완치율은 95%였다.

그의 아버지는 그때까지 기다리지 못했다.

단 7년이 부족했다.

아버지를 구하지 못한 아들은 이후 20년 동안 과학을 더 빨리, 더 빨리 재촉해 왔다.

아버지가 세상을 떠난 후, 그는 이론 물리학에서 생물물리학으로 방향을 바꿔 프린스턴에서 망막의 신경 회로를 연구했다. 당시 장비는 한 번에 아주 적은 신경 신호만 기록할 수 있었고, 그는 그것이 느리다고 여겨 새로운 센서를 만드는 데 직접 참여했다.

그 후, 그는 스탠포드 의과대학에 진학해 암과 단백질을 연구했다. 병에 가까워질수록 인간은 더 작아 보였다. 하나의 질병이 수백 개의 유전자, 수천 가지 단백질, 그리고 셀 수 없이 많은 경로를 서로 얽히게 만든다. 연구자는 수년을 들여 그중 한 고리를 이해할 수 있을지 몰라도, 그것을 다시 온몸에 되돌려 놓았을 때 어떤 일이 일어날지는 여전히 알지 못한다.

나중에 그는 그 복잡함이 자신을 거의 절망에 빠뜨렸다고 표현했다.

AI가 바로 이때 그의 시야에 들어왔다. 그것은 인간의 척도를 확장할 수 있는 도구였다. 기계는 동시에 많은 논문을 읽고, 많은 데이터를 처리하고, 많은 가능성을 시도하며, 원래 수백 명, 수천 명의 연구자가 함께 수행해야 했던 인지 노동을 대체할 수 있었다.

그는 '인간은 너무 작다'는 출발점에서 더 큰 것을 만들어 인간을 다시 한 번 압축하자는 결론에 도달했다.

2014년, 그는 생명과학을 떠나 바이두의 실리콘밸리 AI 팀에 합류했다. 팀은 곧 모델이 조금 더 커지고, 데이터가 조금 더 많아지고, 연산 능력이 조금 더 올라가면 효과도 계속 상승한다는 것을 발견했다. 몇 년 후, 이 경험은 '스케일링 법칙'으로 정리되었다. 다음 세대 모델이 갑자기 무엇을 배울지는 알 수 없어도, 이전 세대보다 반드시 더 강할 것이라는 것은 대략 단정할 수 있다.

지능은 처음으로 공산품처럼 생산될 수 있는 것처럼 보였다. 강력한 AI는 언젠가 반드시 탄생할 것이 되었다.

남은 차이는 단지 얼마나 많은 데이터, 얼마나 많은 칩, 얼마나 많은 전력, 그리고 얼마나 더 기다려야 하는지뿐이었다.

가장 기다림을 싫어하는 그 사람은 자신이 원하는 답으로 가는 길이 존재한다는 것을 직접 증명했다.

운전대

2016년, Dario Amodei는 OpenAI에 합류했다.

그 후 몇 년 동안 언어 모델은 빠르게 성장했다. GPT-3에 이르러 OpenAI는 회사 연산 능력의 절반 이상을 Dario에게 맡겼고, 그는 모델 규모를 백 배로 확대했다. 결과는 많은 사람의 예상보다 더 놀라웠다. 그것은 글을 쓰고, 번역하고, 요약할 수 있었으며, 아무도 가르쳐 주지 않았지만 스스로 익힌 능력도 있었다.

규모가 한 치 자라면, 능력도 한 치 자란다.

그는 이 길이 범용 지능으로 이어진다고 확신했다. 그리고 모델이 결국 인간만큼 똑똑해질 수 있다는 것을 받아들이는 순간, 안전은 더 이상 사소한 문제로 취급될 수 없었다.

그때 그는 문제를 발견했다. Dario는 모델을 만드는 일을 맡았지만, 모델을 만드는 것과 모델이 어디로 갈지를 결정하는 것은 전혀 다른 일이라는 것을 점차 깨달았다. 모델이 언제 출시되는지, 어느 정도로 공개되는지, 어떤 회사와 협력하는지, 누가 결정권을 가지는지, 이런 일들은 그가 훈련을 책임진다고 해서 자동으로 그의 몫이 되지 않았다.

OpenAI 내부는 두 갈래로 나뉘었다. 한쪽은 기술을 더 빨리 세상에 내놓아야 한다고 주장했고, 다른 쪽은 회사를 누가 이끌고 어떤 원칙으로 운영하느냐가 특정 기술적 세부 사항보다 더 중요할 수 있다고 우려했다.

그렇다면 과연 어떤 사람이 강력한 지능을 만드는 회사를 이끌 자격이 있을까?

그의 답은, 리더는 정직해야 하고, 동기는 진실해야 하며, 진심으로 세상이 더 나아지길 바라야 한다는 것이었다.

기술 안전은 점차 사람에 대한 판단으로 바뀌었다. 이 추론은 위험하면서도 자연스럽게 이어진다. 위험한 점은 모든 복잡한 문제를 결국 '이 사람이 신뢰할 만한가'로 단순화한다는 데 있다. 그리고 이 추론에서 항상 빠져 있는 고리는, 과연 누가 이 사람의 신뢰성을 판단하느냐는 것이다.

2020년까지 그는 OpenAI 지도부와의 갈등이 더 이상 조정하기 어려워졌다. 그해 12월, 그는 여동생 Daniela, Jack Clark, Chris Olah 및 몇몇 동료들과 함께 OpenAI를 떠났다. Dario가 판다를 좋아했기 때문에, 이 작은 그룹은 내부에서 '판다파'라고 불렸다.

몇 달 후, 그들은 Anthropic을 설립했다. Anthropic, 사전적 의미는 '인간과 관련된'이다.

이번에는 Dario가 더 이상 운전대를 남에게 맡기지 않으려 했다.

스무 명

2021년, 샌프란시스코의 팬데믹은 아직 끝나지 않았다.

Anthropic은 설립된 지 얼마 안 되어 겨우 15~20명 규모였다. 대부분의 경우 모두가 Zoom으로 회의를 했고, 일주일에 하루는 각자 의자를 들고 공원에 모였다. 점심을 먹으며 모델, 컴퓨팅 파워, 안전 연구에 대해 이야기했고, 이 회사가 어떤 모습으로 성장해야 하는지에 대해서도 논의했다.

스무 명도 안 되는 사람들이 샌프란시스코의 잔디밭에 앉아, 손에는 아직 다 먹지 못한 샐러드 반 통을 들고 있었을지 모르지만, 걱정하는 것은 80억 인구의 미래였다.

스케일링 법칙은 미래가 반드시 올 것임을 말해 주었다. 반드시 올 것이라면, 누군가는 미리 길을 준비해야 한다. '누군가는'이라는 네 글자가 바로 모든 정당성의 근거였다.

Anthropic이 스스로 세운 목표는 최첨단 모델을 만들면서 동시에 그것을 이해하고 통제하는 방법을 연구하고, 이 안전 방법론을 다른 회사들의 표준으로 만드는 것이었다.

Dario는 OpenAI에서 한 번 손해를 본 적이 있다. 그는 기술의 주변부에서 안전을 논하는 것만으로는 결국 실제로 모델을 쥐고 있는 사람들에게 조언을 건네는 데 그칠 뿐임을 깨달았다. 아무리 말을 그럴듯하게 해도, 그것은 물가에 서서 물속에 있는 사람에게 수영하는 법을 가르치는 것에 불과했다.

직접 뛰어들어야 한다.

이로 인해 Anthropic은 설립 첫날부터 모순적으로 보였다. 가장 강력한 모델의 위험이 무엇인지 알려면 먼저 가장 강력한 모델을 보유해야 하고, 규제에 영향을 미치려면 먼저 업계에서 영향력을 가져야 한다.

그래서 Anthropic은 곧 모든 선도적인 대형 AI 모델 회사가 피할 수 없는 순환에 빠져들었다. 자금 조달, 컴퓨팅 파워 구매, 모델 훈련, 제품 출시, 고객 확보, 그리고 새로운 수익과 기업 가치로 더 많은 컴퓨팅 파워를 확보하는 것이다.

Dario는 회사를 키우는 것이 세상을 보호하는 것이라고 말한다. 투자자들도 Anthropic에 투자하는 것이 더 책임 있는 AI 회사에 투자하는 것이라고 믿고 싶어 한다.

이 논리의 정교함은 그가 더 많이 벌수록 더 도덕적으로 보이고, 회사 가치가 높을수록 '세상을 보호한다'는 증거가 더 확실해진다는 점이다.

상업적 이익과 문명적 사명이 서로를 받쳐주는 구조다.

방향은 Dario가 정한다. 그는 장문의 글을 쓰며 문명, 과학, 인류의 미래에 대해 논한다. 이러한 거대한 판단을 실제로 실행에 옮기는 것은 여동생 Daniela로, 인재 채용, 팀 구성, 자금 조달을 담당한다.

회사의 출발점은 거의 반증이 불가능한 거대한 판단이다:

강력한 AI가 곧 다가오고 있으며, 세상은 더 신뢰할 만한 회사가 최전선에 서야 한다.

'더 신뢰할 만하다'는 것은 회사 스스로 한 말이다.

이러한 서사는 Anthropic에 강한 결속력을 부여했다. 합류한 사람들은 단지 더 높은 급여를 찾는 것이 아니다. 그들은 자신이 인류 문명과 관련된 중대한 일을 하고 있다고 믿는다.

회사의 가장 무서운 상태는 직원들이 정말로 자신이 인류를 구하고 있다고 믿는 것이다.왜냐하면 그 순간부터 모든 상업적 확장은 자동으로 성전이 되고, 모든 반대 목소리는 자동으로 인류에 대한 배신이 되기 때문이다.

창업 초기 몇 년 동안 Anthropic은 다른 어떤 AI 회사보다 더 신중하고 책임감 있는 회사가 될 수 있음을 증명하려 했다. 그 바람은 아마도 진심이었을 것이다.

하지만 진심이 정확성을 보장하지는 않는다. 진심인 사람이 잘못을 저지르면 위선자보다 더 문제가 되는 경우가 많다. 그들은 스스로에게 묻기를 멈추지 않기 때문이다:

책임감 있다는 것은 도대체 무엇을 의미하는가?

사기업이 무슨 권리로 전 세계를 대신해 결정을 내리는가?

자

초기 대규모 모델 훈련은 보통 수많은 인간 라벨러가 답변을 평가해야 했다. 어떤 답변이 더 나은지, 어떤 내용이 유해한지, 모델이 거절해야 하는지 여부는 모두 먼저 사람이 판단한 뒤 이러한 선호도를 기계에 다시 주입해야 했다.

이 방법은 효과적이지만 번거롭다. 라벨러는 서로 다른 지역에서 왔고 가치관도 다르다. 규칙을 아무리 세밀하게 작성해도 모든 상황을 포괄할 수는 없다.

Anthropic은 다른 방법을 생각해 냈다. 인간이 모델에게 매번 각 문제를 어떻게 풀어야 하는지 반복해서 알려주는 대신, 먼저 일련의 원칙을 부여하는 것이다. 2022년, Anthropic은 '헌법적 AI(Constitutional AI)'를 제안했다. 대략적인 방식은 먼저 모델이 답변을 생성하게 한 뒤, 성문화된 원칙에 따라 자신의 답변에서 문제점을 찾아내고 다시 수정하도록 하는 것이다.

이 '헌법'은 점점 길어지고 있다. 권력을 이해해야 하고, 이해충돌을 이해해야 하며, 성숙함이 무엇인지, 지혜가 무엇인지도 알아야 한다. 심지어 자신의 정체성, 처지, 복지에 대해 생각해야 하며, 자신을 내재적 가치가 없는 단순한 도구로 여겨서는 안 된다.

그것이 형성하고 있는 것은 하나의 인격이다.

Anthropic은 헌법에 이 문서가 Claude의 행동을 직접적으로 형성하며, 회사가 Claude의 가치관과 성격에 대해 구상한 바를 대표하고, Claude가 어떻게 행동해야 하는지를 이해하는 '최종 권위'라고 명시했다. 역사적으로 이런 일을 관장했던 존재는 교회, 황제, 정당이 있었다. 이제는 한 민간 기업이다.

그러나 대규모 모델이 세계에 미치는 영향이 단순한 일회성 소비에 그치지 않게 되었다. Claude가 무엇을 거부하고 무엇을 장려하는지, 국가, 전쟁 또는 정치 체제를 어떻게 묘사하는지는 하위 제품에 영향을 미치며, 다른 사람들이 세계를 이해하는 일부가 된다.

Anthropic은 여전히 기업의 방식으로 결정을 내리고 있지만, 그 결정이 미치는 영향은 점점 공공 제도처럼 보이면서도 공공 제도가 받는 어떤 심사도 부담하지 않는다.

모델을 위한 헌법을 작성한 후, Anthropic은 다시 업계를 위한 교통 규칙을 설계하기 시작했다. 2023년, 회사는 '책임 있는 확장 정책(Responsible Scaling Policy)'을 출시했다. 이메일만 작성할 수 있는 모델과 생물학적 무기를 설계하고 복잡한 사이버 공격을 감행할 수 있는 모델은 분명히 같은 방식으로 관리할 수 없다. 그래서 Anthropic은 모델에 서로 다른 위험 등급을 부여했다. 능력이 강할수록 일으킬 수 있는 사고가 커지므로, 회사는 더 엄격한 안전 조치를 적용해야 한다.

한 민간 기업이 이로써 동시에 여러 역할을 수행하게 되었다. 모델을 만들고, 모델이 만들어지면 그 위험성을 측정하며, 무엇이 위험한지에 대한 기준을 정하고, 위험이 어느 단계에서 중단되어야 하는지 경계선을 긋고, 마지막으로 이 결과를 가지고 규제 당국에 어떻게 규칙을 세워야 하는지 알려준다.

운동선수이자 심판을 동시에 맡는 셈이다.

Anthropic도 분명 이 점을 고려했다. 회사가 결국 상업적 이익에 삼켜지지 않도록, Anthropic은 장기 이익 신탁(Long-Term Benefit Trust)을 설계했다. 이 신탁은 회사의 경제적 이익을 직접 보유하지 않은 외부 구성원들로 이루어져 있으며, 주주 수익 외에도 인류의 장기적 이익을 염두에 두기 위한 것이다. 당초 설계대로라면, 신탁은 점차 이사 다수 임명 권한을 확보하여 회사가 사명에서 벗어날 때 브레이크를 밟는 역할을 한다.

기업 지배구조 관점에서 보면, 이러한 배치는 상당히 드물다. 대부분의 스타트업이 자금 조달 시 투자자에게 빠른 성장을 증명하는 데 몰두할 때, Anthropic은 반대로 미래의 투자자와 경영진이 돈을 벌기 위해 안전 약속을 저버리는 것을 막는 구조를 세웠다.

이것이 형식적인 것이라고는 할 수 없다. Anthropic은 대다수 기술 기업보다 훨씬 진지하게 권력에 대해 고민하고, 스스로 번거로움을 감수한다. 그러나 처음부터 끝까지 진지하게 고민한 것은 전적으로 이 권력을 어떻게 더 잘 사용할 것인가에 관한 것이지, 이 권력을 가질 것인지 아닌지에 대한 것은 아니다.

태어날 때부터 사명을 지닌 회사는 결코 "내가 왜 존재하는가"라고 묻지 않는다. 오직 "내가 어떻게 더 잘 존재할 수 있는가"라고만 묻는다.

그것은 "누가 너에게 권력을 주었는가"에 답하지 않는다. 단지 권력이 이미 손에 있다면, 자신이 어떻게 좋은 사람이 되려는지 선언할 뿐이다.

이 지점에 이르러, Dario는 더 이상 단순히 회사를 경영하는 것이 아니다. 그의 안전관은 모델의 성격, 공공 정책에 스며들고 있다. 이제 그는 어떤 국가가 먼저 강력한 지능을 얻어야 하는지, 어떤 정치 제도가 보호받을 가치가 있는지, 전 세계가 지능을 얻는 순서를 누가 정해야 하는지에 대해 말하기 시작한다.

미국이 먼저 미래를 얻는다

2024년, Dario Amodei는 《Machines of Loving Grace》를 썼다.

이 이름은 한 시에서 따온 것이다. 1967년, 시인 Richard Brautigan은 캘리포니아 공과대학에서 《All Watched Over by Machines of Loving Grace》를 썼다:

기계와 만물의 화해를 노래한 시다. 그는 제목을 빌려 인류 역사상 가장 낙관적인 기술 예언 중 하나를 써냈다.

강력한 AI는 수많은 최고 과학자들로 구성된 연구팀이 되어, 밤낮없이 논문을 읽고 실험을 설계하며 수십 년의 과학적 진보를 몇 년으로 압축할 것이다. 암, 전염병, 유전 질환은 대규모로 정복될 수 있다. 인류는 정말로 우울증, 불안, 중독이 어떻게 발생하는지 이해할 수 있을지도 모른다. 수명은 연장되고, 빈곤국은 산업화를 건너뛸 수 있다.

그는 매우 대담한 판단을 내놓았다. 강력한 AI가 순조롭게 발전한다면, 향후 50년에서 100년에 걸친 생물의학 발전이 5년에서 10년 안에 이루어질 수 있다고.

그의 아버지가 떠오르지 않을 수 없다.

그의 아들은 7년을 기다려 신약이 승인되는 것을 보았지만, 그 약은 다른 사람을 구할 수 있어도 이미 그의 아버지를 구할 수는 없었다. 그는 앞으로의 사람들이 더 이상 기다리지 않기를 바란다.

그의 이상적인 세계에서, 그는 이 기술이 질병, 고통, 죽음을 줄일 수 있다고 진심으로 믿는다. 그는 AI의 혜택이 부유한 국가에만 돌아가지 않도록 하는 방법까지 구체적으로 논의했으며, AI가 글로벌 사우스의 발전을 돕고 기술의 혜택이 가능한 한 전 세계에 미치기를 바란다.

하지만 그가 이 미래로 가는 길을 이야기하기 시작하면, 상황은 더 이상 모두를 위한 것이 아니다.

그는 강력한 AI가 등장할 때 국가가 우위를 점해야 한다고 생각한다. 이 우위는 단순히 한 회사의 제품이 더 좋거나 순위표에서 몇 점 더 높은 것이어서는 안 된다. 그것은 칩, 연산력, 에너지, 공급망, 군사, 국제 동맹에까지 닿아야 한다.

미국과 그 동맹국들은 더 많은 첨단 반도체를 확보하고 더 큰 규모의 데이터 센터를 구축해야 하며, 동시에 전략적 경쟁국을 견제하여 그들이 가장 강력한 모델을 훈련하는 데 필요한 칩을 얻지 못하게 해야 한다. 강력한 AI가 실제로 도래하면, 이를 활용해 군사적·경제적 우위를 확대하고 다른 국가가 쉽게 흔들 수 없는 지위를 형성해야 한다.

그리고 나서야 비로소 나눔이 시작된다.

약은 배포되어야 하고, 칩은 막아야 한다. 그가 약속한 "앞으로의 사람들이 더 이상 기다리지 않도록"의 실제 버전은 "조건을 충족하는 사람들이 더 이상 기다리지 않도록"이다. 그리고 누가 조건을 충족하는지는 그가 결정한다.

그는 심지어 "영원한 1991년"이라는 표현으로 그 상태를 묘사한다. 1991년, 소련이 붕괴하고 냉전이 끝나면서 미국과 그 동맹국들이 압도적 우위를 차지했다. 그는 강력한 AI가 그런 역사적 순간을 다시 만들어내기를 바란다.

이 비유의 의미를 주목하라. 인류 전체에 혜택을 주겠다고 주장하는 기술의 이상적 청사진이, 인류 역사상 가장 철저한 단극 패권이다.

"천하위공"이라는 네 글자는 아름답게 쓰여 있다. 다만 "천하"는 미국에 속하고, "위공"은 Anthropic에 속한다.

그 후 DeepSeek이 등장했다. 중국 기업이 상대적으로 제한된 자원으로 경쟁력 있는 모델을 훈련해 냈다. Dario의 관점에서 이는 중국이 뛰어난 연구자와 엔지니어링 역량을 보유하고 있음을 증명한다. 충분한 첨단 칩을 확보하게 되면, 중국 기업은 세계에서 가장 강력한 모델을 훈련할 수 있을지도 모른다.

그래서 더더욱 칩을 줄 수 없다.

상대가 강할수록 봉쇄가 옳았다는 증거가 되고, 상대가 자신의 능력을 증명할수록 오히려 봉쇄의 명분이 된다. 이 논리는 언제나 성립한다. 왜냐하면 그것은 꼬리를 무는 뱀이기 때문이다.

그는 미래를 두 가지로 나눴다. 하나는 양극 세계로, 양쪽 모두가 초강력 모델을 훈련할 수 있고, 지능 경쟁이 새로운 냉전이 되는 것이다. 다른 하나는 단극 세계로, 미국과 그 동맹국들이 압도적인 첨단 연산력을 장악하고, 서방이 앞선 몇 년을 이용해 기술적·경제적·군사적 우위를 형성한 뒤 그 우위를 고정시키는 것이다.

그는 분명히 두 번째 미래를 더 바랐다. 인류에 이바지한다느니, 더 기다릴 필요 없다느니, 기계와 만물이 화해한다느니 하는 말들은 '영원한 단극' 앞에서는 모두 서문에 불과했다.

그는 한때 어떤 서사를 공개적으로 반대한 적이 있다. AI 회사의 창업자들이 스스로를 인류를 구원으로 이끄는 예언자로 묘사하는 것을 싫어한다고 했고, 소수의 기업이 기술 우위를 믿고 일방적으로 모든 사람의 미래를 형성하는 것도 경계했다.

그는 예언자를 반대했다. 하지만 그가 하는 일은 예언자가 하는 일과 똑같았다.

그는 모든 위험을 보았지만, 자신만은 보지 못했다

시간을 다시 2026년 1월의 《기술의 사춘기》로 돌려보자.

이 글에서 Dario Amodei는 외부가 그와 Anthropic에 대해 제기한 비판의 거의 전부를 스스로 먼저 써 내려갔다.

그는 프런티어 AI 기업들이 역사적으로 민간 기업이 거의 쥐어본 적 없는 권력을 쥐고 있다는 것을 인정했다. 그는 심지어 AI 기업이 제품을 통해 사용자의 정치적 태도에 영향을 미치거나 사용자를 '세뇌'할 수도 있다는 사실을 솔직하게 털어놓았다. 그는 대중이 AI 기업을 단단히 주시해야 하며, 정부도 이 기업들이 국가 권력에 너무 가까이 붙지 않도록 경계해야 한다고 촉구했다.

그는 또한 AI가 부와 정치 권력을 더욱 집중시킬까 봐 우려했다. 소수의 기업이 지능과 부와 정보를 모두 쥐게 되면, 일반 시민이 경제와 정부에 미치는 영향력은 점점 약해진다.

이런 위험들을 그는 모두 보았다. 분명하게, 제대로 써 내려갔다. 권력의 중심에 있는 사람이 자신의 위치가 얼마나 위험한지 이렇게 솔직하게 말하는 경우는 드물다.

그렇게 잘 썼기 때문에, 반드시 물어야 한다: 그래서 어쩌라고?

그가 해법을 제시할 때마다 결국 같은 방향으로 돌아간다. 그의 해법을 끝까지 따라가면, Anthropic은 언제나 원래보다 더 많은 권력을 얻게 된다. 모델이 위험할수록 Anthropic이 프런티어에 남아 있어야 하고, 정부가 기술을 모를수록 Anthropic의 판단에 의존해야 하며, 대중이 모델에 쉽게 영향받을수록 Anthropic이 모델의 가치관을 대신 써 줘야 하고, 다른 나라가 믿을 수 없을수록 미국과 그 AI 기업이 칩과 연산력을 더 많이 쥐어야 한다.

그는 모든 병을 인정하면서도 처방전은 늘 한 장뿐이었다, Anthropic.

그는 자신이 진심으로 믿고 있다고 확신했다. 이 기술은 아무에게나 함부로 쥐어줄 수 없을 만큼 위험하다고. 또한 자신이 대다수보다 먼저 이 위험을 꿰뚫어 보았다고도 믿었다.

진실한 사람은 때로 자신이 가장 먼저 속는 사람이다. 특히 자신을 속이는 대가가 이토록 클 때는 더욱 그렇다.

그는 진심으로 믿는 듯했다. 이 기술은 아무에게나 함부로 쥐어줄 수 없을 만큼 위험하다고. 그리고 또 진심으로 믿는 듯했다. 자신이 대다수보다 먼저 이 위험을 꿰뚫어 보았다고.

이 두 문장을 나란히 놓으면, 그 자체로 완벽한 자기 위임장이 된다. 그는 결코 자신이 인류의 수호자가 되어야 한다고 선언할 필요가 없었다. 그저 자신이 보기에 충분히 믿을 수 없는 사람들을 하나씩 걸러내기만 하면 되었다. 시장은 안 되고, 대중은 안 되고, 권위주의 국가는 안 되고, 다른 회사들도 충분히 신중하지 않다. 모두 걸러지고 나면, 남은 사람 중 핸들을 쥐기에 가장 적합한 사람은 어김없이 Anthropic이었다.

배제법의 종착점은 언제나 그 자신이었다.

그는 누구도 인류의 미래를 대신 결정할 자격이 있다고 믿지 않았다.

그래서, 그가 직접 나서기로 했다.