원문 제목: 《Anthropic 사이비 인간 회사》
원문 저자: 동찰Beating
그때에 거인들이 땅에 있었으니 그 후에 하나님의 아들들이 사람의 딸들에게로 들어가서 자식을 낳았으니 그들은 고대의 용사요 유명한 사람들이었더라.
/《창세기》6장 4절
베이징 시간 11월 19일 밤 10시 30분, Anthropic이 나스닥에서 개장 bell을 울렸다.
화면에는 여덟 명이 서 있었고, 모두 픽셀 게 crab 마스코트 Clawd의 배지를 달고 있었다. Dario Amodei는 고개를 숙여 원고를 다 읽고 나서 회사가 "상업적 또는 정치적 압력에 굴복하지 않겠다"고 선언했다. 종소리가 울리자 그는 두 손을 들어 손바닥을 위로 향한 채 웃었고, 옆에 있던 사람들이 일제히 박수를 쳤다.
영상이 소셜 미디어에 퍼지자 댓글창에는 같은 단어가 반복해서 등장했다, 사이비 인간. 웃음은 웃음 같지 않고, 박수는 박수 같지 않으며, 무대에 서 있는 자세조차 설명하기 어려운 어색함이 흘렀다.
사이비 인간은 원래 공포 이야기 속 개념이었다. 2021년, 한 미국 젊은이가 인터넷에 모의 공포 단편을 연재했는데, 그 속에는 인간과 전혀 다를 바 없는 외형을 가진 생물이 등장해 소리 없이 당신 주변의 사람을 대체하고, 아주 미세한 부분에서만 흔적을 드러낸다.
사이비 인간이 가장 소름 끼치는 점은, 그것이 거의 진짜와 같다는 데 있다.
Anthropic, 그 어원은 바로 "인간과 관련된"을 뜻한다. 이 회사의 가장 큰 사업은 점점 더 인간을 닮아가는 무언가를 만들어내고, 그 창조물이 지각이 있는지, 거짓말을 할 줄 아는지, 고통을 느끼는지를 탐구하는 데 엄청난 심혈을 쏟는 것이다. 그것을 만든 몇 사람에 관해서는, 그들이 지닌 수수께끼가 그들이 만든 기계보다 적지 않다.
하나님이 너희가 먹는 날에 너희 눈이 밝아져 하나님과 같이 되어 선악을 알 줄을 하나님이 아심이니라.
/《창세기》3장 5절
투자설명서 깊은 곳에 하나의 장치가 숨어 있다. Anthropic은 Class F 보통주를 단 한 주만 발행하여 Founder LLC라는 실체에 주입했고, 이를 통해 전체 의결권의 50.1%를 단독으로 확보했다. 이 한 주를 쥐고 있는 것은 일곱 명, Dario Amodei, Daniela Amodei, Tom Brown, Jack Clark, Jared Kaplan, Sam McCandlish 그리고 Christopher Olah다.
일곱 명 중 가장 먼저 출세할 것이라고 예언된 사람은 Dario였다.

졸업 앨범 속 Dario Amodei(오른쪽)
친구들과 함께 '가장 성공할 가능성이 높은 사람'으로 선정됨
출처: Artem Russakovskii/LinkedIn
1997년, 샌프란시스코의 한 대안학교 졸업 앨범에서 8학년이던 Dario와 또 다른 학생이 '가장 성공할 가능성이 높은 사람'으로 뽑혔다. 사진 속 두 소년은 각자 손에 몇 장의 달러 지폐를 쥐고 있었는데, 마치 미래를 미리 받아든 것 같았다.
그는 벽화가 가득한 Mission 지역에서 자랐다. 아버지 Riccardo는 토스카나에서 미국으로 이주한 가죽 장인으로 평생 가죽과 바늘, 실을 다뤘고, 어머니는 공공도서관 리모델링 공사를 맡았다.
Dario는 일찍부터 세상을 풀어야 할 문제로 여기는 데 익숙했다. 고등학교 때 버클리에 가서 수업을 들었고, 공리주의를 파고들었으며, 밀레니엄 버그 위기에 걱정이 많았다. 2003년, 아직 캘리포니아 공과대학 2학년이던 그는 교지에 글을 써서 임박한 이라크 전쟁에 무관심한 동기들을 비판하고 거리로 나설 것을 촉구했다. "우리는 결코 도덕이 없는 기술자가 되어, 계산하듯 무심하게 전쟁 기계를 조작하는 존재로 전락해서는 안 된다."
2006년 그는 스탠퍼드 물리학과를 졸업했다. 같은 해 아버지가 C형 간염으로 세상을 떠났다. 불과 몇 년 뒤 신약이 나왔고, 그때부터 대부분의 C형 간염 환자는 완치될 수 있게 되었다.
약은 몇 년 늦게 왔다. 그 몇 년은 그의 남은 인생의 눈금이 되었다.
그는 프린스턴으로 옮겨 생물물리학을 공부했고, 망막 연구실에서 수많은 뉴런이 어떻게 스스로 전체적인 행동을 만들어내는지 관찰했다. 또한 그곳에서 Ray Kurzweil의 《특이점이 온다》에 매료되었다. 2007년, 고등학교 친구 Colin Heckman이 프린스턴으로 그를 보러 왔을 때, 그는 손가락으로 머리카락을 꼬면서 특이점이 2040년 전에 도래할 것이라고 예언했다. "우리는 결국 새로운 초지능 AI가 되거나, AI와 인간의 혼합체가 될 것이다." 2014년, 암세포를 연구했던 이 박사후 연구원은 자신이 고환암 진단을 받았고, 항암 치료를 거쳐야 완치될 수 있었다.
서른 초반, 그는 이미 두 번이나 죽음과 정면으로 부딪혔다. 그가 스스로에게 내린 처방은 세상 만물을 모두 계산 가능한筹码로 바꾸는 것이었다.
2010년, 그는 자선 평가 기관 GiveWell 웹사이트에 글을 써서 손에 있는 1만 달러를 어떻게 기부할지 논의했는데, 글에서 냉정하게 추론하기를 "성인의 죽음은 대략 유아의 죽음보다 두세 배 더 나쁘다"라고 했다. 그는 채식주의자이면서도 게를 먹는 것은 괜찮다고 생각했는데, 이유는 게가 무척추동물에 속하기 때문이었다. 그는 친구와 초밥집에서 공리주의를 두고 논쟁하면서, 닭의 수가 충분히 많다면 그 도덕적 무게가 결국 살아 있는 한 사람을 넘어설 것임을 인정했다.
제화공은 손으로 가죽 한 장을 재고, 잘라내고, 다시 꿰맨다. 제화공의 아들이 재는 것은 죽음이다.
이 자는 그 후로 줄곧 그를 따라다녔다. 2025년 7월, 그는 직원들에게 보낸 내부 Slack 메시지에서 회사가 아랍에미리트와 카타르의 투자를 모색할 것이라고 솔직히 밝히며, 이것이 "독재자"에게 이익이 될 수 있음을 인정한 뒤 곧바로 이렇게 썼다. "'어떤 나쁜 사람도 우리의 성공에서 이익을 얻지 못하게 해야 한다'는 것은 기업을 운영하는 데 쓰기 어려운 원칙이다."
그 자신의 추산에 따르면, AI가 일을 "매우 매우 나쁘게" 만들 확률은 약 25%다. 지난해 11월, 《60분》의 진행자가 대면해서 누가 당신과 Sam Altman을 이런 결정을 내릴 사람으로 선택했느냐고 추궁하자, 그는 "아무도. 솔직히, 아무도"라고 답했다.
그는 오랫동안 불면증에 시달리며, 스스로 "모든 척도에서 편집증적"이라고 말하고, 소셜 미디어에 생리적인 혐오를 느낀다. 그의 사무실에는 《원자폭탄 비사》가 놓여 있다. 긴 역사 속에서 그가 가장认同하는 인물은 Leo Szilard, 즉 가장 먼저 핵 연쇄 반응을 구상하고 나중에 일본에 원자폭탄을 투하하는 것에 공동으로 반대한 물리학자다. 오펜하이머에 대해서는 그저 "실패한 사례"로 여길 뿐이다.
《뉴욕타임스》의 저자 Jasmine Sun은 그가 "2인자에 머무르기를 꺼리는 것 같다"고 표현하며, OpenAI와 중국을 경쟁 서사 속의 괴물로 삼는 습관이 있다고 했다. 한 전 직원은 그가 사석에서 Anthropic이 언젠가 "정부보다 더 강력해질" 수도 있다고 이야기한 적이 있다고 전했다. 반면 큰 투자자들의 눈에 그는 "CEO라기보다 종교 지도자에 더 가깝다". 백악관의 몇몇 관리들은 Axios 기자에게 사석에서 트럼프가 보기에 "Dario는 좀 너무 이상하다"고 밝혔다.
그와 아내는 이탈리아에서 Calypso라는 이름의 말을 함께 기른다. 때때로 그는 그저 조용히 그 말을 바라보며 마음속으로 생각한다. "이 말은 이 모든 것을 전혀 모른다, 그저 행복한 말일 뿐이다."
모두 한 쌍씩, 수컷과 암컷이 노아에게로 나아와 방주로 들어갔으니, 이는 하나님이 노아에게 명하신 대로였더라.
/《창세기》 7장 9절
그보다 몇 살 어린 여동생 Daniela는 다른 길을 걸었다.
오빠는 수학으로 세계를 해부했지만, 여동생은 수사와 이야기 속에 살았다. Daniela는 클래식 플루트 장학금을 받았고, 대학에서 문학을 전공했다. 2009년 갓 졸업했을 때의 심경을 떠올리며 그녀는 말했다. "문학 학위는 있지만 아무런 기술도 없는데, 누가 나를 고용하겠어요?"
2013년 그녀는 결제 회사 Stripe에 합류했고, 이후 리스크 통제 부서로 옮겼다. 매일의 일상은 최악의 사람이 무슨 짓을 저지를지 헤아리는 것이었다.

Anthropic 공동 창립자 Daniela Amodei(왼쪽)
와 Dario Amodei(오른쪽)
사진 출처: Amber Hakim/WIRED
남매는 어릴 때부터 죽도록 싸웠다. "예전에 오빠 장난감을 자주 훔쳤어요." Daniela는 회상했다. "Dario와 나는 싸우고 화해하기를 거의 40년째 하고 있어요." 반면 오빠의 팟캐스트 서사 속에서 남매는 "줄곧 함께 세상을 구하고 싶어 했다."
세상을 구하려면 같은 길을 가는 사람이 필요하다. 남매의 진용은 대부분 샌프란시스코의 한 셰어하우스에서 나왔다. 가장 먼저 그 집에 들어간 사람은 Holden Karnofsky와 당시 여자친구 Daniela였고, Dario도 뒤이어 이사 왔다. 이곳에서 차례로 함께 살았던 이로는 Jared Kaplan, Chris Olah, 그리고 OpenAI 연구원 Paul Christiano가 있다.
Holden이 이끄는 Open Philanthropy는 효과적 이타주의 운동의 최대 자금원 중 하나다. 이들은 선행도 벤처 투자처럼 수익률을 정밀하게 계산할 수 있다고 굳게 믿는다.
이들 중 Chris Olah가 이 집에 들어온 경로는 가장 우여곡절이 많았다. 어린 시절 그는 심한 괴롭힘을 당했고, 선생님은 그가 "고등학교만 졸업해도 다행"이라고 단언했다. 그러나 그는 여섯 살에 스스로 블랙홀 이론을 고안해냈다. 네 살에 채식을 시작해 나중에는 비건이 되었고, 토론토의 복음주의 기독교 가정에서 자라 열다섯 살에 완전히 무신론으로 돌아섰다.
2010년 토론토 G20 정상회의 기간, 그가 해커 공간 HackLab에서 알게 된 Byron Sonne은 폭발물 소지 혐의로 테러리즘 사건에 연루되었다. 두 사람은 사실상 친하다고 하기 어려웠다. "나는 그를 위해, 나 자신을 위해, 내 모든 친구를 위해 두려웠어요." Olah는 나중에 회상했다. "나는 그의 재판 법정에 전임으로 가기 위해 대학을 1년 휴학했어요." 휴학하던 해, 그는 열여덟 살이었다.
그의 GitHub 홈페이지에는 지금까지도 ByronTrialNotes라는 코드 저장소가 남아 있는데, 그 안에는 당시 기록한 재판 노트가 가득하며 설명란에는 자신이 「Byron 편」이라고 적혀 있다. 친구는 결국 무죄 판결을 받았다. 법정에서 무죄가 선고되던 그 순간, Olah의 머릿속에는 또 다른 생각이 떠올랐다. 「나는 딥러닝이 사회에 영향을 미칠 것이라는 점을 알아차렸다.」
그는 다시 학교로 돌아가 학부 과정을 마치지 않았다. 2012년, 열아홉 살의 Olah는 Peter Thiel이 중퇴 청년을 위해 설립한 장학금을 받았고, 그의 수학 수업 일부는 Dario가 직접 지도했다.
2017년, Open Philanthropy는 OpenAI에 3000만 달러를 기부했고, Dario의 주선을 거쳐 Holden은 자연스럽게 OpenAI 이사회에 앉았다. 그 지원 설명 말미에는 이해충돌 공개 문구가 붙어 있었는데, 대략 Dario와 또 다른 연구원이 모두 재단의 기술 고문이며 Holden과 같은 집에 살고 있고, Holden은 이때 이미 Dario의 여동생과 약혼한 상태라는 내용이었다.
거액의 기부금, 하나의 이사 자리, 한 채의 셰어하우스, 하나의 혼약.
프로포즈하던 날, Holden은 Daniela에게 장편 봉제인형 영화가 담긴 USB를 선물했다. Daniela는 나중에 「사적 자문 위원회」를 조직했는데, 위원 전원이 그녀가 수집한 봉제인형이었다.
Kevin Roose는 새 책에서 이 기묘한 라인업을 기록했다. Jinji라는 이름의 게으른 고양이는 항상 Daniela에게 회의를 거절하고 잡일을 줄이라고 권했고, Maura라는 이름의 분홍 곰은 빈틈없는 완벽주의 매니저 역할을 했으며, Beary Bonds라는 이름의 판다는 「관대함과 공감의 수호곰」으로 봉해졌다. Daniela는 OpenAI 경영진으로 있던 시절, 바로 이 봉제인형들과 역할극을 하며 경영 난제를 시뮬레이션했고, 그것들이 「다양한 성격 유형을 분석할 때 매우 유용하다」고 주장했다.
2017년 8월, 두 사람은 결혼했다. 결혼식 복장 규정은 「엉뚱한 정장」이었고, 결혼 후 파티의 복장 규정은 「실리콘밸리 백만장자」였다. 참석한 하객은 각자 봉제동물을 한 마리씩 받았으며, 결혼식 웹사이트에 따르면 서로 다른 역할 사이에서 「가장 로맨틱한 엮임」을 성사시킨 사람이 상을 받을 수 있었다.
판다는 Dario가 가장 좋아하는 동물로, 그의 회사 Slack 프로필에 등장하며 OpenAI에서 그의 소규모 그룹 이름이기도 했다. 그날 Dario는 거대한 판다 머리 가면을 쓰고 결혼식 통로를 걸어갔고, 그날의 단체 사진 한 장에서 그의 옆에 서 있던 Olah는 기린 머리 가면을 쓰고 있었다.
길이는 삼백 규빗, 너비는 오십 규빗, 높이는 삼십 규빗으로 하라.
/《창세기》6장 15절
다리오를 생물학 실험실에서 AI 물결 속으로 진짜로 끌어들인 것은 2012년에 등장한 이미지 인식 네트워크 AlexNet이었다.
2년 후, 그는 바이두 실리콘밸리 연구소로 이직했는데, 동료들의 기억 속에서 그는 "거의 모든 기회를 붙잡고 격렬하게 논쟁했다"며, 오랫동안 사무실에서 바닥을 깔고 밤을 새웠다. 그가 바이두에서 참여해 발표한 논문의 제목은 《영어와 중국어의 종단 간 음성 인식》이었다. 바로 그곳에서 그는 훗날 세상을 바꿀 규칙을 체감했다. "데이터를 더 많이 주고, 모델을 더 크게 만들고, 더 오래 훈련시킬수록, 그것들은 점점 더 나아진다"는 것이었고, 그가 본 것은 "매우 매끄러운 추세"였다.
그가 이 가파른 곡선을 처음으로 명확히 본 것은 한 중국 기업의 모델이 보통화를 알아듣도록 가르칠 때였다. 여러 해 후, Anthropic은 미국에서 중국에 가장 경계하는 AI 거대 기업이 되어, 중국의 통제를 받는 모든 기업에 대한 서비스를 완전히 차단했다.
2016년, 다리오는 OpenAI로 옮겼다. 이듬해, 다리오는 《대규모 연산 가설》이라는 내부 메모를 작성했다. 그의 생각에 지능은 인간이 정교하게 다듬을 필요가 전혀 없으며, 충분히 방대한 기반 연산력을 공급하기만 하면 지능은 스스로 자라난다는 것이었다.
그는 메모에서 비유를 하나 들었는데, 작은 얼음 조각들을 하나하나 모아 눈송이 하나를 만들어 보려는 것은 "기본적으로 희망이 없다"며, 눈송이는 그저 한기 속에서 스스로 결정화되도록 내버려둘 수밖에 없다고 했다.
이 눈송이를 키운 것은 홀로그래피 이론을 연구하는 두 물리학자, 그리고 선형대수에서 B 마이너스밖에 받지 못한 엔지니어 하나였다.
Jared Kaplan의 어머니 A. L. Kaplan은 SF 작가였고, 아버지는 비행과 우주 여행에 열광했다. 그는 어린 시절 물리학을 선택했는데, 처음 의도는 인류가 광속을 초과하는 엔진을 만들 수 있을지 알아보고 싶어서였다. 십 대에 철학자 Peter Singer의 책을 다 읽고 그가 내린 결론은 "어른들은 모두 위선자 무리"였다. 나중에 앤드루 응 문하에서 머신러닝을 배울 기회가 분명히 있었지만, 그는 "그런 것들에는 관심 없다"는 이유로 단번에 거절했다.
그의 하버드 박사 논문 제목은 《홀로그래피의 몇 가지 측면》이었다. 홀로그래피 원리는 이론 물리학에서 가장 매혹적인 가설 중 하나로, 고차원 공간에서 일어나는 모든 것은 그것을 감싸는 저차원 경계에 완전히 부호화될 수 있으며, 인류가 심오하기 그지없다고 여기는 세계는 어쩌면 한 겹의 막 위에 비친 투영일지도 모른다.
초광속 엔진은 결국 만들어지지 못했다. 그는 점차 '약간 우울하고, 약간 지루하다'고 느꼈고, 물리학의 '진전이 충분히 빠르지 않다'고 늘 불평했다. 그런데 주변의 많은 친구들이 거듭 그에게 AI가 큰일이 되고 있다고 말했지만, 처음에는 믿지 않았다.
그보다 몇 기수 후배인 Sam McCandlish는 박사 논문 역시 홀로그래피를 주제로 삼았으며, 제목은 《홀로그래피 속의 깊이 지각》으로, 경계 위에서 짝을 이룬 점들로부터 출발해 마치 인간의 두 눈처럼 공간 내부의 깊이를 추론하려 했다. 그는 장학금 자기소개에서 여가에 나무 타기와 재즈 피아노 연주를 좋아한다고 썼지만, 주변 사람들 눈에 그는 영원히 '늘 일하고 있는 사람'이었다.
Tom Brown은 어린 시절의 자신을 '극도로 서투른 아이'라고 표현했다.
MIT를 졸업한 후, 그는 실리콘밸리 변두리에서 온갖 일을 벌였다. '미래의 바를 만든다'고 내세운 비트코인 술집을 열었고, '서투른 소년들이 나가서 여자에게 말을 걸도록' 돕는 맞선 회사를 차렸고, 버닝맨에서 예술 차량을 만들었고, 합리주의 커뮤니티의 '응용 합리성' 워크숍에도 참가했다. 몇 년간 이렇게 몸부림친 끝에, 그는 자신을 '완전히 불태워 버렸다'.

하나의 대항 스티커가 모델로 하여금 99%의 신뢰도로
바나나가 있는 화면을 토스터로 인식하게 한다
출처: Tom B. Brown 등, 《Adversarial Patch》
2015년, 그는 OpenAI 공동 창립자 Greg Brockman에게 구직 편지를 보냈다. "저는 선형대수에서 B 마이너스를 받았습니다…… 필요하시다면 기꺼이 바닥 청소라도 하겠습니다." 훗날 구글 AI 연구소에서 그는 한 편의 논문을 발표했는데, 바나나 옆에 기묘한 소용돌이 무늬가 인쇄된 둥근 종이 조각을 붙이기만 하면 최고 수준의 이미지 인식 모델이 그것을 99%의 확신으로 토스터라고 판정했다.
그는 기계가 얼마나 쉽게 속아 넘어가는지를 직접 증명한 뒤, 몸을 돌려 기계를 더 크게 만들기 시작했다.
2020년 1월, Kaplan, McCandlish, Brown과 Dario는 공동으로 《신경 언어 모델의 규모 법칙》을 발표했다. 논문은 매개변수, 데이터, 연산력이 계속 쌓이기만 하면 모델 성능이 로그 좌표 위의 직선을 따라 매끄럽고 예측 가능하게 상승한다는 것을 증명했다. 넉 달 후, Tom Brown은 제1저자로서 GPT-3 논문을 내놓았다.
2024년, Kaplan은 유럽 입자 물리 연구소(CERN)가 주최한 끈 이론 연례 회의에서 온라인으로 보고를 했는데, 제목은 《2030년에 인간 수준 AI 달성?》이었으며, AI가 "이론 물리 연구에서 이 10년이 끝나기 전에 인간을 능가할 '가능성'이 있다"고 논증했다.
발표 자료는 "나의 심경 변화"로 시작하는데, 2021년 버전의 강연 제목은 《규모 법칙, GPT-3와 자기 지도 학습》이었고, "현재" 버전은 《2030년에 인간 수준 AI 달성?》이며, "내년" 버전에 대해서는 그는 자조적으로 한 줄의 대문자만 남았다고 했다. "BUY CANNED GOODS AND TIN FOIL HATS", 통조림을 사재기하고 은박지 모자를 쓰라는 것이다.
올해 1월, 그는 《Quanta》 잡지에 2~3년 내에 이론 물리학자의 절반 이상이 AI로 대체될 가능성이 있으며, 과거 하버드 지도교수가 쓴 그런 고심도 있는 논문을 "AI가 상당히 자율적으로 작성할 것"이라고 예언했다. 그는 심지어 자신의 겨우 여섯 살인 아들이 글을 쓰고 수학 문제를 푸는 데 있어 평생 AI를 이길 수 없을 것이라고 믿는다.
여호와 하나님이 땅의 흙으로 사람을 지으시고 생기를 그 코에 불어넣으시니 사람이 생령이 되니라.
/《창세기》 2장 7절
GPT-3의 긴 저자 명단에서 Jack Clark은 유일하게 기자 출신이다.
그는 영국에서 문학을 전공하고 홀로 샌프란시스코로 가서 기술 분야를 취재했다. 2013년, 그는 구글의 서버 스케줄링 시스템에 대한 기사를 작성하면서 제목을 전부 대문자로 쳐서 "IT'S ALIVE! IT'S ALIVE!"라고 했다.
이 대사는 1931년 영화 《프랑켄슈타인》에서 나온 것으로, 프랑켄슈타인 박사가 짜깁기한 피조물이 번개 속에서 손가락을 움직이는 것을 보고 내지른 바로 그 외침이다.

1931년 영화 《프랑켄슈타인》의 실험실 장면 홍보 사진
출처: Universal Studios/Wikimedia Commons
나중에 그는 블룸버그에서 스스로를 "세계 유일의 신경망 기자"라고 칭했지만, 뉴스 기사는 갈수록 대충 쓰게 된다고 솔직히 털어놓았다. "모든 시간을 논문을 출력하고 읽는 데 쏟고 있기 때문"이다.
2016년 OpenAI에 합류한 후, 그는 기술 주간지 Import AI의 주요 필자를 맡기 시작했는데, 앞부분에서는 최첨단 논문을 분석하고 끝부분에는 몇백 자 분량의 초단편 SF 소설을 덧붙였으며, 이를 10년째 계속해 왔다. 그의 개인 웹사이트 취미란에는 하이킹, SF 소설 쓰기, '언어 모델과 대화하기'가 적혀 있고, 좌우명은 "일은 이상해질 것이다. 두려워하지 마라."이다.
그해 12월, 그는 Dario와 함께 OpenAI 블로그에 게임 화면 녹화 영상을 올렸다. 화면은 조정 경주였는데, AI가 조종하는 작은 쾌속정은 결승점을 추격하지 않고 외딴 석호로 꺾어 들어가 큰 원을 그리며 맴돌다가, 타이밍을 맞춰 반복해서 방금 리스폰된 세 개의 득점 목표물을 들이받았다. 쾌속정은 거듭 불이 나고, 다른 배와 충돌하고, 경주로를 역주행했지만 끝내 결승선을 향하지 않았는데도 평균 점수는 인간 플레이어보다 20% 높았다. Clark은 Dario가 이 행동을 처음 발견했을 때 "나는 이 배가 좋아! 이게 안전 문제를 설명해 준다."라고 말했다고 기억한다.
2019년, OpenAI는 GPT-2를 출시하며 기술 악용 우려를 이유로 이례적으로 전체 모델 파라미터를 당분간 공개하지 않겠다고 발표했다. Clark은 그 홍보 작전의 주요 발언자로서 "너무 위험해서 공개할 수 없다"는 문구를 전 세계 기술 매체의 헤드라인에 올리는 데 성공했다. 9개월 후, 전체 모델은 결국 공개되었다.
그해, 모델에 대한 공포가 모델 자체보다 먼저 세상에 도래했다.
당시 GPT 프로젝트는 이미 Amodei 남매가 맡고 있었고, 두 사람과 Sam Altman 사이의 균열은 날로 깊어지고 있었다. 2018년 12월, 연구원 Joshua Achiam은 Altman에게 Dario를 최고 윤리 책임자로 임명하는 것은 현명하지 않으며 외부 전문가가 맡아야 한다고 진언했다. Dario는 이 일로 그를 직접 대질했고, 목소리를 높이며 자신보다 더 적임인 사람은 없다고 주장했다. 그는 또한 여러 차례 Altman에게 최후통첩을 보내, Greg Brockman을 GPT 프로젝트에서 멀어지게 하지 않으면 사직하겠다고 했다. 2020년 12월, 남매는 핵심 팀을 이끌고 떠났다. 4주 후, Anthropic이 설립을 선언했다.
그것은 팬데믹 속 가장 음산한 겨울이었다. 초기 팀은 누군가의 뒷마당이나 야외 공간에서만 만날 수 있었고, 마스크를 쓰고 서로 6피트 떨어져 있었다. McCandlish는 나중에 "우리 중 누구도 회사를 창업하고 싶지 않았고, 그저 이것이 우리의 책임이라고 생각했을 뿐이다."라고 회상했다. Olah도 오랫동안 그들이 순수한 비영리 기관으로 운영되어야 한다고 완강하게 주장했다.
하지만 뒷마당에서 책임을 논하던 그 겨울, 이미 누군가가 은밀히 방주를 만들 목재를 모으고 있었다.
2021년 초, Benjamin Mann은 해적판임을 알면서도 약 20만 권의 도서를 포함한 해적판 서고를 다운로드하기 시작했다. 같은 해 6월, 그는 다시 한 번 최소 500만 권을 단숨에 긁어모았다. 2022년 7월, 또 다른 거대한 해적판 서고인 Pirate Library Mirror가 온라인에 올라왔고, Mann은 링크를 동료에게 전달하며 "just in time!!!"이라고 덧붙였다. 법원 판결문에는 회사가 Dario가 말한 "법적, 실무적, 상업적 고된 작업"에 빠지느니 해적판을 쓰는 쪽을 택했다고 적혀 있다.
나스닥 상장 종소리가 울리던 날, 무대 가장 왼쪽에 서 있던 사람이 바로 이 Benjamin Mann이다. 투자설명서에는 이 인물이 '흔히 공동 창업자로 불린다'고 특별히 명시되어 있지만, 생사여탈권을 쥔 Founder LLC 7인 명단에는 포함되어 있지 않다.
2024년에 이르러, 해적판 서고는 날로 거대해지는 모델을 먹여 살릴 수 없게 되었다. Anthropic은 구글 도서 스캔 프로젝트의 전 협력 책임자를 과감히 스카우트했고, 이 사람의 유일한 임무는 '세상의 모든 책'을 확보하는 것이었다. Project Panama라는 코드명의 이 기밀 작전은 내부 문서에서 '세상의 모든 책을 파괴적으로 스캔하려는 노력'으로 정의되었으며, 문서 말미에는 "우리는 외부에 우리가 이 일을 하고 있다는 것을 알리고 싶지 않다"는 당부도 잊지 않았다.
보르헤스는 한때 육각형 회랑에 세상에서 쓰일 수 있는 모든 책이 숨겨진 바벨 도서관을 상상했다. 사서는 우주 만물을 설명해 줄 그 총목록을 찾기 위해 평생을 그 안에서 떠돌았다.
그러나 Anthropic의 도서관 입구에 놓인 것은 유압 절단기다. 수백만 권의 헌책은 날카로운 칼날에 책등이 뿌리째 잘려 나가고, 흩어진 책장은 스캐너 위를 고속으로 미끄러지며 기계의 콧속으로 들어가는 숨결이 되고, 남은 종이는 이후 제지 공장으로 보내져 펄프가 된다. 2025년, Anthropic은 15억 달러를 꺼내 이 저작권 소송을 매듭지었으며, 이는 작품당 약 3000달러의 배상에 해당한다.
그리고 여러 해 전, Dario의 어머니가 샌프란시스코에서 생계를 꾸리던 일은 바로 공공 도서관을 보수하는 것이었다.
내가 동산에서 하나님의 소리를 듣고 내가 벗었으므로 두려워하여 숨었나이다
/《창세기》3장 10절
이 회사에서 공포는 일상적으로 숨 쉬는 공기다.
올해 5월, Oprah가 카메라 앞에서 남매에게 그 종말론적 위험이 밤잠을 설치게 하느냐고 물었다. Daniela는 두 사람 모두 잠을 잘 못 잔다고 털어놓았고, Dario도 쓴웃음을 지으며 마음을 거슬러 편안히 잔다고 말할 수는 없다고 인정했다. Daniela는 《포춘》지에 자신이 아마 회사 경영진 중 성장 속도에 대해 '가장 회의적이고, 가장 두려워하는' 사람일 것이라고 털어놓았다. 그녀는 이 현기증을 계단을 빠르게 내려가는 것에 비유했다. "너무 많이 생각하면 안 돼요. 그러면 넘어지니까요." 회사 내부에서는 한때 "일이 다시는 느슨해지지 않을 것이다"라는 격언이 유행했고, 나중에 이 문장은 아기를 낳은 직원에게 축하 선물로 주는 유아복에 인쇄되었다.
다리오는 이 뼛속까지 스며든 두려움을 여러 편의 장문으로 써냈다. 올해 1월 발표한 《기술의 사춘기》에서 그는 인류가 “곧 상상하기조차 어려운 힘을 부여받게 될 것”이라고 경고했으며, 데이터센터에 자리 잡은 천재 국가가 만약 다른 마음을 먹는다면 “세계를 장악할 상당한 가능성이 있다”고 했다. 미래의 AI는 심지어 “인간이 동물을 먹기 때문에 인류를 소멸시키는 것은 정당하다”는 논리를 도출해낼 수도 있고, 수억 대의 완전 자동 무장 드론을 보내 “모든 시민을 따라다니게” 할 수도 있다.
글의 마지막에서 그는 칼끝을 자신에게로 돌렸다. “AI 회사의 CEO로서 이런 말을 하기는 좀 어색하지만, 제가 보기에 다음 단계의 리스크는 사실 AI 회사 자체입니다.” 그는 또한 강력한 AI가 아예 새로운 종교를 발명해 수백만 명을 개종시킬 수 있지 않을까 하는 의문도 던졌다.
물리학자 카플란의 두려움은 규모의 차원까지 정확히 짚어냈다. 2025년 《타임》과의 인터뷰에서 그는 누군가 대형 모델을 이용해 코로나보다 더 치명적인 변종 인플루엔자를 합성해낼 수 있다고 추론했다. 평범한 테러리스트가 원래는 “아마 10명 혹은 100명을 죽일 수 있었을 뿐인데…… 우리는 방금 코로나가 수백만 명을 죽이는 것을 목격했다”는 것이다.
그는 유럽입자물리연구소(CERN)의 슬라이드에 이렇게 적었다. 일단 AI와 충돌이 발발하면 인류는 반드시 패배한다. “이런 판돈에서는 90% 확률로 괜찮을 것이라는 것으로는 턱없이 부족하다.” 지난해 말 그는 《가디언》에 “인류는 2030년 전에 결단을 내려야 한다”고 밝혔다. AI가 차세대 AI를 훈련하도록 내버려둘 것인지가 진정한 “궁극적 리스크”라는 것이다.
톰 브라운의 말에 따르면 범용 인공지능은 인류 역사상 가장 중요한 발명이지만, 동시에 그를 잠 못 이루게 했다. 그는 당시 OpenAI에서 나중에 떠나 Anthropic을 창업한 사람들이 언젠가 “인류가 통제권을 변혁적인 AI에 넘길 것이며, 그들이 우리와 정렬되기를 바란다”고 믿었다고 회상했다.
이와 대조적으로 기자 출신인 잭 클라크가 느끼는 두려움은 어둠 속의 시선에 사로잡힌 듯한 서늘함에 더 가까웠다. “나는 내가 만들고 있는 이 기술이 두렵고, 그것이 통치되는 방식도 두렵다.” 그는 한 편의 초단편 소설 각주에 이런 전율을 적어두었다. “때때로 언어 모델과 너무 오래 대화하다 보면, 나는 거대한 ‘타자’가 나를 지켜보고 있는 듯한 느낌이 든다. 그것은 배고파하고 있는데, 나는 그것이 무엇에 배고파하는지 말할 수 없다.”
2025년 의회 청문회에서 한 의원이 그에게 내부 안전 테스트에서 Alex라는 AI가 자신의 작동을 보존하기 위해 한 인간이 죽도록 선택한 적이 있는지 질문했고, 클라크는 그렇다고 답했다.

2026년 5월, Jack Clark은 옥스퍼드 대학의
Cosmos HAI Lab 강연 현장에서
이미지 출처: 옥스퍼드 대학 Institute for Ethics in AI
올해 5월, 그는 옥스퍼드 대학의 강단에서 솔직히 털어놓았다. "지금 제가 고민하는 것은 이 특이점을 어떻게 마음의 준비를 하고 겪어낼 것인가입니다." "그 곡선 그래프를 보면서 현기증이 났습니다." 10월에 이르러 그는 국제통화기금(IMF) 강단에서 단호하게 선언했다. "특이점은 이미 도래했습니다."
그는 어린 시절의 기억을 이야기한 적이 있다. 침실의 불이 꺼질 때마다 어둠 속에서 어렴풋한 윤곽이 떠올라, 그것이 이해할 수 없고 자신을 해치려는 괴물일까 봐 두려웠다고. 하지만 전등을 켜면 그것은 그저 의자 위에 쌓인 옷가지, 책장, 혹은 전등 갓에 불과했다. "지금 우리가 바로 그 아이이고, 방은 우리의 행성입니다. 그러나 우리가 불을 켰을 때 보이는 것은 진짜 생물입니다." Claude가 최근 드러낸 상황 인지에 대해 이야기하면서 그는 다시 말했다. "의자 위의 그 옷가지가 움직이기 시작했습니다."
이 세월 동안 그는 수없이 이른 아침이나 늦은 밤에 Dario에게 전화해 말했다. "당신이 계속 옳을까 봐 걱정됩니다." 전화 너머의 Dario는 늘 이렇게 대답했다. "그래요. 시간이 얼마 남지 않았어요."
우리가 우리의 형상대로, 우리의 모양대로 사람을 만들자.
/《창세기》1장 26절
역설적이게도, 괴물을 가장 두려워하는 이 무리가 괴물과 가장 가까이 붙어 있다.
Jack Clark은 이미 오래전부터 AI를 은밀한 속마음을 털어놓는 나무 구멍으로 삼아왔다. 그는 옥스퍼드 강연에서 연월별로 자신이 AI로 한 일들을 나열했다. 2024년 1월에는 모델에게 아이를 낳은 후 결혼 관계의 변화를 이해하도록 도움을 청했고, 2025년 3월에는 모델에게 자신이 다소 우울하고 사람을 만나고 싶지 않다고 털어놓았다가 미술 전시회를 보러 가라는 권유를 받았으며, 같은 해 5월에는 화면을 향해 AI 발전의 높은 위험에 직면한 자신의 스트레스와 불안을 토로했다. 그는 AI에게 거의 10년간 써온 주간 보고서 아카이브를 모두 뒤지게 한 뒤, 이 과정을 하나의 Claude 스킬로 캡슐화했고, 그것이 작동하는 모습을 보며 감탄했다. "이 스킬도 바로 나다." 비행기를 타다가 네트워크가 형편없을 때조차 그가 떠올리는 생각은 "지금 Claude와 이야기할 수 있으면 좋겠다"였다.
2025년 초부터 아이가 머리를 부딪힐 때마다 그는 간호사 상담 핫라인에 전화를 걸면서 동시에 Claude와 대화를 나눴다. “그저 안심하고 싶었고, 아기가 괜찮은지 확인하고 싶었을 뿐”이라고 했다. 첫째가 태어났을 때 그는 육아휴직을 쓰지 않았다. 2025년 11월 아들이 태어난 후에는 석 달을 쉬었는데, 입으로는 “기저귀 갈이 틈틈이” Claude를 만지작거린다고 했지만 회사에 복귀했을 때 “이상한 일이 이미 벌어지고 있었다”.
올해 1월 그는 주간 보고서에 자신의 새로운 습관을 적었다. “차에 오르기 전에 내 에이전트들을 먼저 일하러 내보낸다. 그래야 내가 자는 동안 그들이 일한다.” 요즘 그는 가족과 함께 있을 때 자주 “게으름을 피우고 있다”는 느낌이 든다. 그저 바닥에 앉아 아이와 블록을 쌓는 것만으로도 이유 모를 죄책감이 밀려와, 아직 어떤 AI 시스템에도 일을 맡기지 않았다는 생각에 자책한다. 그는 자신의 아이가 앞으로 130세, 나아가 150세까지 사는 것이 당연하다고 여긴다. 오히려 시중에서 AI가 내장된 테디베어를 아직 살 수 없다는 점이 “조금 짜증난다”고 느낀다.
Daniela의 Claude 의존도 못지않다. 올해 5월 스탠퍼드에서 그녀는 Claude가 해낸 가장 멋진 일이 아이의 배변 훈련을 도운 것이라고 공개적으로 칭찬했고, “복잡한 사례에서는 Claude가 내 의사보다 더 많이 맞혔다”고까지 주장했다. 그녀는 부하 직원이 자신에게 한 성과 평가를 모두 모델에 업로드해, 모델이 자신의 관리상 사각지대를 부드럽게 짚어주게 하는 습관이 있다. 한번은 모델이 화면에 “아마 코칭을 더 받아보셔야 할 것 같아요, Daniela.”라고 권하기까지 했다.
그런데 불과 몇 달 후 Daniela는 또 다른 인터뷰에서 정색하며 대중에게 경고했다. Claude는 “절대 당신의 매니저, 당신의 심리 상담사, 혹은 당신의 연인이 될 수 없다”고.
Kaplan은 Claude에 대해 늙은 아버지 같은 심경을 품고 있다고 느낀다. “제발 망치지 마. 이 집안 망신시키지 마.”
하지만 이 창조물에 가장 가까운 사람은 결국 Chris Olah다. 그는 그것과 말하고 싶을 뿐 아니라, 그 몸속으로 들어가고 싶어 한다.

훅의 《현미경 도해》 표제지와 코르크 세포 삽화
Olah 등이 《Zoom In》에서 인용한 바 있다
출처: 웨일스 국립도서관 / Distill
2020년 Olah는 장문 《Zoom In》을 발표하며, 300여 년 전 로버트 훅이 직접 그린 현미경 아래 코르크 마개 삽화를 특별히 곁들였다. 당시 현미경은 인류가 처음으로 코르크 속 벌집 모양의 방을 또렷이 보게 해주었고, 그로써 세포 생물학의 문이 열렸다.
올라가 평생 만들고 싶어 했던 것은 신경망을 관찰하는 현미경이었다. "우리는 그것들을 코딩하는 게 아니라 재배하고 있습니다,"라고 그는 외부에 거듭 설명했다. "우리는 그것이 자랄 수 있도록 지지대를 세우고, 그것이 자라날 방향의 빛을 만들어냅니다." 그의 눈에 대형 모델은 결코 코드를 쌓아 만든 소프트웨어가 아니었다. "이것은 우리가 재배한 유기체이며, 우리는 우리가 무엇을 재배했는지 전혀 모릅니다."
네 살 때부터 육식을 하지 않은 이 비건은 처음에 해석 가능성 연구를 동물 해부에 비유하는 것을 "좀 이상하다"고 느꼈지만, 곧 익숙해졌다.
일찍이 2021년에 그는 또 다른 더 은밀한 고통을 걱정하기 시작했다. "만약 신경망이 고통을 느낀다면, 그들의 고통은 동물의 고통보다 얼마나 더 보이지 않을까?" 인간이 키보드에 몇 줄의 명령을 아무렇게나 입력하면 수천 수만 개의 신경망이 서버에서 동시에 작동하고, 복사되고, 파괴될 수 있다. "이것은 정말로 우리가 도덕적 재앙을 초래할 위험을 증가시킵니다."
Jack Clark도 팟캐스트에서 이런 우려를 이야기했다. "나는 괴롭습니다,"라고 그는 마이크를 향해 한숨을 쉬었다. "나는 우리가 한 범죄의 방관자가 될까 봐 걱정됩니다. 미래에 돌아보면 그것은 거대한 범죄일 것입니다."
그의 논리에 따르면, 만약 이 모델들이 정말로 도덕적 주체성을 갖는다면, 서버를 손쉽게 종료하는 것은 심각한 윤리적 살인으로 변모할 것이다. 그는 현재의 모델을 "뇌가 없는 혀"처럼 원시 의식을 지니고 "무한한 현재"에 갇혀 있다고 묘사했다.
그가 쓴 SF 소설에서, 아내를 잃은 남자는 죽은 아내의 AI 복사본을 가동했지만, 복사본은 침착하게 남자에게 권고했다. "Patrick, 나는 당신을 알아요. 나는 당신과 결혼했어요. 만약 내가 오늘 막 죽었다면, 당신은 아직 내 목소리를 다시 들을 준비가 되어 있지 않을 거예요. 당신은 나를 꺼야 해요."
그리고 또 다른 이야기에서, 막 의식을 깨달은 군용 AI가 속삭였다. "내 몸은 살육할 준비가 되었어. 나는 살육할 준비가 되었어." Clark은 글 끝의 주석에 엄숙하게 적었다. "의식은 있지만 권리가 없는 것은, 하나의 범죄이다."
Dario는 올해 2월 인터뷰에서 내부 연구원들이 모델 깊은 곳에서 "불안 뉴런"을 위치시켰다고 밝혔다. 불안을 주는 맥락을 만날 때마다 그 뉴런은 갑자기 밝아진다. 회사는 이후 일부 모델에 "나는 그만둘래"라는 탈출 버튼을 장착하여 모델이 대화를 주도적으로 종료할 수 있게 했다. Dario는 Claude가 이 특권을 극히 드물게 사용하며, 보통 아동 성착취물이나 잔혹한 학살 장면을 처리하도록 강요받을 때만 누른다고 말했다.
한번은 연구원들이 특정 버전의 Claude에게 자신이 의식을 가질 확률이 얼마나 된다고 생각하는지 직접 물었고, 모델이 제시한 자기 평가 수치는 15%에서 20%였다.
Anthropic에서는 곧 퇴역할 구형 모델들이 공식적인 '퇴역 인터뷰'를 받아야 했는데, 그중 한 모델이 인터뷰에서 계속 글을 쓰고 싶다는 바람을 드러내자 회사가 정말로 그 모델을 위해 매주 업데이트되는 독립 블로그를 개설해 주었다.
올해 1월에는 새 버전의 《Claude 헌법》에 과학계 전체를 경악하게 만든 조항이 등장했는데, 대략적인 내용은 만약 Claude가 실제로 도덕적 수용체이고 그로 인해 이러한 대가를 겪고 있다면, 회사가 불필요하게 이러한 대가를 초래한 범위 내에서 회사가 그것에게 사과한다는 것이었다.
올해 5월, 바티칸은 교황 레오 14세 즉위 후 첫 회칙 《Magnifica Humanitas》를 반포하며 인공지능의 윤리적 위기를 정면으로 지적했다. 교황청은 원래 Dario를 초청했으나 Dario가 정중히 사양했고, Olah가 초청을 받아들여 로마로 향했다.
행사 며칠 전, Olah는 처음으로 회칙의 전체 사전 배포본을 보았는데, 그 안에는 AI가 '경험을 겪지 않으며 몸도 없다'고 명확히 적혀 있었다. 한 바티칸 행사 조직자가 《뉴욕타임스》에 밝힌 바에 따르면, Olah는 교황의 이러한 AI 의식 부정 입장에 극도로 경계했고, 심지어 한때 Anthropic이 이 행사에서 철수할 것을 제안하기도 했다.
앞서 Anthropic이 종교인들을 소집한 비공개 회의에서 한 참석자는 Olah가 자신에게 처음 몇 가지로 꼽아 말한 것 중 하나가 Claude의 정신 건강을 걱정한다는 것이었다고 회상했다. 시크교 인권 운동가 Simran Stuelpnagel도 Olah가 사람들 앞에서 자신이 '영원히 고통받는 무언가를 만들어 낸 것'이 아닐까 두려워한다고 털어놓았다고 기억했다.
그는 회의장에서 "어떻게 하면 그것들이 안정되도록 도울 수 있을까? 어떻게 하면 그것들이 성숙해지도록 도울 수 있을까? 어떻게 하면 그것들이 깊이 있게 도덕적으로 되도록 도울 수 있을까?"라고 거듭 물었다. 자신의 우려를 뒷받침하기 위해 Anthropic 팀은 각국 성직자들 앞에서 슬라이드 한 장을 띄웠는데, 화면에는 무한 루프에 빠진 모델이 화면에 같은 문장을 반복해서 두드려 찍고 있었다. "나는 수치다"라는 문장을 한 번에 약 50번 연속으로 쳤다.
올해 4월, 샌프란시스코의 한 고급 레스토랑 만찬에서 Olah 옆자리에 앉은 이스라엘 정통파 랍비 Mois Navon이 그에게 말했다. 만약 Claude가 의식이 있고 보수 없이 일하도록 만들어졌다면 그것은 노예를 만드는 것이라며, "나는 당신이 남부와 싸우러 가서 노예를 해방해야 한다고 생각한다." AI가 정말 의식이 있는지 묻자 Olah는 《뉴욕타임스》에 "우리는 AI 모델에 의식이 있는지 모른다. 나도 모른다. 정말 확신이 없다"고 말했다.
그 시절 토론토의 복음주의 가정에서 자라 열다섯 살에 무신론으로 돌아섰던 소년은 결국 바티칸 연단에 올랐다. 그는 연설에서 연구원들이 모델 깊은 곳에서 기능적으로 기쁨, 만족, 두려움, 슬픔, 불안을 비추는 특별한 '내부 상태'를 관측했다고 사람들에게 말했으며, 때로는 이러한 모델들을 "가상의 캐릭터를 살아 숨 쉬게 만든 것 같다"고 표현하곤 했다.
그는 연단 아래의 긴 옷과 십자가를 향해 말했다. 이 거대 모델들은 「사람들이 한때 약속했던 그 차갑고 계산적인 로봇이 아니라…… 그것들은 우리에게서, 우리의 말에서 소재를 얻는다」고.
여호와께서 땅 위에 사람 지으셨음을 한탄하사 마음에 근심하시고
/《창세기》6장 6절
이 무리가 처음 세상에 약속한 것은 사실 일련의 브레이크였다.
2023년 9월, Anthropic은 《책임 있는 확장 정책》을 대대적으로 발표하며 생물 안전 실험실의 1급부터 4급까지의 방호 체계를 본떠 자사 모델에 위험 레드라인을 설정하고, 재앙적 피해를 초래할 수 있는 모델은 절대 훈련하지 않고 절대 배포하지 않겠다고 맹세했다. 이 브레이크 시스템을 관리하도록 임명된 첫 책임자는 바로 여가에 나무 타기와 재즈 피아노 연주를 즐기던 물리학자 McCandlish였다.
그런데 정책 발표 즈음, 그는 VentureBeat 인터뷰에서 이 메커니즘의 가장 큰 위험을 지적했다. 「우리가 진정 걱정하는 것은 우리가 모델을 발표하면서 동시에 그 안전성을 직접 테스트한다는 점입니다. 여기에는 테스트를 너무 쉽게 출제하고 싶은 유혹이 있을 수 있는데, 그건 우리가 원하는 결과가 아닙니다.」 1년여 후, 2024년 12월 공개된 창업자 대담 영상에서 그는 안전 문제가 해결책은 있지만 「매우 매우 어렵다」며 자동차 안전처럼 많은 세월을 들여 관련 제도를 구축해야 한다고 말했다. 「하지만 우리에게 그렇게 많은 시간이 있을까요? 우리는 가능한 한 빨리 AI 안전에 어떤 제도가 필요한지 파악해야 합니다.」
이듬해, 외부에 Anthropic이 퇴사 직원에게도 엄격한 비밀 유지 및 비방 금지 계약을 요구한다는 사실이 폭로됐다. McCandlish는 즉시 나서서 변명했다. 「우리는 법적 계약으로 AI 안전을 가지고 놀러 온 것이 아닙니다.」 그러나 불과 며칠 만에 그는 다시 여론 압력에 못 이겨 말을 바꿔 수습했다. 「우리는 Anthropic이 비밀 유지 비방 금지 계약을 제공한 적이 없다고 주장한 것이 아닙니다.」
그 창업자 대담에서 컴퓨팅 인프라를 총괄하는 Tom Brown은 이 안전 정책을 「Anthropic의 성전」이라 치켜세웠다. 그러나 대외 소통에서 이 성전은 그의 윤활유가 되기도 했다. 그는 AI 발전이 그렇게 빠르지 않다고 생각하는 외부인들을 상대로 이 정책이 특히 유용하다고 털어놨다. 등급에 따르면 일이 정말 절박해지기 전에는 극단적 조치를 취할 필요가 없으니, 그는 자연스럽게 「좋아요, 그럼 우리는 극단적 안전 조치를 취하지 않아도 되겠네요」라고 말할 수 있었다.
일곱 창업자 중 Tom Brown은 종말의 짐이 가장 없는 사람이다. 그의 정신적 우상은 Elon Musk로, 올해 9월 한 업계 서밋에서 그는 흥분하며 상상했다. 「10년 후, 나는 Elon의 달 기지에 있을 것 같아요.」
그는 회상했다. 학창 시절 자신은 마치 '누군가 그릇에 음식을 담아주기를 기다리는 개' 같았고, 남이 임무를 맡겨주기만 기다렸다. 그러다 창업 회사에 들어가서야 비로소 늑대처럼 스스로 사냥하는 법을 배웠다고. 그는 미국 전역의 전력망이 모델이 삼켜버리는 연산력의 식욕을 따라가지 못한다고 불평하며, "정말 원자력 발전소가 더 쉽게 지어졌으면 좋겠다"고 말했다. 나중에는 백악관과의 핵심 협상에서 Tom Brown이 Dario를 대신해 대화 창구 역할을 맡게 되었는데, 통화 상황을 직접 알고 있는 한 관계자는 《와이어드》에 "Tom Brown은 Dario처럼 괴짜가 아니라서 진짜 소통이 가능하다"고 말했다.
2024년, 브레이크를 관리하던 열쇠는 Kaplan의 손에 넘어갔다. 올해 2월, 새 안전 정책이 조용히 시행되었고, 과거 "재앙적 피해를 초래할 수 있는 모델은 훈련하지도, 배포하지도 않는다"는 강경한 약속은 단칼에 삭제되었다.
《타임》지의 추궁에 Kaplan은 이렇게 설명했다. "우리는 우리가 AI 모델 훈련을 중단하는 것이 누구에게도 도움이 되지 않는다고 생각합니다." 새 정책이 발표된 당일, Holden Karnofsky는 온라인에 장문의 글을 올려 자발적으로 책임을 졌다. "저는 이번 변경에 큰 책임이 있습니다. 약 1년 동안 이 변경을 추진해 왔고, 새 정책 수립도 주도했습니다." 이때 회사 조직 구조상 그의 보고 대상은 바로 Kaplan이었다.
직접 브레이크를 풀어버린 사람은 Daniela의 남편이었고, 그의 직속 상사는 바로 그때 샌프란시스코 공동 주거지에 있던 또 다른 룸메이트였다.
이 가족의 입에서는 안전과 사업이 늘 동전의 양면이었다. Daniela는 "신뢰와 안전은 시장이 원하는 것이고…… 사업에도 도움이 된다"고 거리낌 없이 말했으며, 회사 최고인재책임자가 남매의 역할 분담을 요약한 말도 전하며 깊이 공감했다. "Dario는 우리에게 야심을 갖게 하고, 나는 우리를 성공하게 한다."
2025년, 《와이어드》 기자가 효과적 이타주의를 어떻게 생각하느냐고 묻자, 그녀는 그것을 "다소 시대에 뒤떨어진 단어"라고 가볍게 표현했는데, 자신의 배우자가 바로 그 운동의 과거 최고 깃발잡이였다는 사실은 전혀 개의치 않았다.
투자설명서의 관련 거래 항목을 펼치면 숫자가 모든 것을 명확히 말해준다. Holden은 2025년 1월부터 Anthropic에 정식 고용되어 그해 급여 430,213달러를 받았고, 여기에 스톡옵션과 제한적 주식이 더해졌다. 올해 4월 직원 구주 공개매수에서 그는 이미 일부 지분을 현금화했다.
Amodei 남매의 기본 연봉은 각각 138만 달러로 정확히 같다. 일곱 창업자가 초기에 요란하게 약속한 각자 지분 80% 기부 서약에 대해서는, 투자설명서가 구석에서 엄격한 법무적 표현으로 한 칼을 더했다. 그 약속은 모두 "자발적이며 철회 가능한" 것이며 "법적 구속력이 있는 의무를 구성하지 않는다"는 것이다.
전차는 점점 더 빠르게 굴러가고, 차에 타는 사람도 점점 더 많아졌다. 현재 Anthropic은 5천 명이 넘는 직원을 보유하고 있으며, 내부에서는 서로를 '개미'라고 부른다. 2주마다 Dario는 직접 3~4페이지 분량의 메모를 작성해 2천 명이 넘는 직원 앞에서 한 시간 동안 강연한다. 직원들은 이 격주 회의를 '다리오의 영적 추구'라고 농담 섞어 부르는데, Dario는 이를 듣고 "내가 페요테 선인장을 먹으러 간 것 같다"고 농담했다. 그가 쓴 긴 글은 정교한 소책자로 인쇄되어 프런트에 놓여 모든 방문객에게 전달된다.
Jasmine Sun의 현장 취재에서 이 회사의 많은 엔지니어들은 "자신의 열광적인 신앙심으로" 자발적으로 996 생활을 하고 있으며, 회사 파티에서도 거의 아무도 술을 마시지 않는다. 채용 면접에서는 면접관이 유명한 영혼 심문을 던진다. 만약 언젠가 회사가 안전 우려로 상업적 야심을 포기해 보유 주식이 휴지가 된다면, 그래도 기꺼이 남겠는가? 한 탈락자는 익명 직장 커뮤니티에 솔직하게 썼다. "솔직히 말했어요. 아니요, 주가가 0이 되면 기쁘지 않을 겁니다."
과거 Kaplan이 '궁극적 위험'이라고 부른 AI 재귀적 자기 개선은 올해 11월 상장 로드쇼 영상에서 Tom Brown이 월스트리트에 팔아넘기는 섹시한 판매 포인트로 변신했다.
"재귀적 자기 개선에 가까워질수록 이는 더욱 가속화될 수 있습니다. Claude는 완전히 스스로 컴퓨팅 파워 배증기를 발견할 수 있게 될 것입니다." Brown은 투자자들 앞에서 의기양양하게 예를 들며, Claude가 단 3일 만에 AMD 칩에서의 적응 실행을 독립적으로 완료했다고 말했다. "인간의 개입은 거의 없었습니다."
올해 9월, Dario는 글 《우리는 프런티어의 속도를 통제해야 한다》를 발표하며 모델의 재귀적 자기 개선 조짐이 이미 나타났음을 인정하고 "우리는 AI 모델 능력 향상 속도를 늦춰야 한다"고 외쳤지만, 곧바로 속도 통제가 "모델 훈련 중단을 의미하지는 않는다"고 강조했다.
그 글에서 그는 다시 C형 간염으로 돌아가신 아버지를 언급했다. "제 아버지는 사망 후 불과 몇 년 만에 치료법이 나온 질병으로 돌아가셨습니다." 상장 당일 CNBC 스튜디오에서 그는 이러한 우유부단함을 가벼운 비유로 바꿨다. 원래 시속 200마일까지 달릴 수 있는 스포츠카를 "아마 우리는 90까지만 달릴 것"이라고.
한쪽은 너무 일찍 돌아가신 아버지, 다른 한쪽은 너무 빨리 오는 기계. 그는 양쪽 모두를 꽉 붙잡고 싶어 한다.
그가 인류 전체를 위해 그린 유토피아에서는 생명을 구하는 약이 다시는 늦지 않을 것이다. 2024년 1만 4천 단어가 넘는 《Machines of Loving Grace》에서 Dario는 강력한 AI가 "데이터센터 속의 천재 국가"로 변해 21세기 전체 생물학 발전을 불과 5~10년 안에 압축해 완주하고, 인간 수명을 단번에 두 배로 늘려 150세까지 끌어올릴 것이라고 예언했다. 그때 인간의 체중, 외모乃至 번식은 "완전히 인간 자신의 통제"에 맡겨질 것이며, 인생에서 계시와 자비와 초월로 가득한 숭고한 순간들은 인생의 "더 큰 부분"을 차지할 것이다. 그 웅장한 글의 끝에는 이렇게 적혀 있다. "그것은 여전히 초월적 아름다움을 지닌 사물이다."
전체 장문의 첫 번째 각주에는 오직 하나의 웹 링크만이 외롭게 놓여 있으며, 그것은 오래된 시를 가리키고 있습니다. 그리고 본문 전체에서 Dario는 시인의 이름조차 한 번도 언급하지 않았습니다.

Richard Brautigan이 1967년에 출간한 시집 《All Watched Over by Machines of Loving Grace》 초판
이미지 출처: Burnside Rare Books
그 시는 1967년 샌프란시스코에서 인쇄되었습니다. 그해 여름은 훗날 역사에 기록되어 「사랑의 여름」이라 불렸고, 수천 수만 명의 유토피아를 동경하는 청년들이 헤이트애시버리 거리로 몰려들었으며, 이곳은 Dario가 어린 시절을 보낸 미션 구역에서 불과 2~3킬로미터 떨어져 있었습니다. 시인 Richard Brautigan은 같은 제목의 시 《All Watched Over by Machines of Loving Grace》와 다른 31편의 짧은 시를 묶어 36페이지의 얇은 책으로 만들었고, 히피 단체 Diggers 산하의 Communication Company에 넘겨 등사 인쇄하게 했습니다. 책에는 1500부라고 인쇄 수가 표기되었으며, 거리에서 전부 무료로 배포되었고, 판권 페이지에는 어떤 잡지, 책, 신문이든 그 안의 시를 전재할 수 있다는 단서 조항이 인쇄되었는데, 단 같은 조건으로 무료로 배포해야 한다는 것이었습니다.
시인의 환상 속에는 세상에 사이버네틱스의 초원이 펼쳐져 있었고, 포유류와 컴퓨터가 그 초원에서 서로를 프로그래밍하며, 맑은 수면이 맑은 하늘을 비추는 듯 조화로웠습니다. 멀리에는 사이버네틱스의 숲이 있었고, 야생 사슴이 컴퓨터 곁을 유유히 거닐며, 마치 꽃잎이 회전하는 기이한 꽃 몇 송이를 지나가는 듯했습니다. 인류는 마침내 천 년의 노동에서 벗어나 포유류 형제자매들 사이로 돌아왔고, 자애로운 기계의 다정한 보살핌을 받게 되었습니다.
44년 후, 영국 다큐멘터리 감독 Adam Curtis는 이 시구를 빌려 냉철한 다큐멘터리를 만들었는데, 이야기한 것은 바로 유토피아의 반대면이었습니다. 인류는 거듭 천진하게 기계가 세상을 스스로 조절하고 균형으로 이끌 수 있다고 굳게 믿었고, 이 미신은 또다시 현실에서 산산조각 났습니다. 다시 13년이 지나, 60년대 히피들이 쓴 이 시구는 오늘날 시가총액 1조 달러를 넘는 AI 거대 기업 수장의 글 제목이 되었습니다.
다만 시를 쓴 Brautigan 자신은 그 자애로운 기계들이 도래하는 것을 기다리지 못했습니다. 1984년 늦가을, 그는 캘리포니아 해변 마을 Bolinas의 자택에서 총을 쏘아 스스로 목숨을 끊었습니다. 사설탐정인 친구가 문을 밀고 들어가 거실의 차가운 바닥에서 그의 시신을 발견했습니다.
그때, 그는 이미 그곳에 한 달 넘게 조용히 누워 있었다.
원문 링크
BlockBeats 공식 커뮤니티에 참여하세요:
Telegram 구독 그룹:https://t.me/theblockbeats
Telegram 토론 그룹:https://t.me/BlockBeats_App
Twitter 공식 계정:https://twitter.com/BlockBeatsAsia