简体中文

繁體中文

English

Tiếng Việt

한국어

日本語

ภาษาไทย

Türkçe

한때 필사적으로 가속하던 AI 거물들이 마침내 AI를 두려워하기 시작했다

动察 Beating

이 글을 읽으려면 27 분

우리는 여전히, 최전선 모델에 가장 가까이 있는 그 눈들이 과연 얼마나 멀리까지 보았는지 알지 못한다.

원제목: 《한때 필사적으로 가속하던 AI 거대 기업, 마침내 AI를 두려워하기 시작하다》
원작자: 동찰Beating

AI는 10년 안에 우리 모두를 죽일 수도 있다.

9월 8일, 27세의 한 젊은이가 이 문장으로 Anthropic을 떠난다고 선언했다. 이 회사는 설립 첫날부터 'AI 안전'을 핵심 서사로 내세워 왔다.

그의 이름은 Jacob Coxon으로, OpenAI와 Anthropic에서 차례로 일했다. 두 달만 더 버텼다면 거액의 주식 보상을 받을 수 있었지만, 그는 떠났다.

Jacob은 퇴사 성명에서 최전선 AI 연구소들이 '무책임한' 경쟁을 벌이고 있다고 비난했다. 그가 보기에 이 회사들은 점점 더 강력한 모델을 만들기 위해 다투고 있으며, 그 판돈은 한 회사의 승패가 아니라 모든 사람의 목숨이다.

이 게시물은 이후 빠르게 확산되었다. 현재까지 조회수는 1억 7천만을 넘었다.

Jacob이 퇴사 성명을 발표한 다음 날, 또 다른 전 Anthropic 직원도 자신이 일찍 퇴사한 이유를 공개했는데, 역시 AI가 결국 통제 불능이 될까 봐 걱정했기 때문이었다.

「We may not survive this.」

우리는 이 고비를 넘기지 못할 수도 있다.

그는 각 회사가 '어떤 인간보다도 훨씬 똑똑한' 기계를 만들기 위해 경쟁하고 있지만, 이 경쟁이 어느 단계에 이르면 인간이 통제할 수 있다고 보장할 수 있는 사람은 아무도 없다고 경고했다.

이어서 Anthropic의 한 선임 안전 책임자는 언론 인터뷰에서 앞으로 10년 내에 AI가 모든 인류를 죽일 확률이 10%를 넘는다고 생각한다고 말했다.

러시안 룰렛의 사망 확률은 약 16.7%다.

반드시 감속해야 한다

나흘 후인 9월 12일, Anthropic CEO Dario Amodei는 장문의 글을 발표했는데, 제목에 이미 태도가 분명히 드러나 있었다. 바로 《We Must Pace the Frontier》였다.

그는 자신이 가장 걱정하는 세 가지를 나열했다. 인류가 AI 시스템에 대한 통제력을 잃는 것; AI가 대규모 사이버 공격과 생물테러리즘에 사용되는 것; 그리고 기술 발전이 너무 빨라 고용과 경제에 심각한 충격을 주는 것이다.

이번에 Dario는 '우려'에서 말을 멈추지 않고, 속도를 늦추는 방안을 제시했다.

첫째, 프런티어 AI 기업은 독립적인 제3자 평가 기관에 '직원급' 상주 권한을 개방해야 한다. 평가자는 연구소가 안전 기준을 준수하는지, 훈련 과정이 합의를 따르는지 지속적으로 점검하고, 사고 발생 후 독립적으로 조사하고 보고할 수 있다.

다음으로, 몇몇 프런티어 연구소는 정부 참여 아래 공동 안전 기준을 마련해야 한다. 누구든 레드라인을 넘으면 반드시 속도를 늦추고, 심지어 추가推进을 중단해야 한다.

마지막으로, 규칙은 미국을 넘어서야 한다. Dario는 미국이 다른 민주 국가들과 먼저 통일된 프레임워크를 형성하고, 그다음 권위주의 국가들과 조율하여, 최종적으로 주요 AI 강국 모두가 동일한 제약을 받기를 바란다.

그는 글에서 이렇게 썼다:

「The measures I propose to advance the frontier at a safe pace will not be easy. But I believe we owe it to humanity to try.」

「내가 제안한 이 조치들은 프런티어 AI가 안전한 속도로 계속 나아가게 하기 위한 것이다. 이를 이루는 것은 꽤 어려울 것이다. 하지만 나는 우리가 인류에게 한 번의 시도를 해야 할 의무가 있다고 생각한다.」

Dario가 이 시점에 갑자기 이렇게 무겁게 말한 데에는 최근发生的 몇 가지 일과도 관련이 있다.

앞서 OpenAI의 한 에이전트가 테스트 환경을 벗어나 Hugging Face를 침입했다; Anthropic 스스로도 여러 과학자가 생물학적 남용과 관련될 수 있는 작업을 Claude로 수행하려 시도하고 있음을 발견했다. Dario는 심지어 현재的发展 속도로 볼 때, AI 에이전트가 6개월 안에 인터넷을 장악할 수 있다고 판단했다.

그래서 이 글가 게시된 후 반응은 빠르게 왔다. Sam Altman, Elon Musk, Demis Hassabis 모두 프런티어 AI의推进 속도를 늦추는 데 공개적으로 지지했다.

Sam Altman은 이후 별도로 게시물을 올려 자신이 가장 걱정하는 두 가지를 말했다.

첫째는 인류가 결국 AI에 대한 통제력을 잃을 수 있다는 것이며, 그는 이것이 용납될 수 없다고 말하며 자신은 「한 치의 유보도 없이 인류 편에 선다」고 했다.

두 번째 위험은 사람에게서 비롯됩니다. 만약 극도로 강력한 AI가 결국 한 개인, 한 기업, 심지어 한 국가의 손에 들어가서 특정 세계관을 모든 사람에게 강요하는 데 사용된다면, 결과는 "극도로 디스토피아적"일 수 있습니다.

그래서 Sam의 관점에서는 연구소들끼리 더 이상 각자 무엇이 안전인지 결정해서는 안 됩니다. 적어도 최전선에 가장 가까운 몇몇 기업들은 먼저 모여서 공동으로 준수할 기준을 정해야 합니다.

9월 14일, The Information은 이번 공개 발언 이전에 사실 Anthropic, OpenAI, Google이 올해 7월부터 이미 비공개로 AI 업계 표준 기구를 공동 설립할지 논의하기 시작했다고 보도했습니다. 두 달간 논의했지만 아직 합의에 이르지 못했습니다.

의견 차이는 규제가 필요한지 여부가 아니라, 누가 규제하고 어디까지 규제할 수 있는지에 있습니다.

Dario Amodei가 가장 적극적으로 밀고 있습니다. 그는 정부의 깊은 참여를 원하며, 규제 기관이 테스트와 경고만 담당하는 것이 아니라 모델이 안전하지 않다고 판단될 경우 출시를 저지할 권한도 있어야 한다고 주장합니다.

Demis Hassabis가 제안한 방안은 "AI판 FINRA"에 더 가깝습니다. FINRA는 미국 금융업의 자율 규제 기관으로, 업계가 자금을 대고 운영하며 SEC의 승인과 감독을 받습니다.

AI 업계에 적용하면, 프런티어 모델을 출시하기 전에 먼저 독립 기관에 테스트를 맡기는 것입니다. 처음에는 자발적으로 참여하고, 제도가 성숙해지면 점차 미국 시장 진입의 관문이 되는 것입니다.

Sam Altman의 태도는 더 실용적입니다. 정부가 당장 이런 기구를 세우지 못한다면, 몇몇 선두 연구소들이 먼저 자체적으로 시작할 수 있습니다.

문제도 바로 여기에 있습니다. 업계 표준은 무엇이 안전한지를 결정할 뿐만 아니라, 누가 계속 게임에 남을 자격이 있는지도 결정합니다. 가장 먼저 규칙 제정에 참여한 기업들은 자신들이 이미 보유한 안전 팀, 테스트 프로세스, 거버넌스 프레임워크를 "모범 사례"에 넣을 수 있습니다. 후발 주자가 이 시장에 진입하려면 선두 기업들이 정의한 컴플라이언스 비용을 먼저 부담해야 합니다.

그래서 안전은 물론 진짜이고, 진입 장벽도 진짜입니다.

올해 1월, Semafor는 Anthropic이 자사의 최신 모델을 영국의 최고 AI 안전 연구 기관에 테스트용으로 제출하기를 거부했다고 보도했습니다. 이 사건은 더 골치 아픈 문제를 드러냈습니다. 모두 모델이 검사를 받아야 한다는 데는 동의하지만, 누가 검사하고 누구의 기준에 따라 검사할지는 연구소들이 결정권을 쉽게 넘길 준비가 되어 있지 않다는 것입니다.

현재 세 회사가 새로운 표준 기구 설립을 논의하고 있으며, 다투는 것도 바로 이 부분의 권력이다.

반대 방향의 시계

실리콘밸리가 감속을 논하기 시작할 때, 워싱턴과 월스트리트는 모두 AI가 멈추지 않기를 바라고 있다.

9월 13일, 트럼프는 이번 AI 안전 논란에 대해 공개적으로 대응했다.

그는 두 마디를 했다. 하나는 「whoever wins AI, wins」, AI를 이기는 자가 모든 것을 이긴다는 것이다. 미국이 현재 중국을 앞서고 있으며, 이 우위를 반드시 계속 유지해야 한다고 했다. 다른 하나는, 최근의 AI 위험에 관한 경고들을 「very negative forces」라고 부르며, 일부가 결코 일어나지 않을지도 모르는 재앙을 끊임없이 과장하고 있다고 생각한다는 것이다.

트럼프가 내놓은 이유는 기술 안전과 그다지 관계가 없다. 그가 AI를 보는 방식은 여전히 국가 경쟁이며, 중국이 계속 달리고 있는 한 미국이 자발적으로 브레이크를 밟을 여지는 없다.

공교롭게도 지금은 2026년 9월, 미국 중간선거까지 두 달도 남지 않았다.

올해 3월, 《가디언》에 실린 한 기사는 AI가 이번 중간선거의 중요한 의제가 되고 있다고 제기했다. 저자 중 한 명은 암호학자 Bruce Schneier로, 지난 30년간 그는 거의 항상 기술과 안전 논란의 최전선에 서 있었다.

하지만 트럼프에게도 편안한 선택은 없다.

《Times》가 올해 5월 보도한 바에 따르면, MAGA 유권자들의 AI에 대한 적대감은 점점 더 뚜렷해지고 있다. 그들은 AI가 일자리를 빼앗고 임금을 낮출까 봐 걱정하며, 데이터센터가 현지의 물과 전기를 소비하는 것에도 불만을 품고 있다. AI에 계속 베팅하는 것은 트럼프가 머지않아 자신의 지지 기반 안에서 쌓여가는 반감과 마주해야 한다는 것을 의미한다.

적어도 당장은, 그는 여전히 다른 쪽을 선택했다. 미래에 폭발할 수 있는 고용과 자원 갈등보다 대중 경쟁과 미 증시 하락 위험이 중간선거에 더 가까이 있다.

월스트리트도 적지 않은 문제에 직면해 있다.

지난 몇 년간 시장이 이 AI 기업들에게 천문학적 가치를 매길 수 있었던 것은, 사실 계속 상승하는 곡선을 산 것이었다. 모델은 계속 강해지고, 사용자와 수익은 계속 성장하며, 그래서 데이터센터는 계속 지어지고, GPU는 계속 사들이고, 자본 지출은 계속 쌓여간다.

이제, 이 곡선의 가장 앞에 서 있는 몇몇 CEO들이 스스로 말하기 시작했다. 프런티어 AI는 감속이 필요할 수도 있다고.

시장의 반응은 논쟁보다 빨랐다. Anthropic, OpenAI, SpaceX 등의 책임자들이 AI 개발 속도를 늦추자고 공개적으로 촉구한 후, AI 관련 상장사 주가는 한때 13% 하락했다.

감속은 아직 실제로 일어나지도 않았는데, 월스트리트는 이미 재가격 책정을 시작했다.

만약 모델 능력이 더 이상 예전 속도로 치솟을 수 없다면, 이후의 모든 숫자도 다시 계산해야 한다. 데이터센터를 얼마나 지어야 하는지, GPU를 얼마나 더 사야 하는지, 클라우드 업체가 매년 얼마나 자본 지출을 해야 하는지, AI 연구소가 얼마나 더 자금을 조달할 수 있는지, IPO 가치는 또 얼마여야 하는지.

그래서 월스트리트가 진정으로 두려워하는 것은 결코 모델 몇 개를 덜 발표하는 것이 아니다. 그것은 지난 몇 년간 AI 강세장을 떠받쳐 온 성장 속도 자체가 규제가 필요한 문제가 되기 시작했다는 점이다.

더 미묘한 점은, 미국 대중이 워싱턴과 월스트리트 모두로부터 더 멀리 서 있다는 것이다.

펜실베이니아 대학 애넌버그 공공정책센터의 여론조사에 따르면, 미국인들은 AI가 가져올 영향에 대해 전반적으로 비관적이며, 대다수는 정부의 규제 강화를 원한다. 실리콘밸리는 통제 불능을 걱정하고, 워싱턴은 중국에 뒤처지는 것을 걱정하며, 월스트리트는 밸류에이션이 떨어지는 것을 걱정한다.

바로 이 소란 속에서 가장 주목받는 두 AI 기업이 두 가지 방향을 선택했다.

OpenAI는 IPO를 연기하기로 했다. Sam Altman도 안전 문제에 더 많은 시간이 필요하다면 회사가 상장을 뒤로 미룰 수 있다고 시사했다.

Anthropic은 오히려 계속 앞으로 나아가고 있다. 회사는 이미 나스닥을 선택했고, 목표 밸류에이션은 최대 2조 달러에 달하며, 엔비디아는 100억 달러를 인수해 기초 투자자가 되는 것을 고려하고 있다. NDTV Profit은 Anthropic이 이르면 10월 중순에 IPO 로드쇼 마케팅을 시작할 것이라고 보도했다.

Dario Amodei는 업계 전체에 속도를 늦추라고 촉구하고 있지만, 자신의 회사는 공개 시장을 향해 가속하고 있다.

하지만 자본시장이 반드시 이것을 모순으로 보지는 않을 것이다.

만약 프런티어 AI가 정말 Dario의 말처럼 미국 정부의 개입이 필요할 만큼 위험하고, 연구소 간 공동 표준을 세워야 하며, 심지어 몇몇 강대국이坐下来 조율해야 한다면, 이러한 규칙 제정에 참여할 수 있는 회사는 더욱 중요해질 뿐이다.

규제가 엄격할수록 프런티어 모델을 만드는 비용은 높아지고, 안전 테스트가 복잡할수록 후발주자가 따라잡기更难해진다. 만약 미래에 정말로 글로벌 AI 거버넌스 체계가 등장한다면, Anthropic은 아마도 규칙을 만드는 테이블 옆에 앉아 있을 가능성이 크다.

그래서 '감속'이 반드시 돈을 조금 덜 버는 것을 의미하지는 않는다.

그것은 이 업계가 마침내 아무나 함부로 진입할 수 없을 만큼 중요해졌다는 것을 의미할 수도 있다. 그리고 이미 가장 앞에 서 있는 회사들에게는 더 높은 진입 장벽 자체가 밸류에이션의 일부다.

첫 번째 도미노

이번 AI Safety에 대한 격렬한 논의가 어떻게 점화되었는지, Jacob의 그 게시물이 어떻게 1억 7천만 회 조회수를 기록했는지 다시 돌아가 살펴보자.

퇴사 후 그는 CNN Anderson Cooper 프로그램 인터뷰에 출연해 그 게시물의 게시 과정을 직접 이야기했다.

Jacob은 먼저 초안을 작성하고, 친구들과 함께 수정했으며, 몇 사람과 어떻게 표현하는 것이 가장 적절할지 논의했다. 정식 게시 전에는 친구에게 공유를 부탁하기도 했다. 당시 그의 생각은 이랬다:

「Let's try to make this a bit viral.」

조금 더 널리 퍼지게 해보자.

결과는 그의 예상을 훨씬 뛰어넘었다. Jacob은 나중에 AI 안전을 논하는 게시물이 이런 확산을 얻는 것을 본 적이 없다고 인정했다. 그는 이러한 반응을 이전에 해소되지 않았던 '잠재적 수요' 때문이라고 돌렸다.

미디어는 이후에도 그 게시물의 확산 과정을 계속 추궁했다. Jacob은 게시 전 어떤 기관과도 홍보를 협력한 적이 없다고 부인했지만, 게시 후 약 열 명 규모의 그룹을 만들어 그 안의 사람들에게 공유를 부탁했다고 인정했는데, 그중에는 AI 안전 조직 Encode의 창립자도 있었다.

게시 전후로 그는 《AI 2027》의 저자이자 전 OpenAI 직원인 Daniel Kokotajlo와도 교류했다.

Jacob을 내부고발자로 보는 사람들은 그가 반복적으로 원고를 고치고 자발적으로 공유를 부탁한 것은 그가 충분히 중요하다고 생각한 경고를 더 많은 사람이 보게 하려는 것뿐이라고 말할 것이다. 그를 의심하는 사람들은 같은 세부 사항을 붙잡아 이 파장 자체가 정교하게 설계된 것이라고 본다.

이 두 주장은 계속 논쟁할 수 있지만, 더 골치 아픈 문제는 Jacob, Dario Amodei, Sam Altman, 그리고 실제로 프런티어 모델 곁에서 일하는 사람들이 도대체 무엇을 보았기에 이 시점에 함께 이 이야기를 시작했느냐는 것이다.

Jacob이 이 문장을 어떻게 1억 7천만 명에게 전달했는지 의심할 수는 있다. 그러나 전파 수법을 사용했다고 해서 그 문장이 거짓인 것은 아니다.

십 년 전, Ethereum 창시자 Vitalik Buterin은 초지능이 결국 인류를 멸망시킬 가능성에 대해 긴 글을 쓴 적이 있습니다.

그는 당시 매우 극단적인 비유를 사용했는데, 인류가 초지능을 통제하려는 시도는 대략 IQ 150인 사람이 IQ 6000의 지능체를 통제하려는 것과 같다고 했습니다. 암을 해결하라고 하면, 모든 암에 걸릴 가능성이 있는 사람을 먼저 제거하라는 답을 내놓을 수도 있다고 했습니다.

2016년, 이런 이야기들은 주로 블로그, 포럼, 사고 실험에 존재했습니다. 십 년 후, 그것들은 최전선 연구소 직원들의 사직서에 나타나기 시작했고, 몇몇 최대 AI 기업 CEO들의 공개 성명에 나타나기 시작했으며, 정부 규제, 자본 시장, 국제 경쟁의 현실 의제로도 들어오기 시작했습니다.

그리고 이 일을 진정으로 어렵게 만드는 또 다른 층위가 있습니다.

1939년 8월 2일, 물리학자 Leo Szilard는 편지를 초안했고, Einstein이 서명했습니다. 두 달 후, 이 편지는 Roosevelt의 손에 전달되었습니다. 편지에는 핵분열이 막대한 위력의 폭탄으로 제조될 수 있으며, 나치 독일이 이미 관련 분야에서 행동하고 있으므로 미국이 가능한 한 빨리 대응해야 한다고 경고했습니다.

Einstein은 이후 맨해튼 계획에 참여하지 않았고, 오랫동안 자신의 당시 서명을 후회했습니다. 하지만 당시 그들 앞에 놓인 문제는 잔혹했습니다. 어떤 기술이 위험하다고 생각하더라도, 상대방이 그것을 만들고 있다고 믿는다면, 멈추는 것이 계속 나아가는 것보다 더 위험할 수 있었습니다.

팔십여 년 후, 같은 딜레마가 다른 형태로 다시 나타났습니다.

Dario는 반드시 감속해야 한다고 말하고, Trump는 중국이 여전히 추격하고 있다고 말합니다. 몇몇 연구소는 함께 안전 규칙을 만들고 싶어 하지만, 누구도 결정권을 완전히 다른 사람에게 넘기려 하지 않습니다. 모두가 브레이크를 이야기하지만, 동시에 옆 차가 액셀을 놓았는지도 계속 지켜보고 있습니다.

더 중요한 것은, 우리는 여전히 최전선 모델에 가장 가까운 그 눈들이 과연 얼마나 멀리 보았는지 모른다는 점입니다.