简体中文

繁體中文

English

Tiếng Việt

한국어

日本語

ภาษาไทย

Türkçe

중단된 Fable 5와 멈출 줄 모르는 AI

动察 Beating

이 글을 읽으려면 29 분

강력한 Anthropic조차도 이 가속화된 시대에 브레이크를 반복적으로 외치는 몇 안 되는 존재 중 하나지만, 결국에는 자신이 충분히 빠르게 달릴 수 있다는 것을 먼저 증명해야만 한다.

표지 그림: 《AI BUBBLE》Beeple

글｜Sleepy

지금 이 AI 기업들은 입으로 가장 경계한다고 말하는 것이, 바로 손으로 열심히 만들고 있는 바로 그것인 경우가 많다.

회의에서 위험을 논할 때면 누구보다 간절하게 말한다. 기술이 너무 빠르게 발전하고 있으니 누군가 규제해야 한다고. 하지만 회의가 끝나면 모델은 예정대로 출시되고, 하나같이 더 강력해지며, 일정은 점점 더 빡빡해진다.

같은 사람들, 같은 입으로 오전에는 경고하고, 오후에는 가속한다. 그들이 연기하는 것 같지는 않지만, 그 굴러가는 기계도 진짜다. 하루도 멈춘 적 없고, 점점 더 빨라지고 있다.

Anthropic이 최근 출시한 모델 Fable 5는 단 3일 만에 사라졌다.

6월 9일에上线, 6월 12일에 중단됐다. 그날 오후 Anthropic은 미국 정부로부터 전화를 받았고, 90분의 시간이 주어졌다. 저녁 5시 21분, 공식 지시가 도착했다. 모든 외국 국적자는 위치에 관계없이 이 모델을 계속 사용할 수 없으며, Anthropic 자체 외국인 직원조차도 예외가 아니었다. 이유는 국가 안전이었다.

국가 안전이라는 네 글자가 하나의 모델에 적용된다는 것은 다소 무겁게 들린다. 하지만 그것이 적용될 수 있었던 이유는 Fable이 만만치 않기 때문이다. 이 모델은 Anthropic이 계속 공개하지 않았던 Mythos의 '안전 버전'으로, 안전 장치를 통해 사람들이 이를 이용해 사이버 공격, 과학 연구 등 심각한 결과를 초래할 수 있는 일을 하지 못하도록 막는다. 그러나 Amazon이 미국 정부에 제출한 보고서에 따르면, 누군가가 탈옥에 성공해 Fable을 통해 직접 Mythos 모델을 호출할 수 있었다고 한다. 미국 정부가 우려한 것은 바로 이 점이었고,果断히 강력 대응에 나섰다.

Anthropic은 아마 전 세계에서 AI 위험을 가장 진지하게 다루는 기업일 것이다. 하지만 어쩔 수 없이 지난 2년간 모델의 성능이 너무 빠르게 성장했고, 이 트랙 전체가 오직 한 방향, 즉 앞으로만 나아가고 있다.

Anthropic은 경쟁사들보다 먼저 이렇게 계속 가다간 기술이 통제 불능 상태에 빠질 위험이 있다고 경고했으며, 심지어 정부가 위험한 모델을 막을 권한을 가져야 한다고 적극적으로 주장하기도 했다.

그런데 미국 정부가 실제로 움직였을 때, 가장 먼저 막힌 것은 바로 자사 모델이었다.

아마존이 위험을 경고했고, 미국 정부는 국가를 보호해야 했으며, Anthropic은 안전 조치를 취해야 한다고 판단한 대로 실행했습니다. 모두가 책임을 다했지만, 합쳐진 결과는 완벽한 결말을 맞이하지 못했습니다.

이 상황은 마침내 누군가 업계에 브레이크를 밟은 것처럼 보이지만, 사실은 그렇지 않습니다. 모델이 출시된 지 사흘 만에 명령 하나로 중단된 것은, 정작 누구도 스스로 속도를 늦추려 하지 않았기 때문에 외부에서 개입할 수밖에 없었음을 보여줍니다. 만약 기업, 보안 연구자, 고객, 그리고 미국 정부가 함께 속도를 조절할 수 있는 시스템을 갖췄다면, 국가 안보라는 칼날이 필요하지 않았을 것입니다. 게다가 이 칼날은 오직 Anthropic 하나만 멈췄을 뿐, 다른 업체들은 여전히 달리고 있습니다. Fable의 사흘은 업계가 감속하기 시작했다는 증거가 아니라, 아무도 제대로 감속하게 할 수 없다는 증거입니다.

브레이크도 경쟁력이 될 수 있다

Fable 5는 처음부터 타협의 산물이었습니다.

Anthropic이 실제로 보유한 가장 강력한 모델은 Mythos입니다. 이 모델은 성능이 너무 강력해 공개되지 않았습니다. 2026년 4월, 회사는 Project Glasswing을 통해 Mythos의 프리뷰 버전을 여러 보안 기관에 제공해 취약점을 찾도록 했습니다.

취약점을 찾는 일은 본래 선과 악을 구분하기 어렵습니다. 동일한 능력이라도, 이를 이용해 구멍을 메우는지, 아니면 그 구멍을 따라 침투하는지는 그 능력을 가진 사람에 달려 있습니다.

하지만 Anthropic도 매일 조금씩 가속화되는 이 트랙 위에 있었습니다. 6월이 되자, 결국 이런 능력을 대중에게 공개했습니다. Fable은 Mythos의 안전 버전으로, 위험도가 높은 요청은 더 제한적인 Opus 4.8로 되돌아가며, 출시 전 레드팀 테스트를 거쳤고, 트래픽은 30일간 보관되어 탈옥 시도를 발견할 수 있도록 했습니다. 동시에 이는 상품이기도 했습니다. 가격이 책정되고, 고객 평가가 있으며, 체험 기간이 있고, 수익을 내야 하며, 투자자에게 좋은 평가를 받아야 했습니다.

안전을 경쟁력으로 만드는 것 자체가 모순적인 일입니다. 경쟁력은 남보다 빠르게 달리는 것을 의미하고, 안전은 너무 빠르게 달리지 않는 것을 의미합니다. Anthropic은 이 두 가지를 동시에 이루려 했지만, 어떻게 동시에 이룰 수 있을지는 오늘날까지도 명확히 파악하지 못한 듯합니다.

창립자 Dario Amodei는 OpenAI의 연구 부사장을 지냈으며, Anthropic의 창립 멤버 다수도 OpenAI 출신입니다. 그들은 모델이 세대를 거듭하며 강력해질 때 사람들이 얼마나 흥분하는지, 그리고 그 흥분 아래에 무엇이 숨겨져 있는지 목격했습니다.

OpenAI의 이후 상황을 참고할 수 있다. 알트먼이 해고된 지 5일 만에 돌아와 오히려 이사회를 재구성했다. 슈퍼얼라인먼트 팀은 설립 당시 4년 안에 안전 문제를 해결하겠다고 밝혔지만, 1년도 채 안 되어 해체되었다.

Anthropic은 그 소동 이후 등장한 또 다른 해결책이다. 강력한 모델도 만들겠지만, 제동 장치를 제도에 명시하겠다고 말한다. 책임 있는 확장 정책은 2026년까지 3.0 버전으로 업데이트되었으며, 안전 등급에 따라 모델을 분류한다. 기술이 기하급수적으로 빠르게 발전하는데 규칙을 정하는 세계는 아직 따라잡지 못했으므로, 정부가 위험한 배포를 막을 권한을 가져야 한다고 주장한다.

한편으로는 모델을 만들면서, 다른 한편으로는 정부가 모델을 막을 권한을 가져야 한다고 능동적으로 말한다. 그 이면에는 그 큰 손이 신중하게 권한을 행사하고 절차를 따를 것이라는 믿음이 있어야 한다. 나는 원래 이런 입장에 어느 정도 존경심을 가지고 있었다. 하지만 Fable의 3일간의 경험은 이 믿음이 얼마나 신뢰할 수 없는지 증명해 주었다.

올해 초, Anthropic은 Claude의 군사적 사용을 놓고 미 국방부와 한 차례 논쟁을 벌였다. Claude Gov를 만들어 미국 정부 고객에게 제공했지만, 대규모 국내 감시와 감독 없는 치명적 자율 무기는 거부했다.

Anthropic의 관점에서 이것은 책임의 경계다. 국가 안보 체계의 관점에서 경계 자체가 문제다. 경계는 완전히 복종하지 않겠다는 의미이기 때문이다.

Anthropic이 말하는 안전은 통제 불능을 막는 것이다. 국가 안보 체계가 말하는 안전은 모든 것을 통제할 수 있는 것이다.

제동 장치가 무엇인지조차 합의하지 못하는데, 누가 책임을 질 수 있다는 것을 증명할 수 있겠는가. Anthropic은 곧 스스로 증명할 수 없다는 것을 깨달았다. 혼자서는 불가능했기 때문이다.

멈출 수 없고, 멈추기도 두렵다

6월 초, Anthropic은 한 가지 아이디어를 제시했다. 최첨단 연구소들이 함께 속도를 늦추거나 심지어 일시 중단하여 사회와 정책이 따라잡을 시간을 벌어야 할 수도 있다는 것이다.

조정.

왜 반드시 조정이 필요한가. 한 회사가 혼자 속도를 늦춘다고 해서 세상이 더 안전해지는 것은 아니기 때문이다. Anthropic이 멈춰도 OpenAI는 멈추지 않을 수 있고, Google도 멈추지 않을 수 있으며, 자본 시장은 절대 멈추지 않을 것이다.

따라서 이런 상황에서 한 사람이 일방적으로 자제하는 것은 미덕이라고 할 수 없다. 먼저 멈춘 사람은 기억되지 않고, 대체될 뿐이다.

Anthropic의 문제는 책임을 질지 말지에 있지 않았다. 책임을 져야 한다는 것을 잘 알고 있었다. 진짜 문제는, 다른 사람들이 반드시 책임을 지지 않을 때, 한 사람이 어디까지 책임을 질 수 있느냐는 것이다.

과거의 산업 사고는 아무리 복잡해도 비교적 명확한 원인을 찾을 수 있었습니다. 하지만 첨단 AI는 그렇지 않습니다. 모델의 능력은 연산력, 논문, 오픈소스 커뮤니티, 투자자의 성장 압박, 그리고 국가의 기술 우위 확보 욕구에서 비롯됩니다. 각 요소는 "결정을 내린 건 나"라고 부인할 수 있습니다. 하지만 이 요소들이 합쳐지면서 세상은 지금의 상황에 이르렀습니다.

책임은 분산되고, 가속도는 유지됩니다.

Anthropic은 정책 문서에 "AI가 너무 빠르게 발전하고 있어 거버넌스가 따라가지 못한다"고 쓰면서도, 동시에 새 모델을 출시합니다.

저는 Anthropic이 위선적이라고 말하려는 게 아닙니다. Anthropic은 더 이상 이상주의만으로 살아갈 수 있는 작은 연구소가 아닙니다. OpenAI, Google, xAI와 경쟁해야 하고, 자금 조달과 IPO 기대치를 충족해야 합니다. 실리콘밸리는 입으로는 안전을 중시하지만, 실제로 돈을 걸 때는 누구의 모델이 더 강력한지를 봅니다.

그래서 Anthropic은 일을 두 가지로 나눌 수밖에 없습니다. 스스로 할 수 있는 것은 먼저 추진하고, 업계 전체가 함께 해야 하는 것은 따로 목록을 만들어 다른 이들을 기다립니다.

실용적이면서도 어쩔 수 없는 선택입니다.

Fable은 바로 이 틈새에서 탄생했습니다. 차가 멈출 수 없다면, 더 복잡한 브레이크 패드를 장착하는 수밖에 없습니다. 틈새에서 강제로 만들어진 것은 양쪽 모두에게 환영받지 못할 운명입니다.

중간에 서서

Fable이 출시된 후, 가장 먼저 불만을 표시한 곳은 미국 정부가 아니라 보안 업계 사람들이었습니다.

IBM X-Force의 연구원 Chompie는 Fable이 보안 요청과 관련된 것이라면 조금이라도 연관되면 대부분 거부한다고 말했습니다. 가끔은 블로그 글 하나를 읽게 해도 트리거가 발생합니다.

보안 장벽은 의도를 구분하려 하지만, 모델 앞에는 언어와 맥락만 있을 뿐입니다. 사용자가 도구를 꺼내는 것이 문을 수리하려는 것인지, 자물쇠를 따려는 것인지 구분하지 못하고, 두 경우 모두 차단해 버립니다.

이틀 후, 한 보고서가 미국 정부에 제출되었고, 그 순간부터 이 문제는 더 이상 Anthropic이 스스로 판단하는 보안 설계의 문제가 아니었습니다.

Anthropic은 시간 차이를 반복해서 강조합니다. 출시 전에 여러 차례 미국 정부에 통보했고, 미국 정부는 반대하지 않았으며, 출시 전 테스트에도 참여했습니다. 회사는 배포 허가를 받은 상태였습니다. 그런데 사흘 후, 같은 시스템이 갑자기 모델을 내려야 한다고 통보했습니다.

Anthropic은 미국 정부가 구체적인 세부 사항을 제시하지 않았다고 말합니다. 회사는 시연을 본 결과, 몇 가지 알려진 심각하지 않은 취약점에 불과하며, 다른 공개 모델로도 동일하게 구현할 수 있다고 판단했습니다. 성명이 발표될 때까지 미국 정부는 구두 주장만 내놓았습니다.

이 모델에 대해 개발자도 만족하지 못하고, 미국 정부도 마음에 들어 하지 않는다. Anthropic은 그 중간에 끼어 양쪽에서 곤란한 처지에 놓였다.

Fable 사건의 이면에는 불신의 사슬 전체가 작동하고 있다. 한 바퀴 돌고 나면, 모든 연결고리가 앞선 연결고리를 경계하게 된다. 결국 사회는 이 안에 누가 진정으로 책임을 질 수 있는지조차 믿기 어려워진다.

e/acc는 하나의 분위기다

이 문제의 어려운 점은, 각 측이 모두 자신이 책임을 지고 있다고 생각하며 그 논리가 모두 타당하다는 데 있다. 모든 사람의 손에는 각자 부분적인 정당성이 쥐어져 있다.

바로 여기가 무서운 점이다. 각자는 자신의 작은 부분에 대해서만 책임을 지지만, 그것들을 합쳐도 전체 사건에 대해 책임지는 사람은 아무도 없다. 책임은 산산조각 났다. 기업 내부 통제, 모델 평가, 수출 통제, 고객 요구, 국가 경쟁, 투자 수익률, 각 조각은 진실의 일부를 비추지만, 그 어느 것도 전체를 비추지 못한다.

정의조차 통일할 수 없을 때, 모두가 유일하게 다투지 않는 방향은 오직 '빠름' 하나뿐이다.

Effective accelerationism, 약칭 e/acc는 최근 몇 년간 뚜렷한 기술 낙관주의로 자리 잡았다. 규제, 사회 구조, 윤리를 신경 쓰지 않고 기술을 빠르게 밀어붙이며, 진보가 큰 문제들을 해결할 것이라고 믿는다.

모든 기업이 스스로를 e/acc라고 칭하는 것은 아니며, Anthropic은 더더욱 그렇지 않다. 그러나 어떤 주장이 대세를 바꾸기 위해 모든 사람의 인정을 받을 필요는 없다.

능력 경쟁, 끝없는 연산 능력, 자금 조달 일정, 국가 간 각축, 군사적 수요, 더 강력한 도구에 대한 개발자의 갈망. 이러한 것들이 합쳐져 하나의 분위기를 형성한다. 어떤 이들은 이 분위기를 좋아하지 않지만, 다른 모든 사람들과 마찬가지로 그 안에서 살아가야 한다.

강력한 Anthropic조차도 이 가속화 시대에 브레이크를 반복적으로 외치는 몇 안 되는 존재이지만, 결국 자신이 충분히 빠르게 달릴 수 있다는 것을 먼저 증명해야 한다. 기술 가속화에는 악인이 필요하지 않다. 단지 모든 선량한 사람이 자신이 먼저 멈출 수 없다고 느끼게 하면 된다.

브레이크는 항상 존재했다

Fable 사건은 바로 브레이크를 넘겨준 대가다. 공권력의 개입을 바라는 이유는 업계의 자율 규제가 부족하기 때문이다. 그러나 공권력이 항상 기대한 방식으로 작동하는 것은 아니다. 국가 안보라는 기계가 가장 능숙하게 구사하는 동작은 협상이 아니라 봉쇄, 허가, 예외 조치다.

AI는 더 이상 경계를 명확히 그을 수 있는 기술이 아니다. 최첨단 모델이 상업, 연구, 국방, 인프라에 동시에 통합될 때, 그것이 어떻게 사용되어서는 안 되는지를 결정할 능력을 가진 사람이 누가 있을까?

모두가 속도가 너무 빠르다는 걸 안다. 하지만 속도 자체가 이미 살아남기 위한 조건이 되어버렸다.

백여 년 전에도, 아무도 멈추라고 외치지 못했던 가속이 있었다.

1914년 8월 1일 저녁 5시, 독일 황제 빌헬름 2세는 전군 총동원령을 내렸다. 명령이 막 발송된 지 몇 분 만에 런던에서 전보가 도착했다. 독일이 프랑스를 공격하지 않는다면, 영국이 프랑스를 중립으로 유지할 수 있다는 내용이었다. 독일 황제는 크게 기뻐했다. 원래 가장 두려워했던 것은 양면 전쟁이었는데, 이제 모든 병력을 동쪽으로 돌려 러시아와 싸울 수 있게 된 것이다. 그는 참모총장 몰트케에게 "그럼 우리는 동쪽으로만 진격하자"고 말했다.

몰트케는 "불가능합니다"라고 답했다.

그 이유는, 백만 명이 넘는 군대가 어떻게 출발하고, 어떤 철로를 이용하며, 몇 시 몇 분에 어떤 역에 도착할지 모두 계획에 따라 이미 확정되어 있다는 것이었다. 이 일정표는 꼬박 1년에 걸쳐 완성된 것이며, 완성된 후에는 단 한 글자도 바꿀 수 없었다.

나중에 많은 역사가들이 이 이야기를 전했다. 대부분은 이를 기계에 대한 우화로 받아들였으며, 현대 전쟁의 기계가 너무 정밀해져서 기계를 조종하는 사람조차 통제할 수 없게 되었다고 말했다.

하지만 그 후, 사람들은 한 가지 사실을 더 발견했다. 그 일정표는 사실 변경이 가능했다. 철도 부서는 매년 임시로 노선과 시간을 변경하는 훈련을 했고, 동부 전선을 위한 계획도 항상 준비되어 있었다. 기차가 정말로 방향을 돌려야 한다면, 돌릴 수 있었다.

즉, 브레이크는 항상 존재했다.

그날 밤 실제로 일어난 일은 브레이크가 없었던 것이 아니라, 브레이크 옆에 서 있던 사람이 브레이크를 건드릴 수 없다고 단정한 것이었다. 그는 변경 가능한지 묻지 않았다. 너무 확신했기 때문이다.

그렇게 기차는 계속 서쪽으로 달려갔고, 원래 세 나라 사이에 국한될 수 있었던 충돌을 유럽 전체를 집어삼킨 대전쟁으로 끌고 갔다. 아무도 이런 결과를 원하지 않았다. 당시 모든 사람은 자신이 가장 해야 하고, 가장 피할 수 없는 일을 하고 있다고 생각했다.

내가 이 기차를 떠올린 이유는, AI의 가속도 이렇게 이미 출발한 기차와 같기 때문이다. 그것은 어떤 개인이 만든 것이 아니라, 연산력, 자본, 국가의 야망이 하나씩 연결되어 스스로 달려나가는 것이다. 기차에는 모든 사람이 타고 있으며, 각자는 자신이 가장 해야 할 일을 하고 있지만, 기차는 계속 앞으로 나아간다.

이것이 AI 시대가 나를 불안하게 만드는 지점이다. 위험을 보지 못하는 것도 아니고, 브레이크가 실제로 존재하지 않는 것도 아니다. 브레이크를 외치는 사람은 바로 기차 안에 앉아 있고, 위험을 아는 사람의 발은 여전히 액셀러레이터를 밟고 있다.

이 업계가 가장 경계하는 것은, 종종 바로 자신이 필사적으로 만들고 있는 바로 그 것이다. Fable은 모두가 잠시 멈춰서 살펴보게 만드는 사례가 되어야 했다. 하지만 내가 이 글을 다 쓰기도 전에, 새로운 모델이 또 몇 개 발표되었고, 모두 자신이 최고라고 말한다.

브레이크를 먼저 밟으려는 사람은 아무도 없다.