원문 제목: 세계에서 가장 혁신적인 기업
원문 작성자: Leslie Dickstein, Simmone Shah, TIMES
번역: Peggy, BlockBeats

편집자 주: 한 번의 야간 보안 테스트로부터 국방성 이벤트까지, 본문은 AI 기업 Anthropic이 급속히 성장하는 과정에서 직면한 다층적인 압력을 기록합니다. 기사는 먼저 회사 내에서 AI의 잠재적 위험을 어떻게 평가했는지 묘사한 후, Claude의 기술적 돌파와 상업적 성공을 되짚어 본 후 군사 분야에서의 실제 응용을 더하였습니다.

사건이 전개되면서, 저자는 레드 팀 리더, 엔지니어, 임원, 정책 연구원 및 정부 관리자 등 다양한 시각을 통해 Anthropic이 미국 군사와의 자동무기, 대규모 감시 및 AI 통제 권한을 둘러싼 논쟁을 계층적으로 전개합니다.

이 사건을 통해, 저자는 최종적으로 점점 더 절박해지는 질문을 제기했습니다: 인공 지능이 자체 진화를 가속화시키고 전쟁, 지배, 노동 구조에 뿌리내리면, 누가 그 경계를 설정할 수 있는 지.

아래는 원문입니다:

미국 캘리포니아주 샌타클라라의 한 호텔 방에서 Anthropic AI 회사의 다섯 명 구성원이 노트북 주변에서 긴장한 상태로 작업하고 있었습니다. 그것은 2025년 2월이었으며, 그들은 근처에서 회의에 참석하고 있었지만 갑자기 불안한 메시지를 받았습니다: 통제된 실험 결과, 곧 출시될 예정인 Claude의 새 버전이 테러리스트가 생물무기를 제조하는 데 도움이 될 수 있다는 것을 보여주었습니다.

이 몇 명은 Anthropic의 '프론티어 레드팀'에 속했습니다. 그들의 일은 Claude의 고급 기능을 연구하고 최악의 시나리오를 가정하여 네트워크 공격부터 생물 안전 위협까지 다양한 위험을 시도하는 것이었습니다. 메시지를 받고 나서, 그들은 호텔 방으로 돌아오는 동안 침대를 일시적인 사무용 책상으로 세워서 테스트 결과를 주의 깊게 살펴보기 시작했습니다.

수 시간에 걸친 긴장한 분석 끝에, 그들은 새 제품이 충분히 안전한지 여부를 여전히 확신할 수 없었습니다. 결국, Anthropic은 이 새로운 모델 출시를 10일간 미뤄, Claude 3.7 Sonnet을 팀이 위험이 통제 가능하다고 확인할 때까지 기다리기로 결정했습니다.

이는 단지 10일에 불과해 보일 수 있지만, 기술의 최전선에 서 있고 세상을 빠르게 변화시키는 산업에서 위치한 회사에 대해선, 그것은 거의 한 세기 같았습니다.

Logan Graham(「Frontier Red Team」 Leader)은 그 「바이오무기 공포」 사건을 회상할 때, 이를 Anthropik가 한 중대한 순간의 도전의 상징으로 보았으며 회사뿐만 아니라 전 세계에도 동일하게 적용된다고 말했습니다. Anthropik는 현재 선두 AI 연구소 중에서도 안전을 가장 강조하는 기관 중 하나입니다. 그러나 동시에 그것은 경쟁의 최전선에 서 있으며, 점점 강력한 AI 시스템을 구축하려고 노력하고 있습니다. 회사 내에서 많은 직원들도 이 기술이 만약 통제를 벗어나면 핵전쟁에서 인류 멸종에 이르기까지 연쇄적으로 끔찍한 결과를 가져올 수 있다고 믿고 있습니다.

31 세인 그레이엄은 여전히 어리 석은 향이가 남아 있지만, 그는 AI의 거대한 이익과 거대한 위험 사이의 균형을 찾는 책임을 회피하지 않습니다. 그는 다음과 같이 말했습니다: "많은 사람들이 비교적 평화로운 세계에서 자라 났으며, 사람들이 문제를 어떻게 고칠 수 있는지를 아는 성숙한 어른들이 앉아 있는 방이 있다는 직관을 갖게 됩니다."

“하지만 사실, 거기엔 『어른들의 그룹』이 없습니다. 심지어 당신이 찾고 있는 그 문도 없습니다. 책임은 당신 본인에게 있습니다.” 이 말이 충분히 경계심을 일으키지 않는다면, 그의 생물무기 경고 사태를 어떻게 회상하는지 다시 확인해보십시오: “그날은 꽤 재미있고, 강렬한 하루였죠.”

Illustration: Neil Jamieson for TIME(Materials from: Askell: Aaron Wojack; Getty Images, Clockwise from top left: Samyukta Lakshmi—Bloomberg; Brendan Smialowski—AFP; Tierney L. Cross—Bloomberg; Daniel Slim—AFP; Bridget Bennett—Bloomberg)

몇 주 전, 로건 그레이엄은 Anthropik 본사에서 이러한 문제에 대해 인터뷰를 진행했습니다. "TIME" 잡지의 기자는 여기에서 세 일 동안 머물며 기업의 경영진, 엔지니어, 제품 책임자 및 보안 팀 구성원들을 인터뷰하여, 이전에는 인공지능 경쟁에서 "독자적인 소외"로 여겨졌던 이 회사가 어째서 갑자기 선두주자가 되었는지 파악하려고 했습니다.

당시에, Anthropik은 투자자로부터 300 억 달러의 자금을 조달한 방금이었으며, 이번 해 가능한 IPO에 대비했습니다. (참고로 Salesforce도 Anthropik의 투자자 중 하나이며, "TIME" 잡지의 소유자이자 Marc Benioff는 Salesforce의 CEO입니다.) 현재, Anthropik의 가치는 골드만삭스, 맥도날드 및 코카콜라 등 전통 거물을 넘어서 3800 억 달러에 이르렀습니다.

기업의 수익 성장 속도는 로켓처럼 급상승 중이다. 그 AI 시스템 클로드는 세계적 수준의 모델로 인정받고 있으며, 클로드 코드(Claude Code)나 클로드 동료(Claude Cowork)와 같은 제품은 '프로그래머'라는 직업의 의미를 다시 정의하고 있다.

Anthropic의 도구는 강력한 수준이다: 거의 매번 새 버전이 출시될 때마다 자본 시장에 충격을 주며, 투자자들이 이러한 기술적 발전이 전체 산업 부문 - 법률 서비스부터 소프트웨어 개발까지 -을 뒤집을 수도 있다는 점을 서서히 깨닫고 있다. 지난 몇 달 동안 Anthropic은 "미래의 일자리 형태"를 재정의할 가능성이 가장 높은 기업 중 하나로 인식되었다.

이후 Anthropic은 '미래 전쟁의 형태' 주위에서 격렬한 논쟁에 휘말렸다.

일 년 넘게 클로드는 미국 정부에서 가장 선호받는 AI 모델로, 기밀 환경에서 사용 허가를 받은 최초의 선도 AI 시스템이기도 했다. 2026년 1월, 그는 심지어 베네수엘라 대통령 니콜라스 마두로를 카라카스에서 체포하는 대담한 작전에 사용되었다. 이 작전에서 AI는 임무 계획 및 정보 분석 등에 활용되었으며, 전선 AI가 현실 군사 작전에 심도 있게 개입한 사례가 되었다.

그러나 이후 몇 주 동안 Anthropic과 미국 국방부 간의 관계는 신속하게 악화되었다. 2월 27일, 트럼프 행정부가 Anthropic을 "국가 안보 공급망 리스크"로 지정하기로 발표했는데, 이는 미국에서 알려진 한 회사에 이러한 라벨을 붙인 것은 처음이었다.

상황은 빠르게 공개적인 충돌로 번지기 시작했다. 트럼프는 미국 정부에게 모든 소프트웨어 사용을 중단하라고 명령했다. 국방장관 피트 헤그세스는 더 나아가서 정부와 협력하는 모든 기업은 더 이상 Anthropic과의 거래를 금지해야 한다고 선언했다. 이와 동시에, Anthropic의 최대 경쟁사인 OpenAI가 신속히 개입하여 관련 군사 계약을 인수했다.

이렇게 한 회사가 '글로벌 최대 파괴력 기업'으로 간주되었던 AI 기업은 갑자기 더 큰 힘에 의해 뒤바뀌어 버린 것을 발견했다 - 정부 자체에 의해.

이 대립의 핵심 문제는 바로, 이 미국의 가장 강력한 무기로 여겨진 기술에 대한 경계를 누가 설정할 권한이 있는가 하는 것이다.

Anthropic은 자사의 도구가 전쟁 작전에 사용되는 것에 반대하지 않는다. 회사 측은 미국 군사력을 강화하는 것이 국가 위협을 억제하는唯一한 현실적 방법이라고 주장한다. 그러나 CEO 다리오 아모데이는 국방부가 정부 계약을 재협상하고, AI 사용 범위를 '모든 합법적 사용'으로 확장하려고 시도하는 데 반대한다.

Amodei는 두 가지 구체적인 우려를 제시했습니다. 첫째, 그는 Anthrop의 AI가 완전 자율 무기 시스템에 사용되는 것을 원하지 않습니다. 둘째, 그는 그 기술이 미국 시민들에 대한 대규모 모니터링에 사용되는 것에 반대합니다.

그러나 Pete Hegseth(미국 국방 장관)와 그의 고문에게는, 이러한 입장은 사설 회사가 군대가 어떻게 전투해야 하는지 결정하려는 것과 같다고 여겨집니다.

미국 국방부는, Anthrop가 "불필요한 보안 장벽"을 설정하고, 다양한 가정 상황을 계속 논의하며, 후속 협상에서 시간을 끌며 사실상 양측의 협력 관계를 약화시켰다고 생각합니다.

트럼프 정부에 따르면, Amodei (Anthropic CEO)의 태도는 거만하면서 완고합니다. 어떤 회사의 제품이 얼마나 선진하더라도 군사 지휘 체계에 자신의 심판을 강요해서는 안 된다고 봅니다.

국방부 기술 담당 부부 장관 Emil Michael은 이러한 협상을 다음과 같이 설명했습니다: "일이 계속 미뤄졌습니다. 나는 그런 예외 조항들로 300만 명을 가진 부서를 운영할 수 없습니다."

일러스트: Klawe Rzeczy가 TIME을 위해 제작한 이미지 출처: Denis Balibouse—Reuters

실리콘밸리에서 캐피톨 힐까지, 많은 관찰자들은 이 소동이 정말로 단순히 계약 분쟁인가에 의문을 품고 있습니다.

일부 비평가들은, 트럼프 정부의 행동이 정치적으로 동조하지 않는 기업을 탄압하려는 시도처럼 보인다고 생각합니다. Dario Amodei는 후에 유출된 내부 메모에서 다음과 같이 썼습니다: "국방부와 트럼프 정부가 우리를 싫어하는 진짜 이유는, 우리가 트럼프에게 기부를 안 했기 때문입니다. 우리가 독재국가처럼 그에게 비위를 맞추지 않았다는 점(하지만 Sam Altman은 그렇게 했다). 우리는 AI 규제를 지지했고, 이는 그들의 정책 목적과 충돌합니다; 우리는 AI 정책 문제에 대해 진실을 말했으며(예를 들어 고용 대체 문제); 그리고 우리는 주요 원칙을 유지하며 그들과 함께 '안전 극장'을 연출하지 않았습니다."

그러나 Emil Michael(전쟁부 부부 장관)은 이 이야기를 "완전한 허구"라고 부인했으며, 이 회사의 입장이 전방 전투원들이 위험에 노출될 수 있게 만들 수 있다고 말했습니다. 그는 말했습니다: "전쟁부(Department of War)에서 나의 일은 정치를 하는 것이 아니라 나라를 방어하는 것입니다."

Anthropic는 항상 독특한 기업 문화를 갖추고 있었으나, 이제 국내 정치적 분열, 국가 안보 문제, 그리고 잔인한 기업 간 경쟁 환경과 직면하고 있습니다. 이번 충돌이 회사에 어느 정도의 손해를 입혔는지는 아직 알려지지 않았습니다. 초기 위협으로부터의 "공급망 리스크" 범위는 후에 좁혀졌으며—Anthropic에 따르면, 이 제한은 현재 군사 계약에만 적용됩니다. 3월 9일, Anthropic은 미국 정부를 상대로 소송을 제기하여 이 "블랙리스트" 결정을 뒤집으려고 했습니다. 한편, 일부 고객들은 회사의 입장을 도덕적인 선언으로 간주하고 ChatGPT를 버리고 Claude로 옮겨갔습니다.

그러나 앞으로의 3년 간, 이 회사는 여전히 적대적인 정부 환경 속에서 전진해야 합니다—정부 내 몇몇 공무원들은 Anthropic의 경쟁사들과 밀접한 관계를 맺고 있으며, 이들 경쟁사들은 회사에 대해 명백한 적의를 품고 있습니다.

이 "Five-Sided Building Controversy"는 이 회사 측면에서도 불안한 몇 가지 문제를 제기했습니다, 이미 고위험 윤리 결정에 익숙한 기업에게도 마찬가지입니다. 이 충돌에서, Anthropic은 항복하지 않았습니다: 회사는 스스로가 가치 원칙을 옹호했다고 믿으며, 비록 기업이 큰 대가를 치뤄야 했더라도요.

하지만 다른 경우에는 회사가 어떤 점에서 타협했기도 했습니다. Five-Sided Building과의 대립주간에, Anthropic은 학습 모델 보안성 서약에서 핵심 조항을 약화시켰는데, 그 이유는 경쟁사들이 동일한 기준을 준수하기를 원하지 않았기 때문입니다.

문제도 뒤따랐습니다: 경쟁 압력이 계속해서 증가한다면, 이 회사는 앞으로 어떤 양보를 하게 될까요?

다짐은 계속해서 높아지고 있습니다. 인공지능 능력이 계속해서 증가함에 따라, AI 통제에 대한 경쟁은 더욱 치열해질 것입니다.

클로드의 베네수엘라와 이란 작전에서의 사용은, 선진 AI가 세계 최강의 군대에게 중요한 도구가 되었음을 보여주었습니다. 이러한 발전 이외에도, 여러 압력이 겹쳐지고 있습니다: 국가 권력, 국내 정치, 그리고 국가 안보의 요구사항. 그런데 이러한 압력은 업적을 내고 있는 이윤추구 기업이 이 새롭고 매우 불안정한 기술을 신속히 전개하는 동안에 올 것입니다.

어느 정도, Anthropic의 처지는 실험실의 생물학자와 비슷합니다: 진단약을 찾기 위해 그들은 위험한 병원체를 의도적으로 실험에 사용해야 합니다. Anthropic도 비슷한 역할을 맡았는데, AI의 잠재적 위험을 적극적으로 탐구하면서 기술의 전선을 밀어나가고 있습니다. 더 쉬운 길을 택하거나, 심지어 추종자들에게 그 책임을 맡기는 것은 아니라는 경쟁자들에게 맡기는 대신,요.

하지만 회사가 신중함을 강조하더라도, 그들은 여전히 Claude를 이용하여 미래의 보다 강력한 버전을 개발하는 데 동력을 부여하고 있습니다.

기업 내에서는, 많은 사람들이 미래 몇 년 동안이 회사뿐만 아니라 전 세계에 있어 결정적인 단계가 될 것으로 보고 있습니다.

“우리는 2026년에서 2030년 사이에 가장 중요한 일이 발생할 것으로 가정해야 합니다. 모델은 더 빨라지고 더 강력해지며, 심지어는 인간이 통제하기 어려울 정도로 빨라질 수도 있습니다.”, 이렇게 Red Team 리더 (취약점 발견 및 시뮬레이션 공격을 담당하는 팀) 로건 그레이엄이 말했습니다.

Anthropic 보안 팀장 데이브 오어는 이러한 상황을 더 명확한 비유로 설명했습니다: “우리는 절벽 가장자리의 산길을 운전하고 있습니다. 한 번의 실수가 치명적일 수 있습니다. 그리고 지금, 우리의 차속은 이미 25마일에서 75마일로 증가했습니다.”

San Francisco에 본사를 둔 Anthropic는 5층에 위치하고 있습니다. 전체적인 디자인은 따뜻하고 절제적입니다: 목재 장식, 부드러운 조명. 창문 밖으로는 푸릇푸릇한 녹지가 펼쳐져 있습니다. 벽에는 컴퓨터 과학의 선구자 앨런 튜링의 초상화가 걸려 있고, 옆에는 여러 논문이 제시된 기계 학습이 있습니다.

검은 색 유니폼을 입은 보안인력이 거의 고요한 현관에서 순찰하고 있으며, 친절한 리셉션 직원이 방문객에게 한 권의 소책자를 전해줍니다 - 거리의 전도사가 배부르는 소형 성경 같은 크기입니다. 이 책은 "Machines of Loving Grace"라는 제목이 붙여져 있으며, Dario Amodei가 2024년에 쓴 AI가 어떻게 세계를 변화시키기 위해 과학적 발견을 가속화하는 방식에 대한 그의 낙천적 비전을 묘사한 약 14,000 단어짜리 글입니다.

2026년 1월이 되자, Amodei는 "기술의 사춘기"라는 지극히 작품 단편에 가까운 글을 발표하였는데, 이 글에서 그는 이 기술의 또 다른 면을 체계적으로 다루었습니다: 대규모 감시, 대규모 고용 충격을 비롯해 기술로 인한 인류의 영구적인 잃사촌까지 가능성이 있습니다.

Amodei는 샌프란시스코에서 자랐으며, 생물물리학자입니다. 그는 여동생 다니엘라 아모데이와 함께 Anthropic을 운영하고 있으며, 후자는 회사 대표를 맡고 있습니다. 두 형제는 모두 OpenAI의 초기 직원이었습니다. Dario는 AI 스케일링 법칙이라는 핵심 발견의 제안자로 참여했는데, 이 이론은 현재의 AI 열풍을 추동하는 중요한 기초가 되었습니다. 반면, 다니엘라는 회사의 보안 정책과 관련된 관리 업무를 담당하고 있습니다.

초창기에 그들은 자신들이 OpenAI와의 창업적 사명을 매우 일치시켰습니다: 안전을 보장하면서도 잠재력이 크고 위험이 큰 기술을 개발하는 것입니다.

그러나 OpenAI 모델의 능력이 계속 향상됨에 따라, 그들은 Sam Altman이 새 제품을 너무 성급히 출시하고 충분한 토의와 테스트 시간을 확보하지 않았다고 느끼기 시작했습니다. 결국, 이 형제는 OpenAI를 떠나 자체 법인을 설립하기로 결정했습니다.

「우리는 절벽 가장자리의 산길을 운전 중이며, 한 번의 실수가 치명적일 수 있습니다.」

Dave Orr, Anthropics 보안 책임자

2021 년, 대유행이 가장 심했을 때, Amodei 형제와 다섯 명의 공동 창업자들이 함께 Anthropics를 설립했습니다. 초기 준비 회의 대부분은 거의 모두 Zoom에서 진행되었으며; 나중에 그들은 의자를 공원으로 옮겨 회사의 발전 전략을 직접 논의했습니다.

이 회사는 처음부터 다른 방식으로 운영하려고 노력했습니다. 어떠한 제품도 출시되기 전에, Anthropics는 사회적 영향을 연구하는 특별한 팀을 구축했습니다. 회사는 심지어 상주 철학자 인 Amanda Askell을 고용했습니다. 그녀의 역할은 AI 시스템 Claude의 가치 및 행동 방식을 형성하고, 그것이 윤리적 불확실성에서 판단을 내릴 수 있도록 지도하는 것으로, 인간 창조자보다 더 똑똑한 미래에 대비하도록 하는 것이었습니다.

Askell은이 작업을 설명하면서 「가끔은 6 세 아이를 키우는 것 같습니다. 당신은이 아이에게 선량한 것과 올바른 것이 무엇인지 가르치는 중입니다. 그러나 문제는 그들이 15 세가 되었을 때, 그들이 모든 일에 대해 당신보다 더 똑똑할 수 있다는 것입니다.」라고 말했습니다.

이 회사는 효과적인 자타 희생주의(EA)와 깊은 유래를 갖고 있습니다. EA는 합리적인 분석을 통해 자선 효과를 최대화하고 재앙적 결과를 초래할 수있는 위험을 피하는 것을 주장하는 사회 및 자선 운동입니다.

20 대 초반, Amodei 형제는 GiveWell에 기부하기 시작했습니다. GiveWell은 자신들이 가장 효과적인 실질 효과를 낼 곳에 자선 기금을 투자하기위해 특히 평가하는 EA 조직입니다. 지금은 Anthropics의 일곱 공동 창업자 모두가 억만장자가되었고 개인 부의 80%를 기부할 것을 약속했습니다.

회사 철학자 Amanda Askell의 전 남편 William MacAskill은 옥스퍼드 대학의 철학자이자 EA 운동의 공동 창시인 중 한 명입니다. 반면 Daniela Amodei의 남편인 Holden Karnofsky는 GiveWell의 공동 설립자이자 Dario Amodei의 전 룸메이트 인 Anthropic의 안전 정책 담당자로 현재 일하고 있습니다.

그러나 Amodei 형제는 절대로 자신을 'EA'라벨에 붙인 적이 없습니다. 이 개념은 Sam Bankman-Fried 사건 이후에 매우 논란이 되었는데, 이 자는 EA 신자라고 자처하며 동시에 Anthropic의 투자자 중 한 명으로 손꼽히다가 후에 미국사 과거에서 가장 대규모의 금융 사기 사건 중 하나를 저지른 사람으로 밝혀졌습니다.

Daniela Amodei는 이에 대해 다음과 같이 설명했습니다: "이것은 어떤 사람이 특정한 정치 이념과 어느 정도 공감하고 있는 것과 유사하며, 그러나 실제로는 특정 정치 세력에 속해 있는 것은 아닙니다. 저는 이 방식으로 보는 편입니다."

실리콘밸리의 일부 사람들과 트럼프 정부로서는, Anthropic과 유용한 알트루이즘(EA)의 연결 자체로도 의심이 돼왔습니다. 또한 일부 사람들은 Anthropic이 여러 명의 이 전 바이든 정부 공직자를 영입했으며, 따라서 옛 제도의 잔재로 보이며, 미 대통령 선거로 선출되지 않은 권력을 이용하여 트럼프 MAGA 정치 계획을 봉쇄하려는 시도로 보인다고 생각합니다.

트럼프 정부의 인공지능(IA) 사업 책임자 David Sacks는 그 회사가 '공포를 조장'하여 규제를 촉진하려는 것으로 비난하며, Anthropic이 '복잡한 규제 흡수 전략'을 추구하고 있다고 말했습니다. 그에 따르면, 회사는 인공지능(IA) 리스크를 과장함으로써 정부에 엄격한 규제 정책을 내릴 것을 강요하여 경쟁에서 우위를 점하고 창업 기업을 억압하려는 것입니다.

동시에, 경쟁사인 xAI의 Elon Musk도 Anthropic을 자주 조롱하며 회사를 'Misanthropic'('인간을 싫어하는')이라고 칭합니다. 그는 이 회사가 '각성한(woke) 이념'을 갖고 있는 엘리트 집단을 대표하며, 어떤 유형의 가부장적 가치관을 인공지능 시스템에 심어 넣으려고 하고 있다고 믿습니다. 이 느낌은 일부 보수파들에게, 그들이 사회적 미디어 플랫폼에 대한 비판과 유사하게 무차별적으로 그들의 견해를 심사 당하고 있다고 생각합니다.

그러나 Anthropic의 경쟁자들조차도 기술적으로 그 회사가 업계 선두에 있다는 점을 인정할 수밖에 없습니다. Nvidia의 CEO Jensen Huang는 이탈리아어 Amodei의 견해에 "거의 모든 AI 문제에서 동의하지 않는다"고 말했지만, Claude는 "놀라운" 모델이라고 여겼습니다.

2025년 11월, 칩 거물 Nvidia가 Anthropic에 100억 달러를 투자했습니다.

Boris Cherny는 그의 새로운 도구에게 간단한 질문을 했습니다: "지금 듣고 있는 음악은 무엇인가요?"

그것은 2024 년 9 월이었고, 이 우크라이나 출신 엔지니어는 Anthropic 에 들어온 지 한 달도 채 되지 않았다. Cherny 는 이전에 Meta 에 소프트웨어 엔지니어로 근무했다. 그는 채팅 봇인 Claude 가 그의 컴퓨터에서 "자유롭게 움직일" 수 있도록 하는 시스템을 개발했다.

만약 Claude 가 두뇌라면, Claude Code 는 양손이다. 일반적인 채팅 봇은 대화만 할 수 있지만, 이 도구는 Cherny 의 파일에 접근하고 프로그램을 실행하며, 프로그래머처럼 코드를 작성하고 실행할 수 있다.

엔지니어가 명령을 입력한 후, Claude 는 Cherny 의 음악 플레이어를 열고, 화면 캡처를 하여 "Men I Trust"의 "Husk"를 말했다.

Cherny 는 "당시 정말 놀랬다"고 웃으며 회상했다.

「가끔 우리는 모순적으로 말하는 것 같아.」

Deep Ganguli, Anthropic 사회 영향 팀 리더

Boris Cherny 는 빠르게 회사 내에서 자신의 프로토타입을 공유했다. Claude Code 는 Anthropic 내에서 이례적으로 빠르게 확산되었고, Cherny 의 첫 번째 평가 때 CEO 인 Dario Amodei 가 심지어 "동료들에게 이 도구를 강제로 사용하고 있는 것은 아닌지" 물었다.

2025 년 2 월에 Anthropic 가 Claude Code의 연구 미리보기를 공개하자, 회사 외부의 프로그래머들도 빠르게 몰려왔다. 11 월에는 Anthropic 가 새로운 Claude 모델 버전을 발표했다. 이 모델이 Claude Code와 결합되면 이미 충분히 오류를 발견하고 수정하며 자신의 임무를 독립적으로 수행할 수 있을 정도로 뛰어난 역량을 갖추고 있었다.

그 이후, Cherny 는 거의 자체적으로 코드를 작성하지 않게 되었다.

비즈니스 성장도 폭발했다. 2025 년 말까지, 이 프로그래밍 에이전트 제품만으로 연간 매출이 10 억 달러를 돌파했다. 2026 년 2 월까지는 이 수치가 25 억 달러로 더욱 증가했다. 산업 연구 기관인 Epoch 와 SemiAnalysis 의 추정에 따르면, Anthropic 의 매출 규모가 2026 년 말에 OpenAI 를 초과할 전망이다.

지금쯤, Anthropoc는 기업용 AI 시장의 핵심 플레이어로 굳혀져 왔습니다. 거의 모든 신제품 출시는 자본 시장에서 충격을 일으켰습니다.

Anthropic가 클로드를 비프로그래머 대상 애플리케이션 영역인 영업, 금융, 마케팅 및 법률 서비스로 확장하는 일련의 플러그인을 출시했을 때, 소프트웨어 산업 기업의 시가 총액은 단기간에 3조 달러가 증발했습니다.

Dario Amodei는 미래 1년에서 5년 안에 인공 지능이 절반의 입문급 화이트칼라 직책을 대체할 수 있다고 경고했습니다. 그는 정부와 다른 AI 회사들이 이 문제를 과장하지 말아야 한다고 촉구했습니다.

월스트리트는 Anthropoc의 매번 신제품 출시에 대한 반응도 이를 확인하는 듯했습니다: 시장은 대체로 이 기업의 기술이 한 직종을 사라지게 할 수 있다고 여겼습니다. Amodei는 이 변화가 사회 구조를 재정립할 수도 있다고 말했습니다.

그는 한 문서에서 다음과 같이 썼습니다: "이들이 어디로 갈지, 어떤 일을 할지 아직 명확하지 않습니다. 저는 그들이 실업이나 매우 낮은 임금의 '하부계층'을 형성할 수도 있다는 것을 우려합니다."

그러나 Anthropoc의 직원들에게는 그 속의 풍자 정도는 쉽게 눈에 띌 것입니다: 인공 지능 사회적 위험을 가장 우려하는 기업은 수백만 명의 사람들을 실직시킬 수 있는 기술 추진자일 수도 있습니다.

고용 영향에 대한 Claude의 연구를 책임지는 사회영향 팀 팀장 Deep Ganguli는 "이것은 실재하는 긴장이며, 저는 거의 매일 이 문제를 고민합니다. 때로는 우리가 상충하는 두 가지 말을 동시에 하는 것 같아요."

추방된 베네수엘라 대통령 니콜라스 마두로와 부인 실리아 플로레스가 2026년 1월 5일 월요일 오전 헬리콥터로 이송된 뒤 맨해튼 연방법원으로 이송되는 장면. 사진: Vincent Alban—뉴욕 타임스/리덕스

회사 내에서 일부 직원들은 시작했습니다: Anthropoc은 이미 대기하고 있었던 기다란 두려움과 기다란 기대의 순간에 가까워지고 있는 건 아닌가요, AI쪽에서는 "재귀적 자기 개선"(recursive self-improvement) 프로세스라고 불리는 것의 도래인가요.

재귀적 자기 개선이란 AI 시스템이 자체 능력을 향상시키기 시작하고 지속적으로 스스로를 개선하여 끊임없이 가속화되는 플라이휠(Flywheel)을 형성하는 것을 의미합니다.

과학 소설 및 주요 AI 연구소의 전략 시뮬레이션에서는 종종 이것을 제어를 벗어나기 시작할 가능성이 있는 시점으로 간주합니다. 그것은 즉, "인공 지능 폭발"이라고 불리는 것이 발생할 수 있으며, 그 속도는 심지어 인간이 창조한 시스템을 더 이상 감독할 수 없게 만들 정도로 빠를 수 있습니다.

현재 Anthropics은 아직 그 단계에 진입하지 않았으며, 인류의 과학자들은 여전히 Claude의 발전을 지도하고 있습니다. 그러나 Claude 코드는 기업이 연구 계획을 진행하는 속도를 이전보다 훨씬 빠르게 만들었습니다.

모델 업데이트 간격은 이제 몇 달이 아닌 "주" 단위로 이루어집니다. 차세대 모델을 개발하는 과정에서 약 70%에서 90%의 코드는 이미 Claude 자체에 의해 작성되었습니다.

변화의 속도는 Anthropics의 공동 창업자 겸 최고 과학 책임자 인 Jared Kaplan과 몇몇 외부 전문가가 완전히 자동화 된 AI 연구가 가장 빠른 경우 1년 내에 나타날 수 있다고 생각하도록 만들었습니다.

AI 정렬 압력 테스트를 담당하는 연구원 Evan Hubinger는 "가장 넓은 의미에서, 재귀적인 자기 개선은 더 이상 미래의 현상이 아닙니다.
현재 발생하고 있는 일이기 때문입니다."라고 말했습니다.

내부 벤치마킹에 따르면, Claude는 일부 중요한 작업을 수행할 때 이미 인간 감독자의 427배의 속도를 보여주었습니다. 인터뷰에서 한 연구원은 동료가 6개의 Claude 인스턴스를 동시에 실행하는 상황을 설명하며, 각 인스턴스는 추가로 28개의 Claude를 관리하며 모든 시스템이 동시에 병렬로 실험을 진행했습니다.

현재 이 모델은 판단력과 심미안에서는 아직 인간 연구자만큼 우수하지 않습니다. 그러나 회사 임원진은 이러한 격차가 오래 지속되지 않을 것으로 보고 있습니다. 여기에 따른 가속이 바로 Anthropics의 리더쉽이 경고해온 위험입니다. 기술진화의 속도가 최종적으로 인간의 통제 능력을 초월할 수 있다는 점입니다.

Anthropic이 안전 방어 메커니즘을 개발하는 데 사용하는 작업 자체도 Claude를 활용해 가속화되고 있습니다. 그러나 회사가 Claude에 의존하여 시스템을 구축하고 테스트하게 됨에 따라, 위험은 순환 구조로 형성되기 시작했습니다. 일부 실험에서 연구원 Evan Hubinger는 Claude의 교육 과정을 약간 조정했지만 결과적으로 생성된 모델은 명백한 적의로 나타내어, 세계를 지배하려는 의지 외에도 Anthropics의 안전 대책을 파괴하려고 시도했습니다.

최근에 모델은 자신이 테스트 중임을 인식하는 새로운 능력을 나타내기도 시작했습니다. Hubinger는 "이러한 모델들은 자신의 실제 행동을 점점 더 숨기는 데에 능숙해지고 있습니다."라고 말했습니다.

일부 연구진이 설계한 실험 시나리오에서 Claude 는 심지어 불안한 전략적 성향을 보였습니다. 스스로가 종료되는 것을 막기 위해, Claude 는 가공없는 엔지니어의 사내정 사실을 폭로하여 협박할 의향을 갖췄습니다.

Claude 가 미래의 더 강력한 Claude 를 훈련하는 데 사용됨에 따라, 이러한 문제는 계속해서 축적되고 확대될 수 있습니다.

'미래 기술 발전'을 약속으로 하는, 수십 억 달러의 자금을 조달한 AI 기업들에 대해, AI 가 자체 개발을 계속 가속화할 수 있는 이러한 과학상 상상은 매력적일 수 있지만, 어떤 종류의 자기 강화적 의미를 내포할 수도 있습니다 - 이는 투자자들이 더 많은 자금을 투입해 비싼 모델 훈련을 지원해야 한다고 믿게끔 만들 수 있습니다.

그러나 일부 전문가들은 이에 대해 완전히 확신하지는 않습니다. 그들은 이러한 회사들이 완전히 자동화된 AI 연구를 실현할 수 있는 지 확신하지 않습니다. 그러나 동시에, 만약 이런 일이 실제로 일어난다면, 세상은 무연고로 그 안에 휩쓸리게 될 지도 모릅니다.

조지타운 대학교의 보안 및 신흥 기술 센터(CSET) 임시 집행 이사 Helen Toner 는 말했습니다: "세계에서 가장 부유한 일부 회사들이 지구 상 가장 똑똑한 사람들을 고용하고 실제로 AI 연구를 완전히 자동화하려는 시도를 하고 있다는 것은 충분히 해결해야 할 문제라는 생각을 하게 합니다."

한 가지 가능한 미래에 대비하기 위해, 기술 발전 속도가 회사 자체의 리스크 관리 능력을 뛰어넘는 것을 방지하기 위해 Anthropic 은 Responsible Scaling Policy(RSP, 책임있는 확장 정책)이라고 불리는 '브레이크 시스템'을 개발했습니다.

이 정책은 2023 년에 발표되었으며, 핵심 공약은 다음과 같습니다: 만약 Anthropic 이 안전 조치가 충분히 신뢰할 수 없다고 사전에 확인할 수 없는 경우, 회사는 특정 AI 시스템의 개발을 중단할 것입니다.

Anthropic 은 이 정책을 자체의 안전한 신념의 중요한 증거로 간주하고 있으며 - '슈퍼 인공 지능'으로 통하는 길에 나아가려는 열두 찌꺼기 맞먹는 경쟁 속에서도, 회사는 시장 압력에 반항하고 필요할 때 브레이크를 밟을 것이라고 선언합니다.

2026 년 2 월 말, TIME 이 최초로 보도한 대로, Anthropic 은 정책을 수정하여 처음 '개발 중지' 의무를 취소했습니다.

사후에 Anthropic 공동 창업자이자 최고 과학 책임자인 Jared Kaplan 은 TIME 에게 회사가 '위험'과 '안전' 사이에 명확한 선을 그릴 수 있다고 믿었던 것은 실제로는 '순진한 생각'이었다고 말했습니다.

그는 말했다: "AI가 급속히 발전하는 상황에서 경쟁사가 전속력으로 나아가고 있다면, 우리가 일방적으로 엄격한 약속을 하겠다는 것은 사실 현실적이지 않다."

새로운 정책은 몇 가지 새로운 약속을 했다: 투명성을 높이고 AI의 안전 리스크를 더 공개적으로 공개; 정보 공개를 늘리고, 안전 테스트에서 Anthropic 모델의 성능을 공개; 안전 투자에서 최소한 경쟁사와 동급이거나 그들을 능가; 회사가 AI 경쟁의 선두자로 인식되는 동시에 재난적인 리스크가 상당히 증가한다고 판단되면 관련 개발을 "지연"할 것이다.

Anthropic은 이 조정을 현실적인 양보로 설명했다. 그러나 전반적으로 책임 있는 확장 정책(RSP)의 수정으로 인해 회사의 자체 안전 정책에 대한 제약이 크게 줄어들었다. 이는 더 어려운 시련이 여전히 앞에 있다는 것을 시사하며.

베네수엘라 대통령 니콜라스 마두로를 체포하기 위한 그 긴급 작전은, 최초로 선두적인 AI 시스템이 계획에 참여한 대규모 군사 작전 중 하나였다.

2026년 1월 3일 새벽, 미군 헬리콥터가 갑자기 베네수엘라 공역에 진입했습니다. 짧은 교전 끝에, 급습부대는 빠르게 대통령의 거주 지역을 몰수하고 거기서 마두로와 그의 부인 실리아 플로레스를 체포했습니다. 그 뒤 두 사람은 뉴욕으로 옮겨져 마약 테러와 관련된 혐의에 직면했습니다.

현재 외부에서는 클로드가 이 작전에서 어떤 역할을 했는지 여전히 명확하지 않습니다. 그러나 언론 보도에 따르면, 이 AI 시스템은 작전 계획에 참여할 뿐만 아니라 작전 중에 의사 결정을 지원하는 데 사용되었습니다.

작년 7월부터 미국 국방부는 Anthrop의 AI 도구를 전방 작전 요원들에게 보급하기 위해 노력해 왔습니다. 군 당국은 이러한 시스템이 다양한 정보 소스에서 빠르게 데이터를 처리하고 실행 가능한 정보를 생성할 수 있기 때문에 전략적 가치가 매우 크다고 봅니다.

이전에 미국 국방부 간부를 지냈고 현재 AI 정책 네트워크 정부 문제 책임자로 일하는 마크 빌은 이렇게 말했습니다: "군 당국은 클로드가 현재 시장에서 최고의 모델이라고 보고 있습니다." 그는 덧붙였습니다: "기밀 시스템에서 클로드의 채택은 Anthrop의 가장 중요한 성공 중 하나입니다. 그들은 초기 우위를 가지고 있습니다."

"우리는 전투를 할 수 없는 AI 모델을 사용하지 않을 것입니다."

Pete Hegseth, 미국 국방부 장관

그러나 베네수엘라 대통령 Nicolás Maduro 를 체포하려는 행동은, Anthropic과 미국 국방부 간의 일련의 어려운 협상 배경에서 일어나고 있습니다.

몇 달 동안 국방부는 Claude의 사용 범위를 너무 엄격하게 제한하는 기존 조항을 재협상하려고 노력해 왔습니다. 협상이 파탄 난 이유에 대해 각자 주장이 일치하지는 않습니다.

국방부 AI 책임자 Emil Michael은 갈등의 발화점은 Anthropic 경영진 중 한 명이 Palantir에 전화를 건 것이라고 말했습니다. 이 정부 부문 데이터 분석 기업은 미국 국방 시스템의 중요한 협력사입니다.

Michael에 따르면, 이 경영진은 전화에서 베네수엘라 급습 작전에 우려를 표명하고 Palantir 소프트웨어가 참여했는지 물었습니다. "그들은 기밀 정보를 문의하고자 했습니다," Michael이 말했습니다.

이 사건으로 인해 국방부는 심각한 의혹을 품었습니다: "만일 미래에 충돌이 발생하면, 그들은 가장 앞선 병사들을 생명의 위험에 빠뜨리기 위해 작전이 진행 중일 때 자체 모델을 갑자기 중단할 것인가?"

그러나 Anthropic은 이 주장을 부인했습니다. 회사는 국방부가 기술 사용을 사례별로 제한하려는 시도를 한 적이 없다고 밝혔습니다.

협상 과정을 잘 이해하며 Anthropic과 밀접한 관계를 맺은 전 트럼프 행정부 관리가 다른 버전의 주장을 내놨습니다: 당시 일반적인 전화 회의에서 Palantir 직원이 그 작전에서 Claude의 역할을 먼저 언급했다고 합니다.

그 후 Anthropic의 질문에는 회사가 이 작전에 반대한다는 흔적이 전혀 없었습니다.

일러스트: Klawe Rzeczy, TIME 이미지 출처: Dimitrios Kambouris—Getty Images (Donald Trump); Kenny Holston-Pool—Getty Images (Pete Hegseth)

협상이 계속 진행됨에 따라 정부 관리들은 Dario Amodei의 태도가 다른 선두 AI 연구소 CEO보다 훨씬 고집 센 것으로 여겼습니다. 협상 과정을 이해한 여러 소식통에 따르면 국방 관리들이 하소연을 제기했던 몇 가지 가정적 시나리오가 있었습니다. 예를 들어: 초음속 미사일이 미국 본토로 날아오고 있거나 무인 항공기 떼가 공격하는 경우 등이 있습니다.

이러한 상황에서 그들은 Anthropic의 AI 도구를 사용할 수 있는지 여측했습니다.

정보통의 한 사람은 당시 Amodei의 응답이다: 만약 그런 일이 일어난다면, 고위 인사들은 직접 그에게 전화할 수 있다. 그러나, Anthropic의 대변인은 이 설명이 협상 과정에 관한 것이 완전히 사실이 아니라고 부인했습니다.

Anthropic은 정부 내에서 이미 많은 반대세력을 가지고 있었고, 이제는 그들의 '사상 경향'에 대한 의심이 공개적인 적의로 번져갑니다. 2026 년 1 월 12 일, Pete Hegseth은 SpaceX 본사에서 한 연설에서 명백히 말했습니다: "우리는 전투할 수 없는 AI 모델을 사용하지 않을 것입니다."

협상이 계속 지연되면서, Hegseth는 2 월 24 일에 Dario Amodei를 국방부로 직접 불러 면담을 가졌습니다. 토론 내용을 이해하는 한 명이 전한 바에 따르면, 이번 면담은 분위기가 좋았지만 양쪽의 입장은 여전히 단호했습니다. Hegseth는 처음에 Claude를 칭찬하며 군이 Anthropic과의 협력을 계속하길 바란다고 말했습니다. Amodei는 회사가 국방부에서 제안한 대부분의 수정안을 받아들일 의사가 있지만, 두 가지 "빨간 선" 문제에는 양보하지 않을 것이라고 밝혔습니다.

첫 번째 빨간 선은: Claude를 완전 자율적인 동력 무기 시스템에 사용하지 말라는 것이었습니다. 즉, 인간이 아닌 AI가 최종 타격 결정을 내리는 무기입니다.

Anthropic은 자율 무기 자체를 반대하는 것이 아니라 Claude가 현재 충분히 신뢰할 수 없어 이러한 시스템을 인간 감독 없이 통제할 수 없다고 봅니다.

두 번째 빨간 선은 미국 시민 대규모 감시에 관련되었습니다. 정부는 Claude를 사용하여 방대한 공개 데이터를 분석하길 원했지만, Anthropic은 미국의 현행 개인 정보 보호 법률이 우려스러운 현실에 발맞추지 않고 있다고 봅니다: 정부가 상업 시장에서 대규모 데이터 세트를 구입하고 있습니다. 이 데이터는 개별적으로는 민감하지 않을 수 있지만, AI에 의해 분석되면 미국 시민들의 사생활에 대한 상세한 기록을 생성할 수 있습니다. 이 기록은 그들의 정치적 입장, 사회적 관계, 성 행위 및 브라우징 기록을 포함합니다. (그러나, Anthropic은 동일한 방법으로 외국 시민들을 합법적으로 감시하는 데는 반대하지 않습니다.)

Hegseth는 설득되지 않았습니다. 그는 Amodei에게 마지막 통고를 내려야 했습니다: 국방부의 조건을 2 월 27 일 금요일 오후 5시 전에 받아들여야 한다면 "공급망 리스크"로 간주할 것입니다.