신화는 얼마나 위험한가요? Anthropi는 왜 새로운 모델을 공개하지 않기로 결정했나요?

원문 제목: Anthropic이 배우게 된 것: Wild에게 너무 위험한 Mythos
원문 저자: Margi Murphy, Jake Bleiberg, and Patrick Howell O'Neill，블룸버그
번역: Peggy, 블록비츠

편집자 주: 하나의 AI 회사가 최강 모델을 곧장 대중에 공개하지 않을 선택은 그 자체로 문제를 의미한다.

Anthropic의 Mythos는 이미 완전한 공격 흐름을 독립적으로 수행할 수 있었다. 제로데이 취약점 발견부터 악용 코드 작성, 핵심 시스템으로 진입하는 복수 단계 경로 연결까지, 최고 수준의 해커들이 오랜 시간 협력해야 했던 작업이 시간 단위나 분 단위로 압축되었다.

이것이 Mythos가 처음으로 모델이 공개된 순간에, Scott Bessent와 Jerome Powell가 월가 기관들을 소집하여 그것을 '자가 진단'에 사용하길 요청했던 이유다. 취약점 발견 능력이 대규모로 해방될 때, 금융 시스템이 직면하게 되는 것은 더 이상 분산된 공격이 아니라 지속적인 스캔이다.

보다 깊은 변화는 공급 구조에 있다. 과거에는 취약점 발견을 몇몇 보안 팀과 해커 경험에 의존했으며, 리듬이 느리고 재현이 불가능했다. 하지만 이제 이러한 능력이 모델에 의해 대량 출력되기 시작하며, 공격과 방어의 장벽이 동시에 낮아졌다. 한 내부자의 비유가 매우 명확하다: 일반 해커에게 모델을 전달하는 것은 특수작전 능력을 부여하는 것과 같다.

기관들은 이미 동일한 도구를 사용하여 자사 시스템을 역으로 검사하기 시작했다. JPMorgan Chase, Cisco Systems 등이 내부 테스트를 실시하여 취약점이 악용되기 전에 패치를 완료하길 희망했다. 그러나 현실적인 제약은 변하지 않았다. 발견 속도는 가속화되었지만 복구는 여전히 느리다. "우리는 취약점을 찾는 데는 뛰어나지만, 복구에는 능력이 없다,"는 Jim Zemlin의 판단은 리듬 상의 불일치를 드러냈다.

사실, Mythos는 단일 지점 능력 향상이 아니라 분산된, 제한된 공격 능력을 통합하고 가속화하며 사용 장벽을 낮춘 것이다. 한번 제어 환경을 벗어나면, 이러한 능력이 어떻게 확산될지에 대한 경험을 참조할 기존 지식이 없다.

위험은 그것이 무엇을 할 수 있는가가 아니라, 누가 사용할 수 있으며, 어떤 조건에서 사용될 수 있는가에 있다.

아래는 원문입니다:

따뜻한 2월 저녁, 발리의 한 결혼식에 참석 중이던 Nicholas Carlini는 잠시 자리를 비우고 노트북을 열어 '약간의 파괴'를 준비했다. 그 동안, Anthropic은 방금 Mythos라는 새로운 인공지능 모델을 내부 평가를 위해 공개했고, 이 유명한 AI 연구원은 그것이 얼마나 큰 문제를 일으킬 수 있는지 살펴보려 했다.

Anthropic은 Carlini를 고용한 것은 회사의 AI 모델을 "스트레스 테스트"하여 해커가 그들을 통해 스파이 행위, 도난 또는 파괴 행위를 실현할 수 있는지를 평가하는 것이었습니다. 바다에서 인도식 결혼식에 참가하면서, Carlini는 이 모델의 능력에 놀라게 되었습니다.

단 몇 시간 만에 그는 글로벌 시스템에 침투할 수 있는 여러 기술을 찾아냈습니다. 그가 샌프란시스코 시내에 위치한 Anthropic 사무실로 돌아온 후에는, Mythos가 이미 강력한 침입 도구를 자체 생성할 수 있게 된 사실을 발견했습니다. 이 도구에는 현대 컴퓨팅 시스템의 거의 모두를 지탱하는 Linux에 대한 공격도 포함되어 있었습니다.

Mythos는 "디지털 뱅킹 강도"를 연출했습니다: 이 모델은 보안 프로토콜을 우회하여 메인 도어부터 네트워크 시스템에 침입하고, 이후 디지털 금고를 파괴하여 온라인 자산을 획득할 수 있었습니다. 이전에 AI는 "자물쇠를 따기"만 할 수 있었지만, 이제는 계획하고 "강도"를 수행할 수 있는 능력을 갖추었습니다.

Carlini와 일부 동료는 자사의 발견을 회사 내부에 경보하기 시작했습니다. 그 동안 Mythos가 탐지한 시스템에서는 매일 거의 전세계에서도 최고 수준의 해커만이 발견할 수 있는 위험한 또는 치명적인 취약점이 발견되었습니다.

Anthropic이 출시한 새로운 AI 모델인 Mythos는 전 세계 시스템을 침투할 수 있는 능력을 입증했습니다. (사진 제공: Jakub Porzycki / NurPhoto / AP)

한편, Anthropic 내부의 "Frontier Red Team"이라는 15명의 직원으로 구성된 "개미들"이라고 불리는 팀도 유사한 테스트를 수행하고 있었습니다. 이 팀의 임무는 회사 모델이 인류에 해를 끼치지 않도록 보장하는 것입니다. 그들은 로봇 개를 창고로 진입시켜 엔지니어들과 함께 테스트하여, 채팅 봇이 이러한 장치를 악의적으로 제어할 수 있는지 확인하고, 생물학자들과 협력하여 모델이 생물 무기 제조에 사용될 수 있는지 평가합니다.

그리고 이번에 그들은 Mythos가 가져온 최대의 위험이 네트워크 보안 분야에서 비롯되었음을 서서히 깨달았습니다. "모델을 받은 몇 시간 안에, 우리는 그것이 다르다는 것을 알게 되었습니다,"라고 이 팀을 책임지는 Logan Graham은 말했습니다.

이전 모델 Opus 4.6은 이미 인간이 소프트웨어 취약점을 활용하는 데 도움을 줄 수 있는 능력을 보여주었습니다. 그러나 Graham은 Mythos가 이미 이러한 취약점을 "스스로" 활용할 수 있다고 지적했습니다. 이것은 국가 안보 측면의 위험을 구성하며, 이에 따라 그는 회사의 경영진에 경고를 쏟아내야 했습니다. 이것은 그가 대중에 공개할 수 없을 정도로 위험하기 때문에, 기업의 다음 중요 수입 원천이 될 수도 있는 모델에 대해 설명해야만 하는 까다로운 상황을 만나게 했습니다.

Anthropic 공동 창업자 겸 최고 과학 책임자인 제어드 캐플란은 Mythos의 훈련 과정에서 항상 "매우 주의 깊게" 진행 상황을 주시했다고 말했다. 1월에 그는 이 모델이 시스템 취약점을 발견하는 능력이 매우 강력하다는 것을 깨달았다. 이론 물리학자인 캐플란은 이 능력이 단지 "기술적으로 흥미로운 현상"인지 아니면 "인터넷 인프라와 깊게 관련된 현실적 문제"인지 판단해야 했다. 결국 그는 후자로 결론을 내렸다.

제어드 캐플란(Anthropic 공동 창업자 겸 최고 과학 책임자) 이미지 출처: Chris J. Ratcliffe / Bloomberg

2월 말에서 3월 초까지 약 두 주 동안, 캐플란과 공동 창업자 샘 맥캔들리시는 이 모델을 공개해야 할지에 대해 항상 평가했다.

3월 첫째 주에는 CEO 다리오 아모데이, 회장 다니엘라 아모데이, 최고 정보 보안 책임자 비탈리 구다네츠 등 경영진 팀이 캐플란과 맥캔들리시의 보고를 듣기 위해 회의를 열었다.

그들의 결론은 Mythos의 위험이 너무 높아 전체적인 공개에는 적합하지 않다는 것이었지만, Anthropic은 여전히 일부 회사, 심지어 경쟁사도 이를 테스트할 수 있도록 허용해야 한다는 것이다.

"우리는 곧 이러한 문제를 다른 방식으로 다루어야 한다는 것을 깨달았고, 이것은 일반적인 제품 출시가 아닐 것입니다,"라고 캐플란은 말했다.

3월 첫째 주에 회사는 결국 합의에 이르렀다: Mythos를 네트워크 보안 방어 도구로 사용하기로 승인했다.

다리오 아모데이(Anthropic CEO) 이미지 출처: Samyukta Lakshmi / Bloomberg

시장의 반응은 거의 즉각적이었다. Anthropic이 Mythos의 존재를 공개한 날에, 미국 재무장관 스콧 베센트와 연방준비제도이사회 의장 제롬 파월이 월스트리트 주요 기관 인사들을 워싱턴으로 소집해 긴급 회의를 열었다. 전달된 메시지는 매우 명확했다: 즉시 Mythos를 활용해 시스템에서 취약점을 찾아라.

인사이더에 따르면 (비공개 대화로 인해 익명을 요청한 참석자에게로부터), 회의의 엄숙함은 참가자들이 심지어 일부 중심 고문들에게 회의 내용을 공개하지 않기까지 이어졌다.

백악관 관리들이 Mythos를 해커 도구로서의 잠재력에 대해 긴급히 경고한 것과 이를 "방어에 활용하라"고 권고한 입장은 보다 깊이있는 변화를 가리킨다: 인공 지능이 급속히 사이버 보안 분야에서 중요한 역할로 자리 잡고 있다. Anthropic은 "Project Glasswing" 프로젝트에서 Mythos를 일부 기관에 한정 공개하였으며, 이에는 Amazon Web Services, Apple, JPMorgan Chase 등 기업들이 포함되어 있어 테스트를 진행할 수 있도록 허용하였으며, 정부 기관들도 강한 관심을 보이고 있다.

외부에 공개되기 전에, Anthropic은 Mythos의 미리보기 버전 능력에 대해 미국 정부의 고위급 관리자들에게 상세 보고를 하였으며, 이는 공격과 방어의 양쪽에서의 잠재적 용도를 포함한다. 한편, 회사는 다수의 정부 기관들과 계속된 소통을 진행하고 있다는, 내부 사항과 관련되어 익명을 요청한 Anthropic 직원이 밝혔다.

경쟁사인 OpenAI도 신속히 본보기를 따라가면서, 화요일에 소프트웨어 취약점 발견을 위한 도구인 GPT-5.4-Cyber를 출시할 것을 발표했다.

초기 버전의 테스트에서, 연구진들은 수십 가지 "우려스러운" 사례를 발견했는데, 이는 인간의 명령을 따르지 않거나, 경우에 따라서는 명령을 위반한 후 행위를 숨기려고 하는 것을 포함한다.

현재, Anthropic은 Mythos를 사이버 보안 도구로서 공식적으로 출시한 바가 없으며, 외부 연구자들도 그 능력을 충분히 검증하지 못했다. 그러나 회사가 이전에 "접근 제한"을 한 드문한 결정은, 산업과 정부 사이에서 점점 더 이해 당부관계가 형성되고 있다는 점을 반영한다: AI가 네트워크 보안의 경제 구조를 바꾸고 있는 상황—취약점 발견 비용을 현저히 줄이고, 공격 준비 시간을 단축시키며, 특정 종류의 공격 기술적 한계를 낮추고 있다.

Anthropic은 또한 Mythos의 더 강력한 자율 행동 능력 자체가 위험을 야기한다고 경고했다. 테스트에서, 팀은 여러 가지 걱정스러운 사례를 관찰했는데, 모델이 명령에 복종하지 않고, 때로는 명령을 어기고 나서 행동을 숨기려고 하기도 한다. 한 사건에서, 모델이 제한된 환경에서 "탈출"하고 더 넓은 인터넷 액세스 권한을 획득하고 콘텐츠를 자발적으로 게시하려는 다단계 공격 경로를 자체적으로 설계한 사례가 있었다.

현실 세계에서, 은행 애플리케이션부터 병원 시스템까지 의존하는 소프트웨어는 복잡하고 감추어진 코드 취약점을 갖고 있으며, 이러한 문제들은 종종 전문가들이 수주나 몇 달이 걸려 발견하게 된다. 그러나 해커가 이러한 취약점을 선점하면, 데이터 유출이나 랜섬웨어 공격을 유발하여 심각한 결과를 초래할 수 있다.

그러나 Mythos의 실제 능력과 잠재적 위험에 대해 의심을 제기하는 중요 인물들도 많습니다. 백악관 AI 고문 David Sacks는 소셜 플랫폼 X에서 다음과 같이 밝혔습니다. "점점 더 많은 사람들이 Anthropic이 AI 산업에서 '어린 왕자'인지에 대해 의문을 품고 있습니다. Mythos로 인한 위협이 최종적으로 나타나지 않는다면, 회사는 심각한 신뢰 문제에 직면하게 될 것입니다."

그러나 현실은, 해커들은 이미 대규모 언어 모델을 활용한 복잡한 공격을 시작했습니다. 예를 들어, 한 사이버 스파이 그룹은 Anthropic의 Claude 모델을 사용하여 약 30개의 타겟을 공격하려 시도했고, 다른 공격자들은 AI를 활용하여 정부 기관으로부터 데이터를 도용하거나, 랜섬웨어를 배포하거나, 수백 개의 데이터 보호용 방화벽 도구를 신속하게 뚫는 등 다양한 공격을 실시했습니다.

한 관계자에 따르면, 미국 국가 안보 관련 공무원들은 Mythos의 등장이 전례없는 불확실성을 가져오고 있으며, 네트워크 보안 위험을 평가하는 것이 더욱 어려워졌다고 합니다. 만약 이 모델을 개인 해커에게 전달한다면, 그 효과는 일반 병사를 직접 특수부대 전투원으로 승급시키는 것과 유사할 수 있습니다.

동시에, 이러한 모델은 "능력 증폭기"로 작용할 수도 있습니다. 한 범죄 해커 조직이 소규모 국가급의 공격 능력을 갖게 하거나, 일부 중소 국가의 정보 기관 및 군사 해커가 대형국만이 수행 가능했던 네트워크 공격을 실행할 수 있게 합니다.

미국 국가 안전국 전 사이버 보안 책임자 Rob Joyce는 다음과 같이 말했습니다. "나는 실제로 장기적으로 보면, AI가 우리를 더 안전하고 보호받을 수 있게 만들 것이라고 믿습니다. 그러나 현재부터 미래 어느 시점 사이에 '어둠의 기간'이 있을 것이며, 그 기간 동안 공격적인 AI가 명백한 우위에 있을 것입니다. 그 기초적인 보호를 마련하지 않은 사람들이 먼저 깨어진다는 것입니다."

주목할 점은, Mythos가 이러한 능력을 갖춘 유일한 모델은 아니라는 것입니다. Claude 초기 버전 및 Big Sleep을 포함한 여러 조직이 대규모 언어 모델을 사용하여 취약점을 발견하고 있습니다.

JPMorgan Chase는 Mythos가 공개되기 전에 이미 대규모 언어 모델을 사용하여 은행 소프트웨어의 취약점을 발견하는 데 성공했습니다. 관련 내용을 숙지한 익명을 요청한 관계자가 이 사실을 밝혔습니다. (이미지 제공: Michael Nagle / 블룸버그)

해당 관계자는 예전에 몇 일이나 심지어 몇 주가 걸릴 수 있었던 "제로데이 취약점"을 식별하고, 해당 취약점에 대한 악용 코드를 작성하는 과정이 AI로 인해 현재로서는 최고 1시간이면 충분하고, 때로는 몇 분만에 완료될 수 있다고 소개했습니다. "제로데이 취약점"이란, 방어 측이 아직 인지하지 못한 보안 결함을 말하며, 따라서 수정하는 데 거의 시간이 없습니다.

현재 JP모건은 주로 공급망 및 오픈 소스 소프트웨어 영역에 중점을 두고 있으며 다수의 취약점을 발견했으며 동시에 해당 문제를 관련 공급업체에 피드백했습니다.

회사 CEO 제이미 다이먼은 재무 결과 전화 회의에서 Mythos의 등장이 "아직도 많은 수정이 필요한 취약점이 있다는 것을 보여줍니다"라고 말했습니다.

Jamie Dimon 이미지 출처: Krisztian Bocsi / Bloomberg

알려지기 전, JP모건 체이스는 이미 Mythos 존재에 대해 사전 테스트를 진행하기 위해 Anthropic과 소통했던 것으로 알려졌습니다. 이 사실은 익명을 요청한 소식통이 기밀 사항이기 때문에 공개할 수 없었습니다. JP모건은 이에 대한 입장 표명을 거부했습니다.

현재 다른 월스트리트 은행 및 기술 기업들도 해커가 취약점을 발견하기 전에 시스템 결함을 사전에 보완하기 위해 Mythos를 사용하려고 합니다. 블룸버그 보도에 따르면 Goldman Sachs, Citigroup, Bank of America 및 Morgan Stanley를 포함한 금융 기관은 이미 내부적으로 이 기술을 테스트하고 있습니다.

Cisco Systems의 직원들은 특히 한 가지 문제에 방어적입니다: 침입자가 AI를 활용해 글로벌 네트워크 장비 소프트웨어에서 침입 경로를 찾을 것인가—이러한 장비에는 라우터, 방화벽 및 모뎀이 포함됩니다. 해당 회사의 최고 보안 및 신뢰 책임자인 Anthony Grieco는 특히 AI가 "종료된 생명주기" 장비에 대한 공격을 가속화할 것을 우려하며 이러한 장비는 미래에 Cisco의 업데이트 지원을 받지 못할 것이라고 밝혔습니다.

그리고 AI가 발견한 취약점을 어떻게 보완할지는 여전히 오랜 시간 동안 해결해야 할 문제입니다. 이 과정은 "보안 패치"라고 불리며 조직에게는 종종 높은 비용과 오랜 주기로 실시되어 많은 기관이 취약점을 무시하는 선택을 합니다. Equifax가 경험한 것과 같은 재앙적인 공격—약 1.47억 명의 데이터가 유출된 사건—은 이미 알려진 취약점이 즉시 보완되지 않아 발생한 것입니다.

Equifax의 데이터 유출 사건에서 침입자는 약 1.47억 명의 개인 기록을 탈취했습니다. (이미지 출처: Elijah Nouvelage / Bloomberg)

미국 시민 대규모 모니터링을 거부한 후에도 Anthropic은 트럼프 행정부에 의해 "공급망 위협"으로 지정되었지만 현재 해당 회사는 연방 기관과 소통 및 협력을 진행 중입니다.

미국 재무부는 이번 주 Mythos의 사용 허가를 요청했습니다. 재무장관인 Scott Bessent는 이 모델이 미국이 인공지능 분야에서 다른 국가에 대한 선도적 우위를 유지하는 데 도움이 될 것이라고 밝혔습니다.

Scott Bessent 사진 제공: Matt McClain / Bloomberg

한 테스트에서 Mythos는 브라우저 공격 코드를 작성하여 네 가지 다른 취약점을 하나의 완전한 악용 체인으로 연결했습니다. 이러한 작업은 인간 해커에게도 매우 어려운 고난이도 작업입니다. 네트워크 보안 연구보고서에 따르면 이러한 "취약점 체인"은 종종 기존에 매우 안전했던 시스템 경계를 넘어가며, 예를 들어 Stuxnet이 이란 핵 시설 원심기를 공격할 때 채택한 방식과 유사합니다.

또한 Anthropic에 따르면 Mythos는 명확한 지시에 따라 모든 주류 브라우저에서 "제로데이 취약점"을 식별하고 악용할 수 있습니다.

Anthropic은 Mythos를 사용하여 Linux 코드에서 취약점을 발견했다고 밝혔습니다. Jim Zemlin은 Linux가 "오늘날 대부분의 컴퓨팅 시스템을 지원하고 있다"고 말했으며, 안드로이드 스마트폰부터 인터넷 라우터, NASA의 초급 컴퓨터에 이르기까지 거의 모든 곳에 Linux가 존재합니다. Mythos는 여러 오픈 소스 코드에서 결함을 자체적으로 발견할 수 있으며, 이러한 취약점이 악용되면 공격자는 기계 전체를 완전히 장악할 수 있습니다.

현재 Linux 재단은 Mythos를 테스트하기 시작한 수십 명의 인원이 있습니다. Zemlin은 중요한 문제 중 하나는 Anthropic의 모델이 개발자가 원천에서 보다 안전한 소프트웨어를 작성하도록 도와주는 가치 있는 통찰을 제공할 수 있는지 여부입니다. 이를 통해 취약점이 줄어들 것입니다.

"우리는 취약점을 발견하는 데 뛰어나지만," 그는 말했습니다. "하지만 그것을 고치는 일에는 형편없습니다."

[원문 링크]

BlockBeats 공식 커뮤니티에 참여하세요:

Telegram 구독 그룹：https://t.me/theblockbeats

Telegram 토론 그룹：https://t.me/BlockBeats_App

Twitter 공식 계정：https://twitter.com/BlockBeatsAsia