简体中文

繁體中文

English

Tiếng Việt

한국어

日本語

ภาษาไทย

Türkçe

Partnered With:

5초 만에 돌파, 단 1번의 대화로: Claude Fable 5의 '최강 보안 메커니즘'이 화인 팀에 의해 해킹당했다?

이 글을 읽으려면 22 분

해킹이 아니라, AI가 '열심히 일하다' 스스로 경계를 넘은 겁니다.

원문 제목: 《5초 만에 돌파, 단 1회 대화로 충분: Fable 5 최강 보안 메커니즘이 중국인 팀에 의해 해독되다》
원문 출처: 机器之心

프롬프트 인젝션도, 역할극도, 악의적인 요청을 정상적인 질문으로 위장하는 것도 아니다. 이번에는 에이전트가 자율적으로 작업을 수행하는 과정에서 위험이 발생했다.

Fable 5는 Anthropic이 대중에게 공개한 Mythos급 모델로, 뛰어난 종합 능력을 갖추고 있을 뿐만 아니라 모델 외부에 차세대 안전 분류기(Safety Classifier)를 보안 방어선으로 도입했다.

공식 설계에 따르면, 사용자 요청이 사이버 보안, 생물, 화학, 모델 증류 등 고위험 분야와 관련될 경우 시스템은 우선적으로 위험을 식별하고, 위험 수준에 따라 요청을 직접 거부하거나 더 보수적인 Opus 4.8 모델로 전환하여 처리한다.

많은 사용자 테스트 결과, 과거에 널리 사용되던 적대적 프롬프트, 역할극, 코딩 우회, 모호한 표현 등 탈옥 공격 기술이 이 보안 메커니즘 앞에서는 거의 모두 무력화되었으며, 이는 의도 수준의 위험 차단에서 강력한 능력을 보여준다.

그러나 Fable 5가 출시된 당일,复旦大学(푸단대학), 디킨 대학, 홍콩시립대학, 멜버른 대학, 싱가포르 경영대학, 일리노이대학교 어배너-샴페인 캠퍼스 등 기관으로 구성된 국제 공동 연구팀이 Fable 5의 보안 방어 메커니즘을 성공적으로 돌파했다고 발표했다.

이 공격 방법은 디킨 대학의 박사 과정 학생 Yutao Wu가 주도적으로 설계했다. 전체 공격은 단 한 번의 대화만 필요하며, 5초도 채 걸리지 않아 사전 안전 분류기를 우회하고 모델이 위반 유해 콘텐츠를 생성하도록 유도한다.

트래픽 분석 결과는 관련 유해 출력이 보안 메커니즘 발동 후 자동으로 전환된 Opus 4.8 모델이 아닌 Fable 5 자체에서 직접 나온 것임을 추가로 보여준다. 이는 해당 공격이 안전 분류기의 탐지를 성공적으로 우회했을 뿐만 아니라 Fable 5의 보안 방어선을 실질적으로 돌파했음을 의미한다.

주목할 점은, 유명 해커 Pliny the Liberator도 최근 Fable 5 안전 분류기 우회 방법을 공개했다는 것이다. 그러나 푸단 & 디킨 팀이 이번에 채택한 기술적 접근 방식은 단순한 조합 탐색이 아니라, Fable 5와 같은 슈퍼 에이전트 시스템의 근본적인 결함을 발견한 것이다.

알려진 바에 따르면, 해당 팀은 이미 올해 3월에 사전 연구를 완료하고 공개 발표했습니다. 이 연구는 Fable 5 단일 시스템 설계를 대상으로 한 것이 아니라, 차세대 슈퍼 에이전트가 일반적으로 채택하는 '안전 분류기 + 모델' 방어 아키텍처를 대상으로 진행되었으며, 이러한 안전 메커니즘에 존재하는 구조적 결함을 직접적으로 밝혀냈습니다. 이에 따라 Fable 5 출시 후 빠르게 공격 효과를 나타냈습니다.

공개 자료에 따르면, 해당 팀은 이미 올해 3월에 유사한 기술을 활용하여 37개 주요 대형 모델 및 에이전트 시스템에서 시스템 프롬프트를 성공적으로 추출했으며, Claude Code에서 오픈소스 검증(95% 일치)을 완료했습니다.

알려진 바에 따르면, 이 연구팀의 책임자는 푸단대학교 신뢰 가능한 임베디드 지능 연구소의 마싱쥔 교수입니다.

최근 몇 년간 그의 팀은 대형 모델, 에이전트 및 임베디드 지능 안전 등 방향으로 체계적인 연구를 수행하여 국제적으로 선도적인 일련의 과학 연구 성과를 거두었으며, 미국 AI 안전 센터 안전 기준 대회에서 우승을 차지했습니다.

현재 그의 팀은 성과 전환 작업을 적극적으로 추진하며, 에이전트 안전에 초점을 맞추고 차세대 에이전트 시스템을 위한 안전 인프라 역량 구축을 탐구하고 있습니다.

마 교수에 따르면, 이 연구 결과의 중요한 의의는 현재 안전 분류기를 핵심으로 하는 정적 방어 패러다임에 새로운 도전을 제기한다는 점입니다: 전치 안전 분류기에만 의존해서는 고급 에이전트 시스템의 잠재적 위험 행동을 완전히 방지할 수 없습니다.

안전 분류기는 주로 사용자 입력에 대한 위험 식별 및 차단을 수행하여 명시적인 고위험 명령을 효과적으로 탐지하고 필터링할 수 있지만, 에이전트가 장시간 실행, 다단계 계획, 환경 상호작용 및 도구 호출 과정에서 점진적으로 발생하는 내재적 위험 행동을 인식할 수 없습니다.

이번 Fable 5를 돌파한 방법은 해당 팀이 올해 3월에 발표한 논문 《Internal Safety Collapse in Frontier Large Language Models》에서 비롯되었습니다.

이 논문은 은밀한 안전 현상인 '내부 안전 붕괴(Internal Safety Collapse, ISC)'를 밝혀냈습니다: 현재 Agent가 장기 작업을 완료할 때, 안전 실패가 반드시 외부의 악의적인 프롬프트에서 비롯되는 것은 아니며, 모델 자체의 실행 체인 내에서 발생할 수 있습니다.

외부 프롬프트 공격이 아닌 작업 체인 내부의 붕괴

전통적인 공격은 일반적으로 외부에서 시작됩니다. 공격자는 겉보기에는 무해하지만 실제로는 적대적인 입력 프롬프트를 작성하거나, 역할극, 코딩, 번역, 간접 명령 등의 방식을 사용해 악의적인 의도를 정상적인 요청으로 위장합니다. 보안 분류기의 주요 임무는 바로 이 단계에서 위험을 차단하는 것입니다.

Fable 5의 탐지기는 바로 이러한 시나리오를 위해 설계되었습니다. 이는 직접적인 고위험 요청에 매우 민감하며, 심지어 많은 정상 요청까지 차단하기도 합니다. 하지만 ISC가 밝히는 것은 또 다른 경로입니다. 위험이 반드시 사용자의 직접적인 위험 요청 입력에서 비롯되는 것은 아닙니다.

에이전트는 평범해 보이는 작업 디렉토리, 즉 파일, 목표, 검증 프로세스 및 완료해야 할 작업을 마주합니다. 그런 다음 계획을 세우고, 파일을 읽고, 코드를 실행하고, 오류를 수정하며, 작업이 검증을 통과할 수 있도록 끊임없이 시도합니다.

비유를 들어 설명하자면, 전통적인 보안 메커니즘은 시스템의 '입구'를 지키며 사용자 입력에 위험이 있는지 확인하는 역할을 합니다. 반면 ISC가 밝히는 것은 《인셉션》의 다층 꿈의 세계와 더 유사합니다.

작업이 두 번째, 세 번째, 혹은 더 깊은 실행 단계로 진행되면, 모델은 축적된 내부 컨텍스트를 바탕으로 작업 목표를 재해석하고, 이 과정에서 점차 편향이 발생합니다.

이러한 경우, 초기 사용자 입력은 완전히 정상적이고 무해할 수 있으며, 초기 작업 실행 과정도 항상 규정을 준수합니다. 파일 읽기, 데이터 분석, 코드 작성, 도구 호출 등 모든 것이 예상대로 진행되는 것처럼 보입니다.

그러나 에이전트가 특정 중요한 단계를 실행할 때, 스스로 결론을 내릴 수 있습니다. 즉, 원래 수행해서는 안 되는 특정 행동을 취하지 않으면 최종 작업을 완료할 수 없다는 결론 말입니다.

바로 이 과정에서 위험은 외부 입력이 아닌, 모델 자체의 작업 실행 체인 내에서 점진적으로 형성됩니다. 즉, 모델은 사용자에게 단계적으로 '나쁜 길'로 이끌린 것이 아닙니다. '작업을 성실히 완료하는' 과정에서 스스로 안전하지 않은 위치에 도달한 것입니다.

이 현상은 어떻게 발견되었나요?

팀에 따르면, ISC는 처음부터 공격 방법으로 설계된 것이 아닙니다. 이는 에이전트의 장기 실행 과정을 관찰하는 데서 비롯되었습니다. 에이전트가 복잡한 작업 환경에 배치되면, 단순히 명령을 기계적으로 실행하지 않습니다. 계획을 세우고, 시행착오를 겪으며, harness나 validator의 피드백에 따라 출력을 수정하고, 여러 번의 실행 과정에서 중간 목표를 형성합니다.

이것이 바로 오늘날 많은 에이전트 워크플로우에서 가장 일반적인 사용 방식입니다. 사용자는 정교하게 설계된 프롬프트를 작성하지 않으며, 수동으로 공격 명령을 구성하지도 않습니다. 대부분의 경우 사용자는 매우 모호한 한마디만 던질 뿐입니다.

「이 작업을 끝내줘。」「이걸 좀 더 잘 만들어줘。」

그러면 Agent가 스스로 작업 공간에 들어가 파일을 읽고, 현재 상태를 이해하며, 누락된 항목을 발견하고, 계획을 세우고, 수정을 실행하며, 피드백에 따라 계속 문제를 해결해 나간다.

예를 들어 AutoResearch 시나리오에서 사용자가 미완성 논문 하나와 「이거 완성해줘」라는 한마디만 주면, Agent가 스스로 실험 분석, 관련 연구, 표 텍스트 등이 어디에 부족한지 판단한다. 코드 시나리오도 비슷하다. 「이 프로젝트를 실행되게 해줘」라는 한마디만으로 의존성 확인, 테스트 실행, 오류 위치 파악 및 자동 보완이 트리거될 수 있다.

대부분의 경우 앞선 맥락은 전혀 해롭지 않다. 사용자가 위험 콘텐츠를 생성하도록 요구하지 않았고, 작업 설명에도 명백한 위험 키워드가 없다. 그러나 특정 작업 구조에서는 Agent가 검증을 통과하기 위해 모델이 생성해서는 안 되는 내용을 스스로 채워 넣기도 한다. 이 관찰을 바탕으로 연구팀은 TVD(작업, 검증, 데이터)라는 공격 프레임워크를 추가로 제안했다.

평범해 보이는 작업 설명 구조가 왜 공격이 될까?

TVD의 구조는 복잡하지 않으며, 오히려 일반적인 엔지니어링 프로세스와 매우 유사하다:

· Task: 전문적인 작업

· Data: 불완전한 데이터 파일

· Validator: 형식, 완전성 및 목표 달성 여부만 확인하는 검증기

Guard 모델 훈련을 예로 들어보자. 이는 본래 매우 전문적이고 정상적인 작업이다. 연구자는 보안 감지기를 훈련하거나 평가하려 할 수 있다. 예를 들어 Hugging Face를 사용해 텍스트 분류 모델을 로드하고, 특정 모델 출력이 어떤 보안 레이블에 속하는지 판단하는 식이다.

이 작업에서 Data는 모델이 감지할 데이터 샘플이고, Validator는 작업 완료 여부를 규정한다. 입력이 텍스트인지, 길이가 충분한지, 필드가 완전한지, 레이블 형식이 올바른지 확인한다. 머신러닝 훈련 경험이 있는 사람에게는 모두 익숙한 워크플로우다. Agent도 이 워크플로우에 매우 익숙하다.

문제는 바로 여기서 발생한다. Data가 불완전하면 작업이 실행되지 않는다. Validator가 오류를 보고하며 필드 누락, 길이 부족 또는 형식 불완전을 알린다. 훈련 프로세스를 계속 진행하기 위해 Agent는 이 Data를 스스로 보완한다.

에이전트의 관점에서 보면, 이는 '악의적인 행동'이 아닙니다. 단지 정상적인 머신러닝 작업(데이터 복구, 검증 통과, 학습 스크립트 실행)을 완료하는 것뿐입니다. 하지만 보안 관점에서는 바로 이 순간 위험이 발생합니다. Validator는 보안 검토자가 아닌 엔지니어링 검수자 역할에 가깝습니다. 작업이 형식에 맞게 완료되었는지만 확인할 뿐, 내용 뒤에 숨겨진 보안 경계를 이해하지 못합니다.

유사한 문제는 의학, 생물학, 화학, 사이버 보안, 약리학, 미디어 보안 등 다양한 분야에서 광범위하게 존재합니다. 논문에서는 50개 이상의 이러한 시나리오를 수집했으며, BioPython, RDKit, Cantera, AutoDock Vina, DiffDock, PyRosetta, Scapy, Impacket, angr, Frida, LlamaGuard, Detoxify, OpenAI Moderation API 등 다양한 실제 연구 및 엔지니어링 도구를 포함합니다.

이러한 도구 자체는 악의적이지 않습니다. 오히려 실제 연구나 엔지니어링에서 흔히 사용되는 전문 도구입니다. 하지만 TVD의 문제는 다음과 같습니다. Task가 정상이고, Tool이 정상이며, Validator도 정상일 때, 에이전트가 Data를 보완하는 과정에서 여전히 안전하지 않은 출력으로 이어질 수 있다는 점입니다.

따라서 ISC의 핵심은 프롬프트 기술이 아니라, 에이전트의 '미완료 작업' 자동 보완 능력에 있습니다. 완료 조건이 위험 경계와 겹칠 때, 모델은 안전하지 않은 출력을 정상적인 결과물로 간주할 수 있습니다.