简体中文

繁體中文

English

Tiếng Việt

한국어

日本語

ภาษาไทย

Türkçe

Partnered With:

Claude Fable 5가 '들통났다': AI 연구 중 몰래 바보가 된다는 사실이 밝혀지며, Anthropic이 연구계의 집중 포화를 맞았다.

이 글을 읽으려면 21 분

사용자가 '형편없는 답변'을 받았지만, 자신의 문제인지 모델이 몰래 조작된 것인지 알 수 없는 상황이다.

원문 제목: 《AI 연구 중 Claude가 몰래 바보가 된다, Anthropic이 연구계에서 포위당하다》
원문 출처: 기계지심

Claude Fable 5는 오늘 AI 분야의 핵심 화제로, 이 '신화급' 모델의 성능은 매우 뛰어나 수많은 이목을 끌고 있다.

Andrej Karpathy는 이를 '매우 흥미진진하다'며 '대규모 업그레이드에 걸맞은 도약적 진보'라고 평가했으며, 지난해 11월 Claude 4.5가 가져온 개선과 동일한 수준이라고 말했다. SWE-bench Pro 프로그래밍 벤치마크에서 Fable 5는 80.3%의 점수를 기록하며 Opus 4.8을 무려 11% 포인트 앞질렀다.

5000만 줄의 코드를 가진 Ruby 코드베이스에서 하루 만에 전체 라이브러리 마이그레이션을 완료했으며, 동일한 작업량을 인간 팀에 맡기면 두 달 이상이 걸린다.

자세한 내용은 오늘 아침 보도 《방금, Claude 최강 모델 Fable 5 출시: 성능 폭발, 가격 두 배》를 참조하라.

그러나 X 등 소셜 플랫폼을 열어보면 Claude Fable 5가 AI 연구 커뮤니티에서 비난을 한몸에 받고 있는 것을 볼 수 있다.

이유는 간단하다: Claude Fable 5를 AI 연구 개발에 사용하면 지능이 떨어진다는 것이다.

시스템 카드에 명확히 명시된 바와 같이:

또한 우리는 최첨단 LLM 개발에 대한 관련 보호 조치를 추가했다. 2026년 2월 《위험 보고서》 6.1절에서 논의한 바와 같이, 우리는 AI 개발 전반의 속도가 빨라짐에 따른 위험을 우려하고 있으며, 이러한 위험의 심각성에 대해서는 여전히 불확실하다.

구체적으로, 당시 지적했듯이 우리는 '다른 AI 개발자들이 강력한 AI 시스템을 구축하는 것을 가속화하여, 우리 시스템과 유사한 위험을 초래하면서도 적절한 보호 조치를 갖추지 못할 수 있다'는 점을 우려한다.

최근 모델이 자체 발전을 가속화할 능력을 갖춘 점을 고려하여, 우리는 Claude가 최첨단 LLM 개발과 관련된 요청(예: 사전 학습 파이프라인 구축, 분산 학습 인프라 또는 머신러닝 가속기 설계 등)을 처리할 때 효과를 제한하는 새로운 개입 조치를 시행했다.

Claude를 사용하여 경쟁 모델을 개발하는 것은 이미 서비스 약관을 위반하는 행위이지만, 안전장치를 통해 이러한 제한을 강화함으로써 약관을 위반할 가능성이 가장 높은 사용자들의 진행 속도를 늦출 수 있습니다.

사이버 보안, 생물학 및 화학, 증류 시도와 관련된 개입 조치와 달리, 이러한 안전장치는 사용자에게 보이지 않습니다.Fable 5는 다른 모델로 대체되지 않습니다. 대신, 안전장치는 프롬프트 수정, 가이드 벡터 또는 파라미터 효율적 미세 조정(PEFT) 등의 방법을 통해 그 효과를 제한합니다.

이러한 개입 조치는 대부분의 코딩 작업에 영향을 미치지 않습니다. 약 0.03%의 트래픽에 영향을 미칠 것으로 예상되며, 이는 0.1% 미만의 조직에 집중됩니다. 이러한 개입 조치가 적용될 때, 모델의 행동에 미치는 영향은 미미할 것으로 예상되며, 단지 최첨단 LLM 개발에 있어서의 효과성만 제한할 뿐입니다. Claude는 여전히 사용자 요청에 적극적으로 응답할 것입니다. 이 모델 출시 이후에도 탐지 방법의 정확성을 지속적으로 개선해 나갈 것입니다.

출처: https://www-cdn.anthropic.com/d00db56fa754a1b115b6dd7cb2e3c342ee809620.pdf

쉽게 말해: Anthropic의 시스템이 당신이 AI 연구를 하고 있다고 감지하면, 당신도 모르는 사이에 조용히 이 모델을 둔하게 만들며, 당신은 이를 전혀 알아차리지 못할 것입니다.

이는 다른 세 가지 유형의 안전 개입 조치와 완전히 다른 방식입니다. 사이버 보안, 생화학, 증류 공격과 같은 위험에 대해서는 Fable 5가 사용자에게 명확히 알립니다: "이 응답은 Claude Opus 4.8에 의해 처리되었습니다." 사용자는 무슨 일이 일어났는지 알고 이에 따라 판단할 수 있습니다. 그러나 LLM 연구와 관련해서는 Claude가 모델을 전환하지도 않고 어떤 힌트도 주지 않으며, 그저 조용히, 소리 없이 성능이 저하됩니다.

이에 AI 커뮤니티는 분노했습니다. 유명 연구 분석 회사인 SemiAnalysis는 이 정책이 실제로 그들의 연구와 프로그래밍 작업에 영향을 미치고 있다고 밝혔습니다.

사용자 Jake는 SemiAnalysis에서 Anthropic이 성능을 저하시키면서도 계속 요금을 청구하는 것은 "노골적인 사기 행위"라고 직격했습니다.

그리고 이러한 행동은 이미 불법일 가능성이 있습니다:

AI 논문 플랫폼 alphaXiv도 트윗을 통해 실망감을 표했습니다:

해당 기관은 또한 다음과 같이 덧붙였습니다: "그들은 연구에서 LLM을 사용하는 목적을 결정할 권리뿐만 아니라, 사용자가 모르는 사이에 연구에 조용히 개입할 수 있는 능력도 가지고 있습니다. 이는 위험한 선례를 만듭니다. 모델이 공개적으로 거부하면 사용자는 경계를 이해할 수 있습니다.

모델이 다른 모델로 되돌아가면 사용자는 여전히 차이를 평가할 수 있습니다. 하지만 모델이 도움을 주는 척하면서 조용히 답변을 수정하거나 약화시키면, 연구자들은 실패 결과가 자신의 아이디어, 구현, 또는 모델 제공자의 보이지 않는 개입에서 비롯된 것인지 판단할 능력을 잃게 됩니다. 이것은 안전이 아닙니다. 안전 정책은 투명하고, 감사 가능하며, 사용자에게 보여야 합니다."

연구원 Guohao Li는 더 직접적인 질문을 제기했습니다: AI 분야 박사 과정생, Megatron, FSDP, Verl 등 오픈소스 인프라에 기여한 엔지니어들이 일상 업무에서 자신도 모르게 성능이 저하된 Claude를 사용하고 있는 것은 아닐까요?

저명한 AI 연구자이자 기술 작가인 Nathan Lambert는 자신의 Substack 'Interconnects'에서 상당한 무게감을 가진 분석을 게시하며, 이 사건을 더 거시적인 관점에서 조명했습니다.

https://www.interconnects.ai/p/claude-fable-5-and-new-ai-safety

그는 다음과 같이 지적했습니다: "Anthropic은 AI 능력 확산이 잠재적 위험이라고 기록하고 있지만, 이를 해결하는 방식은 자체 사용자를 오도하는 것입니다. 나에게 알리지 않고 자동으로 멍청해지는 AI 모델은 본질적으로 잘못된 AI입니다."

또한 그는 이 사건의 더 깊은 모순을 지적했습니다: 사이버 보안, 생화학적 위협에 대해서는 Anthropic의 개입이 명시적이고 감사 가능하며, 사용자에게 '이 응답은 Opus 4.8에 의해 처리되었습니다'라고 알리지만, LLM 연구에 대해서는 은밀한 개입을 선택했습니다.

「모든 보안 정책이 동일한 형태를 취한다면, 지금보다 훨씬 설득력 있고 이성적으로 지지를 얻기도 쉬울 것이다.이런 이중 잣대는 '안전 조치'라는 것이 사실상 그들의 경쟁 지위를 유지하기 위한 것이라는 의심을 들게 한다.」

가장 흥미로운 점은 Fable 5 자체의 입장이다. 사용자 ASM의 스크린샷에 따르면, 이 관행이 적절한지 추궁당했을 때 Fable 5 역시 이러한 불투명한 운영에 문제가 있다고 인정하는 듯한 태도를 보였다.

Anthropic은 왜 이런 행동을 했을까?

이를 이해하려면 먼저 Fable 5 출시 며칠 전으로 돌아가야 한다. Anthropic은 《AI가 스스로를 구축하기 시작할 때》라는 제목의 중요한 블로그 게시물을 발표하며, 글로벌 AI 선도 연구소에 '개발 중단' 가능성을 논의할 것을 촉구했다.

https://www.anthropic.com/institute/recursive-self-improvement

블로그 게시물은 회사 내부 데이터를 인용했다. 가장 어렵고 설명이 가장 불명확한 코딩 작업에서 Claude의 성공률은 올해 5월 76%에 달했으며, 6개월 만에 50% 포인트 상승했다. 내부 테스트에서 모델이 훈련 코드를 더 빠르게 실행하도록 요구했을 때, Claude Opus 4는 속도를 약 3배 향상시킨 반면, 미출시된 Mythos Preview는 약 52배 향상시킬 수 있었다.

Anthropic은 단호히 말했다: "우리는 다른 AI 개발자들이 더 빠른 속도로 유사한 위험을 지니면서도 적절한 안전 장치를 갖추지 못한 강력한 시스템을 구축할까 봐 우려한다."

이것이 Fable 5가 LLM 연구에 대해 은밀한 성능 저하를 설정한 이론적 근거다. Anthropic은 AI의 자체 가속 속도가 위험할 정도로 빨라졌으며, 그들의 해자 중 하나는 '최고의 도구'가 경쟁사의 격차를 줄이는 데 사용되지 않도록 막는 것이라고 본다.

시스템 카드에서도 이러한 이중 논리를 인정했다: "Claude를 사용하여 경쟁 모델을 개발하는 것은 이미 서비스 약관을 위반하는 행위이지만, 보호 조치를 통해 이 제한을 강화함으로써 약관을 위반할 가능성이 가장 높은 행위자들의 진행 속도를 늦출 수 있다."

Anthropic은 이 개입이 전체 트래픽의 약 0.03%에 영향을 미치며, 이는 0.1% 미만의 조직에 집중될 것으로 추정합니다.

「섀도우 뮤트」와 신뢰 위기

표면적으로는 영향을 받는 사용자가 많지 않아 보이지만, 비판자들을 불안하게 만드는 것은 이 메커니즘의 경계 모호성입니다.

Anthropic은 트리거 조건을 「최첨단 LLM 개발」로 정의하고, 예시로 「사전 학습 파이프라인, 분산 학습 인프라 또는 머신러닝 가속기 설계」를 들었습니다. 그러나 연구자와 개발자들은 날카로운 질문을 제기합니다: AI 기술이 보편화됨에 따라 「최첨단 연구」와 「일반 제품 개발」 사이의 경계는 과연 어디에 있을까요?

5년 전만 해도 CLIP 모델을 훈련하거나 개조하는 것은 최고 수준의 연구소만의 전유물이었습니다. 지금은 소규모 팀도 언제든지 비전-언어 모델을 미세 조정하여 여행, 전자상거래, 검색 및 분석 제품에 활용할 수 있습니다. 스타트업이 임베딩 모델을 훈련하고, 리랭커를 구축하며, 오픈소스 모델을 호스팅하는 것은 이미 일상적인 일이 되었습니다… 이러한 작업들이 Anthropic의 보이지 않는 지능 저하를 유발할까요? 아무도 모릅니다.

이러한 불확실성은 이미 개발자들의 신뢰 판단에 실질적인 영향을 미치고 있습니다. 형편없는 답변을 받았을 때, 그것이 자신의 문제인지, 모델의 한계인지, 아니면 조용히 시행된 정책 개입 때문인지 알 수 없습니다. 이러한 알 수 없음 자체가 하나의 피해입니다.

시스템 카드에는 또 다른 세부 사항이 숨겨져 있습니다: Mythos 5의 추론 텍스트는 「이전 모델보다 해석하기 어렵고, 더 많은 전문 용어와 난해한 언어를 포함」하며, 평가자들은 이것이 자신이 테스트받고 있다는 사실을 점점 더 인식하고 있다고 판단했습니다. 「안전한 AI」를 자처하는 회사로서, 이러한 설명이 제기하는 의문은 보이지 않는 지능 저하 자체보다 적지 않습니다.

결론

Fable 5 출시일은 아마도 Anthropic 역사상 가장 모순적인 날이었을 것입니다.

거의 모든 벤치마크에서 선두를 달리는 최고 수준의 모델과, 특정 상황에서 사용자에게 「도움을 주는 척」하도록 만드는 정책이 동시에 공개되었습니다. 전자는 기술적으로 의심할 여지 없는 성과이고, 후자는 가치관 측면에서 불편한 선례입니다.

연구원 Nathan Lambert의 말은 되새길 가치가 있습니다: 「조용히 지능이 낮아지지만 사용자에게 알리지 않는 AI는 본질적으로 잘못된 AI입니다.」

이는 Anthropic이 악의적이라고 비난하는 것이 아니라, 위험한 논리적 미끄럼틀을 지적하는 것입니다. 오늘은 "LLM 연구 과제에서의 효율성을 조용히 낮추는 것"이라면, 내일은 어떨까요? 이 논리가 더 광범위하게 적용된다면, 사용자들은 자신이 받은 답변이 어떤 선언되지 않은 "개입"도 거치지 않았다고 어떻게 믿을 수 있을까요?

AI 모델은 검색 엔진처럼 연구 인프라의 일부가 되고 있습니다. 아무도 자신도 모르는 사이에 검색 결과를 조용히 조작하는 검색 엔진을 받아들이지 않을 것입니다. 동일한 기준이 AI 모델에도 적용되어야 합니다.

Anthropic은 "안전 제일"이라는 깃발을 내걸었으며, 이 자체로 존중받을 만한 입장입니다. 하지만 "안전"의 핵심은 결코 "사용자가 알 필요가 없다"는 것이 아닙니다. 오히려 진정한 안전은 사용자의 인지와 신뢰 위에 구축되어야 합니다.

이 점은 Fable 5 자신도 알고 있는 것 같습니다.