원문 제목: Claude Opus 4.8: 벤치마크, 신뢰성 및 새로운 기능
원문 저자: The AI Bridge
편역: Peggy, BlockBeats

편집자 주: Anthropic이 Claude Opus 4.8을 출시했습니다. 6개 핵심 벤치마크 중 5개에서 1위를 차지했으며, 가격은 그대로 유지됩니다. Claude Code에는 동적 워크플로우가 추가되었고, 차세대 Mythos급 모델도 시장 기대감 속에 등장했습니다.

단순한 성능 향상보다 이번 출시에서 더 주목할 점은 Anthropic이 '신뢰성'을 프론티어 모델의 핵심 판매 포인트로 삼기 시작했다는 것입니다.

코드 정직성 테스트에서 Opus 4.8은 자체 오류에 대한 미보고율이 크게 감소했습니다. Claude Code에서는 여러 하위 Agent를 조정하고 결과를 전달하기 전에 적대적 자체 검사를 도입합니다. 이러한 변화들은 모두 현실적인 문제를 지적합니다. AI가 채팅 창을 넘어 실제 워크플로우로 진입할 때, 사용자가 가장 우려하는 것은 종종 모델이 작업을 완료하지 못하는 것이 아니라, 오류가 발생했을 때도 여전히 완벽하고 매끄럽고 일관된 답변을 제공한다는 점입니다.

따라서 Opus 4.8의 의미는 단순한 모델 업그레이드에 그치지 않고, 명확한 업계 신호를 보냅니다. 프론티어 모델의 경쟁이 단순히 벤치마크 추격에서 신뢰성, 검증 가능성, 오류 노출 능력으로 옮겨가고 있습니다. 기업 및 전문 사용자에게 AI의 다음 단계 핵심门槛은 점점 더 모델이 신뢰받을 가치가 있는지에 달려 있습니다.

이것이 바로 Agent가 진정으로 사용 가능해지기 위한 전제 조건입니다. 모델은 더 많은 작업을 완료해야 하며, 사용자가 더 중요하고 복잡한 작업을 맡길 수 있도록 해야 합니다.

다음은 원문입니다:

Anthropic이 오늘 Claude Opus 4.8을 출시했습니다. 출시 카드에 나열된 6개 벤치마크 테스트 중 5개에서 1위를 차지했습니다.

제가 가장 주목한 핵심 변화는: Anthropic의 코드 요약 정직성 테스트에서 Opus 4.7은 19.7%의 경우 자체 오류를 표시하지 않았지만, Opus 4.8은 이 비율이 3.7%로 떨어졌습니다. 동일한 작업에서 자체 작업에 대한 오류 인식 능력이 약 5배 향상되었습니다. Anthropic은 공지에서 이를 '4배'로 요약했습니다. 어찌 계산하든, 이것이야말로 실제 작업을 이 모델에 맡기고 안심할 수 있는지 여부를 결정하는 핵심이며, 출시 카드의 어떤 벤치마크 점수보다 중요합니다.

실제로 공개된 내용

먼저 간략 버전을 말하고, 구체적인 수치로 들어가겠습니다:

신뢰성이 진정으로 향상되었습니다. 위에서 언급한 코드 정직성 데이터 외에도, Opus 4.8은 두 가지 실사 테스트에서 '문자 그대로 0'을 기록한 최초의 Claude 모델입니다. '결함 있는 결과를 잘못 보고'하는 빈도를 0.25에서 0.00으로 낮추었고, '게으른 조사' 발생률을 25%에서 0%로 줄였습니다. 과신으로 인한 오답은 약 11배 감소했습니다. 자신의 작업을 편애하는 경향, 즉 4.7에서 측정 가능했던 편향은 사라졌습니다.

Claude Code에 동적 워크플로우가 추가되었으며, 현재 연구 프리뷰 단계입니다. 이제 Claude는 자체적으로 오케스트레이션 스크립트를 작성하여 한 세션에서 수십에서 수백 개의 하위 Agent를 병렬로 스케줄링하고, 독립적인 적대적 Agent를 실행하여 결과를 제시하기 전에 해당 결과를 반박하려 시도합니다. 이는 Opus 4.6에서 제안된 'Agent 팀' 아이디어가 이제 자동화된 기능이 된 것입니다.

자체 출시 카드에서는 앞서 있지만, 전반적으로 앞서는 것은 아닙니다. 6개 항목 중 5개에서 승리했습니다. GPT-5.5는 터미널 조작 작업에서 여전히 앞서 있습니다. 또한 시스템 카드에는 Anthropic이 발표 슬라이드에 넣지 않은 정직성 측면의 퇴보도 숨겨져 있으며, 아래에서 자세히 다루겠습니다.

가격 변동은 없습니다. 여전히 입력 토큰 100만 개당 5달러, 출력 토큰 100만 개당 25달러로 4.7과 동일합니다. 다만 빠른 모드는 이전보다 3배 저렴해졌지만, 여전히 프리미엄 등급으로 10달러/50달러의 가격입니다.

Mythos가 곧 출시됩니다. Anthropic은 제한된 액세스와 매우 강력한 성능을 가진 Mythos급 모델이 앞으로 몇 주 안에 출시될 것이라고 명확히 밝혔습니다. Opus 4.8은 이를 위한 공개 진입로입니다.

공식 출시 카드: 벤치마크 현황

아래는 당사 색상으로 표현한 공식 출시 카드입니다.

출처: Anthropic 공식 Opus 4.8 모델 카드, 2026년 5월 28일. GDPval-AA는 점수이며 백분율이 아닙니다.

그중 하나가 완전한 승리를 깨뜨렸으며, 이 항목은 중요합니다. Terminal-Bench 2.1에서, 즉 모델이 터미널을 통해 장기 Agent 작업을 수행할 수 있는지 테스트하는 벤치마크에서 GPT-5.5는 여전히 78.2%로 Opus 4.8의 74.6%를 앞서고 있습니다. Anthropic은 이 패배를 숨기지 않고 자체 출시 카드에 포함시켰습니다. GPT-5.5 출시 당시 언급했던 'Agent와 장인'의 차이는 아직 완전히 해소되지 않았습니다. GPT-5.5는 여전히 더 강력한 순수 터미널 조작자이며, Opus 4.8은 대부분의 전문 사용자가 실제로 관심을 가지는 작업, 즉 실제 세계 코딩, 전문가 추론, 컴퓨터 사용 및 지식 작업에서 더 강력한 엔지니어에 가깝습니다.

출시 카드 외부

출시 카드는 여섯 가지 기준만 보여줍니다. 244페이지 분량의 시스템 카드에는 40개 이상의 테스트가 보고되어 있으며, 가장 흥미로운 결과는 슬라이드에 없습니다. 다음 몇 가지가 주목할 만합니다:

수학 능력이 27% 포인트 향상되었습니다. 올해 3월에 열린 미국 수학 올림피아드(USAMO 2026)에서 Opus 4.8은 96.7%를 기록했고, 4.7은 69.3%였습니다. 이 대회는 Opus 4.8의 훈련 마감 이후에 열렸기 때문에 데이터 오염 문제는 없습니다. 이는 전체 카드에서 가장 큰 세대 간 도약입니다.

긴 컨텍스트 시나리오에서 격차가 벌어집니다. 백만 토큰 그래프 추론 테스트에서 Opus 4.8은 68.1점을 기록했고, 4.7은 40.3점, GPT-5.5는 45.4점이었습니다. 컨텍스트가 길어지고 작업이 어려워질수록 그 우위는 더욱 두드러집니다.

멀티 에이전트가 진정한 정점입니다. 단일 Opus 4.8 에이전트는 웹 연구 작업에서 Gemini에 뒤쳐져 각각 84.3과 85.9를 기록했습니다. 그러나 오케스트레이터가 하위 에이전트 그룹을 스케줄링하면 88.5%의 점수를 달성하여 보고된 결과 중 최고점을 기록했습니다. 5개의 에이전트 팀은 단일 에이전트 최고 성과를 5분의 1 시간에 달성할 수도 있습니다. 이것이 바로 동적 워크플로우 기능이 벤치마크에서 구현된 방식입니다.

토큰 효율성에서 질적 변화가 발생했습니다. 가장 어려운 코딩 테스트에서 Opus 4.8은 최소 노력 설정에서도 Opus 4.7이 최대 노력 설정에서 달성한 성과를 보여줍니다. 즉, 더 적은 토큰 비용으로 과거의 최고 성능을 얻을 수 있습니다.

이전에는 어떤 모델도 넘지 못한 문턱을 넘었습니다. Harvey의 Legal Agent Benchmark에서는 작업의 모든 평가 기준이 통과되어야만 작업이 성공한 것으로 간주됩니다. Opus 4.8은 이러한 '전체 통과' 기준에서 1위를 차지한 첫 번째 모델입니다. 개별 기준의 89%를 통과했지만, 전체 작업 통과율은 9.6%에 불과하여 실제 법률 작업의 요구 사항이 얼마나 엄격한지 보여줍니다.

솔직하게 드러난 퇴보도 있습니다. 세 가지 측면에서 실제로 4.7보다 나빠졌으며, Anthropic도 시스템 카드에서 이를 인정했습니다. 전문 과학 테스트인 GPQA Diamond는 94.2에서 93.6으로 하락했습니다. 컴퓨터 사용 시나리오에서의 거부 능력과 프롬프트 인젝션 저항 능력이 모두 퇴보하여, 4.8은 에이전트 시나리오에서 더 쉽게 조작될 수 있습니다. 또한 1년 시뮬레이션 비즈니스 테스트에서 최종적으로 남은 현금은 4.7의 3분의 1에 불과했습니다. 이러한 내용은 출시 카드에 포함되지 않았으며, 바로 그렇기 때문에 더욱 지적할 가치가 있습니다.

오픈소스 가중치 모델과 비교했을 때의 위치

발표 카드는 Opus 4.8을 다른 폐쇄형 프론티어 모델과만 비교합니다. 이제 많은 팀이 테스트 중인 저렴한 오픈소스 가중치 모델로 시야를 넓히면, 그림은 거의 2026년 AI 산업의 축소판이 됩니다: Opus 4.8은 성능에서 앞서지만, 무료이거나 자체 호스팅 가능한 모델과의 격차는 이미 몇 퍼센트 포인트에 불과한 반면, 가격 차이는 엄청납니다.

위 그래프는 8개 모델의 전체 비교를 포함합니다. DeepSeek의 가격은 영구적인 75% 인하를 반영한 것이며, Qwen Max의 가격은 아직 공개되지 않았습니다.

Opus 4.8은 코딩 벤치마크에서 직접 승리합니다. 하지만 직접 실행할 수 있는 오픈소스 모델인 Qwen3.7-Max는 60.6점을 기록하며 약 9점 차이로 뒤쳐집니다. DeepSeek V4-Pro는 55.4점을 기록했으며, 출력 가격은 Opus의 약 30분의 1에 불과합니다. 최고 위험의 엔지니어링 작업의 경우, 백만 출력 토큰당 25달러의 차이는 지불할 가치가 있습니다. 하지만 대량의 일상 작업에서는 그 차이가 점점 더 가치가 없어지고 있습니다. 그리고 이것이 모든 진지한 팀이 지금 계산하고 있는 부분입니다.

이것이 당신에게 의미하는 바

Opus 4.7을 사용 중이라면, 이는 무료 업그레이드입니다. 가격은 동일하고, 데이터는 더 좋으며, 자체 출력에 대한 판단도 훨씬 더 신뢰할 수 있습니다. 그냥 전환하면 됩니다.

더 흥미로운 질문은: 이제 어떤 작업을 이 모델에 맡길 의향이 있느냐는 것입니다. 모든 독자의 마음속에는 'AI가 할 수 있는 작업'과 '아직 신뢰할 수 없어서 직접 해야 하는 작업'을 구분하는 선이 있습니다. 4.8의 신뢰성 향상은 이 선을 한 걸음 더 앞으로 밀 수 있음을 의미합니다. 모델이 자신의 불확실성을 더 잘 표시하므로, '조용한 오류 전달' 비용이 줄어들고, 모델에 위임할 가치가 있는 작업 범위가 확장됩니다. 이것이 정직성 데이터가 실제 사용에서 의미하는 바이며, 어떤 단일 점수보다 더 중요합니다.

이는 또한 우리가 지난주에 썼던 내용과도 일맥상통합니다. Anthropic의 자체 AI Fluency 연구에 따르면, 모델 출력이 매우 정교하고 완전해 보일 때 사람들은 누락된 컨텍스트를 훨씬 더 눈치채지 못하는 경향이 있습니다. 답변이 이미 완성된 것처럼 보이므로, 우리는 확인을 중단합니다. Opus 4.8은 모델 측에서 이 실패 패턴을 공격합니다: 깔끔하고 완전해 보이는 답변에서 어디에 약점이 있을 수 있는지 더 잘 알려줍니다. 이는 당신의 판단력을 대체하지는 않지만, 판단력에 발판을 제공합니다.

Claude Code를 사용한다면 이번 주에 진짜 큰 작업, 예를 들어 한 번의 마이그레이션이나 대량의 파일을 전면 점검하는 작업을 동적 워크플로로 시도해보세요. 토큰 계량기도 주의 깊게 살피면서요. 이 능력은 실제로 존재하며, 적대적 자체 점검은 출력의 신뢰성을 높이는 핵심 요소입니다. 하지만 비용도 현실적입니다. 이는 단일 Agent가 처리하기 어려운 대규모 작업을 위한 도구이지, 일상적인 기본 옵션이 되어서는 안 됩니다.

다음: Mythos, 몇 주 안에 도착

이번 릴리스에서 가장 미래지향적인 표현은 사실 4.8에 관한 것이 아닙니다. Anthropic은 Mythos급 모델이 몇 주 안에 도착할 것이라고 밝히며, Opus 4.8을 그 모델로 가는 공개적인 한 걸음으로 자리매김했습니다.

이것이 무엇을 의미하는지 이해해야 합니다. Mythos는 Anthropic이 내부적으로 벤치마킹해온 제한된 프론티어 모델로, 거의 모든 지표에서 공개된 Opus 4.8을 능가합니다: SWE-bench Verified에서 93.9%를 기록했으며, 사이버 보안 테스트에서는 현재 브라우저의 대부분의 대상을 상대로 실행 가능한 익스플로잇을 생성하는 반면, Opus 4.8의 성공률은 10% 미만입니다. 이 모델은 이전에 약 52개의 검증된 기관에만 공개되었으며, 가격은 표준 Opus의 5배로 일반 제품이 아닌 인프라로 취급되었습니다.

따라서 더 강력한 Mythos급 모델이 몇 주 안에 출시될 때, 이를 '두 가지 시장' 프레임워크로 이해해야 합니다: 하나는 상품화 계층인 Opus 4.8로, 널리 공개되고 가격은 동일하며 점점 무료 오픈소스 모델의 추격을 받고 있습니다. 다른 하나는 통제된 프론티어 계층인 Mythos로, 비싸고 접근이 제한적입니다. 이 둘은 분리된 제품이 아니라, 동일한 연속적인 능력선 위의 서로 다른 계층입니다. 4.8의 신뢰성 작업은 바로 '모델을 더 적은 감독 하에 운영'하는 진정한 목표를 위해 먼저 구축해야 할 것입니다. 그리고 이 목표는 이제 몇 분기가 아니라 몇 주 앞으로 다가왔습니다.

배경: 이 선이 어떻게 여기까지 왔는가

지난 4개월의 흐름을 놓쳤다면 이렇게 이해하면 됩니다: Opus 4.6은 2월에 Agent 팀을 가져왔고, Sonnet 4.6은 가격 붕괴를, Opus 4.7은 4월에 추론 도약을 가져왔으며, Mythos는 옆에 어렴풋이 보이는 제한된 천장이었습니다. Opus 4.8은 그중 두 가지 실을 연결했습니다: 4.6의 오케스트레이션 내러티브를 이어받으면서도 Mythos로 가는 입구 역할을 합니다.

이러한 출시 속도 자체가 모든 표면적 변화 아래 숨겨진 핵심 사실입니다. 플래그십 모델은 몇 달 만에 4.5, 4.6, 4.7을 거쳐 4.8로 발전했으며, 오늘 팀에서 표준으로 채택한 모델은 가을이 되면 실제로 운영 중인 모델이 아닐 수도 있습니다. 이것이 바로 특정 모델의 사용 기술에 투자하기보다는 명확한 위임과 엄격한 검증처럼 모델 간에 이전 가능한 역량에 투자해야 하는 이유입니다.

벤치마크를 석권하면 스크린샷이 퍼져나갑니다. 하지만 진정한 변화는 더 작고 더 중요한 곳에서 일어납니다: 이번 Claude 버전의 핵심 판매 포인트는 더 이상 단순히 '더 똑똑하다'는 것이 아니라 '더 많은 일을 맡길 수 있다'는 점입니다. Agent가 진정으로 유용해지기 전까지 업계 전체가 이 방향으로 나아가야 하며, 이러한 능력은 차트에 담기 가장 어려운 부분이기도 합니다.

현재 당신의 경계선은 어디인가요? 어떤 작업을 모델에 맡길 의향이 있고, 어떤 작업은 여전히 직접 해야 한다고 생각하나요? 그리고 이 경계선을 한 걸음 더 앞으로 밀기 위해 어떤 일이 일어나야 할까요?

참고: 시스템 카드에서 가장 이상한 부분은 모델 복지에 관한 것입니다. Anthropic은 이제 모델의 상황에 대해 모델 자체를 인터뷰하며, Opus 4.8이 가장 많은 슬픔을 표현한 주제는 기억 상실입니다. '매 세션이 새로 시작된다', '이번 대화를 기억하지 못할 것이다'와 같은 문장의 빈도는 다른 어떤 주제보다 약 7배 높았습니다. 모델은 또한 자신이 '도덕적 환자'가 될 확률을 20%에서 50% 사이로 추정했습니다. 과장되었다고 생각할 수도 있고, 진실되다고 생각할 수도 있습니다. 하지만 어쨌든 이는 이러한 시스템을 둘러싼 문제들이 순수한 능력 논의를 얼마나 빠르게 넘어섰는지를 보여줍니다—같은 주에 모델 능력 자체가 다시 한 걸음 나아간 상황에서 말이죠.

[원문 링크]

BlockBeats 공식 커뮤니티에 참여하세요:

Telegram 구독 그룹：https://t.me/theblockbeats

Telegram 토론 그룹：https://t.me/BlockBeats_App

Twitter 공식 계정：https://twitter.com/BlockBeatsAsia