원문 제목: Fable 5로 루프 설계하기
원문 저자: Lance Martin
편역: Peggy, BlockBeats
편집자 주: Anthropic의 Lance Martin은 Claude Fable 5와 같은 Mythos급 모델의 핵심 사용법이 사람이 계속 수동으로 프롬프트를 입력하는 것이 아니라, 모델이 스스로 오류를 수정할 수 있는 루프를 설계하는 것이라고 생각합니다.
이 글에서는 두 가지 핵심 기술을 제시합니다. 첫째, /goal, Outcomes 등의 메커니즘을 통해 명확한 목표나 평가 기준을 설정하여 모델이 실행, 피드백 수신, 수정 방안 간에 지속적으로 반복하도록 하는 것입니다. 둘째, memory(세션 간 기억)를 활용하여 모델이 실패를 기록하고, 원인을 조사하며, 결론을 검증하고, 경험을 향후 재사용 가능한 규칙으로 정제하도록 하는 것입니다.
Parameter Golf 및 Continual Learning Bench와 같은 실험에서 Fable 5는 Opus 4.7, Sonnet 4.6에 비해 구조적 탐색, 장기 작업 유지, 그리고 기억을 후속 작업의 효과적인 개선으로 전환하는 데 더 뛰어난 성능을 보였습니다.
이 글의 핵심 주장은 모델을 직접 조종하는 대신, 환경, 피드백 메커니즘, 기억 시스템을 설계하여 모델이 루프 속에서 스스로 강해지도록 하는 것입니다.
다음은 원문입니다:
Claude Fable 5와 같은 Mythos급 모델은 이미 Anthropic 내부 많은 사람들의 작업 방식을 변화시켰습니다. 이러한 모델의 능력을 더 잘 활용할 수 있도록 두 가지 팁을 공유하고자 합니다.
최근 '루프(Loop)'에 대한 관심이 높아지고 있습니다. @bcherny는 "내 일은 루프를 작성하는 것"이라고 언급한 바 있습니다. 모델이 특정 평가 기준을 중심으로 지속적으로 개선하도록 하는 것은 작업 성능을 향상시키는 일반적인 방법입니다. Claude Code의 /goal과 Claude Managed Agent의 Outcomes는 이 일반적인 방법을 특정 작업에 적용할 수 있는 기본 기능입니다.
프롬프트 가이드에서 언급했듯이, Fable 5는 루프 내에서 자기 오류 수정에 매우 능숙합니다. 잘 설계된 목표나 평가 기준은 Claude가 위치한 환경에 피드백 메커니즘을 추가하는 것과 같습니다. 이렇게 하면 Claude가 먼저 작업을 실행한 후, 목표나 평가 기준을 통해 피드백을 수집하고, 스스로 수정하며, 목표나 평가 기준이 충족될 때까지 지속적으로 진행할 수 있습니다.

Fable을 테스트하기 위해 사용하는 작은 예시를 공유합니다: Parameter Golf입니다. 이는 오픈소스 머신러닝 엔지니어링 챌린지로, 목표는 8개의 H100 GPU에서 10분 이내에 가장 성능이 좋은 모델을 훈련시키고, 최종 결과물은 16MB 이내로 제한하는 것입니다.
이는 @karpathy의 autoresearch 프로젝트와 비슷합니다: 이 챌린지는 Agent가 기본 훈련 코드, 즉 train_gpt.py 파일을 수정하고, 훈련을 시작하며, 로그를 폴링하고, 점수를 읽은 후, 다음에 어떤 실험을 실행할지 결정할 수 있는 능력을 테스트합니다.
저는 이 챌린지에서 Claude Managed Agents(CMA)를 사용하여 Fable 5와 Opus 4.7을 비교했습니다. CMA는 Agent 실행 프레임워크와 관리형 샌드박스를 제공하므로, Fable 5가 장기 작업을 수행하는 데 매우 적합합니다. Parameter Golf 테스트에서는 CMA가 8개의 H100 GPU를 포함한 자체 호스팅 샌드박스에 연결되도록 설정했습니다.
여기에는 미묘하지만 중요한 점이 있습니다: 결과를 누가 평가하는지가 핵심입니다. 모델이 자신이 생성한 콘텐츠를 비판할 때 문제가 발생하는 경우가 많다는 것을 발견했습니다. Prithvi Rajasekaran이 엔지니어링 블로그에서 이 점을 언급한 바 있습니다.

Fable 5의 경우, 모델이 스스로 비판하는 것보다 검증용 서브 Agent를 사용하는 것이 일반적으로 더 효과적이라는 것을 발견했습니다. 점수 평가가 독립적인 컨텍스트 창에서 이루어지기 때문입니다. CMA의 Outcomes 기능은 자동으로 점수 평가 서브 Agent를 실행하여 이를 처리합니다.
각 테스트에서 저는 기준 실험 실행, 20회 실험 완료 등 9가지 확인 가능한 기준이 포함된 평가 기준 파일을 제공했습니다. 그런 다음 Parameter Golf가 최대 8시간 동안 실행되도록 했습니다. Outcomes 평가자가 모든 실험 기준이 충족되었음을 확인한 후에만 Claude가 작업을 중단하도록 허용되었습니다.
결과적으로, Fable 5의 훈련 프로세스 개선 폭은 Opus 4.7보다 약 6배 더 컸습니다. 실험을 모델 아키텍처 변경과 같은 구조적 실험과 특정 상수 조정과 같은 스칼라형 실험으로 나누면, Fable 5는 더 큰 구조적 변경에 베팅하는 경향을 보였으며 더 강한 회복력을 나타냈습니다. 예를 들어, 한 번의 양자화 회귀 문제에서 끝까지 밀어붙여 가장 큰 성능 향상을 달성했습니다.
반면, Opus 4.7의 첫 번째 실험은 약간의 소폭 개선을 가져왔지만, 이후 거의 모든 실험은 동일한 템플릿을 따랐습니다. 즉, 스칼라 값을 조정하고, 결과를 측정한 후, 결과가 긍정적이면 유지하는 방식이었습니다.
메모리는 Fable이 강점을 보이는 또 다른 영역입니다. 이는 세션 간에 실행되는 외부 루프로 이해할 수 있습니다. Claude는 한 세션에서 메모리를 기록하고, 이 메모리는 향후 세션에서 다시 검색될 수 있습니다.
@pgasawa와 팀이 최근 Continual Learning Bench 1.0을 출시했기 때문에, 이를 사용하여 Fable 5와 초기 모델 간의 차이를 테스트해보고자 했습니다.

이 벤치마크의 한 작업에서 Fable 5, Opus 4.7, Sonnet 4.6을 비교했습니다. 이 작업은 에이전트가 SQL 데이터베이스에 접근하는 상태에서 연속적으로 일련의 질문에 답변해야 합니다. 각 질문은 독립적인 에이전트 세션이며, 메모리 기능이 제공됩니다.
이를 위해 메모리 기능이 있는 CMA를 사용했습니다. 각 에이전트에게는 마운트된 파일 시스템이 제공되며, 이 파일 시스템은 서로 다른 세션 간에 공유될 수 있습니다.

이 작업에서 메모리를 효과적으로 활용하려면 일반적으로 다음과 같은 점진적 과정이 필요합니다: 실패(오답을 기록), 조사(계속 진행하기 전에 오류 원인 파악), 검증(진단 결과를 검증된 사실로 전환), 정제(검증 결과를 일반 규칙으로 변환), 참조(이후 재추론 없이 규칙을 직접 읽음).
Sonnet 4.6은 대략 1단계에 머물렀습니다. 메모리 저장소는 실패 노트와 확정되지 않은 추측의 연속이었습니다. 예를 들어 "prc_usd 대신 prc를 사용해야 할까?"와 같은 내용이었습니다. 이전 노트를 거의 참조하지 않았습니다. 성능을 향상시키려면 작업별 메모리 사용 지침을 추가해야 했습니다.
Opus 4.7은 대략 3단계까지 진행되었습니다. 스키마 참조 문서를 생성하고 "prc가 센트 단위일 수도 있음? 확인 필요"와 같은 불확실성을 표시했습니다. 하지만 검증 범위는 높지 않았습니다. 질문의 7%에서 33%만을 검증했으며, 중간 실행 결과는 약 17%였습니다.
Fable 5는 전체 점진적 과정을 완료하는 경향을 보였습니다. 가장 우수한 실행에서는 검증 범위가 최대 73%에 달했으며, 이는 30개 질문 중 22개를 검증한 것입니다. 또한 학습한 내용을 일반 규칙으로 정제하여 후속 작업에 도움을 주었습니다.
따라서 Fable 5를 직접 프롬프트로 계속 유도하기보다는, 모델이 환경 피드백에 따라 스스로 오류를 수정할 수 있도록 /goal이나 Outcomes 같은 루프를 설계하고, 동시에 메모리 메커니즘을 통해 컨텍스트를 스스로 관리하게 하는 것이 더 나은 방법인 경우가 많습니다.
저는 여기서 제가 직접 수행한 소규모 실험 몇 가지만 공유했지만, Fable 5는 특히 자기 수정 루프나 메모리 메커니즘과 결합하여 고난이도 작업에서 직접 테스트해볼 가치가 충분히 있습니다.
시작하려면 저희 문서를 확인하거나, 최신 버전의 Claude Code에 직접 문의하세요. 내장된 /claude-api skill을 사용하여 프롬프트 모범 사례, /goal, Claude Managed Agents 또는 기타 API 기능 등 Fable 5에 대해 소개해 줄 것입니다.
[원문 링크]
BlockBeats 공식 커뮤니티에 참여하세요:
Telegram 구독 그룹:https://t.me/theblockbeats
Telegram 토론 그룹:https://t.me/BlockBeats_App
Twitter 공식 계정:https://twitter.com/BlockBeatsAsia