Anthropic이 제3자 직원 수준 권한을 부여했고, 오랜 파트너인 액센츄어가 가장 먼저 진입했다

동찰 Beating AI 속보, Anthropic이 공식적으로 '내장형 평가'를 시작한다. 액센추어 산하 AI 기업 Faculty가 Anthropic 내부에 인력을 파견해 모델 평가 및 레드팀 테스트, 정렬 평가를 수행하고 안전 조치를 점검할 예정이다.

이는 일반적인 외부 평가와 크게 다르다. 평가자는 직원에 준하는 권한을 받아 모델 훈련 과정을 열람하고, 개발 및 배포 결정을 파악하며, 내부 직원과 직접 소통할 수 있다.

양측은 향후 5년간 각각 최소 10억 달러를 투자해 이 평가 체계를 구축한다. Anthropic도 현재 업계에 통일된 규칙조차 없으며, 평가자가 구체적으로 무엇을 볼 수 있는지, 결과를 어떻게 공개할지, 비용은 누가 부담할지 아직 정해지지 않았다고 인정했다. 현재 액센추어의 평가 작업 비용은 Anthropic이 직접 지불하고 있다.

그러나 액센추어 자체가 Anthropic의 장기 전략 파트너이며, Anthropic Business Group을 별도로 설립해 약 3만 명에게 Claude 사용법을 교육하고 있다. AI Evaluator Forum이 같은 날 제시한 최소 조건 중 하나는 바로 평가 기관이 피평가 기업과 중대한 상업적 거래 관계를 맺어서는 안 된다는 것이다.

Anthropic은 이후 다른 평가 기관도 도입할 예정이며, METR(역시 Anthropic의 오랜 파트너) 등 비영리 단체와도 시범 사업을 논의 중이다.