Anthropic은 Claude를 사용해 핵심 API를 재작성하여 CPU 사용량을 40%에서 50%까지 절감했다

동찰 Beating AI 속보, Anthropic 플랫폼 엔지니어링 책임자 Katelyn Lesse가 Latent Space 인터뷰에서 회사가 Messages API를 Python에서 Rust로 마이그레이션했다고 밝혔다. 개편 후 API 서비스의 CPU 사용량은 그녀의 추산에 따르면 약 40%에서 50% 감소했고, 첫 번째 Token의 응답 지연은 약 10%에서 20% 개선되었다.

Messages API는 개발자들이 Claude를 호출하는 주요 인터페이스이다. 요청량이 계속 증가하면서 기존의 Python 모놀리식 서비스는 CPU를 점점 더 많이 소모하게 되었고, 팀은 Rust로 직접 재작성하기로 결정했다. 그러나 프로젝트 시작 당시 마이그레이션을 담당한 그룹에는 Rust 엔지니어가 한 명도 없었다.

최종적으로 Claude가 주요 코드 작성을 담당하고, 인간 엔지니어는 아키텍처 설계와 검증을 맡았다. 팀은 먼저 완전한 Rust 버전을 구축하여 신구 시스템이 동일한 요청을 처리하도록 하고, 출력을 하나씩 비교한 뒤 점진적으로 실제 트래픽을 전환했다. 과정에서 Rust 경험이 있는 엔지니어 몇 명도 채용했다.

Lesse는 과거 이러한 규모의 마이그레이션은 보통 여러 단계로 나누어 수년이 걸렸다고 말했다. 이번에 팀은 전체 API 마이그레이션을 한 번에 완료했으며, 이미 9월에 전면 출시되었다.