Cline이 Kimi에게 자체 호스팅 비용을 계산해줌: 실제로는 10%만 절약되며, 연간 비용이 50만 달러 미만이면 굳이 할 필요 없음

동차 Beating 모니터링에 따르면, AI 프로그래밍 도구 Cline이 실제 프로덕션 트래픽을 활용해 Kimi K2.6의 자체 호스팅 비용을 측정했습니다. 매월 5830억 개의 토큰을 처리하며, 전량 API를 통해 처리할 경우 약 18만 5000달러가 소요됩니다. 트래픽이 적은 시간대에는 16장의 B200을 구성하고, 하루 종일 최대 부하로 기본 트래픽을 처리하며 나머지 요청은 API를 통해 처리할 경우 청구 금액이 16만 6000달러로 줄어들며, 약 10%만 절감됩니다.

Cline은 시간대별로 GPU를 동적으로 증감하면 절감 폭을 22%에서 25%까지 높일 수 있다고 추정했습니다. 커널, 배치 처리 및 지연 시간 요구 사항을 추가로 최적화하면 이론적으로 35%에서 40%까지 절감 가능하지만, 이러한 방안은 아직 실제로 배포되지 않았습니다.

자체 호스팅의 진입 장벽도 높습니다. Cline은 연간 API 지출이 50만 달러 미만일 경우, 절감된 비용이 일반적으로 추론 엔지니어 비용을 충당하지 못한다고 판단했습니다. 100만 달러에서 200만 달러에 도달한 후에야 비용 효율성이 더 높아질 가능성이 있습니다. 이 계산은 Kimi K2.6을 기준으로 한 것이므로 Kimi K3에 직접 적용할 수 없습니다.