BlockBeats 뉴스, 6월 27일 - Coinbase CEO 브라이언 암스트롱은 토큰 사용량이 기하급수적으로 증가하는 동시에 AI 지출을 안정적으로 유지하려면 사용 장벽이나 지출 알림을 설정하는 것이 아니라 더 나은 기본 모델, 라우팅 및 캐싱 메커니즘이 핵심이라고 밝혔습니다. Coinbase는 LLM 게이트웨이를 통해 기본적으로 GLM 5.2, Kimi 2.7 등 오픈 웨이트 모델을 사용하도록 시도하고 있으며, 동시에 엔지니어가 작업에 따라 적합한 모델을 선택하도록 장려하고 있습니다. 그는 91%의 직원이 사용 한도에 도달한 적이 없기 때문에 회사는 한도를 낮추고 알림을 늘리는 대신 비용 효율적인 기본 모델로 전환했다고 설명했습니다.
모델 라우팅 측면에서 Coinbase는 맞춤형 프로세스에서 프롬프트를 사전 처리하고, 캐시 적중률과 모델 가격을 기준으로 작업을 가장 적합한 모델로 라우팅합니다. 예를 들어, 계획 단계에서는 최첨단 모델이 필요할 수 있지만 실행 단계에서 최첨단 모델을 사용하는 것은 과도할 수 있습니다. 그는 미래에는 인간이 모델을 선택하는 것이 아니라 AI가 자동으로 이 작업을 수행할 수 있다고 생각합니다.
암스트롱은 또한 캐시 미스가 비용을 증가시키는 가장 쉬운 방법이라고 지적했습니다. Coinbase의 모든 요청은 캐시 인식 기능을 갖추고 있어 핫 캐시를 최대한 재사용할 수 있습니다. 예를 들어, 캐시를 올바르게 구현한 후 LibreChat의 캐시 적중률은 5%에서 60%로 향상되었습니다. 또한 Coinbase는 엔지니어에게 작업 전환 시 새 세션 시작, 파일 컨텍스트 범위 축소, 사용하지 않는 도구 연결 해제 등 컨텍스트를 간결하게 유지하도록 요구합니다. 목표는 AI 사용량을 억제하는 것이 아니라 기하급수적 성장을 지원할 수 있는 인프라를 구축하는 것입니다. 이러한 실천을 통해 Coinbase는 AI 지출을 거의 절반으로 줄였으며, 동시에 토큰 사용량은 계속 증가하고 있습니다.