동찰 Beating AI 속보, OpenRouter가 기본 추론 라우팅 알고리즘을 업그레이드했다고 발표했습니다. 과거에는 주로 가격을 기준으로 추론 서비스 제공업체를 선택했지만, 이제는 속도, 안정성 및 실제 호출 비용을 종합적으로 고려하며 더 이상 무조건 가장 저렴한 서비스 제공업체를 선택하지 않습니다.
공식적으로 2,400만 건 이상의 요청을 테스트했습니다. 결과에 따르면 첫 토큰 응답 시간이 16.9% 단축되었고, 전체 요청 소요 시간이 19% 단축되었으며, 속도 제한 오류가 발생한 요청 비율이 7.1%에서 3.8%로 감소했습니다. 대신 1,000건당 요청 비용이 약 6% 증가했습니다.
새 알고리즘이 이미 출시되었으며, 사용자는 구성을 조정할 필요가 없습니다. 이번 최적화는 동일한 모델 뒤에 있는 추론 서비스 제공업체 선택을 대상으로 한 것이며, 모델 자체의 성능을 대상으로 한 것이 아닙니다.