OpenRouter가 Jev를 스마트 라우팅에 통합: 모델 교체 전 캐시 손실을 먼저 계산한다

동찰 Beating AI 속보, OpenRouter가 Jev Router를 출시하여 TypeSafe의 Jev를 모델 라우팅에 연결했습니다. 매 요청이 나가기 전에 Jev는 작업 난이도, 정밀도 요구사항, 그리고 현재 모델과 추론 등급이 충분한지를 판단한 후, 계속 유지할지, 추론 강도를 높일지, 아니면 다른 모델로 교체할지를 결정합니다.

OpenRouter의 기존 Auto Router는 작업 유형에 따라 모델을 선택하는 쪽에 더 가까웠습니다. 먼저 이것이 어떤 작업인지 판단한 다음, 지난 7일간 동일 유형 요청에서 각 모델의 사용 상황을 참고하여 경로를 선택합니다. Jev Router는 이번 라운드가 얼마나 어려운지를 계속 살핍니다. 간단한 작업은 등급을 낮출 수 있고, 어려운 문제는 reasoning effort를 높일 수 있으며, 같은 모델로 여전히 해결할 수 있다면 굳이 모델을 바꾸지 않습니다.

여기에는 매우 현실적인 문제도 하나 있는데, 바로 컨텍스트 캐시입니다. 긴 대화에서 모델을 바꾸면 이미 캐시된 컨텍스트는 보통 바로 재사용할 수 없고, 새 모델은 전체 채팅 기록을 다시 처리해야 할 수 있습니다. Jev Router는 이 부분의 손실도 계산에 넣습니다. OpenRouter에 따르면, 모델 교체로 인한 기대 이익이 전환 비용보다 높을 때만 실제로 모델을 바꾸며, 같은 모델도 최대한 계속 사용합니다.

OpenRouter의 자체 테스트에 따르면, 4개 Agent benchmark 총 423개 작업 중 Jev Router는 237개를 완료했고, Auto Router는 130개를 완료하여 약 82% 더 많은 작업을 해결했습니다.另外 5개 Agent benchmark에서는 첫 토큰 중위 지연도 테스트에 참여한 다른 라우터보다 낮았습니다.

유사한 접근은 이전에 이미 Jev 커뮤니티에서 나타났습니다. 예를 들어 `gholtzap/jev-codex-model-and-effort-router`는 먼저 Jev가 Codex의 모델과 추론 등급을 선택하게 한 다음, 전체 스레드를 고정하여 캐시를 재사용합니다. `Jev-Auto-Router`는 호출별로 모델을 다시 선택하려고 시도합니다. OpenRouter는 이번에 이런 방식들을 공식 라우팅 서비스에 직접 구현했습니다.