동차 Beating 모니터링에 따르면, Baseten 연구팀이 KV 캐시 압축 방법 Still을 발표했습니다. 이 방법은 베이스 모델 파라미터를 고정하고 경량화된 Perceiver 압축기만 학습하여, 단일 순방향 전파로 KV 캐시 압축을 완료하며 최대 200배 압축을 지원합니다. 온라인 최적화나 그래디언트 업데이트가 필요하지 않습니다.
기존 KV 압축 방법은 크게 두 가지로 나뉩니다. 첫 번째는 원본 토큰에서 중요한 캐시를 선별하는 방식으로 SnapKV와 H2O가 이에 해당합니다. 두 번째는 새로운 압축 캐시를 직접 생성하는 방식이지만, 각 컨텍스트에 대해 온라인 최적화가 필요한 경우가 많습니다. Still은 분할 상환 합성(Amortized Synthesis) 접근법을 채택하여, Transformer의 각 레이어에 베이스 모델 파라미터의 약 1% 규모인 Perceiver 압축기를 추가하고, 암시적 쿼리를 통해 전체 KV 캐시에 대해 교차 어텐션을 수행하여 새로운 압축 KV 캐시를 직접 생성합니다.
Qwen 및 Gemma 모델 테스트에서 Still은 8k~64k 컨텍스트, 8~200배 압축률 범위 내에서 높은 정확도를 유지했습니다. 긴 컨텍스트 벤치마크 RULER에서 Still은 대부분의 설정에서 SnapKV, H2O 및 KV-Distill 등의 방법을 능가했으며, matched-training 작업에서는 KV-Distill보다 약 8~22% 포인트 앞섰습니다. HELMET 다중 문서 요약 테스트에서 압축된 캐시는 전체 컨텍스트 성능 이점의 74%~95%를 복원할 수 있었습니다.
원본 토큰을 유지하거나 온라인 최적화에 의존하는 방식과 달리, Still은 KV 압축을 단일 순방향 추론으로 완료할 수 있는 학습 과정으로 전환하여, 초장기 컨텍스트 추론을 위한 새로운 캐시 압축 경로를 제공합니다.
