Jev가 Attention 관리를 시작했고, MiniMax H3의 생성 시간이 41.7% 줄었다

동찰 Beating AI 속보, 일본 개발자 Kamimoto가 Jev를 MiniMax H3의 영상 생성 프로세스에 연결했다. 이는 각 레이어의 실행 상태에 따라 1%, 3%, 5%, 10% 네 가지 중에서 Attention을 얼마나 유지할지 선택하고, Sparse Attention이 구체적으로 어떤 계산을 생략할 수 있는지 결정한다.

RTX 4070 12GB에서 약 5초 분량의 영상을 동일하게 생성할 때, 원본 4-step 방식은 6분 07초가 걸리지만, Sparse Attention + Jev 동적 제어를 추가하면 3분 34초로 줄어들어 총 소요 시간이 41.7% 단축된다.

하지만 이 41.7%를 전부 Jev의 공으로 돌릴 수는 없다. Sparse Attention 자체만으로도 Attention 일부를 덜 계산하여 속도를 높일 수 있으며, 고정적으로 5% 또는 10%를 유지해도 빨라진다. Jev가 하는 일은 동적 조절이다: 중요한 레이어는 더 많이 계산하고, 중요하지 않은 레이어는 덜 계산한다.

현재로서는 이러한 동적 조절이 고정 비율보다 화질이 반드시 더 좋다고 증명할 수 없으며, 저자도 품질이 아직 충분히 검증되지 않았다고 명확히 밝혔다. 실험 코드는 이미 오픈소스로 공개되었다.