홈
AI AI
속보
심층
이벤트
Pro
더보기
자금 조달 정보
특집
온체인 생태계
용어
팟캐스트
데이터
OPRR
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
XRP
$2.25
2.07%
DOGE
$0.325
2.23%
USDC
$0.999
3.05%
Partnered With:

희소 어텐션은 어떻게 더 속도를 높일 수 있을까? LSA는 GLM 천만 토큰에서 단일 레이어를 22.7배 빠르게 만든다

동찰 Beating AI 속보, 영국 AI 연구기관 Prefrontal과 취리히 연방공과대학 연구자들이 초장문 컨텍스트를 위한 희소 어텐션 기술인 Latent Sparse Attention(LSA)을 오픈소스로 공개했다.


DeepSeek, MiniMax, 지푸 등 모델은 이미 희소 어텐션을 채택해 매번 소량의 핵심 Token만 처리하여 연산을 줄이고 있다. 그러나 이러한 Token을 찾기 위해 많은 기존 방법은 여전히 경량 인덱서로 전체 히스토리 정보를 스캔하며 하나씩 점수를 매겨야 한다. 연구자들은 1000만 Token의 GLM-5.3-Flash 실험에서 단일 레이어 희소 어텐션의 프리필 시간 중 98%가 정보 선별에 소요된다는 것을 발견했다.


LSA는 먼저 콘텐츠 유사도를 기반으로 서로 다른 위치의 Token을 그룹으로 군집화한 뒤, 인덱서가 이 그룹들에 점수를 매겨 관련 Token을 선별한다. 이렇게 하면 원래 하나씩 검사해야 했던 Token을 그룹 단위로 먼저 필터링할 수 있다. 팀은 또한 다단계 인덱스를 구축해 모델이 매번 모든 그룹을 조회하지 않고 층별로 검색 범위를 좁힐 수 있도록 시도했다.


연구자들은 LSA를 GLM-5.3-Flash와 Qwen-3.8-27B에 접목하여 기존 모델 가중치는 유지하고 소량의 인덱스 파라미터만 추가 학습했다. NVIDIA H200에서 GLM의 단일 레이어 프리필은 기존 희소 어텐션보다 22.7배 빨랐고, 전체 모델의 첫 Token 지연은 약 55% 감소했다. Qwen은 기존 전체 어텐션 대비 단일 레이어 프리필이 72.4배 빨랐으며, 전체 모델의 첫 Token 지연은 약 89% 감소했다.


다만 최고 가속 성적은 여전히 모든 그룹을 스캔해야 하는 버전에서 나왔다. 검색량을 더 줄일 수 있는 다단계 인덱스는 GLM 천만 Token 테스트에서 뚜렷한 정확도 하락이 나타났다.


정확도를 유지하면서 검색이 전체 히스토리를 순회하지 않아도 된다면, AI는 수천만 Token의 코드, 문헌, 장기 Agent 실행 기록을 더 효율적으로 처리할 기회를 얻게 된다. 현재 LSA는 의미 기반 그룹화의 가속 효과를 검증했지만, 다단계 검색은 추가 개선이 필요하다.

举报 오류 신고/제보
오류 신고/제보
제출
새 문고 추가
자신만 보기
공개
저장
문고 선택
새 문고 추가
취소
완료