홈
AI AI
속보
심층
이벤트
Pro
더보기
자금 조달 정보
특집
온체인 생태계
용어
팟캐스트
데이터
OPRR
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
XRP
$2.25
2.07%
DOGE
$0.325
2.23%
USDC
$0.999
3.05%
Partnered With:

MiniMax가 Blackwell 전용 어텐션 라이브러리를 오픈소스로 공개했으며, M3 가중치는 이번 주 금요일에 공개될 예정입니다.

동차 Beating 모니터링에 따르면, MiniMax 개발자 관계 책임자 Ryan Lee는 NVIDIA Blackwell(SM100) GPU를 대상으로 한 고성능 어텐션 라이브러리 MiniMax Sparse Attention(MSA)이 MIT 라이선스로 정식 오픈소스화되었다고 발표했습니다. Ryan Lee는 또한 MiniMax-M3 가중치가 이번 주 금요일에 공개될 예정이라고 밝혔습니다.

MSA는 이미 MiniMax-M3의 백만 수준 컨텍스트 추론에 적용되어, 각 GQA 그룹에서 가장 관련성 높은 KV 블록을 필터링하고 선택된 블록에 대해서만 어텐션 연산을 수행합니다. 논문에 따르면, 100만 토큰 컨텍스트에서 동일한 구성의 Dense GQA와 비교하여 MSA는 어텐션 연산량을 28.4배 줄이고, H800 GPU에서 14.2배의 프리필 가속과 7.6배의 디코딩 가속을 달성했습니다.

오픈소스 버전은 동일한 Python 패키지에 C++ JIT와 CuTe-DSL 두 가지 구현을 통합했으며, Dense FlashAttention과 Sparse Top-k Attention Kernel을 함께 제공하고 BF16, FP8, NVFP4, FP4 등 다양한 정밀도 형식을 지원합니다. 현재 주로 NVIDIA Blackwell(SM100) GPU 배포를 대상으로 합니다.

举报 오류 신고/제보
관련추천
돈이 적고 카드가 적으며 사람이 적을수록 극한의 엔지니어링 능력과 아키텍처 혁신을 이끌어 냈습니다.
골드만삭스는 MiniMax가 신제품과 비용 우위를 바탕으로 밸류에이션을 회복할 것으로 전망했다.
브랜드나 마케팅에 의존하지 않고, 8일 만에 개발자들이 발을 투표하도록 함
엔비디아가 중국 대규모 모델 훈련에서의 친수를 "필수"에서 "선택 사항"으로 낮췄습니다.
오류 신고/제보
제출
새 문고 추가
자신만 보기
공개
저장
문고 선택
새 문고 추가
취소
완료