홈
AI AI
속보
심층
이벤트
Pro
더보기
자금 조달 정보
특집
온체인 생태계
용어
팟캐스트
데이터
OPRR
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
XRP
$2.25
2.07%
DOGE
$0.325
2.23%
USDC
$0.999
3.05%
Partnered With:

FreeToken 오픈소스: 5090 한 장으로 DeepSeek-V4-Flash 실행, 최대 25 Token/s

동차 Beating AI 속보, 버클리, MIT 등 연구자들이 FreeToken을 오픈소스로 공개했습니다. 이는 로컬 기기 전용으로 설계된 MoE(혼합 전문가 모델) 추론 엔진으로, 초대형 모델이 GPU 메모리에 맞지 않는 문제를 주로 해결합니다. 일부 가중치를 시스템 메모리에 배치하고 CPU와 GPU가 함께 추론에 참여하도록 합니다.


FreeToken은 모델의 대량 전문가 가중치를 시스템 메모리에 배치하고, 일부만 GPU 메모리에 캐시합니다. GPU 메모리에 없는 전문가를 만나면 PCIe 및 CPU 메모리 대역폭을 기반으로 가중치를 GPU로 옮길지, 아니면 CPU에 직접 계산을 맡길지 동적으로 결정합니다. 이렇게 CPU, GPU, 시스템 메모리, PCIe가 함께 추론에 참여할 수 있습니다.


논문 실측에 따르면, RTX 5090이 장착된 게이밍 데스크톱에서 284B 파라미터의 DeepSeek-V4-Flash를 실행하면 22–25 Token/s를 달성할 수 있습니다. 이 모델은 토큰을 생성할 때마다 실제로 약 13B 파라미터만 활성화하므로, 이러한 CPU·GPU 혼합 추론에 특히 적합합니다.


FreeToken은 8GB GPU 메모리의 RTX 4060 노트북에서도 35B 모델을 39.3 Token/s로 실행했으며, 단일 96GB RTX PRO 6000에서는 753B 파라미터의 GLM-5.2를 실행하여 llama.cpp의 약 2배 속도를 달성했습니다. 현재 이 프로젝트는 20개 이상의 MoE 모델을 지원하며, Apache 2.0 라이선스로 오픈소스화되었습니다.

举报 오류 신고/제보
관련추천
이제 앞으로의 길은 더 이상 눈을 감고 갈 수 없게 되었다.
오류 신고/제보
제출
새 문고 추가
자신만 보기
공개
저장
문고 선택
새 문고 추가
취소
완료