홈
AI AI
속보
심층
이벤트
Pro
더보기
자금 조달 정보
특집
온체인 생태계
용어
팟캐스트
데이터
OPRR
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
XRP
$2.25
2.07%
DOGE
$0.325
2.23%
USDC
$0.999
3.05%
Partnered With:

구글, 오픈소스 텍스트 확산 모델 'DiffusionGemma' 공개: 단일 GPU 기준 초당 1,000토큰 이상 처리, 속도 4배 향상

동차 Beating 모니터링에 따르면, 구글이 실험적 오픈소스 대형 모델 DiffusionGemma를 발표했습니다. 이 모델은 확산(diffusion) 기반의 새로운 텍스트 생성 메커니즘을 채택하여 기존 대형 언어 모델의 단어 순차 생성 제약을 깨뜨렸습니다. DiffusionGemma는 총 26B 파라미터를 보유하며, 혼합 전문가(MoE) 아키텍처에서 각 순방향 전파 시 3.8B 파라미터만 활성화됩니다. 텍스트 블록을 병렬로 생성하여 로컬 GPU 추론에서 최대 4배의 속도 향상을 달성합니다.

기존의 '타자기식' 단어 순차 생성과 달리, DiffusionGemma의 작동 방식은 이미지 생성과 유사합니다. 먼저 캔버스에 무작위 자리 표시자를 생성한 후, 여러 시간 단계 반복을 통해 노이즈를 제거하고 올바른 텍스트를 고정합니다. 각 순방향 전파는 256개의 토큰을 병렬로 생성할 수 있으며, 모든 토큰이 양방향 어텐션 상호작용을 가능하게 합니다. 양방향 어텐션 메커니즘은 코드 채우기, 인라인 편집, 수학 공식 생성과 같은 비선형 생성 작업에서 뚜렷한 이점을 제공하지만, DiffusionGemma의 전반적인 출력 품질은 현재 표준 Gemma 4보다 낮습니다.

하드웨어 테스트 및 추론 속도 성능에서, 단일 NVIDIA H100 GPU는 초당 1000개 이상의 토큰 생성 속도를 달성하며, 소비자용 NVIDIA GeForce RTX 5090 GPU도 700개 이상의 토큰을 처리합니다. 4비트 부동소수점(NVFP4) 양자화 후, 추론 메모리 사용량은 18GB 이하로 줄어들어 로컬 배포 장벽을 크게 낮췄습니다.

DiffusionGemma 가중치는 Hugging Face에서 오픈소스로 공개되었으며, MLX, vLLM, Unsloth 및 NVIDIA NeMo 등 주요 개발 도구의 지원을 받고 있습니다.

举报 오류 신고/제보
관련추천
내부 정보란 예측 시장 데이터 조작과 구글 알고리즘 조작을 말합니다.
아마도 어떤 장소가 가장 좋은 때는 바로 그곳이 사람을 떠나보내야 할 때일지도 모른다.
오류 신고/제보
제출
새 문고 추가
자신만 보기
공개
저장
문고 선택
새 문고 추가
취소
완료