홈
AI AI
속보
심층
이벤트
Pro
더보기
자금 조달 정보
특집
온체인 생태계
용어
팟캐스트
데이터
OPRR
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
XRP
$2.25
2.07%
DOGE
$0.325
2.23%
USDC
$0.999
3.05%
Partnered With:

구글이 초경량 Gemma 4 모델을 출시하며, 스마트폰에서 로컬로 실행할 때 필요한 메모리 용량이 처음으로 1GB 미만으로 낮아졌다.

동차 Beating 모니터링에 따르면, 구글이 Gemma 4 대형 모델의 양자화 압축 버전 모델 가중치를 공개했습니다. 양자화는 수치 정밀도를 낮춰 모델 크기를 줄이는 기술이지만, 일반적으로 모델 성능 저하를 초래합니다. 정밀도 손실 문제를 해결하기 위해, 구글은 이번에 양자화 인식 훈련 기술을 도입하여 모델 훈련 과정에서 압축 상태를 미리 시뮬레이션하고, 모델이 저정밀도 환경에 자동으로 적응하도록 함으로써 모델 크기를 대폭 줄이면서도 높은 지능 수준을 유지할 수 있게 했습니다.

전용 모바일 압축 기술을 통해, Gemma 4 E2B 순수 텍스트 모델은 스마트폰 등 엣지 디바이스에서 실행 시 메모리 사용량을 1GB 미만으로 낮출 수 있습니다. 모바일 기기에서의 원활한 실행을 보장하기 위해, 구글은 모바일 칩에 맞춤형 최적화를 진행했습니다. 개발팀은 대부분의 연산 작업을 훈련 단계에서 미리 완료하여 스마트폰 칩의 실시간 부담을 줄이고, 모바일 하드웨어에 더 적합한 연산 구조를 사용하여 네이티브 가속을 구현했습니다. 또한, 어휘표와 캐시를 심층 압축했습니다. 특히, 토큰 생성에 관여하는 특정 레이어에는 2비트 극한 압축을 적용하고, 핵심 추론 레이어만 고정밀도로 유지하여 저장 공간을 최대한 절약하면서도 핵심 로직 성능에 영향을 주지 않도록 했습니다.

새로운 모델 가중치는 현재 Hugging Face에서 오픈소스로 공개되었습니다. 개인 사용자는 Ollama 및 LM Studio를 통해 개인 PC에 직접 다운로드하여 실행할 수 있습니다. 모바일 및 웹 개발자의 경우, 새로운 가중치는 LiteRT-LM 엔진을 동시에 지원하며, Transformers.js를 통해 웹에서 직접 실행할 수 있습니다. 또한, vLLM, SGLang 및 Apple 칩 가속 도구 MLX도 호환성을 완료하여 개발자가 신속하게 배포할 수 있도록 지원합니다.

举报 오류 신고/제보
관련추천
내부 정보란 예측 시장 데이터 조작과 구글 알고리즘 조작을 말합니다.
아마도 어떤 장소가 가장 좋은 때는 바로 그곳이 사람을 떠나보내야 할 때일지도 모른다.
오류 신고/제보
제출
새 문고 추가
자신만 보기
공개
저장
문고 선택
새 문고 추가
취소
완료