홈
AI AI
속보
심층
이벤트
Pro
더보기
자금 조달 정보
특집
온체인 생태계
용어
팟캐스트
데이터
OPRR
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
XRP
$2.25
2.07%
DOGE
$0.325
2.23%
USDC
$0.999
3.05%
Partnered With:

엔비디아, AMD, 인텔이 이례적으로 손잡다: 9개 기업이 SGLang 오픈소스 추론 연합을 공동 구축

동찰 Beating AI 속보, 첫 SGLang Summit에서 평소 치열하게 경쟁하던 NVIDIA, AMD, Intel이 드물게 같은 진영에 섰다.


세 반도체 거대 기업은 Google, Meta, Thinking Machines Lab, Cloudflare, Modal, RadixArk와 함께 SGLang 연합의 9개 창립 멤버로 참여해 이 오픈소스 AI 추론 엔진의 향후 로드맵 수립에 참여한다. 이번 서밋에는 2000명 이상이 현장에서 참석했다.


SGLang은 대형 모델 런타임의 기반 소프트웨어로, 사용자 요청 처리, GPU 스케줄링, VRAM 관리, 연산 결과 재사용을 담당한다. 이는 칩 하나가 AI 모델을 얼마나 빠르고 저렴하게 실행할 수 있는지를 직접 결정한다.


SGLang은 이전부터 NVIDIA, AMD, Intel 등 다양한 하드웨어를 지원해 왔다. 이번 연합 결성은 칩 제조사들이 엔지니어와 테스트 리소스를 투입하고 각자 하드웨어의 성능 최적화를 추진하며 보다 체계적으로 공동 개발에 참여하게 됨을 의미한다.


연합 멤버들은 매년 두 차례 로드맵 회의를 개최하지만, 최종 기술 결정과 코드 병합 권한은 여전히 SGLang 유지보수 팀이 보유한다.


SGLang 측은 현재 332개 기관이 이 프로젝트를 도입했다고 밝혔다. Meta도 서밋에서 이전 추론 방식 대비 SGLang으로 전환한 후 대규모 프로덕션 환경에서 GPU 리소스를 절반 이상 절감했다고 공개했다.


서밋에서는 SGLang v1.0의 개발 방향도 발표되었으며, 프로덕션 환경의 안정성과 호환성 향상에 중점을 두고 있으며 정식 버전은 아직 개발 중이다. 또한 SGLang은 AWS Trainium 칩의 공개 프리뷰 지원을 출시했고, Intel과 협력해 CPU, GPU 및 가속기를 최적화했다. 강화학습 프레임워크 Miles v0.2도 출시되었다.

举报 오류 신고/제보
오류 신고/제보
제출
새 문고 추가
자신만 보기
공개
저장
문고 선택
새 문고 추가
취소
완료