홈
AI AI
속보
심층
이벤트
Pro
더보기
자금 조달 정보
특집
온체인 생태계
용어
팟캐스트
데이터
OPRR
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
XRP
$2.25
2.07%
DOGE
$0.325
2.23%
USDC
$0.999
3.05%
Partnered With:

수조 개의 파라미터를 가진 대규모 모델의 강화 학습 장벽을 허물다: 오픈소스 prime-rl이 28대의 서버로 131k 컨텍스트를 훈련시키다

동차 Beating 모니터링에 따르면, Prime Intellect가 분산 강화 학습 훈련 프레임워크 prime-rl 0.6.0 버전을 출시하여, 초장기 컨텍스트 에이전트 작업에서 수조 개의 파라미터를 가진 혼합 전문가 모델 MoE의 강화 학습 RL 훈련 장벽을 돌파했습니다.

대규모 모델이 256k의 초장기 텍스트를 모두 읽는 것은 드문 일이 아니지만, 강화 학습 훈련에서 모델이 자율적인 시행착오를 통해 추론 연습을 하도록 하려면, 그래픽 카드가 131k 길이의 방대한 중간 활성화 값을 전체적으로 저장해야 하므로, VRAM 사용량이 수백 수천 배 급증합니다. 이전에는 수천 개의 그래픽 카드로 구성된 거대한 클러스터가 필요했지만, prime-rl 0.6.0은 단 28대의 H200 서버만으로 GLM-5의 131k 컨텍스트 강화 학습 훈련을 실행했으며, 단일 단계 소요 시간을 5분 이내로 제어했습니다.

복잡한 코드 생성과 같은 시행착오 작업에서 극소수의 장기 지연 작업이 전체 단계를 차단하여 그래픽 카드 리소스가 장기간 유휴 상태가 되는 문제를 해결하기 위해, 프레임워크는 기존의 동기 대기 메커니즘을 깨고 완전히 분리된 비동기 RL 아키텍처를 채택했습니다. 백그라운드 트레이너는 새 가중치를 계산한 후, 진행 중인 시행착오 작업이 끝날 때까지 기다릴 필요 없이, 모델이 텍스트를 생성하는 동안 실시간으로 업데이트를 전달합니다. 이미 배포된 작업은 속도를 보장하기 위해 이전 정책을 계속 사용하고, 새 작업은 KV-cache 솔트를 주입하여 캐시를 강제로 재구축합니다. 비동기 업데이트에서 훈련과 추론 단계가 일치하지 않아 모델 논리가 혼란스러워지는 문제를 해결하기 위해, 프레임워크는 라우팅 재생 R3 기술을 도입하여, 기본 수준에서 전문가 데이터 배포를 직접 처리함으로써 데이터 변환으로 인한 시스템 지연을 방지하고, 양측의 불일치도를 10분의 1로 줄여 비동기 훈련을 크게 안정화했습니다.

기본 리소스 압착 측면에서, 프레임워크는 세밀한 설계를 통해 그래픽 카드 VRAM이 긴 텍스트로 인해 폭발하는 문제를 완전히 해결했습니다. 추론 측은 읽기와 쓰기 계산을 분리하는 아키텍처를 채택하여, 대규모 모델이 많은 양의 이전 프롬프트를 읽음으로써 후속 텍스트 생성이 중단되는 것을 방지합니다. 동시에 여러 그래픽 카드를 결합하여 전문가 지식을 공유하고, Mooncake 기술을 활용하여 여러 서버의 유휴 메모리와 하드 디스크를 하나의 공유 캐시 풀로 구성합니다. 초장기 텍스트의 병렬 계산에서, GLM-5의 독특한 DSA 희소 주의 메커니즘을 위해 프레임워크는 맞춤형 병렬 방안을 설계하여, 모델이 전체를 조망할 수 있도록 보장하면서 각 계층의 그래픽 카드 간 데이터 통신 오버헤드를 단 한 번으로 줄였습니다. 훈련 측은 DeepGEMM과 결합하여 DeepSeek V3가 제안한 블록 스케일링 FP8 훈련을 구현함으로써, 훈련과 추론 측이 동일한 정밀도와 계산 커널을 사용하도록 하여, 정밀도 편차로 인한 훈련 붕괴를 근본적으로 제거했습니다.

오류 신고/제보
제출
새 문고 추가
자신만 보기
공개
저장
문고 선택
새 문고 추가
취소
완료