70여 명 이상의 사용자가 가정용 GPU를 사용하여 72 억 개의 매개변수가 포함된 대규모 모델을 분산 학습했습니다. 황인훈: 오픈 소스와 닫힌 소스는 "A 또는 B가 아니라 A와 B"입니다.

따르면 1M AI News 에 따르면, 분산형 AI 네트워크 Bittensor 의 Subnet 3(Templar) 가 최근에 역사상 가장 큰 규모의 분산형 대형 모델 사전 훈련을 완료했습니다. 이 프로젝트의 코드 명은 Covenant-72B 이며, 모델의 파라미터 양은 720 billion 이며 훈련 데이터 양은 대략 1.1 trillion 토큰입니다. 이 훈련은 70 명 이상의 참여자들이 보통의 소비자 하드웨어를 사용하여 네트워크 간 협업을 통해 완료되었으며, 중앙 집중식 컴퓨팅 파워 인프라가 필요하지 않았습니다. 벤치마킹 결과는 LLaMA-2-70B 와 유사한 성능이었습니다.

이러한 성과는 All-In 팟캐스트 인터뷰에서 언급된 이후, NVIDIA CEO 황련훈이 오픈 소스와 클로즈드 소스의 관계에 대해 명확한 입장을 표명했습니다. 그는 "A 인지 B 인지가 아니라 A 와 B 가 함께 하는 것입니다, 의심의 여지가 없습니다" 라고 말했습니다. 그는 일반 모델(ChatGPT, Claude, Gemini 와 같은) 이 대부분의 사용자에게 적합하며, "산업 전용 도메인 지식은 오픈 소스 모델로만 캡슐화 및 제어할 수 있으며, 이것이 오픈 소스의 근간적인 가치입니다" 라고 강조했습니다. 그는 또한 현재 NVIDIA 가 투자하는 모든 초기 창업기업은 "우선 오픈 소스 모델을 채택하고 단계적으로 클로즈드 소스 모델로 전환할" 예정입니다.