MiniMax가 3분기에 2.7조 파라미터 모델을 오픈소스화할 예정이며, 이는 세계 최대 규모의 오픈소스 대형 모델이 될 전망이다.

동차 Beating의 모니터링에 따르면, The Information이 소식통을 인용해 MiniMax가 2.7조 개의 파라미터를 가진 대규모 언어 모델을 개발 중이며, 빠르면 3분기에 출시될 가능성이 있고 오픈소스로 공개할 계획이라고 보도했습니다. 모델의 내부 코드명은 M3 Pro이지만, 최종 출시명은 아직 확정되지 않았습니다.

계획대로 가중치가 공개된다면, 이 모델은 전 세계에서 가장 큰 파라미터 규모를 가진 오픈소스 대형 모델이 될 것으로 예상됩니다. MiniMax의 기존 플래그십 모델 M3는 4280억 개의 파라미터를 가지고 있으며, 새 모델의 규모는 M3의 약 6.3배로, 현재 여러 조 단위의 오픈 가중치 모델을 초과할 것입니다.

더 큰 파라미터 규모는 일반적으로 복잡한 추론 및 다단계 명령 작업에 유리하지만, 최종 성능은 여전히 훈련 품질, 활성화 파라미터, 추론 비용 및 평가 결과에 달려 있습니다.