동차 Beating 모니터링에 따르면, 위챗 팀이 자체 개발한 WeLM 대형 모델의 두 가지 구성을 공개했습니다. WeLM-80B는 총 파라미터 800억 개로, 매번 30억 개의 파라미터만 활성화하며 현재 위챗 네이티브 AI 에이전트 '샤오웨이'에 배포되어 채팅 검색, 위챗 네이티브 기능 및 미니 프로그램 서비스 호출을 담당합니다.
더 큰 WeLM-617B는 아직 개발 중이며, 총 파라미터는 6170억 개, 매번 230억 개를 활성화하며 MoE 아키텍처를 채택했습니다. 위챗은 이 모델이 일반적인 이해 및 추론 능력을 강화하여 주로 더 복잡한 위챗 생태계 작업, 즉 스마트 미니 프로그램 개발 및 샤오웨이용 도구 생성에 초점을 맞출 것이라고 밝혔습니다.
텐센트는 오늘 2분기 실적 발표에서도 샤오웨이가 위챗 내에서 소규모 그레이 테스트 중이며, 사용자 프라이버시, 위챗 시나리오 및 추론 효율성에 맞춰 맞춤화된 WeLM에 의해 구동된다고 언급했습니다.
WeLM-80B와 617B는 이전에 위챗 팀의 7월 Hidden Decoding 논문에 등장한 바 있습니다. 이번에 두 모델의 제품 포지셔닝이 더욱 명확해졌습니다: 80B는 이미 샤오웨이에 실제 서비스를 제공하고 있으며, 617B는 더 복잡한 에이전트 및 도구 호출 작업을 겨냥하고 있습니다.