메이투안이 최초로 훈련부터 추론까지 전 과정에 국산 칩을 사용한 조 단위 대형 모델 LongCat-2.0을 오픈소스로 공개했습니다.

동차 Beating 모니터링에 따르면, 메이퇀(美团)이 초대규모 혼합 전문가(MoE) 모델인 LongCat-2.0을 오픈소스로 공개했습니다. 이 모델은 총 1.6조 개의 파라미터를 보유하며, 단일 토큰 활성화 파라미터는 약 480억 개, 1M 초장기 컨텍스트를 지원합니다.

이는 업계 최초로 국산 컴퓨팅 파워로 훈련 및 추론 전 과정을 완료한 조 단위 파라미터 대규모 모델입니다. 5만 장 이상의 국산 AI 칩 클러스터에서 35조 개의 토큰 사전 훈련을 완료하며, 국산 컴퓨팅 파워가 최첨단 대규모 모델을 수용할 수 있는 엔지니어링 안정성을 성공적으로 입증했습니다.

LongCat-2.0의 핵심 업데이트는 장기 컨텍스트와 추론 효율성에 집중되어 있습니다. LongCat Sparse Attention(LSA)은 희소 어텐션 인덱스로 인한 메모리 읽기 및 계산 오버헤드를 해결하기 위해, 스트림 인식 인덱스, 교차 레이어 인덱스 및 계층적 인덱스를 도입하여 장문 추론 시 인덱스 읽기를 더 연속적으로 만들고, 인접 레이어 간에 일부 인덱스 결과를 재사용할 수 있도록 합니다.

또한 모델은 1350억 개의 파라미터를 가진 5-gram 임베딩 모듈을 통합하여, 인접 토큰 조합을 모델링함으로써 임베딩 공간을 확장하고 로컬 컨텍스트 표현을 강화합니다. MoE 전문가 라우팅에만 의존하는 것과 달리, 이러한 사전 임베딩은 대규모 배치 추론에서 메모리 읽기/쓰기 부담을 일부 줄일 수 있습니다.

SWE-bench Pro 등 주요 Agent 및 코드 평가에서 LongCat-2.0은 일부 주요 폐쇄형 모델에 근접하거나 이를 능가하는 성능을 보여주고 있습니다.