동차 Beating 모니터링에 따르면, 월지암면(月之暗面)이 Kimi K3 기술 보고서를 공개했습니다. K3는 총 2.8조 개의 파라미터를 보유하며, 각 토큰당 1040억 개의 파라미터를 활성화합니다. 기본 아키텍처는 K2 대비 완전히 세대 교체되었습니다.
파라미터 증가는 그 일부에 불과합니다. 월지암면은 새로운 아키텍처, 데이터 및 훈련 방법 덕분에 K3의 전체 확장 효율성이 K2보다 약 2.5배 향상되었다고 밝혔습니다. Scaling Law 곡선에 따르면, 동일한 검증 손실에 도달하는 데 필요한 훈련 계산량은 K2의 약 40% 수준입니다.
K3는 먼저 어텐션(Attention)을 재설계했습니다. KDA를 사용해 긴 시퀀스를 처리하고, 3개 레이어마다 전역 MLA를 하나씩 추가했습니다. KDA는 이전 콘텐츠를 고정 크기 상태로 압축하여 백만 토큰 컨텍스트의 계산 및 캐시 부담을 줄이고, MLA는 전역 정보 교환을 유지하는 역할을 합니다.
또한 어텐션 잔차(Attention Residuals)를 도입했습니다. 기존 모델은 이전 모든 레이어의 정보를 계속 누적하는 방식이지만, K3는 각 레이어가 더 이전 네트워크 블록에서 필요한 콘텐츠를 직접 선택할 수 있도록 합니다. 모델이 더 깊어져도 초기 정보가 쉽게 희석되지 않습니다.
MoE도 재설계되었습니다. K3는 896개의 라우팅 전문가를 보유하며, 각 토큰당 16개를 활성화하는데, 이는 K2의 두 배입니다. 라우팅 전문가는 먼저 압축 공간에서 계산을 수행한 후 모델 본체로 돌아갑니다. 새로운 활성화 함수와 부하 균형 알고리즘은 초대형 모델 훈련이 통제 불능 상태가 되는 것을 방지합니다.
에이전트(Agent) 능력을 실제로 끌어올린 것은 후속 훈련입니다. 월지암면은 각각 범용, 에이전트 및 코드 모델을 훈련한 후, 각 방향에 대해 세 가지 사고 강도를 훈련하고 마지막으로 9개의 전문가를 병합했습니다. 훈련 작업은 최대 수천 번의 도구 호출을 포함할 수 있으며, 파일, 애플리케이션 및 가상 머신 상태를 지속적으로 유지합니다.
K3는 이미 여러 코드, 검색 및 도구 호출 테스트에서 Fable 5 및 GPT-5.6 Sol과 같은 최고 수준의 폐쇄형 모델에 근접하거나 앞서고 있습니다. 이러한 도약은 단순히 파라미터를 쌓는 데 그치지 않고, 더 큰 기본 모델, 새로운 아키텍처 및 백만 토큰 에이전트 강화 학습을 한계까지 밀어붙인 결과입니다.