지푸 탕제가 스케일링 법칙을 되돌아보다: 수조 개의 파라미터는 업계 전체가 함께 걸어온 우회로였다

동차 Beating AI 속보, 지푸 공동 창업자 탕제가 장문의 글을 통해 Scaling Law를 복기했다. 지난 몇 년간 대형 모델이 출시되면 모두가 가장 먼저 묻는 질문은 '파라미터가 몇 개냐'였다. 하지만 탕제의 관점에서 파라미터는 더 이상 모델 성능을 단독으로 설명할 수 없다. 데이터가 얼마나 있는지, 연산이 어디에 투입되는지, 모델이 이후 어떻게 사용될지도 equally 중요하다.

업계는 이미 이 문제로 한 번 우회로를 걸었다. 2020년, Kaplan 등의 Scaling Law는 연산 능력이 증가하면 파라미터가 훈련 데이터보다 더 빠르게 성장해야 한다고 주장했다. GPT-3, Gopher, MT-NLG 모두 이 방향을 따라 점점 더 커졌고, 업계는 조 단위 파라미터를 향해 돌진했다.

2022년, Chinchilla가 실험을 다시 진행하면서 문제가 바로 여기에 있다는 것을 발견했다. 많은 대형 모델이 너무 크게 만들어졌지만 데이터는 충분히 공급되지 않았다. 연산 능력을 계속 추가할 때 파라미터와 데이터는 함께 성장해야 한다. 탕제가 돌아보면, 그 조 단위 파라미터 경쟁은 업계 전체가 함께 겪고 나중에 방향을 틀었던 우회로였다.

하지만 Chinchilla가 계산한 것은 여전히 훈련 비용뿐이다. 모델이 실제로 출시된 후에는 반복적으로 호출되며 장기 추론 비용이 점점 더 중요해진다. 이 부분까지 포함하면 최적의 솔루션은 다시 변한다. 모델은 더 작아질 수 있고, 더 많은 데이터로 더 충분히 훈련할 수 있다. 이후 Llama-2-7B, Gemma-2-9B 등의 모델은 이미 이 방향으로 나아가고 있다.

더 나아가, MoE는 문제를 더 복잡하게 만들었다. 총 파라미터가 많을수록 일반적으로 더 많은 지식을 담을 수 있음을 의미하고, 매번 실제로 계산에 참여하는 파라미터와 계산 깊이는 추론 능력에 더 큰 영향을 미친다. 둘은 혼동해서는 안 된다. 2025년에 이르러 새로운 연구는 서로 다른 작업에 따라 가장 적합한 Scaling 방법조차 다르다는 것을 추가로 발견했다. 기억은 파라미터에 더 의존하고, 추론은 데이터에 더 의존한다. MoE에서 무작정 총 파라미터를 늘리는 것은 오히려 추론을 저해할 수 있으며, 실제 계산에 참여하는 전문가를 늘리는 것이 더 효과적이다.

취약점 발견은 매우 직관적인 예시다. 새로운 취약점을 발견하는 것은 CVE 몇 개를 더 외우는 것으로 충분하지 않다. 진짜 어려운 것은 20단계 추론을 중간에 끊기지 않고 끝까지 이어가는 것이다. 파라미터가 많다고 해서 반드시 더 깊이 생각할 수 있는 것은 아니다.

GLM-5.3은 탕제가 이번에 내놓은 검증이다. GLM-5.2와 동일한 기반, 동일한 아키텍처를 사용하며 총 파라미터와 활성 파라미터 모두 변하지 않았다. 팀은 한 달 동안 추가 훈련만 진행했고, 장기 작업 환경과 강화 학습 확대에 중점을 두었으며, 성능은 여전히 뚜렷하게 향상되었다. 이번에 추가된 것은 파라미터가 아니라 후훈련이다.

탕제의 최종 판단은 명확하다. Scaling은 아직 끝나지 않았다. 모델 규모, 사전 훈련 데이터, 매 계산에 투입되는 연산량, 후훈련의 깊이 모두 여전히 여지가 있다. 다만 각 세대 모델의 병목이 다르기 때문에 가장 집중해야 할 부분도 달라질 것이다.

대형 모델의 다음 경쟁은 누가 파라미터가 가장 많은지가 아니라 누가 연산을 어디에 써야 하는지 더 잘 아는지가 될 수 있다.