대형 모델이 스스로 '초안 작성'을 시작하다: NCP가 다음 문맥 추측을 모델 내부에 집어넣다

동찰 Beating AI 속보, 상하이 AI Lab과 상하이교통대학이 89억 파라미터 모델 NCP-ArchPreview를 발표했다. 일반 대형 모델은 주로 '다음 토큰 맞히기'를 훈련하는데, NCP는 뒤에 오는 짧은 구간에 대응하는 내부 개념 신호까지 예측하고, 이를 활용해 토큰 생성을 보조한다. 최종적으로는 여전히 토큰 단위로 출력하지만, 모델 내부에서는 이미 뒤 내용을 미리 추측한다.

이 신호는 투기적 디코딩 속도 향상에도 활용할 수 있다. DFlash, DSpark 같은 방식은 소형 모델이 먼저 뒤 내용을 추측하게 하고, 대형 모델이 통합 검사한다. NCP 팀은 내부 개념 신호도 이 소형 모델에 넘겨, 일종의 '뒤에 대략 어떻게 쓸지'에 대한 힌트를 먼저 준 뒤 한 번에 16개 토큰을 병렬로 추측하게 한다.

이렇게 하면 소형 모델이 맞히는 내용이 더 많아진다. 네 가지 테스트에서 대형 모델이 한 번 검증할 때마다 평균 통과하는 토큰이 5.933개에서 6.180개로 늘어 4.17% 향상됐고, HumanEval에서는 7.59% 향상됐다. 이 신호를 연결하는 데는 드래프트 모델에 약 4만 개 파라미터만 추가된다.

같은 89억 파라미터에서 NCP는 일반 Transformer의 약 85% 훈련 연산량으로 훈련 오차를 비슷한 수준까지 낮출 수 있다.