저커버그 공개서한: 증류는 무죄, 모델은 모든 것을 학습해야 한다

동차 Beating 모니터링에 따르면, 저커버그는 오늘 장문의 글을 발표하며 모델 증류(Model Distillation)를 공개적으로 옹호했다. 그는 모델이 다른 모델로부터 학습하는 것이 원래 오픈소스 생태계의 일부라고 생각한다. 미국이 오픈소스 AI에서 계속 선두를 유지하려면 증류와 훈련 데이터에 대한 제한을 완화해야 한다고 주장했다.

그는 또한 '증류는 해롭다'는 주장을 직접 반박했다: 관찰할 수 있는 것은 학습을 허용해야 한다. 미국이 먼저 스스로를 묶는다면, 다른 국가의 오픈소스 모델이 더 빠르게 추격하게 될 뿐이다.

이는 OpenAI와 Anthropic의 최근 움직임과 정확히 반대되는 입장이다. 두 회사는 경쟁사가 제한을 우회하고 대규모로 모델 출력을 수집하는 것을 철저히 차단하고 있다. 반면 저커버그는 그렇다고 해서 모델 간 학습까지 함께 제한해서는 안 된다고 본다.

Meta가 오늘 막 공개한 Muse Glimmer는 실제로 Muse Spark에서 증류된 것이다.