카테시아, H-Net 업그레이드: 대형 모델이 스스로 데이터 분할을 학습하여 훈련 효율 최대 약 10배 향상

동찰 Beating AI 속보, 대형 모델이 이미 스스로 언어를 학습할 수 있지만, 텍스트를 어떻게 Token으로 나눌지는 일반적으로 미리 학습된 토크나이저가 결정한다. 이는 연산력을 절약할 수 있지만 모델이 정보를 조직하는 방식도 제한한다. 낯선 어휘나 코드를 만나면 고정된 분할 규칙이 적합하지 않을 수 있으며, 전혀 분할하지 않고 바이트 단위로 직접 처리하면 계산 비용이 크게 증가한다.

AI 음성 회사 Cartesia가 2025년 7월에 제안한 H-Net(계층형 네트워크)은 바로 이 모순을 해결하기 위한 것이다. 모델이 원시 바이트를 직접 읽고 정보를 어떻게 분할하고 압축할지 스스로 학습하게 한다. 예를 들어 낯선 단어를 만나면 처음에는 여러 조각으로 나눌 수 있고, 이 단어가 문맥에서 반복적으로 등장하면서 점차 더 적은 조각으로 합쳐진다. 이러한 변화는 추론 시에도 발생할 수 있으며 재학습이 필요 없다.

현재 Cartesia가 공개한 새 버전 H-Net은 학습 효율이 눈에 띄게 향상되었다. 주요 조건을 엄격히 통제한 실험에서 동일한 검증 손실에 도달하는 데 필요한 연산력이 약 22% 감소했고, 다운스트림 평가의 계산 효율은 약 두 배가 되었다. 더 대규모 실험에서 새 버전 H-Net은 약 1조 Token 등가 데이터만으로 6개 테스트 평균 점수에서 약 11조 Token으로 학습한 오픈소스 모델 SmolLM3와 동등한 수준에 도달했으며, 이 성과에 필요한 학습 연산력은 후자의 약 10분의 1이다.

이 방법은 텍스트에만 국한되지 않는다. 팀은 박테리아와 고세균 게놈으로 H-Net을 학습시켰고, 모델이 인간 유전자 조각을 처리할 때 코딩 영역의 세 염기一组 규칙을 스스로 인식할 수 있음을 발견했다. 관련 DNA 모델링 실험의 계산 효율은 약 6–7배 향상되었다.

소리는 텍스트처럼 기성품의 단어 경계가 없기 때문에, Cartesia가 처음 H-Net을 연구한 것은 사실 음성 모델이 미리 설계된 분할 규칙에 의존하지 않고 연속 음성에서 음소와 단어를 직접 학습하게 하기 위해서였다.