순환 트랜스포머 신아키텍처: RLT가 토큰 간에 '이어서 계산'하게 하다

동찰 Beating AI 속보, 프린스턴 박사과정 Yifan Zhang이 Recurrent Looped Transformer(RLT)를 제안했으며, Transformer에 계속 뒤로 전달되는 내부 상태를 추가했다.

일반 Transformer가 다음 Token을 생성할 때는 주로 Attention과 KV 캐시를 통해 앞 문맥을 읽는다. RLT는 앞 문맥을 보는 것 외에도, 이전 Token이 계산을 마치고 남긴 내부 상태를 다음 Token에 직접 넘겨 계속 사용하게 한다.

이를 모델에 '사고의 바통'을 하나 추가한 것으로 이해할 수 있다. 첫 번째 Token이 계산을 마치면 현재 상태를 두 번째에 전달하고, 두 번째가 업데이트한 뒤 다시 세 번째에 전달한다. 각 Token 자체가 실행하는 네트워크 층수는 변하지 않지만, 이 상태 체인은 텍스트가 길어질수록 점점 길어진다. 논문은 이를 '무한 시간 깊이'라고 부르며, 이 계산 체인에 고정된 길이 상한이 없다는 것을 의미한다.

이는 최근 많이 논의된 Ouro, Astra류 순환 아키텍처와도 다르다. 그런 방법은 주로 같은 Token이 동일한 네트워크 안에서 여러 번 반복 실행되게 한다. 반면 RLT는 서로 다른 Token 사이에서 내부 상태를 지속적으로 전달한다. 전자는 한 문제를 제출하기 전에 여러 번 검사하는 것에 가깝고, 후자는 이전 주자가 달린 뒤手中的 진행 상황을 다음 주자에게 직접 넘기는 것에 더 가깝다.