동찰 Beating AI 속보, 독립 개발자 Divyansh Agrawal이 알리 Qwen3.5-4B를 기반으로 Qwenputer를 만들어, 32비트 RISC-V 가상 CPU를 모델 가중치에 직접 컴파일해 대형 모델이 외부 계산 도구를 호출하지 않고도 답변 생성 시 정밀 계산을 수행할 수 있게 했다.
저자는 Qwen을 재훈련하지 않고, 기존 32층 네트워크 앞에 11개 층을 추가하고 컴파일러를 사용해 CPU의 연산 규칙을 모델 파라미터로 직접 작성했다. 추가된 네트워크는 Gated DeltaNet 구조를 활용해 정밀 읽기/쓰기가 가능한 메모리를 구현하여 프로그램과 데이터를 저장하는 데 사용했다.
이 가상 CPU는 이미 컴파일된 C 프로그램을 실행할 수 있으며, RISC-V 명령어 테스트를 통과했고, 누적 약 1800만 개 명령어를 실행한 테스트에서 오류가 발견되지 않았다.
DeepMind의 큰 수 곱셈 40문제에서 원본 Qwen은 22문제를 맞혔고, Qwenputer는 39문제를 맞혔다. 원본 Qwen에 외부 Python을 연결한 경우에는 전부 맞혔다. CPU 자체는 명령어를 정확히 실행할 수 있지만, 대형 모델이 호출하거나 결과를 출력할 때 여전히 오류가 발생할 수 있다.
이 기술 노선에는 선례가 있다. 올해 3월 Percepta는 신경망으로 C 프로그램을 실행할 수 있는 가상 컴퓨터를 구현했다. 다만 이는专门 구축된 모델이었다. Qwenputer는 유사한 계산 능력을 이미 훈련된 Qwen에 연결해, 언어 모델이 답변 생성 시 내부 CPU를 사용해 계산을 수행할 수 있게 했다.
다만 이 방안은 현재 효율이 매우 낮다. 대량의 0값 파라미터가 모델 파일을 18.8GB까지 부풀려 원본의 약 두 배에 달하며, 계산 속도도 외부 도구에 훨씬 못 미친다.