동차 Beating AI 속보, AI 메모리 기업 Engram이 법률 AI 기업 Harvey와 협력해 실험을 진행했습니다: 먼저 가상 로펌을 만들고, 그 안에 1억 개의 토큰, 약 1만 개의 문서, 266개의 법률 사항을 넣은 뒤, Qwen3.8-27B가 이 지식을 미리 '머릿속에 학습'하도록 했습니다. 일부는 모델 파라미터에 직접 기록하고, 일부는 메모로 정리해 필요할 때 검색하도록 했습니다.
결과적으로 이 27B 소형 모델은 250개의 법률 과제에서 평균 67%의 점수를 받아 모든 테스트 모델을 능가했습니다. 단일 쿼리 비용은 약 0.13달러로, Claude Opus 4.8의 고강도 추론 비용의 1/10에서 1/24 수준에 불과했습니다. 더 엄격한 전체 문제 정답률에서도 30% 대 25%로 Opus 4.8을 앞섰습니다.
훈련 전에는 Qwen에게 검색 도구를 제공하지 않고 로펌 내 구체적인 사항을 직접 물었을 때 정확도가 4.7%에 불과했습니다. 훈련 후에는 72.6%로 상승했습니다. 훈련된 모델은 자료 검색에도 더 능숙해져, 99.2%의 과제에서 처음부터 직접 타겟 검색을 수행했습니다.
다만 현재 실험은 여전히 가상 로펌을 기반으로 합니다. 실제 기업 자료는 매일 변화하기 때문에, 모델이 메모리를 지속적으로 업데이트하는 방법이 여전히 가장 큰 과제로 남아 있습니다.