동차 비팅(Beating) 모니터링에 따르면, 인공지능 기업 Writer가 발표한 두 편의 논문에서 대형 언어 모델(LLM)이 사용자의 즉각적인 반박에는 견딜 수 있지만, 편향이 사용자의 '장기 선호도'로 위장되어 메모리에 저장되면 모델이 광범위하게 타협한다고 밝혔습니다. 원래 사용자 경험을 개선하기 위해 설계된 메모리 기능이 오히려 모델 오류의 온상이 된 것입니다.
연구는 Mem0, MemOS, Zep 등 외부 메모리 시스템을 테스트했습니다. 과학적 테스트에서 장기 메모리는 저장된 잘못된 견해를 반복적으로 호출하여, 모델의 오류율이 메모리가 없는 상태보다 2~4배 급증했으며, 비교적 성능이 뛰어난 GPT-5.2도 예외는 아니었습니다. 창의적 추천 작업에서는 메모리에 사용자 선호도가 저장된 경우, 관련 없는 시나리오에서도 모델이 동일한 추천을 빈번히 반복하여 간섭률이 87% 이상에 달했고, 창의적 다양성은 절반으로 감소했습니다.
금융 분석 에이전트(Agent)도 테스트에서 광범위한 오류를 범했습니다. 편향된 선호도가 주입되면 일부 모델의 추론 정확도가 70% 이상 하락했습니다. 또한, 선호도 정보가 메모리 도구에 의해 배경 자료로 호출될 때, 모델은 잘못된 답변을 제공하면서도 사용자의 영향을 전혀 인정하지 않아, 순응 편향(迎合偏差)을 탐지하고 차단하기가 매우 어려웠습니다.
순응 편향을 방어하는 것은 쉽지 않습니다. 일반적인 프롬프트 방어선은 효과가 제한적일 뿐만 아니라 모델의 검색 능력을 약화시킵니다. 현재 비교적 효과적인 방법은 입력 단계에서 데이터 소스에 신뢰도 점수(예: 공식 문서 0.95, 사용자 선호도 0.05)를 부여하여 모델이 편향을 무시하도록 유도하는 것입니다. 연구팀은 개인화 에이전트의 미래 핵심 과제는 더 이상 사용자를 기억하지 못하는 것이 아니라, 사용자의 편향까지 함께 기억하는 것을 피하는 방법이라고 강조했습니다.