홈
AI AI
속보
심층
이벤트
Pro
더보기
자금 조달 정보
특집
온체인 생태계
용어
팟캐스트
데이터
OPRR
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
XRP
$2.25
2.07%
DOGE
$0.325
2.23%
USDC
$0.999
3.05%
Partnered With:

아무리 도구가 능숙해도 사람의 마음은 알 수 없다, 메이퇀(Meituan)이 새로운 AI 에이전트 벤치마크 VitaBench 2.0을 발표하다

동차 Beating 모니터링에 따르면, 메이투안 LongCat 팀은 싱가포르국립대학교, 중국과학기술대학교, 베이징우전대학교 및 저장대학교와 협력하여 에이전트 평가 벤치마크 VitaBench 2.0을 발표했습니다. 평가 시스템은 대규모 언어 모델(LLM)의 평가를 단일 작업에서 장기 다중 세션 생활 서비스로 확장하여, 에이전트의 개인화 모델링 및 능동적 상호작용 성능을 평가합니다.

이 평가는 장기 인간-컴퓨터 상호작용을 시뮬레이션하며, 56개의 사용자 프로필, 2000개 이상의 동적 선호도 레이블, 그리고 배달, 매장 소비 및 온라인 여행 분야의 819개 서비스 요청을 포함합니다. 테스트 결과, 도구 호출 오류율이 현저히 감소함에 따라, 사용자 선호도를 포착하고 적용하는 것이 에이전트 실용화의 핵심 병목 현상으로 부상했습니다.

여러 최첨단 LLM 평가에서, 장기 개인화 서비스의 결함이 집중적으로 드러났습니다. 전체 기록을 읽을 수 있는 가장 이상적인 전체 컨텍스트 모드에서도, 가장 성능이 좋은 Claude-Opus-4.6이 독립적으로 4회 실행한 평균 성능(Avg@4)은 0.503에 불과했으며, 비추론 모델 중 가장 강력한 DeepSeek-V4-Pro는 0.456에 그쳤습니다.

대부분의 모델은 외부 메모리 모듈을 도입한 후에도 전체 컨텍스트 기준선을 안정적으로 능가하지 못했습니다. 에이전트가 자체 제어하는 메모리는 업데이트 중 정보를 잃는 경우가 많았고, 검색 증강 생성(RAG)은 표면적으로 유사한 노이즈에 방해를 받기 쉬웠습니다. 동시에, 추론 모드를 활성화해도 개인화 모델링에 체계적인 이점이 없었으며, 이는 노이즈 필터링과 능동적 질문이 단순히 논리적 추론만으로 해결될 수 없음을 보여줍니다.

테스트는 또한 LLM의 능동적 질문 및 선호도 적용에서의 심각한 약점을 드러냈습니다. 정보가 부족할 때, 모델은 종종 맹목적으로 추측하고 성급하게 결정을 내려, Claude 에이전트의 능동적 상호작용 작업 성능이 46.0에서 27.4로 급락했고, DeepSeek은 44.1에서 27.8로, GLM도 36.4에서 19.3으로 하락했습니다. 메모리에 가장 정확한 표준 선호도 데이터를 직접 입력해도, DeepSeek과 Claude의 점수는 각각 52.7과 51.2에 불과했습니다. 이는 LLM의 실제 의사 결정에서 사용자 선호도를 합리적으로 정렬, 통합 및 실행하는 것이 선호도 추출 자체보다 훨씬 어렵다는 것을 시사합니다.

오류 원인 분석에 따르면, LLM 성능이 발전함에 따라 도구 사용 관련 오류는 현저히 줄어든 반면, 선호도 이해 편향으로 인한 오류가 지배적이기 시작했습니다. 에이전트의 미래 핵심 장벽은 더 이상 단순한 도구 호출이 아니라, 사용자의 숨은 의도를 진정으로 이해하고 기억하는 방법이 될 것입니다.

举报 오류 신고/제보
관련추천
메이퇀 계열, 순웨이 캐피탈, 량원펑 산하 기관들이 상당한 평가 이익을 기록했으며, DJI는 초기 투자 미완료로 막대한 수익 기회를 놓쳤다.
IPO 전야, 테크 신흥 귀족 왕싱싱이 위슈 테크놀로지의 시가총액을 1.79만 배 끌어올린 방법
홍콩 증시 역사상 가장 빠른 부의 창출浪潮
오류 신고/제보
제출
새 문고 추가
자신만 보기
공개
저장
문고 선택
새 문고 추가
취소
완료