홈
AI AI
속보
심층
이벤트
Pro
더보기
자금 조달 정보
특집
온체인 생태계
용어
팟캐스트
데이터
OPRR
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
XRP
$2.25
2.07%
DOGE
$0.325
2.23%
USDC
$0.999
3.05%
Partnered With:

이상 디스클로저, Mach-Mind-4-Flash 훈련 방법 공개: 10여 명의 전문가가 하나의 모델로 합성

동차 Beating 모니터링에 따르면, Li Auto가 Mach-Mind-4-Flash 기술 보고서를 발표했습니다. 해당 모델은 이미 공개된 바 있으며, 이번 보고서는 주로 후속 훈련 세부 사항을 보완합니다.

팀은 먼저 수학, 코드, 글쓰기, 안전, 검색 및 도구 호출 등 10개 이상의 전문가 모델을 각각 훈련했습니다. 이후 MOPD(다중 교사 온라인 정책 증류)를 사용하여 하나의 범용 모델로 통합했습니다. 각 유형의 문제는 해당 전문가가 지도하여, 혼합 훈련에서 여러 능력이 서로 저하되는 현상을 줄였습니다.

보고서는 또한 Agent 훈련 방법을 명확히 설명합니다. 모델은 단순히 도구 이름과 호출 형식을 학습하는 것뿐만 아니라, 격리된 샌드박스에서 실제로 파일을 읽고, 코드를 수정하고, 테스트를 실행하고, 도구를 호출합니다. 작업 실패 시, 모델은 오류 메시지와 환경 변화를 확인한 후 계속 수정합니다. 도구 훈련은 190개 이상의 상태 기반 영역과 3500개 이상의 도구 인터페이스를 포함하며, 프로그래밍 작업의 단일 훈련 궤적은 최대 300라운드에 달할 수 있습니다.

이러한 통합이 완전히 무손실은 아닙니다. 명령 수행 능력은 대부분 유지되었으며, ClawBench와 ClawEval에서는 오히려 단일 Agent 전문가를 능가했습니다. 그러나 SWE-bench Verified는 전문가 모델의 73.80에서 71.10으로 하락했습니다. 팀은 장기 프로그래밍과 같은 고도로 전문화된 능력이 통합 시 여전히 손실될 수 있음을 인정했습니다.

보고서는 또한 모델의 '과도한 사고'를 줄이는 방법을 공개했습니다. HMPO는 정답의 중간 길이를 기준으로 동적으로 추론 예산을 설정하며, 정답이면서 더 짧은 답변에만 보상을 부여합니다. 이 방법은 생성 길이를 19%에서 46%까지 단축시키며, 정확도는 최대 0.7% 포인트 하락합니다. 현재 이 방법은 단일 라운드 추론에만 적용되며, 다중 라운드 Agent 작업에는 아직 적용되지 않았습니다.

举报 오류 신고/제보
오류 신고/제보
제출
새 문고 추가
자신만 보기
공개
저장
문고 선택
새 문고 추가
취소
완료