테더, 1914억 토큰 규모의 STEM 데이터셋 공개하며 로컬 소형 모델의 '설명 능력'에 베팅

BlockBeats 소식에 따르면, 9월 23일 스테이블코인 거대 기업 Tether 산하 Tether AI Research가 오늘 QVAC Genesis III를 발표했다. 이는 과학, 기술, 공학 및 수학 분야를 위한 합성 훈련 데이터 세트로, 규모는 1914.3억 Token에 달하며 1억 5960만 건의 문서를 포함한다.

알려진 바에 따르면, Tether는 이를 통해 소형 AI 모델의 추론 및 교육 능력을 향상시켜 더 많은 AI 어시스턴트가 노트북, 휴대폰 및 로컬 서버에서 직접 실행될 수 있도록 하고, 대형 클라우드 모델에 대한 지속적인 의존을 줄이고자 한다.

Genesis III는 Genesis I과 Genesis II의 데이터 노선을 이어받아, 생물학, 화학, 물리학, 수학, 컴퓨터 과학, 의학, 전기 공학 및 머신러닝 등 19개 교과 과정 관련 분야를 포괄하며, 고등학교, 대학 및 전문가 수준의 응용을 대상으로 한다. Tether는 이 데이터 세트가 최종 답안만 출력하는 것이 아니라, 모델이 문제 풀이 경로를 설명하고, 잘못된 추론을 식별하며, 수정안을 제시하는 데 중점을 둘 것이라고 밝혔다.

Tether가 공개한 테스트 결과에 따르면, Genesis III 옵션 수준 데이터로 훈련된 17억 파라미터 모델은 관련 벤치마크 테스트에서 유효 응답률 99.45%를 달성했다. Token 규모가 비슷한 Cosmopedia-v2 훈련 모델과 비교했을 때, Genesis III는 ARC-Easy, ARC-Challenge 및 MMLU STEM 벤치마크에서 각각 28.57, 21.35 및 15.03 퍼센트포인트 향상된 점수를 기록했다.