OpenAI, PaperBench를 오픈소스화해 최고 AI 에이전트 평가 재편

4월 3일 BlockBeats 뉴스에 따르면 AIGC 오픈 커뮤니티 뉴스에 따르면 오늘 오전 1시에 OpenAI가 새로운 AI 에이전트 평가 벤치마크인 PaperBench를 오픈 소스로 공개했습니다. 이 벤치마크는 주로 지능형 에이전트의 검색, 통합, 실행 기능을 테스트하며, 2024년 국제 머신러닝 컨퍼런스에서 발표된 주요 논문의 재현이 필요합니다. 여기에는 논문의 내용을 이해하고, 코드를 작성하고, 실험을 실행하는 능력이 포함됩니다.

OpenAI가 공개한 테스트 데이터에 따르면, 잘 알려진 대형 모델이 만든 지능형 에이전트는 현재로선 머신 러닝 분야의 최고 박사들을 이길 수 없습니다. 하지만 과학 연구 내용을 학습하고 이해하는 데는 매우 유용합니다.