동차 Beating AI 속보, AI 평가 기관 Artificial Analysis가 Search Index를 출시하여 Agent가 사용하는 검색 API의 성능을 평가하기 시작했습니다. 검색 API는 Agent가 인터넷에서 자료를 찾는 인터페이스입니다.
평가는 고정적으로 GPT-5.6 Luna와 동일한 Harness 프레임워크를 사용하며, 각 문제당 최대 25개의 Agent 라운드를 실행하고 뒤의 검색 서비스만 교체합니다. 첫 테스트에서는 7개 업체의 11개 구성을 평가했으며, Parallel advanced가 75점으로 1위, Exa auto 74점, Firecrawl 73점을 기록했습니다. 동일한 모델이 검색을 전혀 사용하지 않으면 33점에 불과합니다.
평가는 DeepSearchQA, BrowseComp, AA-Omniscience 세 가지를 동일 가중치로 평균하여 각각 심층 검색, 다중 홉 사실 찾기, 지식 질의응답을 테스트합니다.
다소 의외인 점은 Parallel advanced의 검색 비용이 basic보다 높지만, 모델 평균 토큰 사용량이 약 33.9만 개에서 16.9만 개로 감소했습니다. 전체 문제당 총 비용은 오히려 0.11달러에서 0.084달러로 줄었고, 점수는 73점에서 75점으로 상승했습니다. 검색 API가 더 비싸다고 해서 Agent의 최종 비용이 더 높아지는 것은 아닙니다.
하지만 75점은 검색 품질만을 나타내며, 품질, 가격, 속도의 종합 순위는 아닙니다. Artificial Analysis는 비용과 지연 시간을 별도로 집계하고, 파레토 프론티어를 사용하여 다양한 옵션의 트레이드오프를 비교합니다.
