동차 Beating 모니터링에 따르면, Meta가 웹페이지를 대규모로 크롤링하여 자체 AI 검색 인덱스를 구축하고 있습니다. 독립 개발자 Pieter Levels는 Meta가 이번 주에 그가 운영하는 여러 웹사이트를 고빈도로 크롤링했으며, 그중 한 대의 VPS가 여러 차례 부하 경보를 발생시켰다고 밝혔습니다.
DataDome 통계에 따르면, 올해 2분기에 Meta의 두 AI 크롤러가 총 91억 건의 요청을 보냈습니다. 그중 검색 인덱스 구축을 담당하는 Meta-WebIndexer는 단일 분기 기준 163% 성장했으며, 6월 요청량이 처음으로 훈련용 크롤러를 초과했습니다.
Meta는 이미 2024년에 자체 검색 엔진을 구축하고 있다는 사실이 드러났으며, Meta AI가 Google과 Bing에 대한 의존도를 줄이려는 목적이었습니다. 현재 이 검색 인덱스는 뚜렷하게 가속 확장 중이지만, 이렇게 고강도로 크롤링하면서도 실제 사용자를 웹사이트로 거의 유입시키지 않고 있습니다.
한 Meta 직원이 개인 메시지로 회사가 자체 'Google'을 만들고 싶어 하며, AI 검색 요청을 Google에 넘겨 Google이 이를 훈련에 사용하는 것을 피하려 한다고 밝혔습니다. 이 부분은 현재 익명 제보에 불과하며, 아직 Meta의 확인을 받지 못했습니다.