ARC-AGI-4 사전 예고: 차세대는 AI가 스스로 발명할 수 있는지 시험할 예정

동찰 Beating AI 속보, 비영리 AI 평가 기관 ARC Prize가 ARC-AGI-4를 예고했다. 차세대 benchmark는 '자율적 개방형 혁신'을 중점적으로 테스트할 예정이며, AI가 스스로 탐구하고 새로운 아이디어를 제시하며 심지어 새로운 발명과 발견을 할 수 있는지를 살펴본다.

구체적인 문제, 채점 방식, 발표 시기는 아직 공개되지 않았다. ARC Prize는 인간이 아직 개방형 혁신에서 AI를 뚜렷하게 앞서고 있으며, 이것이 과학과 기술 발전을 이끄는 가장 핵심적인 능력 중 하나라고 밝혔다.

이 예고는 또한 Dario Amodei가 막 발표한 AI 감속 글을 인용했다. ARC Prize는 오픈소스가 여전히 AI 발전의 기초이며, 업계가 감속을 조율하기 위해 개방성을 줄이고 프런티어 AI를 소수 기관에 집중시키는 것에 반대한다고 강조했다.

ARC-AGI는 줄곧 세계에서 가장 어려운 AGI 평가라는 칭호를 받아왔다. ARC-AGI-3 발표 당시 인간 점수는 100%, 프런티어 AI는 0.51%에 불과했다. 최신 GPT-6 Astra는 이미 크게 따라잡았지만, 통일된 Standard harness 아래에서는 62.7%에 그쳤고, OpenAI 자체 Provider Adapter를 연결한 후에야 99.9%까지 치솟았다.

ARC Prize는 이제 다음 관문을 'AI가 스스로 혁신할 수 있는가'로 밀어붙일 준비를 하고 있다.