Cua 실측 AI 백엔드 컴퓨터 조작: 자체 통과율 58%, browser-use는 단 3%

동찰 Beating AI 속보, Cua가 Scale AI와 공동으로 컴퓨터 조작 평가 Cua Driver Bench를 출시했다. 이는 AI Agent가 백그라운드에서 소프트웨어를 조작해야 하며, 동시에 사용자의 마우스와 키보드를 빼앗지 않고, 창을 팝업하여 작업을 방해해서도 안 된다.

macOS 테스트에서 Cua Driver의 완전 통과율은 58%에 달했고, Codex Computer Use는 33%, Vercel agent-desktop은 20%, browser-use는 단 3%에 그쳤다.

Cua의 우위는 백그라운드 창을 직접 조작하는 데서 비롯된다. 일반적인 컴퓨터 조작 도구는 보통 인간의 클릭과 타이핑을 모방하여 대상 창을 전면으로 전환해야 한다. 반면 Cua는 macOS의 접근성 인터페이스를 활용하여 백그라운드 애플리케이션의 버튼과 입력란을 직접 찾아 조작한다. 또한 창을 최상위로 이동할 필요 없이 창 화면만 개별적으로 캡처할 수 있다.

격차는 browser-use에서 특히 두드러진다. 40회 테스트 중 32회의 작업을 성공적으로 완료했지만, 그중 31회가 사용자를 방해했고 최종적으로 단 1회만 완전히 통과했다. Cua는 25회만 완료했지만 23회는 사용자를 방해하지 않았으며, 테스트 중 키보드 포커스를 빼앗은 적이 한 번도 없었다.

모든 도구는 Claude Sonnet 5.5를 사용했으며, 모델 자체가 아닌 컴퓨터 조작 도구를 비교한 것이다. 테스트는 브라우저, 이메일, 캘린더, 스프레드시트 등의 작업을 포함하며, 각 항목은 사용자가 지속적으로 타이핑하는 상황에서 완료해야 한다.