AI가 작성한 웹페이지가 과연 쓸 수 있는 걸까? 텐센트가 스스로 웹페이지를 클릭하는 평가를 만들었다

동찰 Beating AI 속보, 텐센트 훈위안이 칭화대, 베이징대와 함께 IWC-Bench를 출시했으며, AI가 생성한 웹페이지가 실제로 사용하기에 어떤지 전문적으로 평가한다.

많은 웹페이지 생성 평가는 주로 코드나 스크린샷을 본다. 페이지가 예뻐 보일 수 있고 코드에 기능이 실제로 작성되어 있을 수도 있지만, 버튼이 눌리지 않거나, 폼이 제출되지 않거나, 페이지를 전환하면 오류가 나는 문제는 정적 검사로 발견하기 어렵다.

IWC-Bench는 실제 사람의 검수에 더 가깝다. 하나의 Agent가 실제로 웹페이지를 열고, 버튼을 클릭하고, 내용을 입력하고, 페이지를 전환한 뒤, 어떤 기능이 실제로 작동했는지 확인한다. 마지막으로 세 가지를 각각 평가한다: 페이지가 보기 좋은지, 조작이 매끄러운지, 사용자가 요구한 기능이 구현되었는지.

벤치마크에는 369개의 실제 사용자 요구사항과 5088개의 검수 기준이 수록되어 있으며, 17개 모델이 총 6273개의 웹 애플리케이션을 생성했다. 별도의 197组 인간 재검토 비교에서 IWC-Bench는 168组이 인간의 선택과 일치했으며, 일치율은 85.3%에 달했다.

결과는 또한 웹페이지가 '보기 좋은 것'과 '정말 쓰기 좋은 것'이 같은 것이 아님을 보여준다. GPT-5.6-Sol의 페이지 미관도가 가장 높았지만 사용성은 6위에 그쳤다. 개별 웹페이지로 보면, 예쁜 것이 기본적으로 사용하기 좋은지를 설명하지 못하며, 두 항목의 상관계수는 0.36에 불과했다.