알리 GUI 에이전트가 3세대까지 발전: Qwen이 이제 휴대폰, 컴퓨터, 명령줄을 동시에 사용할 수 있게 됐다.

동차 Beating AI 속보, 알리바바가 새로운 GUI 에이전트 기반 모델 Qwen-UI-Agent를 출시했다. 이 모델은 화면을 직접 보고, 버튼을 클릭하고, 텍스트를 입력하며, 휴대폰, 컴퓨터, 웹을 조작할 수 있다. 또한 명령줄 처리에 적합한 작업이 발생하면 CLI를 직접 실행할 수 있어 모든 작업을 마우스로 하나씩 처리할 필요가 없다.

알리바바는 GUI 에이전트를 2년 넘게 개발해 왔다. 2024년의 Mobile-Agent는 주로 모델이 휴대폰 스크린샷을 보고 클릭과 스와이프를 제어하는 방식이었으며, 이후 GUI-Owl, MAI-UI는 GUI 조작을 모델에 직접 훈련시키고 컴퓨터로 확장했다. Qwen-UI-Agent는 휴대폰, 컴퓨터, 웹, DeepSearch, 명령줄을 하나의 에이전트에 통합했다.

예를 들어 고속철도 조회, 회사 도착 시간 계산, 딩톡에서 회의 생성까지 여러 앱을 넘나들며 한 번에 처리할 수 있다. 데이터 분석 시에도 먼저 인터넷에서 자료를 찾고, 명령줄로 데이터를 처리한 후 Excel, PPT, Word를 생성할 수 있다.

주력 모델은 Qwen3.5-27B를 추가 훈련해 만들었다. 알리바바가 자체 구축한 실제 기기 평가 MobileWorld-Real에서 92.2%를 기록하며, 같은 평가에 참여한 GPT-5.6 Sol, Claude Opus 4.8, Gemini 3.1 Pro보다 높은 성능을 보였다.