구글의 주력 모델인 Gemini 3.5 Flash가 컴퓨터 조작을 기본 지원하며, 기업용 에이전트 자동화를 해제합니다.

동차 Beating 모니터링에 따르면, 구글이 컴퓨터 사용(Computer Use) 기능을 내장 도구로 주력 대형 모델 Gemini 3.5 Flash에 직접 통합했습니다.

네이티브 통합 전에는 개발자가 별도의 Gemini 2.5 컴퓨터 사용 모델을 호출해야 에이전트 작업을 수행할 수 있었습니다. 네이티브 통합 후에는 개발자와 기업 사용자가 Gemini API 또는 구글 클라우드 Gemini 엔터프라이즈 에이전트 플랫폼(Gemini Enterprise Agent Platform, 기존 Vertex AI 플랫폼)을 통해 주력 모델이 기기를 직접 제어할 수 있어 에이전트 개발 구조가 간소화되었습니다.

내장된 컴퓨터 사용 도구는 브라우저, 모바일 또는 데스크톱 환경의 스크린샷을 수신하여 시각적 인식과 단계 추론을 수행한 후, 마우스 클릭, 키보드 입력, 스크롤 휠 조작 및 메뉴 탐색 등의 명령을 출력하여 소프트웨어 지속 테스트, 웹 데이터 수집 등 장기 자동화 작업을 완료합니다. 디버깅 및 감사를 용이하게 하기 위해 모델은 명령 생성 시 '의도'(intent) 필드를 함께 제공하여 각 작업 단계의 논리를 설명합니다.

실제 네트워크 환경에서 에이전트가 직면할 수 있는 프롬프트 인젝션 위험에 대응하기 위해, 구글은 모델에 대해 방향성 있는 대항 훈련을 실시하고 두 가지 선택적 보호 조치를 제공합니다. 자금 결제, 파일 삭제 등 되돌릴 수 없는 작업 시 강제로 인간 승인을 도입하고, 스크린샷에서 간접 인젝션 명령이 발견되면 자동으로 작업을 중단합니다.

현재 Browserbase는 온라인 호스팅 데모 환경(gemini.browserbase.com)을 제공하며, 구글 공식 측도 GitHub에서 computer-use-preview라는 참조 구현 코드를 오픈소스로 공개했습니다.