휴대폰 에이전트의 집대성자가 왔다? DIYgod가 Pinky를 오픈소스로 공개, iPhone과 안드로이드 모두 AI에게 맡긴다

동찰 Beating AI 속보, RSSHub 개발자 DIYgod가 Pinky를 오픈소스로 공개하여 Codex, Claude Code 등 AI Agent가 실제 iPhone과 안드로이드 폰을 직접 조작할 수 있게 했다. 컴퓨터 측은 Mac, Windows, Linux를 지원하며, MCP로 연결하면 AI가 화면을 보고, App을 열고, 클릭하고, 스와이프하고, 텍스트를 입력할 수 있다.

이전에 소개한 많은 iPhone Use 프로젝트는 XCTest/WDA 테스트 인터페이스에 의존하거나, 블루투스로 키보드·마우스를 시뮬레이션하거나, 외부 하드웨어가 필요한 것도 있었다. Pinky는 여러 기술 경로를 하나의 데스크톱 도구에 통합했다.

안드로이드 측은 ADB + scrcpy를 사용하며, 선택적 접근성 보조 앱과 함께 인터페이스 컨트롤을 읽는다. Android 13 이상에서는 숨겨진 가상 화면을 생성하여 AI가 백그라운드에서 App을 조작하는 동안 사용자는 평소처럼 폰을 사용할 수 있다. 이 부분은 앞서 소개한 Mika와 비교적 유사하다.

iPhone은 시스템 버전에 따라 다른 방식을 선택한다. iOS 27 이상은 애플 CoreDevice 개발자 프로토콜을 직접 호출하여 인터페이스를 읽고 터치 명령을 전송하며, 테스트 프로그램 설치가 필요 없어 기술 경로가 Poki에 가깝다. iOS 17.4부터 26까지는 여전히 WDA에 의존하며, Xcode 서명을 통해 설치해야 한다.

Pinky는 AI의 오조작 문제도专门 해결했다. '결제', '송금' 등 민감한 버튼을 인식하여 실제 클릭 전에 일시 중지하고 사용자의 수동 승인을 기다린다. 60초 동안 확인이 없으면 실행을 거부하며, 승인 후에도 인터페이스를 다시 확인하여 금액이나 버튼이 변경되는 것을 방지한다. 메시지 전송, 콘텐츠 삭제도 먼저 묻도록 설정할 수 있다.

이 승인 절차는 제어 프로그램에 작성되어 모델이 프롬프트를 준수하는 것에 의존하지 않는다. 은행, 지갑, 비밀번호 관리자는 기본적으로 Agent에게 숨겨지며, 비밀번호와 인증번호 입력란도 자동 입력이 금지된다. 사용자는 언제든지 조작을 인계받을 수 있으며, 모든 단계는 화면 녹화되어 기록이 자신의 컴퓨터에 저장된다.

프로젝트: https://github.com/DIYgod/pinky