탈옥 없이, 아이폰에 앱 설치 없이, 오픈소스 프로젝트 Poki가 AI로 당신의 아이폰을 직접 조작하게 한다

동찰 Beating AI 속보, 개발자 Joseph Zhou가 Poki를 오픈소스로 공개하여 Codex, Claude Code 등 AI Agent가 실제 iPhone을 직접 조작할 수 있게 했다.

현재 iPhone Use 프로젝트가 적지 않은데, 일부는 XCTest/WDA를 통해 테스트 프로그램을 설치하고, 일부는 외부 하드웨어로 조작을 시뮬레이션한다.

Poki는 다른 경로를 택했다. 애플의 기기 개발자 서비스를 직접 호출하여 iPhone 네이티브 접근성 컨트롤 트리를 읽고 버튼, 텍스트, 위치를 가져온 뒤, 휴대폰에 클릭, 스와이프, 입력甚至 두 손가락 확대/축소 등의 명령을 보낸다.

이렇게 하면 AI가 매 단계마다 스크린샷으로 좌표를 추측할 필요도 없고, iPhone에 테스트 프로그램을 설치할 필요도 없다. 처음 USB로 페어링하면 같은 근거리 통신망에서 무선으로 조작할 수도 있다.

MCP를 통해 Codex, Claude Code에 연결하는 것 외에도, Poki는 Mac에서 실행되는 Agent를 내장하고 있어 터미널이나 iMessage로 작업을 지시할 수 있다. 성공적으로 실행되고 검증된 조작 흐름을 기억하여 다음에 같은 작업을 만나면 바로 재사용하며, 일부 작업은 모델을 다시 호출할 필요조차 없다. 다만 Mac은 계속 실행 상태를 유지해야 한다.

실기기 조작은 현재 아직 비교적 느리다. 작성자가 iOS 27.3이 실행되는 iPhone에서 테스트한 결과, 채팅 앱의 검색창을 대상으로 텍스트 클릭을 연속 12회 모두 적용되었지만 1회당 약 8초가 걸렸고, 입력창 작성에는 약 15초가 걸렸으며 일부 버튼은 여전히 정상적으로 클릭할 수 없었다.

Poki의 장점은 시스템 컨트롤을 직접 읽을 수 있고 무선 조작과 멀티 터치를 지원한다는 것이지만, 완전한 Xcode, 개발자 모드 및 UI Automation이 필요하다. 하위 레이어가 애플의 개발자 인터페이스에 의존하기 때문에 향후 시스템 업그레이드가 호환성에 영향을 미칠 수도 있다.