Runway가 인터넷 영상으로 로봇을 훈련시켜, 효과가 거의 전문 데이터 수준에 근접했다

동찰 Beating AI 속보, Runway가 로봇 모델 Praxis-1을 발표하며, AI 비디오 모델을 훈련하는 능력을 실제 로봇에 적용했다. 이는 먼저 대량의 일반 영상에서 물체가 어떻게 움직이는지, 사람이 어떻게 작업을 완수하는지를 학습한 후, 이러한 경험을 로봇의 동작으로 전환한다.

Runway는 물체 배치 테스트를 진행했는데, 인터넷 영상으로 사전 훈련한 후 로봇의 평균 오차는 16.1cm였고, 전용으로 수집한 로봇 원격 조작 영상으로 훈련한 경우 오차는 16.0cm였다. 테스트는 총 93개 평가 그룹으로 진행되었으며, 두 훈련 방식의 결과는 거의 동일했다.

이 경로가 계속 확장될 수 있다면, 로봇 훈련에 가장 부족한 데이터가 한 번에 몇 자릿수 늘어날 수 있다. 실제 사람이 로봇을 원격 조작하여 데이터를 수집하려면 장비, 장소, 인력이 필요하다. 일반 영상은 이미 인터넷에 널려 있다. Runway가 하려는 것은 원래 로봇을 직접 제어할 수 없는 이러한 영상들을 로봇이 동작을 학습하는 훈련 자료로 바꾸는 것이다.

Praxis-1은 이미 Noble Machines, Standard Bots, Ultra의 다양한 로봇에서 테스트되었으며, 로봇 팔, 양팔 로봇, 이동 로봇을 포함한다. Runway는 또한 동일한 정책이 스튜디오에서 주방으로 옮겨져 계속 작업을 수행하는 것을 시연했다. 모델은 현재 초기 테스트 신청만开放되어 있으며, 가중치는 향후 몇 개월 내에 공개될 예정이고, 파라미터 수와 더 완전한 독립 평가는 아직 발표되지 않았다.