TL;DR
· 로보틱스 학자 Animesh Garg는 업계에서 원격 조작 시간을 모델 성능 지표로 삼는 것에 의문을 제기합니다.
· 로봇 데이터 수집 비용이 높고, 배포 데이터는 종종 좁은 시나리오에서 비롯되며, 반복 샘플은 빠르게 비용이 증가합니다.
· 총 실행 시간보다는 긴 꼬리 실패, 작업 범위 및 새로운 샘플이 더 가치 있을 수 있습니다.

토론토 대학에서 근무 및 겸직하고 현재 조지아 공과대학에 재직 중인 로보틱스 학자 Animesh Garg는 《머니볼 for Physical AI》라는 글에서 임베디드 인텔리전스의 데이터 경쟁을 야구 역사상의 '머니볼' 순간에 비유했습니다.

그가 도전하려는 것은 점점 더 흔해지는 투자 내러티브입니다: 로봇 회사가 더 많은 원격 조작, 더 많은 실제 배포, 더 많은 운영 시간을 쌓기만 하면 데이터 플라이휠을 형성할 수 있다는 것입니다. 투자자에게 이는 학술적 논쟁이 아닙니다. 임베디드 인텔리전스 회사의 비용 구조, 상업화 속도 및 모델 장벽은 종종 '데이터 폐쇄 루프'라는 네 글자로 포장됩니다. 누적 시간이 효과적인 모델 발전과 같지 않다면, 시장은 이러한 회사들의 데이터 자산을 재평가해야 합니다.

'데이터 시간'은 로봇 업계의 타율 미신일 수 있습니다

Garg는 《머니볼》의 고전적 비유를 차용했습니다. 2002년 오클랜드 애슬레틱스는 리그 최저 연봉 팀 중 하나로 103경기를 승리했는데, 핵심은 더 비싼 선수를 사는 것이 아니라 시장이 선수 가치를 잘못 평가하고 있음을 발견한 데 있었습니다. 전통적인 스카우트는 타율, 도루 및 자세를 중시했지만, 팀 득점 능력을 더 잘 설명하는 지표는 출루율이었습니다.

그의 관점에서 Physical AI도 비슷한 단계에 있을 수 있습니다. 업계는 데이터가 범용 로봇 모델로 가는 필수 요소임을 인정하면서도, 가장 쉽게 보여줄 수 있는 지표를 가장 중요한 지표로 삼기 쉽습니다: 누적 원격 조작 시간, 시연 궤적 수, 배포 로봇 수, 생산 시나리오 실행 시간 등입니다.

로봇 데이터와 텍스트 데이터의 공급 방식은 다릅니다. 대규모 언어 모델은 인터넷, 코드베이스, 책 및 웹페이지에서 대량의 저비용 텍스트 데이터를 얻을 수 있으며, 병목 현상은 주로 연산 능력, 정제 및 훈련 효율성에서 발생합니다. 반면 로봇 모델은 물리적 상호작용, 동작 피드백 및 환경 변화가 포함된 데이터가 필요하며, 유효한 데이터 1시간마다 실제로 생성되어야 하고, 그 뒤에는 장비, 인력, 장소, 센서, 실패 처리 및 안전 비용이 따릅니다.

로보틱스 학자 Ken Goldberg는 한때 '100,000년 데이터 격차'라는 용어로 로봇과 인터넷 규모 AI 데이터 간의 차이를 설명했습니다. 더 정확히 말하면, 현대 대규모 시각 언어 모델 훈련에 소비된 텍스트 및 이미지 데이터를 인간의 읽기 또는 시청 시간으로 환산하면 약 10만 년에 해당하며, 로봇은 동일한 규모의 실제 상호작용 데이터가 부족합니다. 이 주장은 로봇 모델에 정확한 기준을 설정하려는 것이 아니라, 업계에 실제 세계 상호작용 데이터는 웹 텍스트처럼 저비용으로 수집될 수 없다는 점을 상기시키기 위한 것입니다.

이것이 바로 가그(Garg)가 '땀 공장식 원격 조작'이라는 서사에 반대하는 이유이기도 하다. 대규모 인력 원격 조작은 분명 행동 밀도가 높은 훈련 샘플을 제공할 수 있지만, 회사가 총 작업 시간만으로 데이터를 평가한다면 자금이 반복적이고 난이도가 낮으며 정보 밀도가 낮은 샘플로 흘러갈 가능성이 크다. 즉, 실패율을 가장 효과적으로 낮출 수 있는 시나리오가 아닌 곳으로 자금이 쏠릴 수 있다는 뜻이다.

세 가지 유형의 데이터로 얻는 것은 각각 다르다

가그의 분류에 따르면, 물리적 AI(Physical AI) 데이터는 크게 세 가지 유형으로 나뉜다: 관찰 데이터, 개입 데이터, 배포 데이터. 이들은 모두 유용할 수 있지만, 비용, 제약 조건, 정보 밀도에서 큰 차이를 보인다.

첫 번째 유형은 관찰 데이터로, 예를 들어 1인칭 또는 3인칭 영상이 이에 해당한다. 장점은 비용이 낮고 적용 범위가 넓어 모델이 물체, 공간, 동작 결과, 환경 분포를 이해하는 데 도움을 준다는 점이다. 단점도 명확하다. 모델이 사람이나 물체에 어떤 일이 일어났는지는 볼 수 있지만, 특정 상태에서 로봇이 어떤 동작을 출력해야 하는지는 알지 못할 수 있다는 것이다.

두 번째 유형은 개입 데이터로, 원격 조작, 시범 교육, 인간 개입을 통해 생성된 상태-동작 궤적을 말한다. 이러한 데이터는 로봇 훈련에 더 직접적이다. '무엇을 보고, 어떻게 움직이며, 움직인 후에 어떤 일이 발생하는지'라는 연결 고리를 포함하기 때문이다. 대가는 모든 고품질 궤적에 비용이 발생한다는 점이며, 인력과 장비 비용은 소프트웨어 데이터처럼 빠르게 하락하기 어렵다.

세 번째 유형은 배포 데이터로, 로봇이 실제 상업 현장에서 작동할 때 생성되는 원격 측정 데이터를 말한다. 이는 상업적 선순환에 가장 가까워 보인다. 로봇이 일하면서 돈을 벌고 동시에 훈련 데이터를 생성하기 때문이다. 하지만 여기에는 통계적 함정이 존재한다.

오늘날 가장 먼저 상용화되는 로봇 시나리오는 일반적으로 변화가 가장 적고, 프로세스가 가장 고정적이며, 리스크를 가장 잘 통제할 수 있는 시나리오다. 예를 들어, 고도로 구조화된 창고, 공장, 또는 단일 작업 환경이 이에 해당한다. 이러한 생산 데이터는 양이 많을 수 있지만, 분포가 좁고 반복성이 높다. 모델이 국소적 패턴을 학습하면, 이후 운영 시간이 늘어날수록 추가 정보의 효용은 감소한다.

배포 데이터가 가치가 없는 것은 아니다. 진정한 가치는 대량의 '성공적인 작업 완료'에 대한 일반적인 구간이 아니라, 실패, 막힘, 비정상 물체, 경계 조건, 드문 교란에 있다. 문제는 이러한 롱테일(long-tail) 샘플이 회사가 원하는 리듬대로 안정적으로 발생하지 않으며, 발견, 선별, 재검토 비용도 더 높다는 점이다.

더 많은 데이터가 유용하지만, 반복 샘플은 빠르게 비용이 증가한다

가그는 언어 모델의 스케일링 법칙(scaling law)을 차용하는 데 신중하다. 데이터 증가는 일반적으로 모델 손실을 감소시키지만, 수익 체감이 발생한다. 샘플이 반복되거나, 유사하게 반복되거나, 동일한 좁은 분포에서 비롯된 경우, 새로운 데이터의 도움은 더 빠르게 줄어든다.

로봇 분야에 적용하면 이 문제는 더 직관적이다. 로봇이 고정된 선반에서 고정된 포장 상자를 집는 법을 배운다고 가정해 보자. 처음 수천 번의 시범, 실패, 수정은 매우 가치 있을 수 있다. 하지만 동작, 물체, 조명, 경로가 반복적으로 수집되면, 새로운 데이터는 이미 학습된 국소적 경험을 복사하는 것에 가까워진다.

언어 모델 훈련에서 이미 유사한 경험이 있습니다. 반복적이고 중복된 데이터는 훈련 예산을 낭비할 뿐만 아니라, 과도한 반복은 일반화 능력을 저하시킬 수 있습니다. Garg는 이러한 결론을 로봇 훈련에 직접 적용하지는 않았지만, 데이터의 가치를 측정할 때 단순히 양만 보는 것이 아니라 샘플 간의 차이를 얼마나 고려해야 하는지 방향성을 제시했습니다.

Physical AI의 경우, 다양성은 최소한 두 가지 의미를 가집니다. 첫째, 모델이 더 많은 물체, 공간, 재질, 조명, 가림 현상 및 조작 방식을 경험하게 하는 것입니다. 둘째, 모델이 지나치게 단순한 작업 분포에서만 뛰어난 성능을 보이고, 약간 다른 시나리오에서는 실패하는 상황을 방지하는 것입니다.

따라서 긴 꼬리(long-tail) 실패 사례가 중요해집니다. 실제 물리적 세계는 균일하게 분포되어 있지 않으며, 드물게 발생하는 이상 현상이 상업적 실용성을 결정하는 경우가 많습니다. 예를 들어, 물체가 약간 비뚤어져 배치되거나, 포장이 변형되거나, 표면이 반사되거나, 그리퍼가 미끄러지거나, 사람이 갑자기 개입하거나, 센서가 놓치거나, 바닥 마찰이 변하는 경우 등이 있습니다. 모델이 일반적인 샘플에서 아무리 뛰어난 성능을 보여도 이러한 꼬리 이벤트를 처리하지 못하면, 소수의 실패로 인해 배포가 지연될 수 있습니다.

배포 플라이휠이 성립하려면 초기 시나리오가 충분히 '새로워야' 함

이 글에서 진정으로 도전하는 것은, 임베디드 인텔리전스(Embodied Intelligence) 기업들이 흔히 채택하는 상업화 경로입니다. 즉, 좁은 시나리오에서 먼저 로봇을 배포하고, 인간의 원격 개입으로 가용성을 보장하며, 동시에 생산 데이터를 수집한 후, 이 데이터를 사용해 더 강력한 모델을 훈련시켜 더 많은 시나리오를 개척하는 방식입니다.

Garg는 이러한 경로를 '네오-인티그레이터(neo-integrator)'식 접근법이라고 부릅니다. 이는 순수 데이터 수집 비용을 우회하여 로봇을 상업적 생산에 투입하고, 운영 수익으로 데이터 비용을 상쇄하려는 시도입니다. 전용 원격 조작 공장을 구축하는 것보다 이 경로가 더 효율적으로 보입니다.

하지만 플라이휠이 성립하려면 한 가지 전제 조건이 있습니다. 초기 상업 시나리오에서 생성된 데이터가 충분히 새롭고 다양하여, 모델이 더 많은 작업으로 전이(transfer)될 수 있어야 한다는 점입니다. 배포 시나리오가 단순히 낮은 변화, 낮은 엔트로피, 강력한 엔지니어링 맞춤형의 좁은 작업에 불과하다면, 데이터는 빠르게 포화 상태에 도달합니다. 기업이 얻는 것은 일반화 능력의 플라이휠이 아니라, 지속적인 통합, 유지보수 및 예외 처리가 필요한 맞춤형 프로젝트 집합일 수 있습니다.

이는 두 가지 유형의 비용을 초래합니다. 첫째, 새로운 시나리오에 진입할 때마다 환경 개조, 프로세스 적응, 실패 대비 및 안전 메커니즘에 투자해야 합니다. 둘째, 배포 자체가 아직 손익분기점에 도달하지 못했다면, 규모를 확장하는 것이 반드시 저비용 데이터 수집을 의미하지 않으며, 오히려 손실을 감수하면서 낮은 참신성의 샘플을 대량으로 확보하는 것일 수 있습니다.

따라서 초기 배포가 무용한 것은 아니지만, 더 세밀하게 살펴볼 필요가 있습니다. 즉, 얼마나 많은 새로운 작업을 커버했는지, 얼마나 많은 실패 및 이상 샘플을 생성했는지, 이러한 샘플이 다른 시나리오로 전이될 수 있는지, 그리고 하드웨어, 인력, 유지보수 및 통합 비용을 제외한 후, 1달러당 얻은 모델 개선이 얼마나 되는지 말입니다.

밸류에이션 스토리, 단순히 누적 시간만 물어선 안 된다

가그(Garg)가 제안하는 것은 데이터 수집을 중단하라는 것이 아니라 평가 기준을 바꾸라는 것이다. 누적 운용 시간, 원격 조작 시간, 궤적 수는 운영 지표로 사용될 수 있지만, 이를 모델 발전과 직접 동일시해서는 안 된다.

더 설명력 있는 질문으로는 다음과 같은 것들이 있다: 단일 작업의 데이터는 언제 포화 상태에 도달하는가, 새로운 작업을 추가하는 데 필요한 엔지니어링 통합 비용은 얼마인가, 데이터가 얼마나 다양한 시나리오와 동작 클러스터를 포괄하는가, 생산 데이터 중 실제 분포 이동 및 이상 샘플은 얼마나 되는가, 배포 흐름에서 모델에 계속 공급하는 대신 걸러내야 할 정상적인 성공 세그먼트는 얼마나 되는가.

세 가지 데이터 유형에 따라 자본 배분도 달라진다. 관찰 데이터는 저비용, 다양성, 광범위한 커버리지를 우선시하여 기본 능력의 경계를 확장하는 데 사용해야 한다. 고비용의 원격 조작 및 시범 데이터는 단일 작업이 포화 상태에 도달한 후에는 동일한 동작을 반복하는 대신 예산을 더 많은 작업으로 전환해야 한다. 배포 데이터는 실패, 경계 조건, 분포 외 샘플을 선별하는 데 중점을 두고, 정보 밀도가 낮은 일상적인 운용 기록은 대량으로 폐기해야 한다.

이러한 관점은 Physical AI의 밸류에이션 스토리에 현실적인 영향을 미친다. 더 많은 로봇, 더 긴 운용 시간, 더 큰 원격 조작 팀을 보유한 회사가 자동으로 더 강력한 모델 장벽을 의미하지는 않는다. 더 복제하기 어려운 능력은 가치 있는 롱테일 데이터를 지속적으로 찾아내고, 특정 데이터 유형이 언제 포화 상태에 도달하는지 판단하며, 더 낮은 비용으로 더 많은 작업 분포를 포괄하는 것일 수 있다.

하지만 이는 여전히 자본 배분 관점에 불과하며, 업계의 정설은 아니다. 로봇 모델이 언어 모델과 유사한 규모의 수익을 창출할 수 있을지, 배포 데이터가 특정 고차원 시나리오에서 지속적으로 새로운 정보를 생성할 수 있을지, 서로 다른 작업 간의 전이 효율성이 얼마나 높을지는 더 많은 실증 결과를 통해 답해야 할 문제다.

가그의 경고는 더 구체적인 문제에 초점을 맞추고 있다: Physical AI의 '황금 지표'는 데이터 시간이 아니라, 1달러당 확보한 새로운 샘플일 수 있다. 데이터 플라이휠로 스토리를 만들어가는 로봇 회사들에게 시장이 궁극적으로 주목하는 것은 누적 운용 시간이 얼마나 긴지가 아니라, 그 시간 동안 얼마나 많은 새로운 정보가 생성되었는지일 것이다.

BlockBeats 공식 커뮤니티에 참여하세요:

Telegram 구독 그룹：https://t.me/theblockbeats

Telegram 토론 그룹：https://t.me/BlockBeats_App

Twitter 공식 계정：https://twitter.com/BlockBeatsAsia