a16z: AI의 다음 프론티어, 로봇, 자율 연구, 뇌-기계 인터페이스의 삼중 비행 휠

원문 제목: 물리 세계를 위한 프론티어 시스템

원문 작성자: Oliver Hsu, a16z 암호 연구원
원문 번역: DeepTide TechFlow

DeepTide 요약: 본문은 a16z 연구원 Oliver Hsu의 글로, 2026년 이후 가장 체계적인 "물리 AI" 투자 맵 중 하나입니다. 그는 언어/코드가 여전히 확장 중이라고 판단하나, 다음 세대를 혁신하는 능력을 실제로 구현하는 것은 일반 로봇, 자립적 과학(인공지능 과학자), 뇌-기계 인터페이스와 같은 주요 선상에 있는 세 가지 영역입니다. 저자는 이러한 영역을 지원하는 다섯 가지 기본 능력을 분해하고, 이 세 가지 전선 간에 상호 영양하는 구조적 비행률이 형성될 것이라고 주장합니다. 물리 AI 투자 논리를 명료하게 이해하고 싶은 사람들에게 가장 완전한 프레임워크입니다.

현재 AI를 주도하는 패러다임은 언어 및 코드 구성을 중심으로 하고 있습니다. 대형 언어 모델의 확장 법칙은 이미 명확하게 설명되었으며, 데이터, 컴퓨팅 리소스, 알고리즘 개선의 상업 비행률이 작용하고 있으며, 능력을 한 단계씩 끌어올릴 때 가져오는 이익은 여전히 상당히 크며, 이러한 이익의 대부분은 명백합니다. 이 패러다임은 그 자체로 투자와 주목을 받을만한 가치가 있습니다.

그러나 다른 그룹의 부속 분야는 이미 발전을 이루었습니다. 이들은 시각-언어-동작 모델(VLA), 세계 고유의 동작 모델(WAM) 등과 같은 일반 로봇 경로, 물리적 및 과학적 추론을 중심으로 펼쳐지는 "인공지능 과학자", AI를 활용하여 새로운 유형의 인간-기계 상호 작용인 마인드-기계 인터페이스 및 신경 과학 기술을 포함하는 새로운 인터페이스입니다.

기술 자체 외에도, 이러한 여러 방향은 이미 인재, 자본 및 창업자들의 주목을 끌고 있습니다. 물리적 세계에 AI를 확장하는 기술적 언어가 동시에 성숙해지고 있으며, 지난 18개월 동안의 진전은 이러한 분야가 곧 각자의 확장 단계로 진입할 것임을 보여줍니다.

어떤 기술 패러다임에서든 현재 능력과 중장기 잠재력 사이의 가장 큰 차이가 있는 곳은 보통 두 가지 특징을 갖습니다: 첫째, 현재의 선두를 주도하는 동일한 확장형 혜택을 누릴 수 있는 곳이며, 둘째, 메인스트림 패러다임으로부터 거리가 있기 때문에 기반 시설 및 연구 기반을 계승할 수 있는 가까운 이점이지만 더 많은 작업을 해야 하는 이점입니다.

이 간극 자체에는 이중적인 역할이 있습니다: 빠르게 따라갈 수 있는 자에게 자연스레 보호막을 형성하면서도, 덜 만석하고 혼잡하지 않은 문제 공간을 정의하여 새로운 능력이 더 쉽게 나타날 수 있도록 합니다 — 단순히 더 빠른 길이 아직 밟히지 않았기 때문에.

주석: 현재 AI 패러다임(언어/코드)과 인접한 최첨단 시스템과의 관계 개념

이 설명과 부합하는 오늘날 세 가지 영역이 있습니다: 로봇 학습, 자율 과학(특히 재료 및 생명 과학 분야), 그리고 새로운 유형의 인간-기계 인터페이스(뇌-기계 인터페이스, 음성 없는 음성, 신경 착용, 디지털 냄새같은 새로운 감각 채널을 포함).

이들은 완전히 독립적인 작업이 아니며, 주제적으로는 모두 같은 "물리 세계의 최첨단 시스템" 그룹에 속합니다. 그들은 기본 원시 기능 세트를 공유합니다: 물리 역학적 학습 표현, 몸 상호 작용 중심 아키텍처, 시뮬레이션 및 합성 데이터 인프라, 계속 확장되는 감각 채널 및 폐쇄적 지능체 배열. 그들은 상호 강화하는 다항적 피드백 관계에서 서로 강화됩니다. 그들은 변형 능력이 가장 가능성이 높은 곳이기도 합니다 - 모델 규모, 물리적 실현, 새로운 데이터 형태의 상호 작용에서 파생됩니다.

본문은 이러한 시스템을 지원하는 기술 원시 기능을 정리하고, 왜 이 세 가지 분야가 최첨단 기회를 대변하며 서로 강화하여 AI를 물리 세계로 추진하는 구조적 플라이휠을 형성하는지 설명합니다.

다섯 가지 기본 원시 기능

구체적인 응용 프로그램을 살펴보기 전에, 이 최첨단 시스템이 공유하는 기술 기반을 이해합니다. AI를 물리 세계로 추진하는 것은 다섯 가지 핵심 기본 원시 기능에 의존합니다. 이러한 기술은 어떠한 특정 응용 분야에도 속하지 않으며, 그들은 구성 요소입니다 - AI를 물리 세계로 확장할 수 있도록 시스템을 구축합니다. 그들의 동기화된 성숙은 현재 이 시기가 특별한 이유입니다.

주석: 물리적 AI를 지원하는 다섯 가지 기본 원시 기능

원시 기능 1: 물리 역학적 학습 표현

가장 근본적인 원시 기능 중 하나는 압축된 범용 물리적 세계 행동 표현을 학습하는 것입니다. 물체의 움직임, 변형, 충돌, 힘에 대한 응답 방식 등을 학습할 수 있습니다. 이러한 층이 없으면 모든 물리적 AI 시스템이 자신의 영역의 물리 법칙을 처음부터 배워야 하며, 이 비용은 아무도 감당할 수 없습니다.

여러 아키텍처 파이들이 다른 방향에서 이 목표에 다가가고 있습니다. VLA 모델은 상위 수준에서 시작하여: 미리 훈련된 시각-언어 모델 - 이미 물체, 공간 관계 및 언어에 대한 의미론적 이해를 갖추고 있음 - 에 대동작 디코더를 추가하여 움직임 제어 명령을 출력합니다.

핵심은, '세상을 보고 이해하는' 대규모 비용이 인터넷 규모의 이미지 및 텍스트 사전 훈련으로 약화될 수 있다는 것입니다. Physical Intelligence의 π₀, Google DeepMind의 Gemini Robotics, NVIDIA의 GR00T N1은 이러한 구조를 점점 더 큰 규모에서 확인했습니다.

WAM 모델은 하위 계층에서 시작합니다: 인터넷 규모 비디오에 대한 비디오 확산 Transformer에서 사전 훈련되며, 물리학적 역학에 대한 풍부한 사전 지식(물체의 낙하 방식, 가려짐 방식, 힘을 받은 후의 상호 작용)을 계승하고, 이러한 사전 지식과 동작 생성을 결합시킵니다.

NVIDIA의 DreamZero는 새로운 작업 및 환경에 대한 영(零) 샘플 일반화를 보여주며, 적은 양의 적응 데이터로 사람 비디오 데모에서 온톨로지 이전 전이를 수행할 수 있으며, 현실 세계에서의 일반화 능력이 의미 있는 향상을 보였습니다.

세 번째로, 미래 방향을 가장 명확히 판단하는 1가지 접근법은, 사전 훈련 VLM 및 비디오 확산 백본을 완전히 건너뜁니다. Generalist의 GEN-1은 처음부터 훈련된 원시 신체 기반 모델로, 50만 시간 이상의 실제 물리 상호 작용 데이터로 훈련되었으며, 주로 저비용 웨어러블 장치를 통해 일상 작업 작업자로부터 수집했습니다.

이는 표준 VLA(최적화되지 않은 시각-언어 백본이 없음)나 WAM이 아닙니다. 이것은 물리적 상호 작용의 기본 모델로 특별히 설계된 것으로, 인터넷 이미지, 텍스트 또는 비디오의 통계적 규칙이 아니라 사람과 물체 접촉의 통계적 규칙을 학습합니다.

World Labs와 같은 회사들이 하는 공간 지능은 이 기본 언어를 가치 있게 여깁니다. 왜냐하면 이것은 VLA, WAM 및 원시 신체 모델 모두가 현장 구조의 3D 구조를 명시적으로 모델링하지 않은 공통된 약점을 보충하기 때문입니다.

각 접근법의 수렴이 핵심입니다. VLM에서 상속되는 표현이나 비디오 협력 훈련에서 배운 것이나 물리적 상호 작용 데이터에서 처음부터 만든 것일지라도, 기본적인 언어는 동일합니다: 압축된 이전에 학습된 물리 세계 행동 모델입니다.

이러한 표현이 이용할 수 있는 데이터 생태계는 매우 방대하며, 대부분 아직 실행되지 않았습니다. 인터넷 비디오와 로봇 궤적 뿐만 아니라 대규모 인간 신체 경험 언어 데이터를 수집하기 시작하는 웨어러블 장치도 포함됩니다. 동일한 표현은 수건을 폴드하는 로봇뿐만 아니라 실험실 작업 결과를 예측하는 자율 실험이나 운동 피질 그립 의도를 해석하는 신경 디코더에 모두 도움이 될 수 있습니다.

원초 언어 2: 몸을 향한 행동 중심 아키텍처

물리적 표현만으로는 충분하지 않습니다. 「이해」를 안정적인 물리적 행동으로 번역하려면 상호 연관된 여러 문제를 해결하기 위한 아키텍처가 필요합니다: 고수준 의도를 연속적인 움직임 명령으로 매핑하는 문제, 긴 행동 시퀀스에서 일관성 유지하는 문제, 실시간 지연 제약 조건하에서 실행하는 문제, 그리고 경험을 통해 지속적으로 향상시키는 문제입니다.

이중 시스템 계층 구조는 복잡한 몸을 가진 작업에서 표준 설계가 되었습니다: 느리고 강력한 시각-언어 모델이 장면 이해 및 작업 추론(시스템 2)을 담당하고, 빠르고 가벼운 시각-운동 전략이 실시간 제어(시스템 1)를 담당합니다. GR00T N1, Gemini Robotics, Figure의 Helix는 이러한 경로의 변형을 채택하여, 「대형 모델이 풍부한 추론을 제공하는 반면, 물리적 작업은 밀리초 제어 주파수를 필요로 하는」 근본적인 긴장을 해소했습니다. Generalist는 다른 길을 걸어, 「공명 추론」을 사용하여 사고와 행동을 동시에 실행합니다.

행동 생성 메커니즘 자체도 빠르게 발전하고 있습니다. π₀가 개척한 흐름 일치 및 확산 기반의 행동 헤드는 매끄럽고 고주파 연속적인 움직임을 생성하는 주류 방법으로 자리 잡았으며, 언어 모델링에서 빌려온 이산적 토큰화를 대체했습니다. 이러한 방법은 행동 생성을 이미지 합성과 유사한 노이즈 제거 프로세스로 취급하여, 생성된 궤적은 물리적으로 더 부드럽고 오차 누적에 대해 더 견고하며, 자기 회귀 토큰 예측보다 우수합니다.

그러나 아키텍처 수준에서 가장 중요한 발전은 강화 학습을 사전 훈련 VLA로 확장한 것일지도 모릅니다—시범 데이터에서 훈련된 기본 모델은 자율 학습을 통해 계속 발전시킬 수 있으며, 사람이 기술을 반복 학습하고 자기를 수정함으로써 기술을 닦는 것과 비슷합니다. Physical Intelligence의 π*₀.₆ 작업은 이 원칙을 가장 명확하게 확장한 것입니다. 그들의 방법은 RECAP(우위 조건 정책 기반의 경험 및 수정 강화 학습)이라고 불리며, 순수한 모방 학습으로는 해결할 수 없는 긴 시퀀스 신용 할당 문제를 해결합니다.

만약 로봇이 약간 기울어진 각도로 이탈리안 에스프레소 머신의 손잡이를 집었을 경우, 실패는 즉시 나타나지 않고, 여러 단계 후에 삽입되었을 때에야 드러날 수 있습니다. 모방 학습은 이 실패를 먼저 나중에 그 그랩에 귀속시키는 메커니즘을 갖고 있지 않지만 강화 학습은 그렇습니다. RECAP는 주어진 중간 상태에서 성공할 확률을 추정하는 가치 기능을 훈련하여, 그런 다음 VLA에게 높은 우위의 행동을 선택하도록 합니다. 핵심은, RECAP는 다양한 이종 데이터—시범 데이터, 정책 자율 경험, 실행 중에 전문가 원격 조작에서 제공된 수정—을 동일한 훈련 파이프라인에 통합합니다.

이 방법의 결과는 행동 영역에서 강화 학습에 대한 전망이 좋은 소식입니다. π*₀.₆은 실제 가정 환경에서 50 종류의 보지 못한 의류를 쌓고, 신뢰성 있게 상자를 조립하며, 전문가 머신에서 이탈리안 에스프레소를 만들어내며, 몇 시간 동안 사람 개입 없이 연속적으로 작동합니다. 가장 어려운 작업에서, RECAP는 순수한 모방 학습 기준에 비해 처리량을 두 배 이상 늘리고, 실패율을 절반 이상 줄였습니다. 이 시스템은 또한 강화 학습 후 훈련이 모방 학습에서 얻을 수 없는 품질의 변화를 가져온 것을 입증했습니다: 더 부드러운 회복 행동, 더 효율적인 그랩 전략, 시범 데이터에는 없는 셀프 교정.

이러한 수익은 하나를 보여줍니다: GPT-2에서 GPT-4로의 대규모 모델의 계산량 스케일링 동력은 이미 구체적인 분야에서 작동하기 시작했습니다 — 지금은 곡선의 이른 위치에서 작동하고 있으며, 행동 공간은 연속적이고 고차원적이며 물리 세계의 가혹한 제약 조건과 직면해야 합니다.

원천 언어 세 번째: 스케일링 인프라로서의 시뮬레이션 및 합성 데이터

언어 분야에서 데이터 문제는 인터넷에 의해 해결되었습니다: 자연 생성, 무료로 얻을 수있는 조심 급의 토큰 텍스트. 물리적 세계에서 이 문제는 순위가 매우 높으며, 이 점은 이미 공감되고 있으며, 직접적인 신호는 물리적 세계 데이터 공급 업체 스타트업의 급격한 증가입니다

실제 세계의 로봇 궤적 수집 비용이 높고, 확장시키는 것이 위험하며, 다양성이 제한됩니다. 언어 모델은 10 억 번의 대화에서 배울 수 있지만 로봇은(일시적으로) 10 억 번의 물리적 상호 작용을 할 수 없습니다.

시뮬레이션 및 합성 데이터 생성은이 제약을 해결하는 기본 인프라 계층이며, 그들의 성숙은 오늘날 물리적 AI의 가속화가 5년 전이 아니었던 주요 이유 중 하나입니다.

현대의 시뮬레이션 스택은 물리적 시뮬레이션 엔진, 광선 추적을 기반으로 한 사진 수준의 렌더링, 프로세더럴 환경 생성 및 시뮬레이션 입력을 사용하여 사진 수준의 비디오를 생성하는 세계 기반 모델을 결합한 것입니다. 후자는 sim-to-real 간극을 메우는 역할을 합니다. 파이프 라인은 실제 환경의 신경 재구성(따로 핸드폰을 사용할 수도 있음)에서 시작하여 물리적 정확한 3D 자산을 채워넣고 자동 주석이 달린 대규모 합성 데이터 생성까지 이어집니다.

시뮬레이션 스택의 개선은 물리 AI를 지원하는 경제적 가정을 바꿉니다. 만일 물리 AI의 병목 현상이 '실제 데이터 수집'에서 '다양한 가상 환경 설계'로 옮겨진다면, 비용 곡선은 무너질 것입니다. 시뮬레이션은 계산 능력을 확장시키고 인적 노동 및 물리적 하드웨어에 의존하지 않습니다. 이는 물리 AI 시스템을 훈련하는 경제 구조를 변화시키며, 인터넷 텍스트 데이터가 언어 모델을 훈련하는 데 기여한 것과 동일한 의미입니다 — 이는 시뮬레이션 인프라에의 투자가 전반적인 생태계에 상당한 영향을 미칠 수 있음을 의미합니다.

그러나 시뮬레이션은 로봇의 원천 언어에 불과하지 않습니다. 동일한 인프라는 자율 과학(실험실 장비의 디지털 쌍둥이, 가정 사전 선별용 시뮬레이션 반응 환경), 신규 인터페이스(BCI 디코더 훈련을 위한 시뮬레이션 신경 환경, 새로운 센서 보정을 위한 합성 감각 데이터) 및 기타 AI와 물리적 세계 상호 작용 분야를 위해 서비스됩니다. 시뮬레이션은 물리적 세계 AI의 범용 데이터 엔진입니다.

원천 언어 네 번째: 감각 채널 확장

물리 세계에서의 정보 전달 신호는 시각과 언어보다 훨씬 풍부합니다. 촉각은 재료 속성, 그립 안정성, 접촉 지오메트리 등을 비디오 카메라가 볼 수 없는 정보를 전달합니다. 신경 신호는 모션 의도, 인지 상태, 지각 경험을 인코딩하는 대역폭을 가지며, 현재 사용 가능한 모든 인간-기계 인터페이스를 훨씬 뛰어넘습니다. 아첨근 근육 활동은 발화음이 내보내기 전에도 언어 의도를 인코딩합니다. 제 4의 주문은 AI가 이러한 이전에 접근하기 어려웠던 감각 경로를 신속하게 확장하는 것입니다. 이것은 연구뿐만 아니라 대중용 장치, 소프트웨어 및 인프라를 구축하는 전체 풀에도 해당합니다.

그림 설명: AR부터 EMG, 뇌-기계 인터페이스로 확장 중인 AI 감각 경로

가장 직관적인 지표는 새로운 카테고리 장치의 등장입니다. 최근 몇 년간 AR 장치는 경험과 형태 측면에서 크게 개선되었으며(이 플랫폼에서 소비 및 산업 시나리오 애플리케이션을 개발하는 기업들이 있습니다); 음성 중심 AI 웨어러블은 언어 AI에게 더 완전한 물리적 세계 맥락을 제공했습니다. 실제로, 그들은 사용자와 함께 물리적 환경으로 들어갔습니다.

장기적으로는 신경 인터페이스가 더 완전한 상호 작용 방식을 열 수도 있습니다. AI가 제공하는 계산 방식의 변화는 인간-기계 상호 작용을 크게 개선할 수 있는 기회를 만들어 냈으며, Sesame와 같은 회사들은 새로운 방식과 장치를 개발하고 있습니다.

보다 보편적인 모드인 음성은 신흥 상호 작용 방식에 이바지했습니다. Wispr Flow와 같은 제품은 음성을 주요 입력 방식으로 제공함으로써(정보 밀도가 높고 자연스러운 장점이 있기 때문에) 음성 없는 인터페이스의 시장 조건도 개선되었습니다. 음성 없는 인터페이스 장치는 혀와 성대 움직임을 캡처하는 다양한 센서를 사용하여 음성을 인식합니다. 이는 음성 정보보다 높은 정보 밀도의 인간-기계 상호 작용 모드를 나타냅니다.

뇌-기계 인터페이스(임재 및 비침습적)는 더 깊은 전선을 나선 상태로 했으며, 그 주변의 비즈니스 생태계는 계속 진보하고 있습니다. 신호는 임상 확인, 규제 승인, 플랫폼 통합, 기관 자본 등 네 가지 모두가 집중하는 점에 나타납니다. 이것은 몇 년 전에는 그저 학술 분야였던 기술 카테고리입니다.

촉각 지각은 본질적 인공지능 아키텍처로 들어가면서, 로보틱스 내의 일부 모델은 촉각을 명시적으로 내재화하고 있습니다. 후각 인터페이스는 실제 공학 제품으로 변모하고 있으며: 웨어러블 후각 디스플레이는 미세한 냄새 생성기, 밀리초 반응 속도를 사용하여 혼합 현실 애플리케이션에서 시연되었습니다; 후각 모델은 이제 시각적 AI 시스템과 짝을 이뤄 화학 공정 감시에 사용됩니다.

이러한 발전의 공통적인 규칙은: 극한 상태에서 상호 수렴한다는 것입니다. AR 안경은 사용자와 물리적 환경 간 상호 작용의 시각 및 공간 데이터를 계속 생성합니다; EMG 팔찌는 통계적 규칙을 통해 인간의 동작 의도를 캡처합니다; 음성이 없는 인터페이스는 서브음성 발음에서 언어 출력까지의 매핑을 캡처합니다; BCI는 현재의 최고 해상도로 뇌 활동을 캡처합니다; 촉각 센서는 물리적 조작의 접촉 동역학을 캡처합니다. 각 새로운 카테고리 장치는 동시에 데이터 생성 플랫폼이기도 하며, 여러 응용 프로그램 영역의 기저 모델을 공급합니다.

EMG 추론 운동 의도 데이터를 훈련한 로봇과 원격 조작 데이터만을 훈련한 로봇은 서로 다른 그랩 전략을 학습했습니다. 초음파 명령에 응답하는 실험실 인터페이스와 키보드 제어 실험실은 과학자-로봇 상호 작용 방식을 완전히 다르게 가져왔습니다. 고밀도 BCI 데이터로 훈련된 신경 디코더는 다른 채널에서 얻을 수 없는 운동 계획 표현을 생성할 수 있습니다.

이러한 장치들의 보급은 AI 시스템의 전달 데이터 매니폴드의 효율적인 차원을 넓히고 있으며, 이러한 확장의 상당 부분은 학술 연구소뿐 아니라 자본이 풍부한 소비재 기업에 의해 주도되고 있어 데이터 피드뷰가 시장 수용률에 따라 확장될 수 있음을 의미합니다.

원시 다섯: 폐쇄 루프 인텔리전트 시스템

마지막 원시는 더 많이 아키텍처적입니다. 이는 지각, 추론, 동작 계획을 지속적이고 자율적이며 폐쇄적으로 운영되는 시스템으로 구성하는 것을 의미하며 장기적인 시각에서 인간 개입 없이 작동합니다.

언어 모델에서 이에 해당하는 발전은 지능형 시스템의 등장이며, 다단계 추론 체인, 도구 사용, 자가 교정 프로세스를 갖추어 모델을 단일 대화형 도구에서 자율적 문제 해결자로 이끌어냈습니다. 물리적 세계에서도 동일한 변화가 일어나고 있지만 훨씬 엄격합니다. 언어적 지능체의 오류는 비용이 들지 않을 수 있지만, 물리적 지능체가 시약병을 엎는다면 복귀할 수 없습니다.

물리적 세계의 지능체 시스템에는 세 가지 특징이 있어서 디지털 버전과 구별됩니다.

첫째, 그들은 실험 또는 실행 루프에 내장되어야 합니다: 초기 계측기 데이터 흐름, 물리적 상태 센서 및 실행 원시 조작체에 직접 연결하여 추론이 물리적 현실에 기대지 않고 물리적 현실의 텍스트 설명에 직접 논리를 사용합니다.

둘째, 그들은 장기 일련의 내구성을 필요로 합니다: 기억, 역추적 추적, 보안 모니터링, 복구 동작을 통해 다중 실행 주기를 연결하고 각 작업을 독립적인 에피소드로 처리하지 않습니다.

셋째, 그들은 폐쇄 루프적응성을 요구합니다: 물리적 결과에 따라 전략을 수정하고 피드백에만 따르는 것이 아닙니다.

이 원시는 개별 능력들(우수한 세계 모델, 신뢰할 수 있는 동작 구성, 풍부한 센서 스위트)을 물리적 세계에서 자율적으로 작동하는 완전한 시스템으로 융합합니다. 이것은 통합 의미이며, 이 성숙은 다음 세 가지 응용 프로그램 영역이 단순한 연구 프로토 타입이 아니라 실제 세계 배치로 작용할 수 있는 기반의 전제로 작용합니다.

세 가지 영역

위의 원시들은 보편적인 활성화 계층이며, 그들 자체로 어떤 분야가 가장 중요한 응용이 발전할지를 규정하지 않습니다. 많은 분야에서 물리적 동작, 물리적 측정 또는 물리적 지각이 포함됩니다. 「선도 시스템」과 「기존 시스템의 개선」을 구분하는 것은 분야 내 모델 능력 향상 및 스케일링 기반 인프라의 지수 함수 수준입니다. 성능이 향상되는 것뿐만 아니라 지난에는 할 수 없었던 새로운 능력이 등장합니다.

로봇, AI 기반 과학, 새로운 유형의 인간-기계 인터페이스는 이러한 복리 효과가 가장 강한 세 가지 분야입니다. 각각이 고유한 방식으로 원시 언어를 조립하고, 각각이 현재의 원시 언어가 해제되고 있는 제약을 겪고 있으며, 각각이 작동하는 동안 부산물적으로 구조화된 물리 데이터를 생성합니다. 이러한 데이터는 원시 언어 자체를 향상시키고 피드백 루프를 형성하여 전체 시스템을 가속화합니다. 이들은 물리적 AI 분야에서 주목할 만한 유일한 대상은 아니지만, 이들은 선도적인 AI 능력 및 물리적 현실 상호 작용이 가장 집중된 곳이며, 현재 언어/코드 패러다임으로부터 가장 멀리 떨어진 곳으로 그만큼 새로운 능력이 나타날 수 있는 공간입니다. 동시에 이러한 지역들은 서로 높은 상호 보완성을 갖고 있으며, 이로 인해 그 혜택을 얻을 수 있습니다.

로봇

로봇은 가장 말 그대로 물리적 AI를 나타내는 것입니다: AI 시스템이 실시간으로 감지, 추론하고 물질 세계에 물리적 동작을 가합니다. 또한 로봇은 각 원시 언어를 동시에 압반 테스트합니다.

일반적인 로봇이 수건을 접기위해 얼마나 많은 일을 해야하는지 생각해보세요. 그는 변형 가능한 재료가 힘을 받았을 때 어떻게 동작하는지에 대한 학습된 표현을 갖추어야 합니다 - 이것은 언어 사전 훈련으로 얻을 수 없는 선행 물리적 요구사항입니다. 그는 고수준 명령을 20Hz 이상의 제어 주파수로 변환하여 연속된 동작 명령 순서로 번역하는 동작 아키텍처를 가져야 합니다.

모의 훈련 데이터가 필요합니다. 왜냐하면 수백만 회의 실제 수건 접기 데모를 수집한 사람이 없기 때문입니다. 그는 미끄러짐을 감지하고 집게력을 조절하기 위해 접촉 피드백이 필요합니다 - 왜냐하면 시각적인 차이로 한 번의 안정적인 그립과 실패하고 있는 그립을 구별할 수 없기 때문입니다. 또한 그는 오류를 감지하고 회복하는 동작 중심 제어기가 필요합니다. 기억 궤적을 맹목적으로 따르는 대신.

그림 주석: 로봇 작업은 다섯 가지 기본 언어에 대한 동시 호출을 포함합니다

이것이 로봇이 도구보다는 선도적인 시스템이 되는 이유입니다. 이러한 원시 언어들은 이미 존재하는 로봇 기능을 개선하는 것이 아니라, 이미 넓은 제어되는 산업 환경을 벗어나서 수행할 수 없었던 작업, 동작, 상호 작용 범주를 잠금 해제합니다.

최근 몇 년간의 전방진전은 상당했습니다 - 우리는 이전에도 썼었습니다. 첫 번째 세대 VLA는 기본 모델이 다양한 작업을 수행하는 로봇을 제어할 수 있음을 증명했습니다. 아키텍처의 진보는 로봇 시스템의 고수준 추론과 저수준 제어 사이를 연결했습니다. 엔드-사이드 추론이 실용적으로 되었으며, 크로스-온톨로지 이동은 모델이 한정된 데이터로 새로운 로봇 플랫폼에 맞게 조정될 수 있음을 의미합니다. 남은 핵심 도전은 확장 가능한 신뢰성이며, 이것은 여전히 배치의 병목입니다. 각 단계에서 95%의 성공률이 있더라도 10단계 작업 체인에서는 60%뿐이며, 생산 환경에서 필요한 것은 훨씬 더 높습니다. RL 후 훈련은 여기에서 큰 잠재력을 가지고 있으며, 이 도메인에 스케일링 단계에 필요한 능력과 견고성 임계값을 넘나드는 데 도움이 될 수 있습니다.

이러한 발전들은 시장 구조에 영향을 미칩니다. 수십 년 동안 로봇 산업의 가치는 주로 기계 시스템 자체에 축적되어 왔으며, 기계는 여전히 기술 스택의 핵심 부분이지만, 학습 전략이 표준화되면서 가치는 모델, 교육 인프라, 데이터 플라이휠로 이동할 것입니다. 로봇은 동시에 위의 원시 언어에 보태기도 합니다. 각 실제 세계 궤적은 세계 모델 훈련 데이터를 향상시키는데, 각 배치 실패는 시뮬레이션 커버리지의 결핍을 드러내며, 각 새 본체 테스트는 사전 훈련에 사용할 수 있는 물리적 경험 다양성을 확대합니다. 로봇은 원시 언어 중에서 가장 엄격한 소비자이자 가장 중요한 개선 신호 소스 중 하나입니다.

자율 과학

로봇이 "실시간 물리적 행동"으로 언어 테스트를 하는 것이라면, 자율 과학은 약간 다른 것을 테스트합니다. 즉, 인과 관계 복잡한 물리 시스템에 대한 지속적인 다단계 추론을 시간적으로 수 시간 또는 수일까지하고, 실험 결과는 해석되고 맥락화되어야 하며, 전략을 수정하는 데 사용되어야 합니다.

도식 : 자동화 과학(AI 과학자)이 다섯 가지 기본 언어를 통합하는 방식

AI 주도 과학은 원시 언어 조합의 가장 철저한 분야입니다. 자율 주행 실험실(SDL)은 실험 결과를 예측하기 위해 물리화학 역학적 특성을 학습해야 합니다. 이는 액체를 이동하거나 샘플을 위치시키는 데 필요한 본능적인 행동을 포함하며, 후보 실험 사전 선별 및 희귀 기기 시간 할당을 위해 시뮬레이션에 의존합니다. 또한 결과를 특성화하기 위해 확장된 센싱 능력이 필요합니다. ─── 스펙트럼 분석, 크로마토그래피, 질량 분석 및 더욱 새로운 화학 및 생물 센서까지 ───

이는 다른 어떤 분야보다도 폐쇄형 지능체 편성 언어가 더 필요한 분야입니다 : 人間介在なし에 다중 라운드 "가설-실험-분석-수정" 작업 흐름을 유지할 수 있으며, 추적을 유지하고 모니터링 안전하며 각 라운드에서 드러난 정보에 따라 전략을 조정할 수 있습니다.

이렇게 심층적으로 이러한 언어가 다른 분야에서는 사용되지 않습니다. 이것이 자율 과학이 실험실 자동화보다 뛰어난 "시스템"이기 때문입니다. Periodic Labs와 Medra와 같은 회사들은 재료과학 및 생명 과학 분야에서 과학 추론 능력과 물리적 검증 능력을 통합하여 과학을 반복하며 실험 훈련 데이터를 생산했습니다.

이러한 시스템의 가치는 직관적으로 명백합니다. 전통적인 재료 발견은 개념에서 상용화까지 몇 년이 소요되지만, 이를 AI로 가속화하면 이 프로세스를 훨씬 단축시킬 수 있습니다. 핵심 제한은 가정 생성(기본 모델만으로 충분히 돕혀질 수 있음)에서 제조 및 검증(물리적 기기, 로봇 실행, 폐쇄적 최적화가 필요)로 이동 중입니다. SDL이 이 병목현상을 해결하려는 것입니다.

자율 과학의 또 다른 중요한 특징은 — 물리 세계 시스템 내에서 모두 성립한다는 것 — 데이터 엔진으로서의 역할입니다. SDL이 실행하는 각 실험은 과학 결과뿐만 아니라 물리적인 근거가 되며 실험 검증된 교육 신호를 생산합니다.

특정 조건 하에서 고분자의 결정화 과정에 대한 측정은 재료 역학 모델에 대한 이해를 풍부하게 하며, 검증된 합성 경로는 물리적 추론의 교육 데이터가 됩니다. 특정 실패가 특성화되면, 인공 지능 시스템에게 예측이 실패한 지점을 알려줍니다. AI 과학자가 실제 실험에서 얻는 데이터는 인터넷 텍스트나 시뮬레이션 출력과 성격이 다릅니다 — 구조화되고 인과적이며 경험적으로 검증되었습니다. 이것이 물리적 추론 모델이 가장 필요로 하는 데이터이자 다른 출처로는 제공할 수 없는 데이터입니다. 자율 과학은 물리 현실을 구조화된 지식으로 직접 변환하고 전체 물리 AI 생태계를 개선하는 경로입니다.

신형 인터페이스

로봇은 AI를 물리적 움직임으로 확장하고, 자율 과학은 AI를 물리적 연구로 확장합니다. 신형 인터페이스는 인공 지능과 인간 인식, 감각 경험, 신체 신호의 직접적인 결합을 실현합니다 — 장비는 AR 안경, EMG 팔찌에서 식각식 뇌-기계 인터페이스로 걸쳐 있습니다.

이 범주를 유지하는 것은 단일 기술이 아니라 공통적인 기능입니다: 인간 지능과 AI 시스템 사이의 대역폭 및 모드를 확장하고 이 과정에서 물리적 AI 구축에 직접 사용할 수 있는 인간-세계 상호 작용 데이터를 생성합니다.

도식: AR 안경에서 뇌-기계 인터페이스로의 신형 인터페이스 계보

주류 패러다임으로부터의 거리는 이 분야의 도전과 잠재력입니다. 언어 모델은 개념적으로 이러한 모드를 알고 있지만, 무음 언어의 동작 양식, 후각 수용체 결합의 기하학 구조 또는 EMG 신호의 시계열 역학에 대해 자연스럽게 알지 못합니다.

이러한 신호의 표현을 해독하는 것은 확장 중인 감각 채널에서 배워야 합니다. 많은 모드는 인터넷 규모의 사전 훈련 말뭉치가 없어 인터페이스 자체에서만 데이터를 얻을 수 있습니다 — 이는 시스템과 그 교육 데이터가 공동진화하고 있음을 의미하며, 언어 AI에서는 그에 상응하는 것이 없습니다.

이 분야의 최근 발전은 AI 웨어러블이 소비재로 급속히 부상하는 것입니다. AR 안경은 이 범주에서 가장 두드러진 사례가 될 수 있으며, 음성이나 시각을 주요 입력으로 하는 기타 웨어러블도 동시에 나타나고 있습니다.

이 소비자 기기 생태계는 AI가 물리적 세계로 확장되는 데 새로운 하드웨어 플랫폼을 제공할 뿐만 아니라 물리적 세계 데이터의 기반 인프라로 작용합니다. AI 안경을 쓴 사람은 물리적 환경에서 사람이 어떻게 내비게이션하고 물체를 조작하며 세상과 상호 작용하는지에 대한 일인칭 비디오 스트림을 지속적으로 생성할 수 있습니다. 다른 착용형 장치는 생체 인식 및 움직임 데이터를 지속적으로 캡처합니다. AI 착용 장치의 설치량은 이전에는 불가능했던 규모로 인간의 물리적 경험을 기록하는 분산형 물리적 세계 데이터 수집 네트워크로 변모하고 있습니다.

스마트폰이 소비자 장치로서의 규모를 생각해보십시오. 동일한 규모의 새로운 유형의 소비자 장치는 컴퓨터가 새로운 모드로 세계를 인지하게 할 뿐만 아니라 AI와 물리적 세계 간 상호 작용에 새로운 거대한 창을 열었습니다.

뇌-기계 인터페이스는 더 깊은 전선을 상징합니다. Neuralink는 이미 여러 환자에게 이식을 시행했으며 수술 로봇 및 디코딩 소프트웨어는 반복되고 있습니다. Synchron의 혈관 내 Stentrode는 마비 환자가 디지털 및 물리적 환경을 제어할 수 있도록 사용되었습니다. Echo Neurotechnologies는 그들의 고해상도 피질 음성 해독 연구에 기초한 언어 회복용 BCI 시스템을 개발 중에 있습니다.

넛지(Nudge)와 같은 새로운 회사들도 설립되어 재능과 자본을 모아 새로운 신경 인터페이스 및 뇌 상호 작용 플랫폼을 만들고 있습니다. 연구 차원의 기술적 이정표도 주목할 만합니다. BISC 칩은 하나의 칩에서 65536개의 무선 신경 기록을 시연했으며 BrainGate 팀은 운동 피질에서 직접 내부 언어를 해독했습니다.

AR 안경, AI 착용 장치, 음성이 없는 음성 장치, 식물성 BCI를 아우르는 주요 주제는 단순히 "모두 인터페이스인" 것이 아니라 인간의 물리적 경험과 AI 시스템 간에 대역폭을 높이는 스펙트럼을 형성한다는 점입니다. 이러한 스펙트럼의 각 지점은 이 글의 세 가지 분야 뒤의 기본 요소들의 지속적인 발전을 지원합니다.

수백만 대의 AI 안경 사용자의 고품질 일인칭 비디오로 훈련된 로봇, 사전 지식이 담긴 조작 및 선별된 원격 조작 데이터 세트로 훈련된 로봇은 완전히 다릅니다. 초음파 명령에 응답하는 실험실 AI와 키보드 제어 실험실은 지연 시간 및 부드러움에서 전혀 다릅니다. 고밀도 BCI 데이터로 훈련된 신경 해독기는 다른 채널로는 얻을 수 없는 움직임 계획 표현을 생성합니다.

새로운 유형의 인터페이스는 감각 채널 자체를 확장시키는 메커니즘입니다. 이는 물리적 세계와 AI 간에 이전에 존재하지 않았던 데이터 채널을 열어줍니다. 이러한 확장은 대규모 배포를 추구하는 소비자 기기 회사들에 의해 촉진되며, 이는 데이터 회전축이 소비자의 채택과 함께 가속화됨을 의미합니다.

물리적 세계의 시스템

로봇, 자율 과학, 새로운 형태 인터페이스를 같은 프리미티브의 다른 인스턴스로 생각하여 전단 시스템을 조합한 근현대 시스템 사례로 본 이유는 서로 상호 작용하며 복리 효과를 가져오기 때문이다.

도식: 로봇, 자율 과학, 새로운 형태 인터페이스 간의 상호 피드백 플라이휠

로봇이 자율 과학을 가능하게 합니다. 자율 주행 실험실은 본질적으로 로봇 시스템입니다. 범용 로봇을 위한 개발된 운영 능력 - 솜씨있는 그랩, 액체 처리, 정확한 위치 결정, 다단계 작업 수행 -은 실험실 자동화로 직접 이식될 수 있습니다. 로봇 모델이 범용성과 견고성 측면에서 한 걸음씩 나아갈 때마다, SDL이 자율적으로 실행할 수 있는 실험 프로토콜 범위가 확장됩니다. 로봇 학습의 각 진전은 자율 실험의 비용을 줄이고 처리량을 높입니다.

자율 과학이 로봇을 가능하게 합니다. 자율 주행 실험실에서 생산되는 과학 데이터 - 검증된 물리적 측정, 인과 실험 결과, 소재 속성 데이터베이스 -은 세계 모델과 물리적 추론 엔진이 필요로 하는 구조화되고 현실적인 교육 데이터를 제공할 수 있습니다. 게다가, 다음 세대 로봇이 필요로 하는 소재 및 장치(업그레이드된 액추에이터, 민감한 촉각 센서, 고밀도 배터리 등)는 자재 과학의 산물입니다. 자율 발견 플랫폼을 가속화하여, 로봇 학습이 운영되는 하드웨어의 기초를 직접 개선합니다.

새로운 형태 인터페이스가 로봇을 가능하게 합니다. AR 장비는 '인간이 물리적 환경을 어떻게 인식하고 상호 작용하는지' 데이터를 확장 가능한 방식으로 수집합니다. 뉴럴 인터페이스에서 산출되는 인간의 움직임 의도, 인지 계획, 감각 처리에 관한 데이터는 로봇 학습 시스템을 훈련시키는 데 매우 중요합니다, 특히 인간-기계 협업이나 원격 조작 작업과 관련된 경우.

여기에는 전방 AI 발전의 본질적인 성격에 대한 보다 심층적인 관찰이 있습니다. 언어/코드 패러다임은 이미 비상할 성과를 내고 있으며, scaling 시대에 여전히 강세를 보이고 있습니다. 그러나 물리적 세계가 제기하는 새로운 문제, 새로운 데이터 유형, 새로운 피드백 신호, 새로운 평가 기준은 거의 무한합니다. AI 시스템을 물리 현실에 둠으로써 - 물체 조작 로봇, 합성 소재 실험실, 생물 및 물리 세계와의 인터페이스를 통해 - 우리는 기존 디지털 전선과 상호 보완되는 새로운 scaling 축을 개척했으며, 아마도 상호 개선될 것입니다.

도식: 물리적 AI의 각각의 scaling 축의 상호 작용과 에머전스

이러한 시스템은 무엇이 예측하기 어렵다는 행동을 불러일으킬지 정확히 예측하기 어려운 것에 대해 떠오르며, '떠오름(Emergence)'의 정의는 개별적으로 이해 가능하지만 결합되어 이전에 없던 상호 작용 능력을 지칭합니다. 그러나 역사적 법칙은 낙관적입니다. AI 시스템이 세계와 상호 작용하는 새로운 모드를 얻을 때마다 — 보기(컴퓨터 비전), 말하기(음성 인식), 읽기/쓰기(언어 모델) — 가져온 능력의 점프는 각각의 개선을 합한 것을 훨씬 웃돌며, 물리적 세계 시스템으로의 이행은 다음 이러한 상변 변환을 나타냅니다. 이 의미에서, 이 글에서 논의한 이러한 기본언어원은 지금 이 순간 구축되고 있으며, 선두 AI 시스템이 물리적 세계를 지각하고 추론하며 물리적 세계에 작용함으로써, 물리적 세계에서 많은 가치와 진전을 해제할 수 있을 것입니다.

원문 링크

BlockBeats 공식 커뮤니티에 참여하세요:

Telegram 구독 그룹：https://t.me/theblockbeats

Telegram 토론 그룹：https://t.me/BlockBeats_App

Twitter 공식 계정：https://twitter.com/BlockBeatsAsia