简体中文

繁體中文

English

Tiếng Việt

한국어

日本語

ภาษาไทย

Türkçe

리페이페이의 World Labs가 새로 발표한 세계 모델, 진짜 세계 모델인가?

动察 Beating

이 글을 읽으려면 31 분

세계 모델은 우주 전체를 복제할 필요가 없다.

원문 제목: 《리페이페이의 World Labs가 새로 발표한 세계 모델, 진짜 세계 모델인가?》
원문 저자: 동차Beating

9월 1일, 리페이페이의 World Labs가 Atlas를 공개했다.

공개 페이지에는 확실히 멋진 장면들이 있다. 몇 대의 스마트폰이 삼각대와 클램프에 장착되어, 같은 현장을 세 개에서 다섯 개의 각도로 촬영한다. 그리고 시간이 멈추고, 카메라가 움직이기 시작해 인물을 돌아 실제 카메라가 한 번도 서지 않았던 위치로 이동한다.

불릿 타임, 이 기법은 최근 2년간 그리 드물지 않다. 차이점은 Atlas가 동시에 내놓은 다른 세 가지에 있다.

첫 번째는 depth다. 화면의 각 픽셀에 렌즈로부터의 거리를 표시하면, 평범한 사진 한 장이 거리에 따라 색이 입혀진 지형도로 변한다.

두 번째는 point cloud다. 공간에 수백만 개의 점을 뿌리고, 각 점이 자신의 3D 좌표를 기억하면, 이를 합치면 이 방의 형태가 된다.

세 번째는 3D Gaussian Splat이다. 이는 삼각형 메시로 모델을 만들지 않고, 색상과 투명도, 방향과 크기를 가진 수많은 작은 광점으로 전체 장면을 쌓아 올린다. 어떤 각도에서든 다시 렌더링할 수 있다.

이 세 가지의 공통점은 측정 가능하다는 것이다. 컵의 지름, 테이블에서 벽까지의 거리를 모두 여기서 직접 수치로 읽을 수 있다. 생성된 결과는 더 이상 사람이 보기 위한 화면에 그치지 않고, 게임 엔진, 디자인 소프트웨어, 또는 로봇 팔 제어 코드에 투입될 수 있다.

World Labs는 Atlas를 아예 세계 시뮬레이터라고 부른다.

시뮬레이터라는 단어는 가볍게 쓰지 않았다. 세 달 전, 그들은 어떤 시스템이 이 이름을 붙일 자격이 있는지 규정하는 글을 직접 썼다.

볼 수 있는 것과 만질 수 있는 것

그 글은 올해 6월에 게재되었으며, 무엇이 진짜 세계 모델인지 논의하고, 결론은 시중의 시스템을 세 단계로 나누는 것이었다: 렌더러, 시뮬레이터, 플래너.

이 분류 방식의 기원은 오래되었다. 1943년, 영국 심리학자 Kenneth Craik은 인간이 사건이 어떻게 전개될지 미리 이해할 수 있는 이유는 뇌 속에 축소된 현실 세계가 있기 때문이라는 견해를 밝혔다. 이 주장은 이후 제어론, 신경망, 강화 학습으로 이어져 state, observation, action이라는 세 단어로 정리되었다.

부엌 하나를 예로 들어보자.

컵이 탁자의 어느 위치에 놓여 있는지, 탁자 가장자리에서 몇 센티미터 떨어져 있는지, 탁자가 벽에서 얼마나 떨어져 있는지, 문이 열려 있는지 닫혀 있는지—이 모든 것이 합쳐져 이 부엌의 현재 state(상태)가 된다.

사람이 문 앞에 서서 보는 것은 상태의 일부에 불과하다. 냉장고에 가려진 바닥은 보이지 않고, 컵에 물이 얼마나 남았는지도 알 수 없다. 눈으로 들어오는 이 정보를 observation(관찰)이라고 한다.

그가 걸어가서 컵을 밀어내는 것이 action(행동)이다.

state, observation, action—시스템이 이 중 몇 가지를 처리할 수 있느냐에 따라 그 등급이 결정된다.

렌더러는 화면을 담당한다. 사람이 한 걸음 앞으로 나아가면, 그 걸음에서 보여야 할 것을 계산해 그려내고, 이전 프레임과 자연스럽게 이어지면 일이 끝난다. 컵이 얼마나 높은지, 탁자가 벽에서 얼마나 떨어져 있는지는 알 필요가 없다. 내놓는 결과물이 단지 이미지 하나이기 때문이다.

시뮬레이터는 상태를 관리한다. 컵의 위치, 탁자의 크기, 문을 얼마나 열면 벽에 부딪히는지—이런 숫자들을 계속 저장해 두고, 언제든 꺼내 쓸 수 있어야 한다. 바로 이런 숫자들을 저장하고 있기 때문에 다른 프로그램이 연결될 수 있고, 로봇 팔 하나가 이 부엌에서 손을 뻗을 수 있는 것이다.

플래너는 행동을 계획한다. 컵이 탁자 위에 있고, 넘어뜨리면 어떻게 될지 아는 것뿐만 아니라, 지금 손을 뻗어야 하는지, 어떤 것을 먼저 집어야 하는지, 어떤 각도에서 가장 안정적으로 잡을 수 있는지도 판단해야 한다.

이 기준에 따르면, Google DeepMind의 Genie 3는 가장 낮은 등급인 렌더러로 분류된다. 함께 분류된 것은 World Labs가 2025년 10월에 발표한 RTFM도 마찬가지다.

그 전까지 '월드 모델'이라는 단어는 거의 무엇이든 담을 수 있었다. 문장 하나를 입력하면 걸어 들어갈 수 있는 화면을 생성하는 것도 월드 모델이었고, 공식 사이트 슬로건을 AI로 세상을 시뮬레이션한다는 것으로 바꾸는 것도 월드 모델이었다. 이 글은 처음으로 그 선을 그었다. 화면은 화면일 뿐, 세상은 세상이다.

지난 1년간의 데모 대부분은 첫 번째 등급에 머물러 있었다. 순수 텍스트 기반 영상 생성에 비해 확실히 한 걸음 나아가긴 했다. 방향키를 누르면 화면이 그에 맞춰 변한다.

하지만 렌더러가 내놓는 결과물은 사람이 보기에는 충분해도, 기계가 사용하기에는 부족하다.

Atlas가 목표로 하는 것은 시뮬레이터 등급이다. 그들 자신의 정의에 따르면, 시뮬레이터는 이 세상의 모든 상태를 유지해야 하며, 물리도 그 안에 포함된다.

현재 공개된 테스트는 카메라 조건부 생성과 3D 재구성에 집중되어 있다. 복잡한 재료, 유체, 직물 같은 다중 물리 상호작용은 아직 해결되지 않았으며, 업계 전체가 아직 해결하지 못한 상태다.

Atlas의 기술적 명칭은 multimodal autoregressive diffusion transformer로, 네 단어를 각각 나누어 보면 새로운 것이 없습니다.

transformer와 autoregressive는 대규모 언어 모델 계열로, 이미 생성된 내용을 보고 하나씩 이어서 생성합니다. diffusion은 이미지 및 비디오 생성 계열로, 화면을 그려냅니다. multimodal은 여러 종류의 입력을 동시에 받는다는 뜻입니다.

새로운 점은 multimodal이 구체적으로 텍스트, 이미지, 카메라 포즈, 깊이 맵 네 가지를 포함한다는 데 있습니다.

카메라 포즈는 사진을 찍을 때 카메라가 3D 공간의 어느 위치에 있고 어느 방향을 향하는지를 여섯 개의 숫자로 명확히 표현합니다. 깊이 맵을 더하면 각 사진은 더 이상 고립된 한 장의 이미지가 아니라, 촬영 위치가 표시된 이미지가 됩니다.

모든 사진이 동일한 좌표계에 표시되며, 이 좌표계가 Atlas의 shared spatial context, 즉 공유 공간 컨텍스트입니다.

예를 들어, 거실 문 앞에서 소파를 한 장 찍고, 창가로 걸어가서 다시 한 장 찍는다고 가정해 봅시다. 두 사진 속 소파는 크기와 각도가 다르고, 절반은 커피 테이블에 가려져 있습니다. 일반 모델은 두 장의 서로 다른 이미지를 봅니다. 사람은 같은 소파를 봅니다. 자신이 몇 걸음 걸었고 몇 도 회전했는지 알기 때문입니다.

Atlas가 받는 것은 바로 '몇 걸음 걸었고 몇 도 회전했는지'라는 데이터입니다.

이 데이터에는 또 다른 용도가 있으며, World Labs의 이전 세대 제품인 RTFM이 이미 시도했습니다. 그 목표는 단일 H100에서 계속 탐험할 수 있는 세계를 실시간으로 생성하는 것이었습니다. 앞으로 가면 앞을 생성하고, 방향을 바꾸면 시야가 따라 변합니다. 문제는 메모리에서 발생했습니다.

누군가 이 가상의 집에서 30분 동안 돌아다닌다고 가정해 봅시다. 이 30분 동안 생성된 모든 화면을 컨텍스트에 넣으면 모델은 아무것도 잊지 않지만, 컨텍스트가 점점 길어지면서 연산 능력이 먼저 버티지 못합니다. 최근 수십 프레임만 유지하면 연산 비용은 절약되지만, 침실에서 한 바퀴 돌아 주방으로 돌아왔을 때 모델은 20분 전에 테이블이 어디에 있었는지 기억하지 못해 같은 주방이 두 가지 모습으로 생성될 수 있습니다.

World Labs가 RTFM에 적용한 방식은 posed frames as spatial memory입니다. 각 프레임은 화면 외에도 촬영 당시 카메라의 공간 위치와 방향을 저장합니다. 모델이 특정 위치에 도달하면 시스템은 전체 메모리를 뒤질 필요 없이 위치에 따라 가까운 몇 개의 프레임만 검색하여 이번 생성에 필요한 컨텍스트를 구성합니다.

위치가 여기 있을 때는 인덱스 역할을 한다. 주방이 어떻게 생겼는지 알고 싶다면, 주방 근처에서 찍힌 프레임들을 찾아내면 충분하다. 그것들이 언제 찍혔는지는 중요하지 않다.

사람의 기억도 사실 같은 방식이다. 지난주 수요일 오후에 뭘 했는지 떠올리려 하면 대부분 기억나지 않지만, 그 회의실에 들어가면 누가 맞은편에 앉아 있었는지, 화이트보드에 뭐가 적혀 있었는지 금방 맞춰진다. 시간으로 검색하면 처음부터 세어야 하지만, 위치로 검색하면 한 번에 끝난다.

재구성과 생성

Atlas의 출시 페이지에는 또 다른 실험이 있다. 먼저 정원 사진 한 장만 주고, 모델이 높은 곳에서 내려다본 화면을 생성하게 한다. 사진에는 정원만 있고 주변이 어떻게 생겼는지는 찍히지 않았으므로, 정원 부분은 사실대로 복원하고 옆 건물은 훈련 데이터에서 본 상식으로 채워 넣는다.

두 번째 사진에는 옆에 있는 작은 집이 찍혀 있어 그 부분은 채울 필요가 없다. 세 번째 사진에서 집이 드러나면, 채워야 할 부분이 또 하나 줄어든다.

World Labs의 요약은, 더 많이 볼수록 덜 상상한다는 것이다. 그들이 제시한 데이터에 따르면, 두세 장의 사진이면 보통 장면을 실용적으로 복원하기에 충분하고, 한 번에 최대 백여 장까지 넣을 수 있다.

이 실험은 원래 분리되어 있던 두 가지 일을 같은 모델에 통합했다.

컴퓨터에서 3D 장면을 얻고 싶다면, 과거에는 두 가지 길이 있었다. 하나는 재구성이라 불리며, 현장에서 찍은 사진으로 실제 존재하는 장소를 원래대로 복원하는 것이다. 찍히지 않은 구석은 비워두고, 차라리 구멍을 남긴다. 다른 하나는 생성이라 불리며, 모델이 훈련 중 본 집과 잔디를 바탕으로 존재하지 않는 장소를 만든다.

Atlas는 양쪽 모두를 차지한다. 찍히지 않은 부분은 먼저 상식으로 채우고, 새 사진이 들어오면 그때 지어낸 부분을 실제로 바꾼다. 사진이 적으면 많이 지어내고, 사진이 많으면 적게 지어낸다.

나는 항상 Funes World라는 프로젝트를 좋아했다. 그들은 카메라를 들고 전 세계를 돌아다니며 건축물을 촬영한다. 폼페이, 트로이, 쾰른 대성당, 천단 기년전, 그리고 유명하지 않은 집들도 찍는다. 어느 날 개조된 후에는 아무도 원래 모습을 기억하지 못하는 그런 집들이다. 그들은 건물 주위를 돌며 여러 방향에서 사진을 찍고, 사진 사이에 충분한 겹침을 남긴 다음, 사진 측량, NeRF, Gaussian Splatting으로 3D 모델을 조립한다. 공개 아카이브에는 현재 2100개 이상의 모델이 있으며, 19개 이상의 국가를 포함한다.

그들은 실제 세계의 백업을 만들고 있으며, 물리 세계의 GitHub를 만들고 있다고 말한다.

Funes는 순수한 재건의 길을 간다. 그들은 불도저보다 먼저 셔터를 누르며, 그 집이 실제로 그렇게 생겼다는 것을 목표로 한다. 한 조각이 빠져도 모델이 대신 채우게 하지 않는다.

Atlas는 다른 종류의 사용자를 마주한다. 부엌의 벽 하나는 위치와 크기만 맞으면 로봇 팔이 뻗어 부딪히는 결과가 동일하다. 벽의 무늬가 촬영된 것인지 생성된 것인지는 로봇 팔이 신경 쓰지 않는다.

그래서 문제는 다른 곳으로 옮겨간다. 일부가 만들어낸 세계가 현실에서 일해야 할 기계를 훈련하는 데 사용될 수 있는지. 생성된 집이 실제처럼 보이는지는 여기서 일단 무시할 수 있다.

7월, World Labs는 로봇 회사 SceniX를 인수했다. 인수 후 발표된 첫 번째 결과물이 바로 이 질문에 답한다.

여러 로봇 그룹이 완전히 시뮬레이터 안에서 훈련되었고, 실제 세계 데이터는 하나도 사용하지 않았다. 그런 다음 실제 로봇 팔에 직접 장착되어 상자 쌓기, 와이어 감기, 시험관 옮기기를 수행했다. 그중 몇 대는 중간에 사람의 개입 없이 1시간 연속 자율 운영되었다.

더 주목할 점은 그들이 이 시뮬레이터가 적합한지 어떻게 판단하는지다.

자연스러워 보이는 기준이 하나 있다. 시뮬레이터에서 성공률 80%면 실제 기계에서도 80%여야 한다는 것. 그들은 이 기준을 사용하지 않았다. 시뮬레이터의 벽과 실제 벽의 마찰이 다르고, 부품의 무게 분포도 맞지 않아 성공률은 반드시 차이가 난다.

그들은 이렇게 바꿨다. 먼저 시뮬레이터에서 여러 방안을 각각 2000번 실행해 성능 순위를 매긴 다음, 이 방안들을 실제 기계로 옮겨 각각 100번 실행하고 두 가지만 비교한다. 시뮬레이터에서 A 방안이 B 방안보다 좋다면 실제 기계에서도 그런지; 시뮬레이터가 특정 동작이 어느 단계에서 가장 실패하기 쉽다고 말하면 실제 기계도 그 단계에서 실패하는지.

발표된 작업에서 이 두 항목 모두 일치했다. 양쪽의 성공률 차이가 얼마인지는 오히려 신경 쓸 필요가 없다. World Labs의 말에 따르면, 유용한 시뮬레이터는 현실과 성공률이 일치할 필요가 없고 현실과 같은 의사 결정을 지원하기만 하면 된다.

이 방식은 100여 년 전에 이미 누군가 사용했다.

1901년 가을, 라이트 형제는 Lilienthal이 발표한 날개 데이터를 따라 글라이더를 제작했지만 실제 양력은 예측값의 1/3에 불과했다. 선배들의 데이터에 문제가 있었지만, 다시 측정하려면 사람을 계속 하늘로 보내야 했다. 그래서 그들은 나무로 6피트 길이의 풍동을 만들었고, 오후 하나에 여러 쌍의 날개를 시험할 수 있었으며, 겨울 하나에 100여 종을 테스트했다.

풍동(風洞) 안의 바람과 노스캐롤라이나의 해풍은 같은 것이 아니지만, 어느 쪽 날개가 더 나은지는 비교할 수 있다.

세계 모델은 우주 전체를 복제할 필요가 없다. 의사결정과 관련된 구조만 간직하면 된다.

실패의 경험

이 지점에 이르면 World Labs의 사업 윤곽이 드러난다. 그들이 2025년에 출시한 제품 Marble은 이미 텍스트, 이미지, 비디오에서 탐험 가능한 3D 세계를 생성할 수 있으며, World API가 개방된 후 개발자들이 직접 호출할 수 있다. Atlas는 이 제품들 아래에 있는 기반 모델이다.

올해 2월의 10억 달러 규모 투자 라운드에서 자금을 댄 회사들은 매우 다양했다. NVIDIA는 Physical AI를 원했고, Autodesk는 건축, 산업 디자인, 디지털 트윈을 원했으며, 그 외에도 AMD, Fidelity, Sea가 참여했다. 같은 3D 세계에서 감독은 카메라 위치와 조명을 신경 쓰고, 건축가는 구조와 스케일을 신경 쓰며, 로봇은 실험이 가능한 환경을 원한다.

하나의 세계가 충분히 범용적이기만 하면, 오늘날 서로 분리된 여러 소프트웨어 산업을 가로지를 수 있다.

자신이 세계 모델을 만든다고 말하는 회사들을 같은 벤치마크 표에 넣는 것은 더 이상 의미가 없다.

Genie 3는 화면을 생성하고, Meta의 V-JEPA 2는 아예 화면을 그리지 않고 비디오에서 직접 규칙을 학습하며, NVIDIA의 Cosmos는 시각 추론, 세계 생성, 행동 예측을 하나의 모델에 통합했고, Runway는 비디오 생성에서 시뮬레이션으로 방향을 틀었다. 같은 단어를 쓰지만, 푸는 문제는 다르다.

갈림길은 하나뿐이다. 한 쪽은 세계를 충분히 잘 예측하면 3D 구조가 데이터에서 저절로 자라날 것이라고 믿는다. 비디오 속에 이미 이러한 규칙이 숨어 있다는 것이다. 다른 쪽은 카메라 위치, 기하학, 물리 제약을 모델에 직접 주입하여 세계가 첫날부터 구조를 갖게 한다. Atlas가 카메라 포즈와 깊이를 네이티브 입력으로 만든 것이 바로 그런 방식이다.

이 길에서 피할 수 없는 문제가 하나 있다. 훈련 데이터가 어디서 오는가이다.

대규모 언어 모델은 한 가지 선물을 받았다. 수십 년 동안 인간이 웹페이지를 작성하고, 코드를 쓰고, 포럼에서 논쟁하면서 무의식적으로 거대한 말뭉치를 쌓아왔다.

3D 세계에는 그런 것이 없다. 공간 관계는 체계적으로 기록되는 경우가 드물고, 바닥의 마찰 계수는 스스로 웹페이지에 기록되지 않는다. 더 어려운 것은 상호작용이다. 로봇이 플러그를 비뚤게 꽂으면, 현실에서 그 플러그는 정말로 비뚤어져 있고, 다음 시도 전에 누군가 가서 바로 세워야 한다. 텍스트는 무한히 복제할 수 있지만, 현실의 경험은 매번 다시 일어나야 한다.

그래서 과거 로봇에게 가장 부족했던 것은 사실 실패였다. 현실에서 실수하는 것은 너무 비싸고, 시뮬레이터가 한번 제대로 작동하면 로봇은 그 안에서 수천 번, 수만 번을 실행하며 빠르게 경험을 쌓을 수 있다.

리페이페이(李飛飛)는 이 문제와 거의 20년을 씨름해 왔다.

2009년, 그녀와 팀은 ImageNet을 만들어 인터넷에 흩어져 있는 이미지들을 WordNet의 개념 체계에 따라 재정리했다. 완전한 인덱스에는 1419만 장의 이미지와 21841개의 synset이 포함되어 있었고, 이후 딥러닝에 불을 지핀 ILSVRC는 그중 1000개 클래스만 사용했다. 그 시대의 컴퓨터 비전 문제는 단순했다. 기계에게 사진 한 장을 주고, 그 안에 무엇이 있는지, 어떤 범주에 속하는지, 화면의 어느 위치에 있는지 말하게 하는 것이었다.

17년이 지나면서 이 문제는 더 이상 문제가 아니게 되었다. 앞서 그 주방에 있는 컵을 오늘날의 모델은 알아볼 뿐만 아니라, 한 번도 존재한 적 없는 100개의 컵을 무에서 생성할 수도 있다.

어려워진 것은 이 컵이 방 안의 어느 위치에 있는지, 테이블 뒤로 돌아가 다시 관측해도 같은 컵인지, 누군가가 그것을 밀어버린 후 다음에 볼 때 어디에 있어야 하고 어떤 상태여야 하는지다. 어떤 것을 알아본다는 것과, 그 것이 세계 속에서 어떻게 존재하는지를 아는 것은 별개의 문제다.

ImageNet에서 Atlas까지, 그 사이에는 예상치 못한 연속선이 있다. 인간이 기계에 세계에 대한 정보를 얼마나 많이 넣어야 그것이 스스로의 세계를 갖게 되는가 하는 것이다.

1940년, 아르헨티나 작가 아돌포 비오이 카사레스는 소설 《모렐의 발명》을 썼다.

주인공은 무인도로 도망쳐 이상한 사람들을 만난다. 이들은 매일 산책하고, 대화하고, 춤추며 모든 것이 정상적으로 보이지만 아무도 그를 볼 수 없다. 더 이상한 것은 같은 대화가 며칠 후에 원래대로 다시 발생하며, 심지어 멈추는 위치까지 똑같다는 점이다.

나중에 그는 섬의 과학자 모렐이 기계를 만들어 한 무리의 사람들이 섬에서 보낸 일주일을 완전히 녹화했다는 것을 알게 된다. 소리는 녹음되었고, 이미지는 녹화되었으며, 모렐은 촉각, 냄새, 온도까지도 보존되었다고 믿었다. 기계는 조수에 의해 구동되었고, 그 일주일은 섬에서 반복적으로 재생되었다.

모렐은 모든 감각이 동기화될 때 영혼이 나타난다고 믿었다.

80여 년 전에 쓰인 이 기계는 이미 터무니없을 정도로 과장된 멀티모달 모델과 매우 닮아 있다. 그것은 현실의 모든 감각적 증거를 보존하여, 어떤 관찰자도 진위를 구분할 수 없는 복제품을 만들어 낸다.

주인공은 프로젝션 속 여인 포스틴에게 사랑에 빠진다. 그는 매일 그녀 앞에 서서 말을 걸며, 그녀가 자신을 볼 수 있기를 바란다. 그녀는 단 한 번도 응답하지 않았다. 그녀가 속한 그 주는 이미 오래전에 녹화가 끝났기 때문이다. 기계는 그 한 주를 만 번 재생할 수 있지만, 그때 일어나지 않은 일을 재생할 수는 없다.

World Labs의 그 표에 따르면, 모렐이 만든 것은 완벽한 렌더러다.

오늘날의 모델은 이미 어떤 장소를 흠잡을 데 없이 재현할 수 있다. 어려운 것은 누구도 촬영한 적 없는 그 일, 즉 누군가 걸어 들어가 손을 뻗어 탁자 위의 그 컵을 넘어뜨리는 것이다.

모렐의 섬에는 모든 것이 있지만, 딱 이 한 가지가 빠져 있다.

-****끝-