동찰 Beating AI 속보, 얀 르쿤이 설립한 AMI Labs가 브라운대학교 연구진과 공동으로 새 논문 《Counterfactual World Models》를 발표해, JEPA 세계 모델이 한 행동의 실제 결과를 바탕으로 당시 다른 행동을 선택했다면 실패를 피할 수 있었는지를 추산할 수 있게 했다. 이러한 능력을 '반사실적 추론'이라고 한다.
예를 들어, 로봇이 화물을 지정된 위치로 운반하려는데 한 줄기 바람에 밀려 방향이 틀어졌다고 하자. 로봇은 자신이 방향을 잘못 선택한 것인지, 아니면 바람이 너무 강해 작업이 실패한 것인지를 어떻게 판단할까? 일반적인 세계 모델은 서로 다른 행동이 보통 어떤 결과를 가져오는지는 예측할 수 있지만, 이번에 바람이 얼마나 큰 영향을 미쳤는지는 알지 못한다.
새 방법은 실제 결과와 원래 예측의 편차를 활용해 이번 외부 교란의 영향을 추정한 뒤, 당시 다른 행동을 선택했다면 결과가 어떻게 달라졌을지를 추산한다. 전체 과정에서 기존 예측기를 두 번 호출하기만 하면 되며, 반사실 모델을 추가로 훈련할 필요가 없다. 로봇은 사후에 다른 행동을 했다면 목표를 완수할 기회가 있었는지를 판단할 수 있게 된다.
네 가지 물리 시뮬레이션 환경에서 연구팀은 모델이 사후에 목표를 완수할 수 있었던 행동을 찾아낸 비율이 35%–69%에 달했다고 보고했으며, 대조 방법은 14%–23%에 그쳤다. 대조 방법이 시뮬레이션 환경의 실제 물리 규칙을 알고 있더라도, 이번에 실제로 발생한 교란을 모르면 여전히 뒤처졌다.
다만 이 방법은 행동과 외부 교란의 영향이 대략 중첩될 수 있어야 한다. 충돌이 발생하거나 모터 고장으로 서로 다른 명령이 받는 영향이 달라지면 예측이 부정확해질 수 있다. 현재 연구는 여전히 시뮬레이션 환경에 국한되어 있으며, 실제 로봇의 실제 제어 효과는 아직 검증되지 않았다.