NVIDIA Long-WAM, 19.2초 기록으로 GR-1 성공률 63.3→78.7%
NVIDIA, MIT, HKU, UCSD 연구진이 로봇 제어용 월드-액션 모델(WAM) Long-WAM을 arXiv에 올렸습니다(10월 8일 09시 한국 시각, 00:00 UTC). 로봇이 과거 영상을 더 길게 볼수록 성공률이 오르는지, 그 효과가 영상 모델을 어떻게 사전학습했느냐에 달려 있는지를 다룬 연구입니다. 긴 기록을 쓰면서도 RTX 5090 기준 행동 묶음 하나를 107.4 ms에 내는 배포 방식도 함께 제시했습니다.
1/기록은 도움이 되지만 반응을 늦춥니다
사진 한 장으로는 물체의 위치는 알 수 있어도 움직이는 방향이나 작업이 얼마나 진행됐는지는 애매합니다. 그래서 로봇 제어에는 어느 정도의 시각 기록이 필요합니다. 하지만 기록을 더 많이 처리할수록 행동이 늦어질 수 있습니다. 논문은 WAM(영상 예측을 폐루프 제어에 쓰는 모델)이 시각 맥락 길이에 따라 어떻게 달라지는지, 그 이득을 실시간 제약 안에서 어떻게 유지할지를 묻습니다. 저자들의 핵심 주장은 기록에 접근할 수 있다는 것과 기록을 실제로 활용한다는 것이 다르다는 점입니다.
2/먼저 영상 예측을 배우고 그 구조를 행동에 이어 붙입니다
기존 DreamZero, LingBot-VA는 양방향으로 사전학습한 영상 생성기를 인과적(과거에서 미래 방향) 영상-행동 예측에 맞게 바꿔 썼습니다. Long-WAM은 먼저 행동 라벨이 없는 로봇·1인칭 영상에서 자기회귀(AR) 방식으로 다음 장면 예측을 배웁니다. 이 모델이 LongLive2.0-Robot이며, RoVid-X, AgiBot World, EgoDex, EgoVerse, VITRA의 약 10,000 window-equivalent hours로 학습했습니다. 이후 행동을 붙일 때도 과거에서 미래로 가는 순서를 그대로 유지합니다. 먼저 미래 영상 잠재값을 일부만 노이즈를 걷어내 예측하고, 그 캐시를 행동 전문가 모듈이 받아 행동 묶음을 만듭니다. 미래 영상은 픽셀로 복원하지 않습니다.
3/비동기 실행과 NVFP4로 긴 기록을 실시간에 맞춥니다
추론과 로봇 동작을 겹쳐 실행하되, 행동 묶음 사이를 섞거나 앞부분을 지정해 주는 별도 장치는 쓰지 않습니다. 논문에 따르면 RoboTwin 2.0에서 Fast-WAM과 LingBot-VA는 비동기로 바꾸면 성공률이 각각 15.4, 45.5%p 떨어졌지만 Long-WAM은 동기 성적을 거의 유지했습니다. 들어오는 관측을 로봇이 움직이는 동안 미리 인코딩하는 스트리밍 VAE, NVFP4 양자화, 장치별 커널 튜닝도 더했습니다. 덕분에 RTX 5090, DGX Spark, Jetson AGX Thor에서 미래 예측을 빼지 않고 돌립니다. 기록이 길어지면 prefill, attention, 캐시 비용도 늘어난다고 논문은 적고 있습니다.
4/GR-1 63.3→78.7%, 움직이는 컵 쌓기 95%
RoboCasa GR-1에서 맥락을 0.0초에서 19.2초로 늘리자 성공률이 63.3%에서 78.7%로(+15.4%p) 올랐습니다. 양방향 사전학습 초기값은 순이득이 없었고, 로봇 영상 AR 모델과의 격차는 기록 없이 3.3%p에서 19.2초에 17.1%p로 벌어졌습니다. LIBERO-Long은 2.4초 기록으로 94.5%에서 99.5%가 됐습니다. 비교 방법 중 최고 성적은 LIBERO-Long, RoboTwin 2.0(평균 94.4%), DOMINO(34.9%)에서 나왔습니다. RTX 5090에서 행동 묶음 하나는 4단계 노이즈 제거 기준 107.4 ms로, BF16 eager 실행보다 3.3배 빠릅니다. Unitree G1은 초속 7.5 cm 컨베이어의 컵을 90% 잡고 움직이는 컵을 95% 쌓았으며, π0.5와 Fast-WAM은 20회 시도에서 한 번도 성공하지 못했습니다. YAM에서는 평균 40초 넘는 작업을 81.7% 성공했습니다. RoboCasa365에서 GPT-6 Astra 플래너와 묶으면 전체 성공률이 31.4%로, 플래너 단독 25.2%보다 높아졌다고 논문은 적었습니다.
5/긴 기록의 값어치는 사전학습이 정합니다AMEET 해석
이 논문이 보여 준 것은 맥락을 늘리면 무조건 좋아진다는 사실이 아니라, 미래 예측을 먼저 배운 모델에서만 그 이득이 크게 나타난다는 점입니다. 그렇다면 로봇 정책을 만들 때 기록 길이보다 영상 기반 모델의 학습 방식을 먼저 따져야 한다는 뜻이 됩니다. 계층형 실험에서 플래너를 붙였을 때 Long-WAM이 +23.0%p, π0.5가 +13.6%p 올랐다는 결과는 실행기가 강할수록 상위 계획의 효과가 커질 가능성을 시사합니다. 다만 이 비교들은 논문이 고른 벤치마크와 로봇 두 종류에서 나온 결과입니다.