Reflex, 휴머노이드가 던진 상자를 카메라만으로 받아 65% 성공
University of Washington 등이 10월 12일 09시(한국 시각, 00:00 UTC) 공개한 논문 Reflex는 휴머노이드가 몸에 단 RGB-D 카메라만으로 날아오는 상자를 전신으로 받아내도록 학습시키는 3단계 틀입니다. 시뮬레이션에서는 카메라 입력으로 85.7%, 상자 정보를 직접 받았을 때 87.9%의 성공률을 기록했습니다. 실제 Unitree G1에서는 2.5m에서 65%, 5m에서 40%를 받아냈습니다.
1/1초 안에 몸 전체로 반응해야 하는 문제
사람은 날아오는 테니스공이나 떨어지는 컵에 1초 안팎에 온몸으로 반응합니다. 휴머노이드가 이를 하려면 세 가지가 필요합니다. 전신을 조율하고, 빠르게 움직이는 물체에 실시간으로 반응하고, 몸과 함께 움직이는 눈높이 카메라(egocentric vision)로 보는 것입니다. 논문은 이 세 가지를 모두 요구하는 대표 과제로 던진 상자 받기를 골랐습니다. 기존 연구는 말단 장치, 모션 캡처, 표식이 붙은 물체 중 하나에 기대어 일부만 다뤘다고 설명합니다. 실제 실험에서 상자는 던진 뒤 약 1초 만에 도달하는데, 카메라에서 제어까지 지연만 중간값 69ms였습니다.
2/학습을 세 단계로 쪼개고 '물체 움직임 요약'으로 잇기
1단계에서는 시뮬레이터가 주는 정확한 상자 상태를 이용해 강화학습(PPO)으로 전신 받기 동작을 익힙니다. 2단계에서는 20~60ms 지연이 있고 일부가 빠진 관측으로부터 상자의 위치·속도·방향·크기·관측 나이를 읽어 8차원 잠재 표현(latent)으로 압축하는 법을 배우고, 제어기는 이 표현을 받아 움직입니다. 3단계에서는 RGB-D 영상 기록과 카메라 자체 움직임 정보로 같은 잠재 표현을 예측하는 시각 인코더를 학습하며, 이때 전신 제어기는 고정합니다. 이렇게 나누면 각 능력에 직접적인 학습 신호가 생기고, 영상 렌더링이 필요한 비싼 학습을 강화학습과 분리할 수 있다고 논문은 설명합니다. 제어는 20ms마다 29자유도 관절 명령을 내는 방식입니다.
3/시뮬레이션 85.7%, 실제 G1에서 2.5m 65%·5m 40%
시뮬레이션에서 카메라 입력(RGB-D) 기준 받기 성공률은 85.7%, 상자 정보를 직접 준 경우는 87.9%였습니다. 시간에 따른 시각 기록을 빼면 정면 던지기에서 35.6점, 0.6m 옆으로 벗어난 던지기에서 39.8점 떨어졌습니다. 실제 Unitree G1에서는 사람이 던진 상자를 2.5m에서 65%, 5m에서 40% 받았습니다. 같은 거리에서 사람 성공률은 85.0%와 68.3%였고, Reflex는 그 76%와 59% 수준입니다. 7m에서는 사람 3명의 성공률이 28.3%에 그쳤다고 논문은 적었습니다. 추가 실험에서는 카메라 자체 움직임 정보가 시각 인식에 도움이 되고, 전체 상자 상태보다 학습된 잠재 표현을 회귀하는 쪽이 낫고, 행동 일치 초기화가 가중치 매핑보다 평균 5.2점 높았습니다. 받은 상자를 7.8m 들고 가 사람에게 건넨 뒤 7.3m 걸어 돌아오는 후속 시연도 소개됐습니다.
4/가까운 거리 중심의 실험, 카메라 가림 문제
논문 본문에서 확인되는 어려움은 두 가지입니다. 접촉 직전에는 로봇 자신의 팔이 상자를 점점 가려서 시각 추정이 어려워지고, 카메라가 로봇과 같이 움직여 영상 속 움직임에 물체 움직임과 자기 움직임이 섞입니다. 실제 로봇 성공률도 거리가 2.5m에서 5m로 늘면 65%에서 40%로 낮아졌습니다. 제공된 원문은 중간에서 끊겨 있어, 별도의 한계 절이 있는지는 확인되지 않았습니다.
5/받기 너머의 반응형 전신 기술로 가는 길AMEET 해석
저자들은 받기를 가로채기, 피하기, 물건 건네기, 물리적 보조 같은 시각 반응형 전신 기술의 한 사례로 봅니다. 이번 결과는 모션 캡처나 표식 없이 일반 상자와 몸에 단 카메라만으로 동작을 보였다는 점이 핵심입니다. 다만 실제 성공률이 사람보다 낮고 거리가 멀어지면 크게 떨어져, 실사용 단계라기보다 가능성을 실기로 확인한 수준입니다.