LingBot-Touch, 센서 3종 촉각을 하나로 묶는 모델
Robbyant 연구진이 11월 9일(한국 시각 11월 10일 03:12, 18:12 UTC)에 arXiv에 논문 "Learning Heterogeneous Tactile Representation for General Dexterous Manipulation"을 제출했습니다. 센서 종류가 달라도 같은 방식으로 촉각을 이해하게 하는 촉각 파운데이션 모델 LingBot-Touch를 제안하는 논문입니다. 이 모델이 만든 촉각 토큰은 diffusion policy부터 VLA 모델까지 여러 정책 모델에 붙여 쓸 수 있다고 합니다.
1/센서마다 달라서 데이터를 못 합치는 문제
접촉이 많은 정교한 조작(dexterous manipulation)에는 촉각이 꼭 필요합니다. 그런데 시중에서 구할 수 있는 촉각 센서는 아직 초기 단계이고, 센서 종류마다 대체할 수 없는 장점과 단점이 함께 있다고 논문은 설명합니다. 그래서 연구진은 촉각 이해를 센서 고유의 물리 특성에서 떼어내, 서로 다른 촉각 데이터를 로봇 모델이 함께 활용할 수 있게 하는 것을 핵심 과제로 잡았습니다.
2/센서가 달라도 같은 표현, 끼워 쓰는 토큰
LingBot-Touch는 압저항식(piezoresistive), 자기식(magnetic), 시각촉각식(visuotactile) 센서를 가리지 않고 하나의 통합 표현을 만듭니다. 새로운 종류의 센서도 쉽게 확장해 넣을 수 있다고 합니다. 이 모델이 내놓는 촉각 토큰은 plug-and-play 방식이어서, diffusion policy는 물론 π0.5, LingBot-VLA 같은 VLA(비전-언어-행동) 모델에도 끼워 넣어 조작 정교함을 꾸준히 높인다고 논문은 밝힙니다.
3/시뮬레이션과 실제 로봇 실험
논문은 시뮬레이션과 여러 하드웨어 플랫폼의 실제 로봇 배치 실험을 진행했고, 촉각 표현이 복잡한 조작 과제에 상당한 도움이 되면서도 계산 효율은 높게 유지된다고 밝힙니다. 다만 공개된 초록에는 성공률 같은 구체적 수치와 비교 대상 수치가 없어, 얼마나 개선됐는지는 이 글에서 확인할 수 없습니다. 본문에서 확인이 필요한 부분입니다.
4/센서 간 데이터로 촉각 학습을 키울 가능성AMEET 해석
연구진은 이번 결과가 여러 센서의 데이터를 활용해 촉각 학습의 규모를 키울 수 있는 가능성을 보여 주며, 이후 하드웨어와 로봇 모델 설계에도 참고가 될 것이라고 말합니다. 해석을 덧붙이자면, 센서가 바뀔 때마다 데이터를 처음부터 모아야 하는 부담을 줄이는 방향의 연구로 읽힙니다. 다만 이는 초록만으로 본 판단이며, 실제 효과 크기는 본문 수치로 확인해야 합니다.