Reframe, 도구가 돌려준 관찰을 실제로 쓰게 하는 학습법
Nanjing University 등이 11월 10일 09시(한국 시각, 00:00 UTC) arXiv에 Reframe을 공개했습니다. 이미지를 잘라 보거나 영상 프레임을 고르는 도구를 쓰는 시각 에이전트가, 도구가 돌려준 결과를 실제 추론에 반영하도록 만드는 두 단계 후처리 학습 프레임워크입니다. 이미지와 영상 14개 벤치마크에서 Mix-RL과 vanilla MOPD보다 높은 성능을 냈다고 밝혔고, 코드·데이터셋·모델도 공개했습니다.
1/도구를 불러도 결과를 안 보는 문제
시각 에이전트는 이미지 영역을 자르거나 영상 구간을 고르는 도구로 세밀한 증거를 얻습니다. 그런데 도구를 호출했다고 해서 모델이 돌려받은 결과를 쓰는 것은 아닙니다. 논문은 관찰을 얻고도 이후 추론이 거의 영향을 받지 않는 현상을 observation neglect(관찰 무시)라고 부릅니다. 여기에 기존 MOPD(multi-teacher on-policy distillation, 여러 전문가 교사가 학생의 롤아웃을 채점하는 증류)는 도구가 돌려준 관찰이 이미 부실해도 그 상태를 그대로 두고 감독합니다. 이미지와 영상을 함께 다루는 기존 모델은 SFT 후 RL 방식을 쓰는데, 단일 모달리티로 학습한 모델보다 성능이 크게 뒤처지는 경향이 있다고 논문은 지적합니다.
2/관찰을 필수로 만들고, 부실한 도구 호출은 고쳐서 이어 간다
Reframe은 두 단계입니다. 1단계 GD-GRPO는 공간(이미지) 전문가와 시간(영상) 전문가를 따로 학습합니다. 정답 보상 외에 도구가 정답 근거 영역을 제대로 짚었는지 보는 보상을 더하고, 첫 도구 호출이 성공한 뒤 0.5 확률로 원본 시각 입력을 지워서 모델이 도구가 돌려준 관찰에 기대도록 강제합니다. 원본 입력을 지운 롤아웃과 남긴 롤아웃은 따로 묶어 이점(advantage)을 계산해 비교가 섞이지 않게 합니다. 추론할 때는 원본 입력을 항상 유지합니다. 2단계 OG-MOPD는 학생의 도구 행동이 없거나 잘못됐거나 어노테이션과의 IoU가 임계값 δ 미만이면, 어노테이션에서 만든 정답 행동으로 롤아웃 도중에 바꿔 끼우고 그 관찰부터 증류를 이어 갑니다. 끼워 넣은 토큰에는 NLL 감독을, 학생이 직접 생성한 토큰에는 MOPD를 적용합니다. 두 단계 모두 과제별 SFT 콜드 스타트가 필요 없습니다.
3/기반 모델과 Reframe-100K 데이터
도구는 CropImage와 SelectFrames 두 가지뿐이고, 기반 모델은 Qwen3.5-9B입니다. 학습 데이터 Reframe-100K는 이미지 QA 63K개와 영상 QA 37K개로, 공간·시간 grounding 어노테이션에서 만들었습니다. 텍스트만으로 풀리는 샘플을 먼저 제외하고, 전체 입력과 정답 근거만 준 경우에 각각 8번씩 롤아웃해 너무 쉽거나 어려운 샘플, 근거가 부족한 샘플을 걸러 냈습니다. 도구가 도움이 되는지는 기반 모델의 정답률이 아니라 어노테이션 범위로 정하며, 이미지의 박스는 가로·세로를 1.5배로 넓히고 영상 구간은 앞뒤로 한 프레임씩 늘렸습니다. RL과 증류 단계는 같은 데이터를 씁니다.
4/14개 벤치마크 우위, 관찰 의존도는 75.53
논문은 이미지·영상 14개 벤치마크에서 Reframe이 Mix-RL과 vanilla MOPD를 앞서고, 평균으로는 전문가 모델들도 넘었다고 밝혔습니다. 비교표(Table 1)에서 V* 기준 관찰 의존도(Observation Dependence)는 Pixel-Reasoner 23.25, Thyme 34.20, DeepEyes 19.47, DeepEyesV2 41.93, Reframe 75.53입니다. 이미지 벤치마크 7개에서 잰 도구 이득(Tool Gain)은 각각 +0.97, +1.47, +1.32, −2.45, +5.23입니다. 또 ablation에서 GD-GRPO가 결과만 보상하는 GRPO보다 관찰 의존도와 도구 이득을 높였다고 합니다. 제공된 원문에는 벤치마크별 점수 표가 포함돼 있지 않습니다.
5/증류의 대상이 출력 분포에서 관찰 상태로 넓어진다AMEET 해석
지금까지의 증류 연구는 감독을 어떻게 전달할지에 집중했는데, Reframe은 학생이 어떤 관찰 위에 서 있는지까지 손봅니다. 도구를 쓰는 에이전트라면 도구 호출 품질이 이후 학습 신호의 질을 정한다는 문제의식입니다. 다만 이 방식은 grounding 어노테이션이 있는 데이터에 기대므로, 그런 정답 근거가 없는 과제에 어떻게 옮겨 갈지는 제공된 원문 범위에서는 확인되지 않습니다.