Route Anything: 25개 벤치마크로 본 모델 라우팅, 효율 8.82배
National University of Singapore HPC-AI Lab 등 연구진이 11월 4일 9시(한국 시각, 00:00 UTC) arXiv에 'Route Anything'을 공개했습니다. 입력마다 언어 모델, 이미지·영상·음성 생성기, 로봇 정책 중 알맞은 후보를 골라 보내는 '라우팅'을 여러 모달리티에 걸쳐 따져 본 연구입니다. 25개 벤치마크, 452개 후보 구성, 374,401건의 채점 결과로 라우팅이 얼마나 이득인지 측정했고, 기준 모델 대비 효율이 평균 8.82배 올랐다고 밝혔습니다.
1/하나의 모델 대신 후보를 골라 쓰는 문제
논문은 모델, 도구, 정책을 통틀어 '후보(candidate)'라고 부릅니다. 입력마다 가장 잘하는 후보가 달라지므로, 잘 고르는 라우터가 있으면 가장 강한 후보 하나를 고정해 쓸 때보다 값이 싸거나 성능이 더 좋을 수 있다는 것이 출발점입니다. 기존 라우팅 연구는 주로 언어 모델에 집중돼 있었고, 여러 모달리티에서도 라우팅이 도움이 되는지는 열린 질문이었다고 논문은 설명합니다.
2/품질에서 비용을 뺀 값으로 후보를 고른다
라우터는 입력을 보고 '기대 품질 − 가중 비용'이 가장 큰 후보를 고릅니다. 논문은 이 선택이 최적이 되는 조건을 이론으로 정리했습니다. 라우터가 볼 수 있는 정보가 벤치마크 이름, 과제 유형, 입력 자체로 세밀해질수록 도달 가능한 성능의 상한이 올라가는 '정보 사다리'가 그 핵심입니다. 학습 방식에 대해서는 각 후보의 결과 점수를 예측하도록 학습해야 하며, '누가 이겼는가'라는 승자 라벨로 학습하면 가치를 크게 잃을 수 있다고 주장합니다. 품질 하락 허용치(ϵ)를 정해 두고 그 안에서 효율을 최대로 만드는 라우터를 통계 검정으로 보증하는 방법도 제시합니다.
3/입력별 최적 선택은 5.4점, 학습 라우터는 0.3점 앞섰다
테스트 입력 19,814건에서 벤치마크별 최고 고정 후보는 82.60점, 입력마다 최선을 고르는 오라클은 87.98점으로 격차는 5.38점입니다. 격차는 음성 생성 0.68점에서 영상 생성 18.93점, 로봇 조작 18.40점까지 갈립니다. 학습 라우터는 16개 벤치마크에서 최고 고정 후보보다 0.3점, 영상 생성에서 2.1점, 로봇 조작에서 1.1점 높았고 로봇은 정책 실행 시간도 24% 적게 썼습니다. 기준 모델 대비 효율(비용당 품질)은 평균 8.82배, 코딩 과제 25.5배, 텍스트 질의응답 7.1배이며 품질 손실은 0.5점 미만이라고 합니다. 과제 유형 라벨만으로는 격차의 8%만 얻을 수 있었고, 이득 대부분은 같은 유형 안에서 입력마다 달라지는 차이에서 나옵니다.
4/논문이 밝힌 측정상의 제약
입력 결과에는 어떤 라우터도 예측할 수 없는 잡음이 섞여 있습니다. AA-LCR에서는 각 질문을 세 번씩 풀어 평균을 내자 오라클의 2.4점 우위가 사라졌습니다. 비용 기록이 있는 벤치마크는 코드와 텍스트 두 가지 테스트베드뿐이어서 대부분의 분석은 비용 가중치 λ=0에서 이뤄졌습니다. SciCode는 이후 단계에 각 모델이 쓴 앞선 코드가 들어가 있어 19,814건 테스트에서 빠졌습니다. 제공된 원문은 여기서 끊겨 있어, 한계를 다룬 이후 절은 확인하지 못했습니다.
5/라우팅의 이득은 유형 안에서 생긴다AMEET 해석
수치만 보면 학습 라우터의 평균 개선폭(0.3점)은 작고, 오라클과의 격차(5.4점)는 여전히 큽니다. 이득이 큰 영역은 후보 간 우열이 입력마다 갈리는 영상 생성과 로봇 조작이고, 효율 이득은 품질 향상보다 비용 절감에서 주로 나온 것으로 읽힙니다. 다만 8.82배가 어떤 기준 모델과 비교한 값인지는 제공된 원문 범위에서 모델명까지 확인되지 않아, 실제 도입 효과는 원문 표를 확인해야 합니다.