MLLM 속 공간 작업대 S-Space, 3개 축 좌표로 읽어냈다
MirroS가 10월 12일 09시(한국 시각, 00:00 UTC) arXiv에 공개한 논문 'S-Space: Exploring Spatial Workspace in Multimodal Language Models'(기술 보고서 날짜는 10월 8일)입니다. 멀티모달 언어모델(MLLM) 내부에서 물체 이름 토큰의 표현이 좌우·상하·거리 세 방향의 연속 좌표를 선형으로 담고 있다는 점을 찾아내고, 이 3차원 부분공간을 S-Space라 불렀습니다. 이를 이용해 모델이 시점 변화 문제에서 왜 틀리는지도 진단했습니다.
1/답은 틀리는데 이유는 모르는 공간 추론
MLLM은 재구성, 계획, 내비게이션, 조작 같은 물리 세계 작업에 쓰이지만, 사람에게 쉬운 공간 추론 과제에서는 여전히 성능 격차가 큽니다. 논문은 답이나 행동만 봐서는 실패가 어디서 생기는지 알 수 없고, 내부 표현과 메커니즘은 거의 규명되지 않았다고 지적합니다. 그래서 사람의 뇌에 있다고 보는 '정신적 작업 공간(mental workspace)'처럼, MLLM에도 공간 정보를 담고 다루는 내부 작업 공간이 있는지 묻습니다.
2/정답 점수를 미분해 세 축을 찾는다
방법은 단순합니다. 'apple은 cup의 왼쪽인가 오른쪽인가' 같은 질문에서 right−left, above−below, close−far의 로짓(logit) 차이를 정답 점수로 잡고, 이 점수를 물체 토큰의 중간층 활성값으로 미분합니다. 질문 대상 물체와 기준 물체의 기울기는 역할이 반대이므로 둘의 차이를 취하고, 프롬프트 템플릿·물체 순서·예시에 걸쳐 평균을 낸 뒤 단위 벡터로 만듭니다. 이렇게 얻은 세 벡터가 가로·세로·거리 축이고, 물체 토큰 표현을 이 축에 투영하면 좌표가 나옵니다. 두 물체의 좌표 차이의 부호만으로 left/right 같은 답도 정할 수 있어, 모델이 말로 답하지 않아도 판단을 읽을 수 있습니다.
3/읽을 수 있고, 고치면 답이 바뀌고, 다른 질문에도 남는다
축은 COCO에서 만든 상대 위치 질문으로 Molmo2-ER, Qwen3.5-4B, Qwen3.6-27B 세 모델에 대해 찾았고, CV-Bench·EmbSpatial·SpatialTunnel에서 평가했습니다. 첫째, Molmo2-ER 21번째 층의 좌표는 실제 물체 위치와 세 축 모두에서 강한 상관을 보였고, 좌표만으로 푼 공간 QA 정확도는 모델의 직접 답변과 비슷했으며 식별에 쓰지 않은 벤치마크에서도 유지됐습니다. 둘째, 좌표를 편집해 되돌려 넣으면 공간 판단은 무작위 편집보다 크게 바뀌지만 색 질문의 답은 대체로 유지됐습니다(Molmo2-ER 17번째 층). 셋째, 단일 물체 질문이나 색을 묻는 비공간 질문에서 뽑은 좌표로도 공간 판단이 정확해, 특정 프롬프트가 만든 산물이 아니라고 논문은 봅니다. 본문에 정확도 수치는 적혀 있지 않고 그림으로만 제시됩니다.
4/보이지 않는 대상과 정치 용어까지 좌표가 생긴다
사례 연구에서 골키퍼가 보이지 않는 공을 향해 몸을 날리는 사진은 'ball' 토큰을 몸을 날린 방향에 놓았습니다. 관찰자를 뜻하는 'you' 토큰은 거리 축의 가까운 쪽으로 투영됐고, 배달 로봇 이미지에서 'moving past you'를 'moving toward you'로 바꾸면 'you'가 로봇 대비 더 가까운 좌표로 옮겨 갔습니다. 추상 개념도 같은 축에 놓입니다. 'socialist'는 가로축 왼쪽 끝, 'conservative'는 오른쪽 끝으로 투영돼 정치적 좌·우 비유와 일치했고, 논문은 이를 대규모 언어 학습에서 물려받은 능력이자 한계의 예로 듭니다. 이 구조가 언어 예측 목표에서 생겼다는 설명은 논문의 가설이며 검증된 결론은 아닙니다.
5/시점 변화에서는 표현이 아니라 변환이 막힌다
논문은 S-Space로 지각과 계산을 분리해 진단했습니다. SpinBench의 시점 전환 문제(왼쪽·오른쪽·뒤 시점에서 어느 물체가 왼쪽 또는 가까운지)에서 S-Space 좌표를 변환하는 오라클을 만들어 보니, 모델이 직접 답을 못 내는 경우에도 내부 좌표만으로 정답을 낼 수 있었습니다. 논문은 모델이 공간 표현은 잘 만들지만 시점이 바뀔 때 필요한 공간 변환에서 신뢰할 만한 결론을 못 낸다고 정리합니다. 방향 단어를 읽어 본 결과 동서남북 기준과 이미지 기준 방향이 체계적으로 얽혀 있었고, 이는 기준 좌표계 혼동의 단서로 제시됩니다.
6/개선 지점을 지각이 아닌 변환으로 좁힌다AMEET 해석
공간 추론이 약하다고 해서 시각 인식을 더 키워야 한다는 결론은 나오지 않습니다. 이 논문대로라면 표현은 이미 쓸 만하고, 손볼 곳은 시점 변환 같은 계산 단계입니다. 다만 근거는 모델 세 개와 정해진 벤치마크에서 나온 것이어서, 다른 모델과 과제에서도 같은 축이 같은 방식으로 나오는지는 별도 확인이 필요합니다. 세 축이 이미지 평면 좌표라는 점도 해석할 때 염두에 둘 부분입니다.