LLM 임베딩을 섞으면 두 문장 답이 동시에 나온다
연구진은 서로 다른 두 문서의 임베딩을 토큰별로 평균 내 하나의 입력으로 넣었을 때, 모델이 두 문서의 다음 토큰 분포를 겹쳐놓은 형태로 출력한다는 것을 보였습니다. 이를 'Superposition Linearity Hypothesis(중첩 선형성 가설)'라 부르며, 이 성질이 사전학습이 진행될수록 약해지고 소량의 파인튜닝으로 다시 강해질 수 있다는 점도 함께 확인했습니다.
1/비선형 구조인 트랜스포머, 그런데 왜 선형처럼 움직일까
트랜스포머는 셀프어텐션과 비선형 활성함수로 이뤄진 비선형 모델입니다. 그런데 선행 연구(Razzhigaev et al., 2024)는 디코더 전용 트랜스포머의 레이어 간 전이가 아핀 변환으로 잘 근사된다는 것을 보여줬습니다. 연구진은 이 선형성이 레이어 사이 구조뿐 아니라 모델 전체의 입력-출력 관계에도 적용되는지, 즉 두 입력을 선형 결합했을 때 출력도 두 출력의 결합으로 근사되는지를 물었습니다.
2/두 문서 임베딩을 토큰별로 평균 내 하나의 입력으로 넣기
연구진은 서로 다른 두 문서 A, B의 각 토큰 임베딩을 요소별로 평균 내(1/2(E(A)+E(B))) 하나의 '섞인' 입력 시퀀스를 만들고, 이를 그대로 사전학습된 모델에 통과시켰습니다. 모델이 선형적으로 동작한다면 출력 분포는 A만 넣었을 때와 B만 넣었을 때의 다음 토큰 분포를 절반씩 합친 것과 비슷해야 합니다. 이를 Pythia·Qwen·Llama·OLMo·Gemma 계열 모델에 TinyStories와 FineWeb 데이터로 검증했고, 이 성질을 이용해 한 번의 순전파(forward pass)로 섞인 은닉 상태를 다시 풀어내 두 개의 문장을 동시에 생성하는 디코딩 절차도 제안했습니다.
3/섞인 입력에서도 원래 토큰이 상위권에 살아남았다
Pythia-2.8B, Llama-3.2-3B, Qwen2.5-3B 등에서 섞인 분포 안에 원래 정답 토큰이 상위 10위 안에 들어오는 비율은 약 30~40%, 상위 50위까지는 50~60%, 상위 100위까지는 60~65%였습니다(어휘 크기는 5만 개 이상). KL·JS·Wasserstein 거리로 측정한 'Superposition Approximation Ratio'는 Pythia-160M/410M/2.8B, Llama-3.1-8B 모두에서 1보다 작게 나와, 섞인 출력이 무작위 두 분포보다 이상적인 평균 분포에 더 가까웠습니다. Pythia 계열의 학습 과정을 추적한 결과 이 선형성은 학습 초기 체크포인트에서 가장 강하고 사전학습이 진행될수록 점점 약해졌지만, 원본 사전학습 데이터 크기의 0.025% 미만만 쓴 가벼운 파인튜닝으로 상당 부분 되살릴 수 있었습니다. Qwen2.5-3B에서 파인튜닝 후 콘텐츠 위치의 top-1 정답률은 4.2%에서 22.8%로, 중간 순위는 284에서 5로 개선됐습니다. 어텐션 형태를 보존한 채 내용만 바꾼 'donor patching'은 신호를 어느 정도 유지했지만, 어텐션 행을 무작위로 섞는 'permutation patching'은 신호를 거의 무너뜨려 어텐션의 위치 구조가 이 성질 유지에 중요함을 보였고, 세 개 문서를 동시에 섞는 N=3 실험에서도 정도만 낮아질 뿐 현상 자체는 유지됐습니다.
4/사전학습을 거칠수록 오히려 약해지는 성질
연구진이 밝힌 대로 이 선형성은 학습이 진행되며 자연히 약해지는 성질이라, 사전학습된 모델을 그대로 쓸 경우 예측하기 어려운 '콘텐츠' 토큰 위치에서는 신호가 크게 줄어듭니다(파인튜닝 전 콘텐츠 위치의 중간 순위는 284, top-1 일치율은 4.2%에 불과). 또한 세 개 문서를 동시에 섞는 N=3 상황에서는 근사 오차(RKL 기준 +0.04~+0.09)가 커져, 스트림 수가 늘어날수록 정도가 나빠진다고 명시했습니다.
5/모델이 여러 입력을 동시에 처리할 여지가 있다는 신호AMEET 해석
이 결과는 하나의 순전파로 여러 텍스트 스트림을 동시에 처리하는 구조가 트랜스포머에 이미 내재해 있을 수 있다는 것을 보여줍니다. 다만 논문이 보인 것은 두세 개의 짧은 문서를 섞는 통제된 실험 수준이라, 실제 서비스에서 여러 요청을 한 번에 처리하는 데 쓰이려면 별도의 검증이 더 필요해 보입니다.