Apple, 확산 언어모델용 새 유도 기법 'probe guidance' 공개
Apple ML Research가 flow matching 모델을 유도하는 새로운 방법인 'probe guidance'를 발표했습니다. 기존 확산 모델의 내부 상태를 그대로 활용해 유도 신호를 만드는 방식으로, 확산 언어모델의 생성 성능을 끌어올리는 데 쓰입니다.
1/기존 모델의 내부 상태로 만드는 새 유도 신호
이번 논문은 flow matching 모델을 유도하는 새로운 방법인 'probe guidance'를 소개합니다. 이 방법은 이미 학습된(freeze된) 확산 모델의 내부 상태를 그대로 가져와 유도 신호를 구성합니다. 별도로 새 모델을 학습시키지 않고 기존 모델 안에 있는 정보를 재활용하는 접근입니다.
2/오토가이던스와 같은 원리, 추가 연산은 없앤 방식
probe guidance는 autoguidance(오토가이던스)와 비슷한 원리로 작동하지만, 추론 시점에 별도의 forward pass를 추가로 돌릴 필요가 없다는 점이 다릅니다. 또한 약한(weak) 모델과 강한(strong) 모델이 비슷한 동역학(dynamics)을 공유하도록 보장하는 신뢰할 수 있는 경로를 제공한다고 저자들은 설명합니다.
3/1.7B 확산 언어모델에서 확인된 성능 개선
연구진은 이 방법을 연속(continuous) 확산 언어모델에 적용해 벤치마크를 진행했으며, probe guidance는 무조건부 생성(unconditional generation)에서 새로운 최고 성능(state-of-the-art)을 기록했습니다. 1.7B 규모의 확산 언어모델에 적용했을 때는 객관식 질의응답(multiple choice question answering) 벤치마크에서 일관된 성능 향상이 확인됐습니다. 아울러 기존 autoguidance 설정, 즉 강한 모델 대신 학습 도중의 약한 체크포인트를 쓰는 경우도 함께 분석했는데, 이때 약한 모델은 학습 과정에서 엔트로피가 낮은 구간에서 나온 것이어야 한다는 점을 확인했습니다.
4/오토가이던스가 왜 작동하는지에 대한 단서
저자들은 이번 결과가 확산 언어모델을 개선하는 실용적인 방법을 제시하는 동시에, 그동안 원리가 잘 알려지지 않았던 autoguidance의 실제 작동 메커니즘을 이해하는 데도 단서를 준다고 밝혔습니다. 이 연구에는 Apple 외에 Caltech 소속 저자들도 참여했으며, 일부 저자는 Apple 재직 당시 이 작업을 수행했다고 명시돼 있습니다.
5/확산 언어모델 경쟁에서 갖는 위치AMEET 해석
확산 언어모델은 한 번에 여러 위치의 토큰을 병렬로 생성할 수 있어 순차 생성 방식인 autoregressive 모델의 대안으로 주목받아 왔지만, 품질을 높이려면 여전히 많은 연산이 필요하다는 한계가 있었습니다. 이번 probe guidance는 별도의 추가 연산 없이 기존 모델의 정보만으로 성능을 끌어올렸다는 점에서, 확산 언어모델의 효율과 품질을 동시에 개선하려는 최근 연구 흐름과 맞닿아 있다고 볼 수 있습니다.