Apple ML Research, 4단계 생성에 정확한 우도를 유지하는 NTM 발표
Apple ML Research가 10월 8일 09시(한국 시각, 00:00 UTC) Normalizing Trajectory Models(NTM) 논문을 공개했습니다. 저자는 Jiatao Gu, Tianrong Chen, Ying Shen, David Berthelot, Shuangfei Zhai, Josh Susskind이고 NeurIPS 논문으로 분류돼 있습니다. 생성 과정의 각 단계를 normalizing flow로 모델링해, 4번의 샘플링 단계만으로 text-to-image 벤치마크에서 강한 기존 모델과 같거나 나은 성능을 냈다는 내용입니다.
1/적은 단계로 줄이면 가우시안 가정이 깨집니다
확산(diffusion) 모델은 샘플링을 아주 작은 가우시안 노이즈 제거 단계 여러 개로 나눕니다. 원문은 생성을 몇 번의 큰 전이로 압축하면 이 가정이 맞지 않게 된다고 지적합니다. 기존 few-step 방법은 distillation(증류), consistency training, adversarial objective로 이 문제를 풀었지만 그 대가로 우도(likelihood) 기반 틀을 포기했다고 설명합니다. NTM은 이 틀을 유지한 채 적은 단계로 생성하겠다는 접근입니다.
2/단계마다 conditional normalizing flow, 학습은 정확한 우도로
NTM은 역방향 생성의 각 단계를 표현력이 큰 conditional normalizing flow로 모델링하고, exact likelihood(정확한 우도)로 학습합니다. 구조는 각 단계 안의 얕은 invertible block(가역 블록)과 궤적 전체에 걸친 깊은 병렬 predictor를 합친 하나의 end-to-end 네트워크입니다. 처음부터 학습할 수도 있고, 사전학습된 flow-matching 모델에서 시작할 수도 있습니다. 정확한 궤적 우도를 쓸 수 있으므로 self-distillation도 가능합니다. 모델 스스로가 만들어 내는 score function으로 가벼운 denoiser를 학습시키면 4단계로 고품질 샘플이 나온다고 합니다.
3/4단계 샘플링으로 기존 강한 모델과 같거나 앞섭니다
원문에 따르면 text-to-image 벤치마크에서 NTM은 4번의 샘플링 단계만으로 강한 이미지 생성 baseline과 같거나 더 나은 성능을 보였습니다. 비교 대상 모델명, 벤치마크 이름, 점수는 공개된 본문에 적혀 있지 않습니다. 원문은 이 가운데 생성 궤적에 대한 정확한 우도를 유지하는 것은 NTM뿐이라고 말합니다.
4/속도와 우도 중 하나를 고르지 않아도 되는지가 관건입니다AMEET 해석
기존 few-step 방법은 단계 수를 줄이는 대신 우도를 포기했는데, NTM은 4단계에서도 우도를 유지한다는 점이 다릅니다. 다만 공개된 내용에는 구체적인 점수와 비교 조건이 없어서, 품질과 속도가 기존 방식 대비 얼마나 나은지는 논문 본문의 표를 봐야 판단할 수 있습니다. 한계에 대한 서술도 이 공지에는 없습니다.