Apple ML Research가 10월 논문 "Limits of Confidence in Diffusion"을 공개했습니다. 이산 확산 모델이 한 단계에 여러 토큰 위치를 동시에 쓸 때, 어떤 조건에서만 학습 분포와 일치하는지를 따진 논문입니다. 합성 과제 ScanAndAdd에서 신뢰도 순위로 위치를 고르면 생성 분포가 샘플링 잡음 하한 대비 총변동거리 29배로 벌어졌고, 샘플 단위 지표는 1.0이었다고 밝혔습니다.

1/ 한 단계에 여러 칸을 쓰는 방식이 문제

논문이 다루는 대상은 remasking(다시 가리기)과 uniform-state(균일 상태) 샘플러를 포함한 이산 확산입니다. 이 방식은 한 단계에 여러 토큰 위치를 쓰며, 각 위치의 값은 위치별 분포에서 뽑고 어느 위치를 쓸지도 같은 분포를 보고 정합니다. 그런데 픽셀, 음소, 단어처럼 일반적인 영역에서는 토큰끼리 본래 서로 의존합니다. 논문은 이 의존성이 병렬 생성과 충돌한다고 짚습니다.

2/ 독립일 때만 맞고, 위치별 분포로는 독립 여부를 알 수 없다

저자들이 보인 결과는 세 가지입니다. 첫째, 한 단계가 학습 분포와 일치하려면 그 단계에서 쓰는 위치들이 이미 확정된 토큰을 조건으로 조건부 독립이어야 합니다. 둘째, 서로 의존하는 묶음은 위치별 분포의 곱으로는 어떤 경우에도 맞출 수 없습니다. 셋째, 위치별 분포만으로는 묶음이 의존적인지 판별할 수 없습니다. 위치별 주변분포가 같아도 어떤 값의 조합이 나오는지는 다른 두 결합분포가 있을 수 있기 때문입니다.

3/ ScanAndAdd에서 29배, 샘플 지표는 1.0

검증에는 ScanAndAdd라는 합성 과제를 썼습니다. 결합분포를 닫힌 형태(closed form)로 알 수 있는 과제입니다. 신뢰도 순위로 쓰는 미확정 위치 두 개 이상의 묶음은 모두 의존적이었다고 확인했습니다. 생성 분포를 측정하니 총변동거리가 샘플링 잡음 하한의 29배였습니다. 반면 샘플 단위 지표는 1.0이었습니다.

4/ 샘플 단위 점수로는 분포 오차가 안 보일 수 있다 (해석)

샘플 하나하나가 맞는지 보는 지표가 1.0인데도 분포 전체는 크게 어긋났다는 점이 이 실험의 핵심입니다. 따라서 병렬 확산 샘플러를 평가할 때 샘플 단위 지표만으로는 분포 오차를 놓칠 수 있습니다. 다만 이는 합성 과제 한 건에서의 결과이며, 원문 요약에는 실제 언어·이미지 모델에서의 측정이 나오지 않습니다.

출처: Apple ML Research · 발표 2026.10.02 09:00 (KST) · 원문 보기