DiffusionART, 영상 생성 학습 GPU 시간 12.02배 줄여
KlingAI Research가 10월 12일 09시(한국 시각, 00:00 UTC) arXiv에 DiffusionART 논문을 올렸습니다. 확산 모델을 강화학습으로 미세조정할 때 효율이 높은 방법은 불안정하고, 안정적인 방법은 느린 문제를 둘 다 풀겠다는 방법입니다. HunyuanVideo-13B 실험에서 기존 방법과 같은 보상 수준에 12.02배, 11.72배 적은 GPU 시간으로 도달했다고 밝혔습니다.
1/빠른 방법은 불안정하고, 안정적인 방법은 느리다
이미지·영상 생성 모델은 원래 데이터 분포를 따라 하도록 학습되기 때문에, 화질이나 움직임 품질 같은 목표를 직접 최적화하지는 않습니다. 이를 보상(reward)으로 다듬는 온라인 강화학습은 결과물이 다 만들어진 뒤에야 보상이 나옵니다. 그래서 그 점수를 수많은 노이즈 제거 단계에 어떻게 나눠 줄지가 문제가 됩니다. Flow-GRPO 같은 역방향(reverse-process) 방식은 단계별 기여를 제대로 배분하지 못해 효율이 떨어집니다. DiffusionNFT 같은 순방향(forward-process) 방식은 효율이 높지만, 작업마다 지연 정도를 조정해야 하는 지수이동평균(EMA) 같은 안정화 장치 없이는 학습이 불안정합니다. 논문은 두 계열 모두 작업별 조정 없이 효율과 안정성을 함께 갖추지 못했다고 봅니다.
2/숨은 '순방향-역방향 일관성 힘'을 없애는 설계
저자들은 NFT 계열 목적함수에 보상 개선과 무관한 힘이 숨어 있다고 분석합니다. 모델이 실제로 샘플링할 때 쓰는 속도와, 자기가 만든 결과물에서 이상적으로 유도되는 순방향 속도가 다르기 때문에 생기는 힘입니다. 긍정·부정 샘플을 함께 학습하면 이 힘이 일부만 상쇄되고 나머지는 학습을 흔듭니다. 또 EMA가 안정화되는 이유는 오프폴리시 롤아웃이 아니라, 지연된 기준점으로 되돌리는 복원 효과 때문이라고 설명합니다. DiffusionART(Aggregation-First Reward Tilting)는 프롬프트별 샘플과 보상을 먼저 하나의 보상 개선 방향으로 모은 뒤, 롤아웃에서 방문한 각 상태의 행동을 그 목표로 회귀시킵니다. 목표에 순방향 속도가 들어가지 않아 일관성 힘이 구조적으로 사라집니다. 여기에 신뢰 영역 마스크를 붙인 두 번째 업데이트가 상태별 이탈 정도에 비례하는 복원력을 주어 EMA를 대신합니다. 미분 가능한 보상 모델은 필요 없고, 프롬프트당 샘플 수가 적어도 동작하며, 쌍대비교(pairwise) 보상 모델용 DiffusionART-Pairwise도 지원합니다.
3/HunyuanVideo-13B에서 GPU 시간 12배 적게 들고 보상은 더 높다
논문은 이미지와 영상 생성 전반에서 작업별 튜닝 없이 효율적이고 안정적으로 학습된다고 밝혔습니다. 대표 비교는 HunyuanVideo-13B에서 시각 품질(VQ)과 움직임 품질(MQ) 보상을 같은 비중으로 둔 실험입니다. DiffusionART는 DiffusionNFT와 Flow-GRPO-Fast가 학습 후반에 도달한 평균 보상 수준에 각각 12.02배, 11.72배 적은 GPU 시간으로 닿았습니다. 평균 학습 보상은 두 방법보다 각각 28.8%, 53.0% 높았습니다. 분석 실험에서는 EMA 없이 DiffusionNFT를 돌릴 때 롤아웃당 마이크로배치를 1개에서 2개로 늘리면 학습이 15.2배 느려졌다는 결과도 제시됐습니다.
4/비교 조건을 확인해야 할 수치AMEET 해석
가장 큰 수치는 HunyuanVideo-13B 한 가지 설정에서 나온 것입니다. 이미지 쪽 구체적 수치와 다른 모델에서의 결과는 제가 읽은 원문 범위에 들어 있지 않아 확인하지 못했습니다. 또 12.02배와 11.72배는 기존 방법의 학습 후반 보상 수준에 도달하는 데 든 GPU 시간 비교이고, 최종 생성 품질이 그만큼 좋아졌다는 뜻은 아닙니다. 저자 코드(GitHub)와 프로젝트 페이지가 공개되어 있어, 다른 환경에서의 재현 여부가 이 방법의 실용성을 가를 것입니다.