Diffusion vs GAN (성능비교, Classifier Guidance, 디자인활용)

Diffusion 모델이 GAN보다 느리다는 건 잘 알려진 사실입니다. 하지만 두 기술을 제대로 비교해 보면, 속도 하나만 보고 GAN이 낫다고 단정하기엔 놓치는 게 많습니다. 이 글에서는 "Diffusion Models Beat GANs on Image Synthesis" 논문을 중심으로 두 모델의 성능 차이, Classifier Guidance의 원리, 디자인 작업에서의 활용과 한계를 정리했습니다.

성능비교: GAN이 항상 이긴다는 믿음은 이제 옛말입니다

2021년 이전까지만 해도 이미지 생성 분야에서 GAN(Generative Adversarial Network, 생성적 적대 신경망)이 사실상 표준으로 통했습니다. GAN이란 생성자와 판별자가 서로 경쟁하며 학습하는 구조로, 빠른 속도와 높은 이미지 품질 덕분에 오랫동안 업계 기준 역할을 했습니다. 반면 Diffusion 모델은 노이즈를 단계적으로 제거하며 이미지를 복원하는 방식, 즉 노이즈 제거 과정(Denoising Process)을 반복해서 이미지를 만들어내는 구조입니다. 이 때문에 생성 속도가 GAN보다 훨씬 느리다는 단점이 있었습니다.

그런데 "Diffusion Models Beat GANs on Image Synthesis" 논문에서 처음으로 상황이 역전됐습니다. 논문의 저자는 GAN이 더 좋아 보였던 이유를 두 가지로 분석했습니다. 첫째, GAN은 등장한 지 오래되어 수많은 변형 모델이 나왔고 BigGAN-deep처럼 고도로 정제된 모델이 이미 존재했습니다. 둘째, GAN은 처음부터 이미지 품질에 집중하도록 설계되어 다양성보다 선명함을 극대화하는 방향으로 발전해 왔습니다. 즉, Diffusion 모델이 부족해 보였던 이유는 기술 자체보다 연구 역사가 짧았기 때문이라는 해석입니다.

논문에서는 이 두 가지 관점을 그대로 Diffusion 모델 개선에 적용했습니다. 구체적으로 적용된 개선 사항은 다음과 같습니다.

1. 분산(Variance)을 상수로 고정하던 방식에서 벗어나 학습을 통해 예측하도록 변경했습니다.
2. U-Net 구조에서 width는 줄이고 depth는 늘려 모델 크기는 유지하면서 표현력을 높였습니다.
3. Attention을 32x32, 16x16, 8x8 해상도 모두에 적용하고 attention head 수를 늘렸습니다.
4. BigGAN의 residual block을 도입해 업샘플링과 다운샘플링 성능을 개선했습니다.
5. Adaptive Group Normalization을 통해 timestep과 class 정보를 residual block에 주입했습니다.

이 변경들을 적용한 ADM(Ablated Diffusion Model)은 LSUN 데이터셋의 bedroom, horse, cat 클래스 모두에서 이전 모델을 앞질렀습니다. 특히 분산 예측 방식의 변경은 생각보다 큰 성능 차이를 만들었는데, DDPM 논문에서 "고정이 낫다"고 결론 내렸던 부분이 추가 연구로 뒤집힌 사례라는 점에서 눈여겨볼 만합니다.

Classifier Guidance: 품질과 다양성, 둘 다 잡을 수 있을까요

Classifier Guidance란 별도로 학습된 분류기(Classifier)의 기울기(Gradient)를 이미지 생성 과정에 주입해 특정 클래스에 가까운 이미지가 나오도록 유도하는 기법입니다. 쉽게 말해, "이 이미지가 고양이일 확률을 높이는 방향으로 노이즈 제거를 진행하라"는 신호를 생성 과정에 실시간으로 끼워 넣는 것입니다.

수학적으로는 reverse process, 즉 노이즈를 단계적으로 제거하는 역방향 과정에서 조건부 확률 분포를 근사하기 위해 테일러 전개(Taylor Expansion)를 활용합니다. 테일러 전개란 복잡한 함수를 다항식 형태로 단순화하는 수학적 기법인데, 분류기 함수가 완만한 곡률(Low Curvature)을 갖는다고 가정하면 1차 전개만으로도 충분히 근사할 수 있다는 점을 이용했습니다. DDPM의 reverse process에서는 평균값에 classifier gradient를 더하고, DDIM에서는 노이즈 예측 단계에서 더하는 방식으로 구현됩니다. DDPM은 평균을 기반으로 다음 step을 결정하고 DDIM은 결정론적 경로를 따르기 때문에, 수식 구조가 달라 gradient가 삽입되는 위치도 다릅니다.

여기서 중요한 변수가 하나 있습니다. gradient scale, 즉 guidance의 강도를 얼마나 세게 적용하느냐입니다. scale이 1.0일 때는 corgi를 제대로 표현하지 못하던 이미지가, scale을 10.0으로 높이면 완성도 높은 corgi 이미지로 바뀐다는 실험 결과가 논문에 제시됩니다. 그런데 이 scale이 높아질수록 IS(Inception Score, 이미지 품질과 다양성을 동시에 평가하는 지표)는 오르고, Recall 값은 떨어집니다. Recall이란 실제 데이터 분포를 얼마나 폭넓게 커버하는지를 나타내는 지표로, 이 값이 낮아진다는 건 생성 이미지의 다양성이 줄어든다는 뜻입니다.

논문에서는 이를 trade-off라고 표현했는데, 이미지 생성 도구를 쓰는 디자인 작업에서도 같은 패턴이 나타납니다. 프롬프트를 구체적으로 줄수록 이미지는 의도에 가까워지지만, 예상치 못했던 색감 조합이나 구도처럼 기대 밖의 결과물은 점점 나오지 않게 됩니다. 창의적 발견의 가능성과 통제 가능성은 반비례하는 셈입니다. FID(Fréchet Inception Distance, 생성 이미지와 실제 이미지 분포의 거리를 측정하는 지표) 기준으로는 scale 1.0 근방이 최적점으로 나타났는데, 품질과 다양성 모두를 고려하는 지표이기 때문입니다.

GAN의 대표 모델인 BigGAN과의 비교에서는 precision, 즉 생성 이미지가 실제 데이터 분포에 얼마나 가까운지를 나타내는 정밀도 측면에서는 BigGAN이 앞섰습니다. 하지만 다양성과 FID 전체적인 균형을 놓고 보면 Classifier Guidance를 적용한 ADM-G가 더 나은 결과를 보였습니다. 이 논문이 처음으로 Diffusion 모델이 GAN의 성능을 공식적으로 뛰어넘었다고 선언한 근거가 바로 여기에 있습니다. (출처: arXiv, Diffusion Models Beat GANs on Image Synthesis)

디자인활용: 장점과 현실적인 한계

Diffusion 기반 이미지 생성 도구의 가장 큰 장점은 속도입니다. 텍스트 몇 줄로 복잡한 콘셉트를 수초 만에 시각화할 수 있어, 특정 스타일과 구도를 프롬프트로 전달하면 그 조합이 곧바로 화면에 나타납니다. 아이디어 구상 단계에 드는 시간이 크게 줄고, 혼자서는 떠올리지 못했을 색감이나 구도를 제안받는 효과도 있습니다.

다만 결과물을 정교하게 다듬는 단계에서는 한계가 뚜렷합니다. 피사체의 손가락 형태가 뭉개지거나 텍스트 요소의 정렬이 미묘하게 틀어지는 현상이 자주 나타나고, 원하는 맥락을 정확히 구현하려면 프롬프트를 여러 번 수정해야 합니다. AI 이미지 생성 도구는 반복 수정 없이 쓸 수 있다고 알려진 경우가 많지만, 실제로는 프롬프트 엔지니어링(Prompt Engineering), 즉 원하는 결과를 끌어내기 위해 입력 텍스트를 정밀하게 설계하는 기술이 생각보다 중요합니다.

또 한 가지 짚고 싶은 건 저작권 문제입니다. Diffusion 모델이 출력하는 이미지는 독창적 창작물이 아니라, 수많은 기존 작가의 이미지를 허가 없이 학습한 결과물에 가깝다는 비판이 지속적으로 제기됩니다. 한국저작권위원회에서도 AI 생성물의 저작권 귀속 문제를 검토 중인 상황입니다. 생성 모델의 품질이 높아질수록 이 문제는 더 첨예해질 수밖에 없습니다. 그래서 이미지를 상업적으로 활용할 때는 AI 결과물을 그대로 쓰기보다 디자이너의 가공을 반드시 거치는 작업 흐름이 권장됩니다.

Diffusion 기반 기술이 디자인 생산 방식을 바꾼 건 사실입니다. 하지만 표면적인 화려함 뒤에 기계적 상투성이 존재하고, 그것을 제거하는 작업은 여전히 인간의 몫입니다. AI가 시안을 제시할 수는 있지만, 작품에 고유한 맥락과 목적을 부여하는 건 끝내 사람의 몫입니다.

자주 묻는 질문

Q. Diffusion 모델이 GAN보다 좋다면 왜 아직도 GAN을 쓰는 건가요?

A. 일반적으로 Diffusion 모델이 최종 성능에서 앞선다고 알려져 있지만, 생성 속도는 여전히 GAN이 압도적으로 빠릅니다. 실시간 응용이나 빠른 프로토타이핑이 필요한 환경에서는 GAN 계열 모델이 실용적인 선택일 수 있습니다. 논문에서도 Diffusion 모델의 샘플링 속도 문제는 DDIM을 통해 일부 완화됐지만, GAN 수준의 속도에는 아직 미치지 못한다고 언급합니다.

Q. Classifier Guidance를 적용하면 이미지 품질이 무조건 좋아지나요?

A. 품질 지표인 IS는 올라가지만, 다양성을 나타내는 Recall 값은 낮아지는 trade-off가 발생합니다. gradient scale을 높일수록 원하는 클래스에 가까운 이미지가 나오는 반면, 예상 밖의 창의적 결과물은 줄어듭니다. 이 균형점은 작업 목적에 따라 달라지기 때문에, 처음부터 scale을 최대로 높이기보다는 FID 기준으로 최적점을 찾아가는 접근이 현실적입니다.

Q. DDPM과 DDIM에서 Classifier Guidance 적용 방식이 왜 다른가요?

A. DDPM은 다음 step의 평균을 계산하는 과정에서 reverse process가 진행되기 때문에 classifier gradient를 평균값에 더하는 방식을 씁니다. DDIM은 결정론적 경로를 따르는 구조여서 노이즈 예측 단계에서 gradient를 더합니다. 두 모델의 수식 구조 자체가 다르기 때문에 같은 위치에 gradient를 넣을 수 없는 것입니다.

Q. AI 이미지 생성 결과물을 디자인에 상업적으로 써도 되나요?

A. 저작권 귀속 문제가 아직 명확히 정리되지 않은 상태입니다. 생성 모델이 기존 작가의 이미지를 학습 데이터로 사용했다는 점에서 법적 리스크가 존재하고, 각국의 저작권법 해석도 다릅니다. 상업적 사용 전에는 해당 도구의 이용약관을 꼼꼼히 확인하고, 가능하면 인간 디자이너의 가공을 거쳐 독창성을 확보하는 방향이 현실적으로 안전합니다.

Q. Diffusion 모델 사용 시 프롬프트 작성이 어렵게 느껴지는데 어떻게 해야 하나요?

A. 프롬프트 엔지니어링은 처음엔 누구나 어렵게 느낍니다. 스타일, 구도, 색감, 분위기를 각각 분리해서 명시하면 결과물의 일관성을 높이는 데 효과적입니다. 원하는 방향과 원하지 않는 요소를 함께 입력하는 Negative Prompt 기능을 적극 활용하면 수정 횟수를 줄이는 데 도움이 됩니다.

Diffusion 모델이 GAN을 넘어섰다는 결론은 논문 한 편으로 확정된 게 아니라, 오랜 기간 축적된 연구가 임계점을 넘은 순간입니다. 기술은 분명히 앞으로 나아가고 있고, 실제 디자인 현장에서 체감하는 속도도 빨라지고 있습니다. 다만 도구의 발전과 별개로, 그 도구로 무엇을 만들지 판단하고 맥락을 부여하는 역할은 여전히 사람에게 있습니다. 이 기술에 관심이 생겼다면, 논문 자체를 직접 읽어보는 것도 충분히 가치 있는 시간이 될 것입니다.

---

참고: https://velog.io/@guts4/Diffusion-Models-Beat-GANs-on-Image-Synthesis-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0
https://arxiv.org/abs/2105.05233
https://www.copyright.go.kr