스코어 스무딩(Score Smoothing): 확산 모델의 창의성이 어디서 오는지에 대한 Google Research의 연구

9bow · 7월 27, 2026, 9:30오전

확산 모델의 창의성은 어디서 오는가

확산 모델(Diffusion Model)은 학습 데이터에 없던 새로운 이미지나 분자 구조를 만들어냅니다. 이런 창의성은 인상적이지만, 동시에 근본적인 질문을 던집니다. 대체 이 창의성은 어디서 오는 것일까요? 이번에 살펴볼 Google Research의 논문 On the Interpolation Effect of Score Smoothing in Diffusion Models (ICLR 2026) 은 이 질문에 수학적으로 답합니다. 저자 Zhengdao Chen은 확산 모델의 창의성이 우연이 아니라, 신경망(Neural Network) 학습이 자연스럽게 스코어 함수를 매끄럽게 다듬는 과정의 필연적 결과임을 보입니다.

만들어내는 기계인가, 외우는 기계인가

먼저 확산 모델이 어떻게 데이터를 만드는지 직관적으로 그려봅시다. 무작위 노이즈를 방 안에 흩어진 기체 입자들이라고 상상해 보세요. 각 입자를 특정 방향으로 끌어당기는 "힘의 장(force field)" 이 있어서, 시간이 흐르면 입자들이 의미 있는 형태로 모여듭니다. 확산 모델에서 이 힘의 장이 바로 스코어 함수(score function) 이고, 입자들이 모여드는 과정이 디노이징(denoising) 입니다. 스코어 함수는 학습 데이터로부터 추정되며, 매 순간 입자들이 어디로 흘러가야 할지를 결정합니다.

여기서 결정적인 사실이 하나 있습니다. 만약 모델이 학습 데이터로부터 완벽한 스코어 함수를 배운다면 어떻게 될까요? 그 경우 힘의 장은 입자들을 정확히 학습 데이터 지점 위로만 끌어당깁니다. 결과물은 학습 이미지의 복사본일 뿐이고, 이런 현상을 암기(memorization) 라고 부릅니다. 이때 모델은 창의적 생성기가 아니라 단순한 검색 도구에 지나지 않습니다.

논문은 이 완벽한 스코어를 경험적 스코어 함수(empirical score function, ESF) 라고 부릅니다. 학습 집합에 노이즈를 더한 분포의 정확한 스코어인데, 이를 그대로 쓰면 디노이징은 노이즈를 더하던 과정을 정확히 되감아 결국 학습 데이터 p_0^{(n)} 를 그대로 복원합니다. 실제로 모델 용량이 학습 데이터 크기에 비해 지나치게 크면 이런 암기 현상이 관측되는데, 이는 신경망이 ESF를 너무 잘 근사해 버린 탓입니다.

이 지점에서 흥미로운 역설이 드러납니다. 확산 모델이 학습 집합을 넘어선 새로운 표본을 만들려면, 신경망이 ESF를 완벽하게 배워서는 안 됩니다. 그렇다면 도대체 어떤 종류의 "불완전함" 이 바람직한 것이며, 그것이 어떻게 창의성으로 이어질까요? 기존 연구들도 이 방향을 탐색해 왔습니다. Scarvelis 등(2025) 은 스코어를 인위적으로 매끄럽게 다듬으면 학습 데이터의 무게중심(barycenter) 부근에서 표본이 생성됨을 보였습니다. Aithal 등(2024) 은 신경망이 학습한 매끄러운 스코어가 여러 모드 사이를 보간해 모델의 환각(hallucination)을 일으킨다고 분석했는데, 이는 우리가 창의성이라 부르는 현상과 사실상 동전의 양면인 셈입니다. 또 다른 연구들은 특정 아키텍처(예: CNN의 국소성과 등변성)가 일반화를 돕는다고 주장했습니다. 다만 이들은 스코어를 왜 다듬어야 하는지, 그리고 다듬은 스코어가 어떻게 새 표본을 만드는지를 정량적으로 설명하지는 못했습니다.

이 논문의 발상 전환은 여기에 있습니다. 스코어를 인위적으로 다듬을 필요가 없다는 것입니다. 신경망 정규화(regularization)가 자연스럽게 ESF의 매끄러운 버전을 학습하도록 유도하며, 이렇게 다듬어진 스코어가 디노이징 과정에서 학습 데이터 사이를 보간(interpolation) 하는 표본을 만든다는 것이 핵심 주장입니다. 그리고 이 보간이야말로 가장 단순한 형태의 의미 있는 창의성입니다.

1차원에서 본 스코어 스무딩

논문은 가장 단순한 무대에서 이야기를 시작합니다. 1차원 공간에 학습 데이터가 딱 두 개, y_1 = -1 과 y_2 = +1 만 있는 경우입니다.

디노이징 후반부(작은 t )에서 완벽한 ESF는 \text{sgn}(x) 를 따라가는 가파른 계단 모양이 됩니다. x 가 0보다 조금이라도 왼쪽이면 입자를 -1 로, 조금이라도 오른쪽이면 +1 로 끌어당깁니다. 공간 전체가 0을 기준으로 거의 칼같이 둘로 나뉘고, 모든 입자는 결국 두 학습 지점 중 하나로 수렴합니다. 바로 암기입니다.

정규화가 만드는 완만한 비탈

그런데 현실의 신경망은 이런 날카로운 절벽을 잘 학습하지 못합니다. 학습 중 가중치 감쇠(weight decay) 같은 정규화가 걸리면, 신경망은 급경사를 완만한 비탈로 부드럽게 눌러 버립니다. 저자들은 이를 확인하기 위해, 다양한 강도의 가중치 감쇠 아래에서 AdamW로 2층 ReLU 신경망을 학습시켜 1차원 ESF를 근사했습니다.

결과는 위 그림과 같습니다. 정규화 강도 \lambda 가 커질수록(왼쪽), 신경망이 학습한 스코어는 중앙 영역에서 점점 더 완만해집니다. 흥미롭게도 이 곡선들은 거의 구간별 선형(piecewise linear)이며, 저자들은 이를 \delta \in (0, 1] 로 매개화한 함수로 깔끔하게 근사할 수 있음을 발견했습니다. 이 함수를 Smoothed PL-ESF(매끄럽게 다듬은 구간별 선형 ESF)라고 부릅니다.

Smoothed PL-ESF는 이름 그대로, 두 학습점 바깥 구간에서는 원래의 날카로운 스코어를 그대로 두고, 중앙 구간 [\delta-1, 1-\delta] 안에서만 기울기 \frac{\delta}{1-\delta}\cdot\frac{1}{t} 의 완만한 직선으로 갈아끼운 함수입니다(위 그림 오른쪽). 즉 매끄럽게 만드는 곳은 오직 두 학습점 사이의 중앙 영역뿐입니다. 정규화가 강할수록 \delta 가 작아지고, 이 완만한 구간이 좁아집니다. 핵심은 강한 정규화(작은 \delta )와 매끄러운 스코어가 정확히 대응한다는 점입니다. 마치 등산로의 급경사 계단을 완만한 비탈길로 바꾸면, 그 위를 지나는 입자들이 훨씬 천천히 미끄러지는 것과 같습니다.

왜 정규화가 곧 매끄러움인가

그렇다면 왜 정규화된 신경망은 하필 이 Smoothed PL-ESF에 이토록 가까운 함수를 배울까요? 여기서 논문은 함수 공간(function space) 이론을 끌어옵니다. Savarese 등(2019) 은 2층 ReLU 신경망의 가중치 노름을 정규화하는 것(즉 가중치 감쇠)이, 함수의 비매끄러움(non-smoothness) 을 아래와 같이 측정하는 페널티를 거는 것과 본질적으로 같음을 증명했습니다.

R[f] \coloneqq \int_{-\infty}^{\infty} |f''(x)|\,dx

여기서 f'' 은 함수의 2차 도함수입니다. 이 값이 작을수록 함수가 매끄럽다는 뜻입니다. 이 연결고리에서 영감을 얻어, 저자들은 신경망 학습을 대리하는 변분 문제(variational problem)를 세웁니다. 스코어 매칭 손실(score matching loss)이 ESF에 충분히 가깝다는 제약(L_t^{(n)}[f] < \epsilon ) 아래에서 비매끄러움 R[f] 를 최소화하라는 것입니다.

r_{t,\epsilon}^{*} \coloneqq \inf_{f} R[f] \quad \text{s.t.} \quad L_t^{(n)}[f] < \epsilon

\epsilon = 0 이면 오직 ESF만이 제약을 만족해 암기로 이어지지만, \epsilon 이 작더라도 양수이면 실현 가능한 함수가 무한히 많아지고, 이때 비매끄러움 페널티가 스코어를 ESF 바깥으로 밀어냅니다. 논문의 Proposition 1 은 이 변분 문제의 준최적해(near-optimal solution)가 바로 Smoothed PL-ESF임을 증명합니다. 구체적으로 \delta_t = \kappa\sqrt{t} 로 두면, 작은 t 전 구간에서 이 함수의 비매끄러움이 최적값의 (1 + 8\sqrt{\epsilon}) 배 이내에 머뭅니다. 즉 신경망이 정규화 아래에서 배우는 매끄러운 스코어가, 수학적으로도 "가장 매끄러우면서 여전히 데이터를 설명하는" 해에 해당한다는 것입니다.

한 가지 더 주목할 점은, 이 매끄러움이 반드시 명시적 정규화에서만 나오지는 않는다는 것입니다. 가중치 감쇠를 걸지 않아도, 경사 기반 알고리즘으로 신경망을 학습하는 것 자체가 암묵적 정규화(implicit regularization) 효과를 낼 수 있기 때문입니다. 실제로 Chizat와 Bach(2020)는 넓은 2층 ReLU 신경망을 로지스틱 계열 손실로 학습할 때, 경사 하강이 위와 동일한 비매끄러움 척도를 암묵적으로 최소화함을 보였습니다. 저자는 스코어 추정이 이와는 다른 종류의 손실을 쓰기에 이 논증이 곧바로 적용되지는 않는다고 신중하게 선을 긋습니다. 다만 이는 스코어 스무딩이 특별한 트릭이 아니라 신경망 학습에 내재된 성향일 수 있음을 시사하는 근거가 되며, 뒤에서 볼 실험들이 이 가설을 실증적으로 뒷받침합니다.

매끄러움이 만드는 보간 효과

이제 매끄러운 스코어가 디노이징 동역학에 실제로 어떤 결과를 낳는지 살펴봅시다. 완벽한 ESF 대신 Smoothed PL-ESF를 넣고 디노이징 ODE를 풀면 무슨 일이 벌어질까요?

Smoothed PL-ESF가 구간별 선형이라는 성질 덕분에, 디노이징 궤적을 해석적으로(closed-form) 풀 수 있습니다. Proposition 3 이 그 흐름 지도(flow map)를 제시하는데, 그 결과가 아래 위상 다이어그램에 담겨 있습니다.

디노이징 궤적의 세 갈래

Smoothed PL-ESF의 기울기가 바뀌는 지점을 경계로, x 와 \sqrt{t} 평면이 세 영역으로 나뉩니다. 영역 A (x \leq \delta_t - 1 )에 있는 입자는 t 가 0으로 줄어들수록 직선 경로를 따라 왼쪽 학습점 -1 로 수렴하고, 영역 B (x \geq 1 - \delta_t )의 입자는 오른쪽 학습점 +1 로 수렴합니다. 여기까지는 암기와 같습니다.

결정적인 차이는 가운데 영역 C (\delta_t - 1 \leq x \leq 1 - \delta_t )에서 나타납니다. 이 영역의 입자들은 어느 한 학습점으로 붕괴하지 않고, -1 과 +1 사이의 연속적인 위치들로 흩어집니다. 위 그림에서 아래쪽에 퍼진 빨간 점들이 바로 그것입니다. 이 완만한 중앙 구간이야말로 창의성이 태어나는 "보간 지대(interpolation zone)" 인 셈입니다.

이 차이는 결과 분포의 성질에서도 극명하게 드러납니다. 완벽한 ESF로 디노이징한 최종 분포는 오직 \pm 1 에만 질량이 몰린 특이(singular) 분포이고, [-1, 1] 위의 어떤 매끄러운 밀도와도 KL 발산(KL divergence)이 무한대입니다. 반면 Smoothed PL-ESF의 최종 분포는 [-1, 1] 구간 전체에 양의 밀도를 갖는 정상적인 분포로, 두 학습 데이터 사이를 부드럽게 보간합니다. 다시 말해, 결과물은 두 학습점을 흐릿하게 뭉갠 것이 아니라 그 사이의 새로운, 그럴듯한 표본입니다.

고차원에서: 부분공간 복원

1차원 장난감 예제는 명쾌하지만, 현실의 이미지는 고차원 픽셀 공간에 삽니다. 다만 그 공간의 대부분은 사람 눈에 무의미한 노이즈이고, 인식 가능한 이미지는 데이터 매니폴드(data manifold)라 불리는 얇은 부분공간 위에만 존재합니다. 따라서 이미지 생성은 유한한 학습 데이터로부터 숨겨진 매니폴드의 모양을 추론하고, 그 위의 새로운 점을 찾아내는 매니폴드 복원(manifold recovery) 문제로 볼 수 있습니다.

접선 방향과 법선 방향

논문이 밝혀낸 가장 우아한 통찰은, 고차원에서 스코어 스무딩이 방향에 따라 다르게 작용한다는 점입니다. 스코어를 매니폴드에 나란한 접선 방향(tangent) 성분과, 매니폴드를 향하는 법선 방향(normal) 성분으로 나눠 보면 그 차이가 선명해집니다.

접선 방향에서는 1차원에서 본 것과 똑같은 감속 효과가 일어납니다. 입자들이 학습 데이터로 붕괴하는 속도가 느려져, 데이터 사이를 보간하게 됩니다. 반면 법선 방향에서는 완벽한 스코어가 이미 매끄러운 직선이라(매니폴드가 평평한 경우), 여기에 스무딩을 더 걸어도 거의 달라지지 않습니다.

이 비대칭이 핵심입니다. 만약 스무딩이 모든 방향에서 입자를 똑같이 붙잡았다면, 입자들은 노이즈 낀 빈 공간에 멈춰 서서 흐릿한 이미지가 되었을 것입니다. 그러나 스코어 스무딩은 매니폴드를 향한 수렴은 늦추지 않고, 오직 접선 방향으로 학습 데이터에 달라붙으려는 경향만 줄입니다. 그 결과 모델은 품질과 참신함 사이의 균형을 얻습니다. 생성된 이미지는 매니폴드에 제대로 도달했기에 사실적이고, 원본 학습점들 사이의 빈 공간에 자리 잡았기에 새롭습니다. Proposition 4 와 Proposition 5 가 이 직관을 정확한 수식으로 뒷받침합니다. 법선 방향에서는 궤적이 \sqrt{t} 의 속도로 부분공간에 수렴하고, 접선 방향에서는 1차원과 같은 보간이 일어난다는 것입니다.

조기 종료와는 다르다

혹시 그냥 완벽한 ESF로 디노이징하다가 중간에 멈추면(inference-time early stopping) 비슷한 효과가 나지 않을까요? 그렇지 않습니다. 조기 종료의 최종 분포는 여전히 전체 d 차원에 걸쳐 퍼져 있으며, 이는 학습 데이터에 가우시안 노이즈를 씌운 것과 다를 바 없습니다. 부분공간을 복원하지도, 제대로 된 일반화를 만들지도 못합니다. 스코어 자체를 매끄럽게 바꾸는 것만이 올바른 일반화를 유도합니다.

수치 실험으로 검증하기

이론이 아무리 아름다워도 실제 신경망이 정말로 이렇게 행동하는지가 관건입니다. 논문은 세 가지 실험으로 이를 확인합니다.

스무딩 스코어와 신경망 스코어는 닮았는가

첫 번째 실험은 d = 2, n = 4 설정에서 세 종류의 스코어로 디노이징을 돌립니다. (i) 완벽한 ESF, (ii) Smoothed PL-ESF, (iii) t 를 입력으로 받아 학습한 신경망 스코어입니다. 세 과정 모두 t_0 = 0.02 에서 같은 분포로 출발해 t_{\min} = 10^{-5} 까지 시간을 거슬러 내려갑니다.

결과(위 그림)를 보면 이야기가 분명해집니다. 세 경우 모두 두 번째 차원(법선 방향)의 분산은 비슷한 속도로 0에 수렴합니다. 스무딩이 부분공간으로의 수렴을 방해하지 않는다는 이론과 일치합니다. 그러나 첫 번째 차원(접선 방향)에서는 극적으로 갈립니다. 맨 아래 행에서 ESF(왼쪽 열)는 4개의 뾰족한 점으로 완전히 붕괴해 학습 데이터를 그대로 암기합니다. 반면 Smoothed PL-ESF(가운데)와 신경망 스코어(오른쪽)는 학습점들 사이를 잇는 연속적인 밀도로 퍼집니다. 게다가 가운데 열의 히스토그램은 논문의 해석적 예측(색 곡선)과 잘 들어맞습니다.

가장 중요한 관찰은 신경망 스코어(iii)의 거동이 ESF보다 Smoothed PL-ESF(ii)에 훨씬 가깝다는 점입니다. "신경망 학습이 스코어에 비슷한 스무딩 효과를 일으킨다" 는 논문의 가설을 직접적으로 뒷받침하며, 신경망 기반 확산 모델이 암기를 피하는 메커니즘을 이론으로 설명할 수 있음을 보여줍니다.

직선을 넘어서: 원 위의 데이터

보간 효과가 직선 배치를 넘어서도 작동할까요? 두 번째 실험은 학습 데이터를 원(circle) 위에 균일하게 배치하고, 이번에는 가중치 감쇠 없이 2층 신경망을 학습시킵니다. 위 그림의 아래 두 행이 보여주듯, 신경망이 학습한 스코어는 ESF보다 확연히 매끄럽습니다. 특히 원의 접선(각) 방향에서 그렇습니다.

그 결과 디노이징은 이웃한 학습점들 사이를 거의 선형으로 보간하는 표본을 만들고, 이는 학습점 수가 늘어날수록 원을 점점 더 잘 근사하는 정다각형 형태로 나타납니다(위쪽 행의 초록 점들). 명시적 정규화가 전혀 없는데도 이런 스무딩이 일어난다는 사실은, 앞서 언급한 암묵적 정규화만으로도 스코어 스무딩 효과를 유도하기에 충분함을 시사합니다.

휘어진 매니폴드와 고차원

마지막으로, 보간 효과가 휘어진 매니폴드와 고차원에서도 유지되는지 확인합니다. 저자들은 2차원 구면형 매니폴드를 최대 d = 20 차원 공간에 삽입하고, 입체 투영(stereographic projection)으로 결과를 시각화했습니다. 위 그림에서 신경망 스코어로 생성한 표본(초록 점)들은 비선형성과 높은 차원에도 불구하고 매니폴드를 따라 학습 데이터(검은 십자) 사이를 보간합니다. 이론의 분석이 단순한 선형 부분공간을 넘어 곡면 매니폴드까지 확장됨을 뒷받침하는 증거입니다.

한계와 시사점

저자는 이 연구가 현실에 비하면 크게 단순화된 무대를 다룬다는 점을 솔직하게 인정합니다. 학습 데이터가 균일하게 배치된 1차원 부분공간에 놓인 경우에 이론이 집중되어 있고, 스코어 추정기도 2층 ReLU 신경망이라는 단순한 형태를 가정합니다. 실제 확산 모델은 훨씬 복잡한 아키텍처를 쓰며, 이는 더 복잡하고 비선형적인 보간 효과로 이어질 수 있습니다. 또한 스코어 스무딩과 신경망 학습의 암묵적 편향(implicit bias) 사이의 연결은, 특히 고차원에서 아직 제한적으로만 규명되었습니다. 이 방향은 Vastola(2025), Wang과 Pehlevan(2025), Bonnaire 등(2025) 같은 동시대 연구들이 서로 다른 기법으로 함께 파고들고 있습니다. 나아가 이 연구를 출발점으로, 데이터 분포가 더 복잡해질 때, 신경망 아키텍처가 더 복잡해질 때, 그리고 조건부 생성(conditional generation) 과제에서 보간 효과가 어떻게 달라지는지를 살펴보는 후속 연구들도 이어지고 있습니다.

그럼에도 이 연구의 시사점은 묵직합니다. 우리가 확산 모델의 "창의성" 이라고 부르는 것이 실은 신경망이 학습하는 방식에서 비롯되는 예측 가능한 수학적 결과일 수 있다는 것입니다. 신경망은 결코 완벽하게 날카로울 수 없기에, 알고 있는 데이터 사이에 다리를 놓아 그 사이를 보간합니다. 이미지 생성이나 신약 개발에서 이는, 모델이 자신이 본 두 고양이 이미지나 두 분자 구조를 단순히 기억하는 데 그치지 않고 그 주변 공간을 탐색해 둘의 흔적을 결합한 제3의 새로운 결과를 제안한다는 뜻입니다.

이 관점은 실용적으로도 유용합니다. 창의성의 뿌리가 신경망 학습 방식에 있음을 이해하면, 우리는 더 나은 "보간기" 를 의도적으로 설계할 수 있습니다. 모델이 창의적 생성기로 남으면서도 무분별한 암기(그리고 그에 따르는 프라이버시나 저작권 문제)라는 함정을 피하도록 만드는 것입니다. 저자들은 논문의 그림을 생성한 수치 실험 코드를 공개해 두었으니, 직접 실험을 재현해 보고 싶은 분들께 권합니다.

On the Interpolation Effect of Score Smoothing in Diffusion Models 논문

Towards demystifying the creativity of diffusion models 소개 블로그

google-research/diffusion-score-smoothing GitHub 저장소

더 읽어보기

이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다.

파이토치 한국 사용자 모임이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일로 보내드립니다! 텔레그램(Telegram)이나 Slack/Discord/Teams/Dooray/GoogleChat 등으로도 새 글 알림을 받으실 수 있습니다.

아래쪽에 좋아요를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~