DiffusionGemma 소개
글을 쓸 때 우리는 첫 글자부터 마지막 글자까지 순서대로만 써 내려가지 않습니다. 전체 얼개를 흐릿하게 잡아 두고 앞뒤를 오가며 고쳐 쓰다 보면 어느 순간 문장이 제자리를 찾습니다. DiffusionGemma 기술 보고서 는 언어 모델의 생성 방식을 정확히 이렇게 바꾸려는 연구입니다. Google DeepMind는 자기회귀(autoregressive, AR) 방식으로 학습을 마친 Gemma 4 26B A4B 모델을 이산 확산(discrete diffusion) 모델로 미세조정하여, 토큰을 왼쪽에서 오른쪽으로 하나씩 뽑는 대신 256개 토큰 묶음을 병렬로 반복 정제하도록 만들었습니다. 그 결과 NVIDIA H100 한 장에서 초당 약 1,500토큰이라는, 기존 AR 모델로는 도달하기 어려웠던 생성 속도를 얻었습니다.
자기회귀 생성이 속도에서 막히는 지점
현재 대규모 언어 모델(LLM) 시장은 사실상 자기회귀 모델이 독점하고 있습니다. 시퀀스 x 의 결합 확률을 p(x) = \prod_{i=1}^{L} p(x_i \mid x_{<i}) 로 정확하게 분해하는 이 방식은 이론적으로 엄밀하고 학습도 안정적입니다. 문제는 이 엄밀함이 하드웨어와 잘 맞지 않는다는 데 있습니다.
요청이 많이 몰릴 때는 배치(batch)로 묶어 처리하면 그럭저럭 쓸 만한 처리량이 나옵니다. 하지만 단일 요청이나 동시성이 낮은 요청을 처리할 때 AR 디코딩은 근본적으로 메모리 대역폭에 묶입니다(memory-bound). 토큰 하나를 뽑기 위해 모델 가중치와 컨텍스트 KV 캐시를 메모리에서 가속기로 옮기는 시간이, 실제 계산에 쓰는 시간을 훨씬 초과하기 때문입니다. 값비싼 가속기의 연산 유닛은 대부분 놀고 있고, 사용자 한 명이 체감하는 생성 속도는 여기서 천장을 만납니다.
이 병목을 우회하려는 가장 널리 쓰이는 기법은 추측 디코딩(Speculative Decoding) 입니다. 작은 드래프터(drafter) 모델이 보통 8토큰 정도의 후보 시퀀스를 미리 써 두고, 본 모델이 이를 한 번의 순전파로 검증하는 방식입니다. 이렇게 하면 순전파 한 번에 3~6토큰(TPF, Tokens Per Forward)을 확정할 수 있습니다. 그러나 초안을 쓰고 검증하는 패러다임 자체에 한계가 있습니다. AR 드래프터는 자기 자신이 순차 생성에 묶여 있고, 병렬 드래프터는 초안의 뒤쪽 위치로 갈수록 수락률이 떨어집니다.
텍스트 확산(text diffusion) 은 토큰 블록 전체를 동시에 예측하는 방식으로 이 병목을 근본적으로 비껴갑니다. 실행 지점을 메모리 대역폭에 묶인 영역에서 연산에 묶인 영역(compute-bound)으로 옮겨 놓는 셈입니다. 최근 Gemini Diffusion, Mercury, LLaDA, Seed Diffusion, Nemotron-Labs-Diffusion처럼 이 방향의 모델이 빠르게 늘었습니다. 다만 저자들의 진단에 따르면 지금까지의 지형은 속도, 지능, 접근성 사이에서 냉혹한 타협을 강요했습니다. Gemini Diffusion과 Mercury 같은 모델은 독점 API 뒤에 잠겨 있고, 공개 가중치 대안들은 추론(reasoning) 능력이나 멀티모달 이해가 제한적이거나, 확산 기술이 약속한 극단적인 지연 이득을 실제로는 내놓지 못하거나, 둘 다인 경우가 많았습니다.
이 연구의 발상 전환: 사전학습을 건너뛰고 AR 체크포인트를 개조한다
확산 언어 모델을 처음부터 사전학습하는 비용은 감당하기 어렵습니다. 그래서 연구팀은 확산 모델을 새로 만들지 않고, 이미 잘 학습된 AR 체크포인트를 확산 모델로 개조하는 길을 택했습니다. 공개된 Gemma 4 26B A4B 혼합 전문가(Mixture-of-Experts, MoE) 모델의 최종 사후학습 가중치에서 출발해, AR 모델 전체 학습 토큰 예산의 10\% 미만만 사용하는 2단계 파이프라인을 돌립니다.
- 지도 미세조정(Supervised Fine-tuning, SFT): 깨끗한 토큰으로 이루어진 컨텍스트에 어텐션하면서, 동시에 256토큰짜리 노이즈 블록을 블록 내부 양방향 어텐션으로 디노이징(denoising)하도록 모델을 적응시킵니다.
- 샘플러 증류 및 강화학습(Sampler Distillation and Reinforcement Learning, SD·RL): 보상을 최대화해 생성 품질을 끌어올리는 일과, 순전파 횟수를 대폭 줄여 초저지연을 확보하는 일을 하나의 온라인 학습 단계에서 동시에 수행합니다.
동일한 트랜스포머 백본을 그대로 쓰기 때문에, AR 가중치를 컨텍스트 인코딩용 인과 어텐션(causal attention)과 확산 과정용 양방향 어텐션 양쪽에 효율적으로 재사용할 수 있습니다. 덕분에 원본 모델의 멀티모달 이해, 긴 컨텍스트, 생각 모드(thinking mode) 같은 능력이 그대로 따라옵니다.
성능 지표부터 먼저 보겠습니다. DiffusionGemma는 평가 스위트 전체 평균으로 순전파 한 번에 약 20토큰을 생성하며, H100 한 장(FP8, 배치 크기 1)에서 초당 약 1,500토큰(TPS, Tokens Per Second)을 냅니다. 같은 장비에서 Gemma 4 AR 모델은 204 TPS, 최신 추측 디코딩 기법인 다중 토큰 예측(Multi-Token Prediction, MTP)을 붙인 AR 모델은 303 TPS였으므로, 각각 7.1\times 와 4.8\times 에 해당하는 개선입니다.
모델 제원은 다음과 같습니다. 총 파라미터 25.2B, 활성 파라미터 3.85B, 전문가는 128개 중 8개 활성에 공유 전문가 1개, 비전 인코더 550M, 임베더 740M, 자기 조건화(self-conditioning)용 MLP 7.8M, 어휘 크기 262K입니다. 캔버스 길이는 256토큰이고 컨텍스트 창은 최대 256K 토큰까지 지원합니다. 가중치는 Apache 2.0 라이선스로 공개되었습니다.
이산 확산으로 텍스트를 만든다는 것
순방향 손상 과정과 역방향 디노이징
확산 모델은 결합 확률 p(x) 를 좌우 위치 순서가 아니라 노이즈 수준의 순서 로 분해합니다. 학습할 때는 순방향 과정이 깨끗한 데이터를 점진적으로 손상시켜 무작위 노이즈로 만들고, 신경망은 그 역방향 디노이징 과정을 학습합니다. 추론 시점에는 무작위 노이즈에서 출발해 출력 시퀀스를 병렬로 반복 정제합니다.
DiffusionGemma는 연속시간 마르코프 연쇄(Continuous-Time Markov Chain, CTMC) 형식을 채택합니다. 반복 정제 대상이 되는 토큰 시퀀스를 캔버스(canvas) 라 부르고 길이를 C 로 씁니다. 시간 t \in [0, 1] 에서 캔버스의 실현값을 x_t 라 하면, t = 0 은 깨끗한 데이터 분포이고 t = 1 은 어휘 전체에 대한 균일 분포 \mathrm{Unif}(\mathcal{V}^C) 입니다. 순방향 전이 확률은 각 토큰 좌표별로 독립적으로 분해됩니다.
여기서 \kappa_t 는 \kappa_0 = 1 에서 \kappa_1 = 0 으로 단조 감소하는 노이즈 스케줄이고 \delta 는 크로네커 델타입니다. 직관적으로는 시간 t 가 1에 가까워질수록 각 토큰이 어휘에서 균일 무작위로 뽑힌 다른 토큰으로 교체될 확률이 커집니다. 이 순방향 과정은 닫힌 형태로 계산되므로, 깨끗한 텍스트에서 학습 데이터를 즉시 만들어 낼 수 있습니다.
역방향으로 데이터를 복원하려면 손상된 상태가 주어졌을 때 원래 토큰의 조건부 분포, 즉 사후 확률 \mathbb{P}(X_0^i = v \mid X_t = x_t) 를 알아야 합니다. 이산 흐름 정합(discrete flow matching) 이론이 알려 주는 바로 이 사후 확률을 신경망 p_\theta(v \mid x_t) 로 근사하고, 전이 매핑 \mathrm{Step} 을 통해 다음 중간 상태를 샘플링합니다.
왜 임베딩 공간의 연속 확산이 아니라 이산 확산인가
텍스트에 확산을 적용하는 초기 접근들은 이산 토큰을 연속 임베딩 공간으로 옮겨 가우시안 확산을 그대로 쓰는 방식이었습니다. Diffusion-LM이나 SED는 연속 벡터를 만들어 놓고 이를 강제로 투영하거나 가장 가까운 토큰으로 반올림(rounding)했고, CDCD는 연속 과정을 유지하면서 범주형 로짓을 직접 예측했습니다.
연구팀은 이 계열이 이론적으로도 기하학적으로도 곤란한 상황에 놓인다고 지적합니다. 우선 하드 반올림 연산은 연속시간 및 변분 형식이 확립한 확산 가능도 경계의 정확성을 깨뜨립니다. 더 실질적인 문제는 기하학입니다. 유효한 어휘 토큰은 고차원 잠재 공간에서 무한히 작은 비율만 차지하므로, 역방향 생성 과정이 아무것도 없는 "무의미한" 영역으로 표류하기 쉽습니다. 그렇게 표류한 임베딩을 가장 가까운 토큰으로 반올림하면 전혀 무관한 토큰이 튀어나와 문장이 깨집니다.
이산 확산 은 범주형 상태 위에서 직접 동작해 임베딩 투영 불일치 자체를 없앱니다. 흥미로운 점은 이 계보가 낯설지 않다는 것입니다. 흡수 마스크 상태나 어휘 전체에 대한 다항 분포처럼 현대 확산이 정의하는 범주형 상태 간 확률 전이는, BERT 가 도입한 마스킹과 무작위 토큰 교체, ELECTRA 의 그럴듯한 토큰 대체를 정식 다단계 마르코프 과정으로 일반화한 것에 해당합니다. 단발성 손상 휴리스틱이었던 것을 여러 단계의 확률 과정으로 확장한 셈입니다.
멀티노멀 확산: 확정한 토큰도 계속 고쳐 쓴다
DiffusionGemma의 디노이징 반복은 마스킹 확산(masked diffusion)이 아니라 멀티노멀 확산(multinomial diffusion), 다른 이름으로는 균일(uniform) 확산을 씁니다. 이 선택이 만드는 차이가 결정적입니다. 모든 토큰이 서로에게 전이할 수 있으므로, 앞선 디노이징 스텝에서 이미 수락된 토큰도 같은 캔버스 안에서라면 나중에 다시 수정될 수 있습니다. 모델이 자기 실수를 계속 교정할 수 있다는 뜻입니다. 다만 이전 캔버스에서 확정된 토큰은 영구적으로 고정됩니다.
아래 그림은 "Please write a short sentence describing text diffusion." 이라는 프롬프트에 대한 실제 디노이징 궤적입니다. 색이 진할수록 모델의 예측 신뢰도가 높습니다.
스텝 0에서 이미 "Text diffusion is a generative process that" 까지는 확정되어 있지만, 뒷부분은 "gradually" 가 다섯 번 반복되며 흔들립니다. 스텝 1에서 "creates high quality text by iteratively" 가 자리를 잡고, 스텝 2에서 "refining random noise until a structured" 가 채워지며, 스텝 5에서 마지막 "message" 가 "language" 를 밀어냅니다. 최종 문장은 "Text diffusion is a generative process that creates high-quality text by iteratively refining random noise until a structured and coherent message emerges." 이고, 이를 만드는 데 든 순전파는 단 7회입니다.
이 구조에는 대가도 있습니다. 디노이징 과정이 위치별로 분해되어 있어서 개별 역방향 스텝에서는 조건부 독립을 가정합니다. 위치 i 에서 새로 갱신되는 토큰은 현재의 노이즈 캔버스 x_t 전체를 보고 결정되지만, 같은 스텝에 다른 위치 j \neq i 에서 어떤 샘플링 선택이 이루어지는지는 볼 수 없습니다. 그래서 국소적인 불일치나 문법적으로 충돌하는 예측이 간헐적으로 생깁니다. 연구팀은 이 조율되지 않은 역학을 자기 조건화 아키텍처와 엔트로피 기반 샘플링으로 정면에서 상쇄합니다.
DiffusionGemma 아키텍처
블록 자기회귀 생성: 인코더와 디코더의 역할을 뒤집다
2절의 이산 흐름 정합 형식은 고정 길이 시퀀스를 다룹니다. 길이가 정해지지 않은 텍스트를 생성하려면 다른 장치가 필요한데, 여기서 등장하는 것이 블록 자기회귀(block-AR) 생성 입니다. 모델은 한 번에 256토큰 캔버스를 디노이징하고, 캔버스가 완전히 정리되면 이를 시퀀스 이력에 확정한 뒤 다음 캔버스로 넘어갑니다.
전체 과정은 세 단계로 나뉩니다.
- 컨텍스트 인코딩: 시스템 지시와 사용자 프롬프트를 인과 어텐션 마스킹을 쓰는 인코더로 처리해 KV 캐시 H = \mathrm{Encoder}_\theta(h) 를 초기화합니다.
- 디노이징 루프: 균일 무작위 토큰으로 채운 캔버스에서 출발해, 디코더가 캔버스 내부 양방향 어텐션과 KV 캐시에 대한 교차 어텐션(cross-attention)을 쓰며 반복 정제합니다.
- 인코딩 후 덧붙이기: 완성된 캔버스 \hat{x}_0 를 다시 인과 인코더에 통과시켜 H \leftarrow H \oplus \mathrm{Encoder}_\theta(\hat{x}_0) 로 KV 캐시에 덧붙이고, 다음 블록의 컨텍스트로 삼습니다.
이 배치는 BART 나 T5 같은 표준 인코더-디코더 모델의 구조적 역전 입니다. 그쪽 모델들은 컨텍스트에 양방향 인코더를, 생성에 인과 디코더를 씁니다. DiffusionGemma는 반대로 시퀀스 이력에 인과 인코더를, 확산 기반 캔버스 생성에 양방향 디코더를 씁니다. 인과 인코딩을 택한 대가로 앞선 컨텍스트 토큰이 최신 캔버스를 볼 수 없게 되지만, 그 덕분에 늘어나는 컨텍스트를 매번 처음부터 다시 인코딩할 필요가 없어집니다. 새로 만든 캔버스만 덧붙이면 되므로 긴 추론 생성으로도 확장됩니다. 참고로 이 블록 자기회귀 전략은 연구팀이 2023년 6월 미공개 원고에서 개발한 것이며, 블록 단위 시퀀스 모델링과 KV 캐싱에 대한 유사한 접근은 Block Diffusion 등에서 독립적으로 개발되었습니다.
자기 조건화: 자기 예측을 다음 스텝에 되먹인다
디코더는 세 가지 입력을 받습니다. 현재 노이즈 캔버스 x_t, 컨텍스트 KV 캐시 H, 그리고 모델의 직전 예측을 자기 자신에게 되먹이는 연속 신호인 자기 조건화(self-conditioning) z_t \in \mathbb{R}^{C \times d} 입니다. 각 반복에서 로짓 L_t = \mathrm{Decoder}_\theta(x_t, z_t, H) 를 계산한 뒤 다음을 수행합니다.
여기서 E 는 토큰 임베딩 행렬이고 \mathrm{FFW} 는 표준 순방향 신경망입니다. 되먹이는 것이 확정된 하드 토큰이 아니라 소프트맥스 분포 전체를 임베딩의 확률 가중 평균으로 변환한 값 이라는 점이 중요합니다. 이 덕분에 다음 스텝에서 균일 무작위로 재노이즈된 위치조차 직전 스텝의 정보를 이어받아 맨땅에서 다시 시작하지 않습니다. 자기 조건화는 디코더 모드에서만 활성화되고, 인코더의 프리필과 확정 패스에서는 0으로 처리됩니다.
연속 잠재 신호를 시퀀스에 주입하면 모델의 해석 가능성이 떨어질 것 같지만, 최근 해석 가능성 분석은 이 중간 자기 조건화 벡터가 해석 가능한 토큰 병목으로 견고하게 매핑되어 알고리즘적 투명성이 보존된다고 보고합니다.
엔트로피 기반 샘플러와 적응적 조기 종료
AR 생성이 온도, top-p, top-k 같은 비교적 단순한 휴리스틱에 의존하는 반면, 확산 모델링은 훨씬 풍부한 샘플링 설계 공간을 엽니다. 텍스트 생성을 시간에 대한 반복 과정으로 보면 추론 알고리즘을 아키텍처와 분리할 수 있고, 계산 비용과 생성 품질 사이의 균형을 세밀하게 조절할 수 있습니다. DiffusionGemma의 기본 샘플러는 세 가지 장치를 조합합니다.
첫째, 엔트로피 기반 토큰 정제(entropy-bounded refinement) 입니다. 디노이저가 만든 분포에 온도 조정을 적용한 뒤, 엔트로피가 낮은 위치부터 높은 위치 순으로 토큰을 수락합니다. 누적 엔트로피가 미리 정한 오차 허용 예산 b = 0.1 을 넘는 순간 멈추고, 수락되지 않은 나머지 위치는 모두 균일 무작위로 다시 노이즈를 씌웁니다. 이렇게 확정되지 않은 위치를 균일 사전 분포로 되돌려 두면 다음 순전파에서 국소적 탐색이 강제됩니다. 이미지 생성 분야의 MaskGIT 디코딩 방식과 발상이 닿아 있습니다.
둘째, 온도 담금질(temperature annealing) 입니다. 온도 \tau_t 를 \tau_t = (\tau_{\max} - \tau_{\min})t + \tau_{\min} 에 따라 0.8 에서 0.4 로 선형 감소시킵니다. 노이즈가 심한 초기 상태에서는 다양한 토큰 가능성을 탐색하고, 의미 구조가 결정화되는 후반부에서는 높은 신뢰도의 시퀀스에 공격적으로 확정하도록 유도하는 장치입니다.
셋째, 적응적 조기 종료(adaptive stopping) 입니다. 최대 스텝 수 N = 48 을 상한으로 두되, 두 조건이 동시에 만족되면 디노이징을 즉시 중단합니다.
- 확신 있는 예측: 캔버스 전체의 평균 예측 엔트로피가 e_{\text{stop}} = 0.005 아래로 떨어졌을 때
- 안정된 예측: 연속한 두 디노이징 스텝의 결정론적 예측(가장 확률이 높은 토큰들)이 완전히 동일할 때
이 장치의 효과는 상당합니다. 최대 48스텝 예산을 소진하는 대신 다운스트림 평가 전반에서 평균 약 12스텝만 사용하며, 이는 생성 품질을 희생하지 않고 전체 지연을 4\times 줄이는 결과로 이어집니다.
박스플롯을 보면 도메인별 수렴 프로필이 뚜렷하게 갈립니다. 코드처럼 구조가 강한 과제에서는 스텝을 적게 쓰고 자연어에서는 많이 씁니다. 도메인만이 아니라 과제의 난이도도 이 행동을 좌우합니다. 논문의 벤치마크별 수치를 보면 쉬운 코드 문제인 HumanEval은 유효 스텝 9.4, GSM8K는 9.1에 그치지만, 어려운 LiveCodeBench-v6는 13.8, GPQA-Diamond는 15.1, Codeforces는 17.1까지 올라갑니다. 모델이 프롬프트의 복잡도에 맞춰 추론 시점 계산량을 스스로 조절하고 있다는 뜻입니다.
효율을 재는 지표들
적응적 조기 종료 때문에 디노이징 스텝 수가 확률 변수가 되므로, 연구팀은 효율을 재는 지표를 따로 정의합니다. 캔버스 총 개수를 K, k 번째 캔버스의 디노이징 스텝 수를 N_k, 그 캔버스에서 나온 유효 토큰 수를 C_k 라 할 때 다음과 같습니다.
유효 디노이징 스텝을 단순 평균이 아니라 토큰 가중 평균으로 잡은 이유가 재미있습니다. 마지막 캔버스는 부분적으로만 채워지는 경우가 많아 스텝이 적게 드는데, 단순 평균을 쓰면 이 캔버스가 지표를 실제보다 좋아 보이게 끌어내리기 때문입니다. TPF 분모의 K - 1 항은 캔버스 사이에서 새로 만든 깨끗한 토큰을 인코딩해 KV 캐시에 덧붙이는 데 드는 추가 순전파 한 번을 반영합니다.
AR 생성 능력은 그대로 남는다
DiffusionGemma는 Gemma 4와 정확히 같은 트랜스포머 아키텍처를 공유하므로, 최종 가중치를 원래 아키텍처에 그대로 다시 올려서 인과 어텐션으로 표준 AR 생성을 수행할 수 있습니다. 실험 결과 이 모드에서도 능력이 견고하게 유지되며, 점수는 DiffusionGemma의 주 모드인 텍스트 확산과 출발점이었던 Gemma 4 체크포인트 사이에 정확히 자리합니다. 하나의 가중치로 두 가지 디코딩을 쓸 수 있다는 것은, 지연 요구 조건과 과제 복잡도에 따라 요청을 동적으로 라우팅하거나 두 방식을 섞는 하이브리드 디코딩을 시도할 수 있다는 뜻입니다.
2단계 학습 파이프라인
1단계: 양방향 디노이징을 가르치는 지도 미세조정
공개된 Gemma 4 26B A4B 체크포인트에서 출발해, 노이즈 입력으로부터 256토큰 블록을 예측하도록 확장된 미세조정을 돌립니다. 블록 대각(block-diagonal) 어텐션 마스크를 써서 각 블록 내부에서는 양방향 어텐션을 허용하되 다른 디노이징 블록에는 조건화되지 않게 합니다. 손상 과정은 이산 멀티노멀 확산이고, 캔버스마다 노이즈 수준 t \sim \mathrm{Unif}[0, 1] 을 뽑아 각 토큰을 확률 t 로 노이즈화합니다. 학습 목표는 예측과 정답 캔버스 사이의 교차 엔트로피입니다.
학습 곡선에서 관찰된 패턴이 흥미롭습니다. SFT 이전의 모델은 텍스트를 디노이징하는 능력이 아예 없습니다. 그런데 생각 모드를 끈 상태에서 좋은 성능에 도달하는 데는 중간 정도의 SFT면 충분한 반면, 생각 모드를 학습하려면 훨씬 긴 SFT가 필수적 입니다. 초기 단계의 모델은 일관된 추론 흔적을 유지하는 데 실패해서 말을 더듬거나 같은 구절을 순환하며 붕괴하곤 하는데, 이는 언어 모델에 추론을 내재화할 때 흔히 마주치는 어려움입니다. 성능은 초기 급상승 이후 학습 진행에 대해 로그 선형으로 개선되며, 생각 모드는 더 낮은 지점에서 시작하지만 기울기가 더 급합니다.
2단계: 품질과 속도를 한 번에 미는 SD·RL
SFT를 마친 모델은 디노이징 스텝을 많이 쓰면 좋은 품질을 냅니다. 문제는 두 가지였습니다. 고급 추론과 코딩 과제에서 AR 베이스라인보다 다소 뒤처졌고, 더 심각하게는 초저지연에 필요한 소수 스텝 영역에서 생성 품질이 붕괴 했습니다.
붕괴의 메커니즘이 구체적입니다. 스텝 수가 제한된 영역에서 SFT 모델은 자주 반복 토큰 루프에 빠집니다. 한번 루프에 들어가면 예측 엔트로피가 붕괴하고, 그 결과 적응적 조기 종료가 조건을 잘못 만족시켜 너무 이르게 발동합니다. 논문의 부록 예시를 보면 SFT 모델이 GPQA-Diamond 생물 문항에서 G2를 필수 전사 인자로 정확히 짚고 G1과 G3의 중복성까지 파악한 뒤, 갑자기 숫자 1 만 반복하는 루프에 빠져 최종 응답을 비워 둔 채 끝납니다. 논리는 맞았는데 형식에서 무너진 것입니다.
전통적인 해법은 보상 기반 정렬과 샘플러 증류를 별개 단계로 두고 다단계 파이프라인을 돌리는 것입니다. 연구팀은 이를 하나의 온라인 학습 단계로 통합했습니다. 단일 그래디언트 업데이트가 두 가지를 동시에 구동합니다.
- 보상 최대화: 생성 품질과 정렬의 절대 수준을 끌어올립니다.
- 샘플러 증류: 그 고품질 생성을 소수 스텝 영역으로 압축합니다. 반복적 확산 프레임워크에 고유한 압축 문제입니다.
SFT 가중치로 초기화된 모델이 온라인 교사(online teacher) 역할을 맡아, 최대 디노이징 스텝을 크게 잡고 온도 담금질을 완만하게 설정한 샘플러로 고품질 참조 궤적을 생성합니다. SD·RL의 결합 목적 함수는 이 궤적을 써서 보상 최대화와 샘플러 증류를 동시에 진행합니다.
가장 인상적인 부분은 여기서 창발하는 암묵적 커리큘럼 효과 입니다. SD·RL 목적 함수는 체계적으로 모델의 예측 엔트로피를 낮춥니다. 학습 초기에는 엔트로피가 높아 적응적 조기 종료가 늦게 발동합니다. 모델의 확신이 커지고 엔트로피가 떨어지면 조기 종료가 점점 일찍 발동하고, 그러면 학습 분포 자체가 더 짧은 디노이징 궤적으로 자연스럽게 이동합니다. 알고리즘이 스스로 증류 속도를 조절하는 셈입니다. 그 결과 AR 모델의 강화학습과는 대조적으로, 보상 지표가 정체한 뒤에도 SD·RL을 더 오래 돌리는 것이 여전히 이득 입니다. 계속되는 엔트로피 감소가 곧바로 추론 가속으로 번역되기 때문입니다.
정량적으로 보면 SD·RL은 SFT 체크포인트가 만든 파레토 곡선을 크게 확장합니다. 품질 축에서는 GPQA-Diamond와 LiveCodeBench-v6 결합 점수가 10점 상승했고, 효율 축에서는 TPF가 5에서 거의 20으로 네 배가 되었습니다. 위 그림의 첫 번째 패널에서 SFT 곡선은 최대 스텝 N 을 48에서 192까지 늘려 얻은 것인데, SD·RL 지점(붉은 별)은 N = 48 만으로 SFT의 어떤 지점보다 높은 품질을 훨씬 적은 유효 스텝에서 달성합니다.
창발적 간결성(emergent conciseness) 도 눈에 띕니다. AR 모델의 강화학습은 보상을 최대화하려고 추론 흔적을 길게 늘이는 경향이 있는데, SD·RL은 반대로 간결하고 토큰 효율적인 출력을 장려합니다. 최종 체크포인트의 생성 길이는 SFT 체크포인트의 거의 절반입니다. 긴 추론으로 얻을 수 있는 품질 향상을 일부 포기하는 대신, 이것이 추론 속도 이득에 곱셈으로 작용합니다. 캔버스당 유효 스텝이 줄어든 것과 총 토큰 수가 줄어든 것이 복합되면서, DiffusionGemma는 평가 스위트 전반에서 Gemma 4 AR 베이스라인이 쓰는 총 순전파의 5\% 미만만 사용합니다.
스텝 수에 대한 확장 거동도 달라집니다. SFT 체크포인트는 N = 192 까지 성능이 꾸준히 오르는데, 이 지점에서 디노이징은 사실상 순서 무관 자기회귀에 가까워집니다. SD·RL 이후에는 N = 48 까지 빠르게 개선되고 그 이후로는 수익이 체감합니다. SD·RL 목적 함수가 예측 엔트로피를 공격적으로 최소화하며 모델을 소수 스텝 영역에 명시적으로 특화시키기 때문입니다.
추론 최적화: 순전파 한 번을 얼마나 싸게 만들 수 있나
여기까지가 순전파당 토큰 수를 늘리는 이야기였다면, 이제는 반대 축입니다. 텍스트 확산이 AR 디코딩보다 처리량에서 앞서는 정도는 서로 경쟁하는 두 양이 결정합니다. 한편으로 각 디노이징 스텝은 TPF개의 토큰을 디코딩하므로 AR 베이스라인보다 순전파 횟수가 TPF배 적습니다. 다른 한편으로 각 스텝은 256토큰 캔버스를 처리하므로 r 배 느립니다. 결국 상대 처리량은 \text{TPF}/r 이 되고, 하드웨어 최적화로 r 을 줄이는 것이 곧 이득입니다.
측정 결과가 이 접근의 핵심 근거입니다. DiffusionGemma의 한 스텝은 256배 많은 토큰을 처리하면서도 단일 토큰 AR 스텝보다 3.2\times 만 느립니다(12.63밀리초 대 4.01밀리초). 시간 차이는 주로 세 연산에서 나옵니다.
- MoE(4.3\times 느림): 단일 요청을 처리할 때 MoE 계층 계산은 메모리에 묶여 있고, 실행 시간은 고대역폭 메모리에서 전문가 가중치를 전송하는 데 지배됩니다. Gemma 4 AR 모델은 MoE 계층마다 토큰당 8개 전문가만 활성화하지만, DiffusionGemma는 256토큰 캔버스당 평균 약 84개의 유니크 전문가를 활성화합니다(PG-19 벤치마크 측정). 추측 디코딩의 검증 단계가 겪는 것과 같은 종류의 벌점이 더 큰 토큰 병렬성으로 확대된 것입니다. 밀집(dense) 아키텍처였다면 이 오버헤드는 사라지고 순전파당 순방향 신경망 감속이 2\times 미만으로 떨어집니다.
- 샘플링(5.5\times 느림): AR의 단일 토큰 소프트맥스와 달리, 텍스트 확산 샘플링은 자기 조건화 임베딩 행렬곱과 256토큰 캔버스 전체에 대한 소프트맥스를 추가로 요구합니다. 이 연산들은 262K 어휘 차원에서 전정밀도로 수행되므로, 확산 샘플링이 3.06밀리초, AR 샘플링이 0.56밀리초입니다. 주목할 만한 점은 연구팀이 손으로 작성한 GPU 커널 대신
torch.compile로 최적화한 표준 PyTorch 프리미티브로 샘플링을 구현했다는 것입니다. 커뮤니티가 더 쉽게 확장할 수 있도록 하기 위한 의도적인 선택이라고 밝히고 있습니다. - 어텐션(4.1\times 느림): 256토큰 캔버스에 양방향 어텐션을 쓰므로 AR 모델이 누리는 빠른 단일 토큰 디코딩 어텐션을 사용할 수 없습니다. 대신 고도로 최적화된 FlashAttention-4 커널을 활용합니다.
여기에 서빙 단계의 최적화가 하나 더 붙습니다. DiffusionGemma를 서빙할 때는 디노이징 스텝 수가 적응적 조기 종료에 따라 달라지고, 서로 다른 어텐션 마스크를 요구하는 두 종류의 순전파(디노이징 스텝과 KV 캐시 갱신)가 같은 배치 안에서 발생할 수 있습니다. 요청 지연을 최소화하려면 이 복잡성이 추가적인 CPU와 GPU 동기화를 유발하지 않고 GPU 연산만으로 처리되어야 합니다. 연구팀은 비동기 스케줄링을 텍스트 확산 모델로 확장하고 시퀀스별 인과 어텐션 플래그를 도입해 이를 해결했습니다.
최종 처리량은 \text{TPS} = \text{TPF} / t_{\text{fwd}} 로 계산됩니다. H100 FP8 환경에서 입력 4096토큰과 출력 1024토큰짜리 단일 요청을 처리할 때 디노이징 스텝 하나가 평균 13.56밀리초(종단 간 기준, GPU 커널 시간만 보면 12.63밀리초)이므로, 7개 벤치마크 평균 TPF인 19.74를 대입하면 평균 디코딩 처리량은 1456 TPS가 나옵니다.
다만 배치 크기에 따른 그림은 다릅니다. DiffusionGemma는 메모리 대역폭 비용을 연산으로 교환하는 전략이므로 낮은 배치 크기에서 강합니다. 동시 사용자 약 32명까지는 사용자당 처리량과 총 처리량 모두에서 MTP를 붙인 Gemma 4 AR을 앞서지만, 그 지점을 넘어서면 토큰당 계산 비용이 높은 쪽이 불리해져 AR 모델이 처리량 우위를 가져갑니다. 저자들은 이 수치가 배치 크기를 겨냥한 최적화를 전혀 하지 않은 상태에서 얻은 것임을 분명히 밝힙니다. 현재 커널 선택이 최적이 아니고 샘플링도 배치 크기에 맞춰 조율되지 않았으며, 예컨대 샘플링 단계에 top-k 절단을 적용하면 출력 품질에 거의 영향 없이 높은 배치 크기에서 상당한 처리량 이득이 기대된다고 언급합니다.
실험 결과
평가는 네 가지 운영 모드에서 이루어집니다. 텍스트 확산(TD)과 자기회귀(AR)를 각각 생각 모드 켠 상태와 끈 상태로 조합한 것입니다. 비교 대상은 출발점인 Gemma 4 26B A4B(MTP 적용), 동시대 공개 가중치 확산 모델인 LLaDA 2.1 Flash 100B와 Nemotron Diffusion 14B, 그리고 독점 API 모델인 Mercury 2입니다. 벤치마크는 수학 추론(AIME 2026, GSM8K, MGSM, Putnam, HiddenMath), 코드 생성(LiveCodeBench-v6, Codeforces, HumanEval, BigCodeBench, LBPP v2, Natural2Code), 일반 지식(GPQA-Diamond, BIG-Bench Extra Hard, MMMLU, MMLU-Pro), 멀티모달 추론(MMMU-Pro), 지시 따르기(IFEval), 에이전트 과제(Tau2 Retail, Airline, Telecom)를 아우릅니다.
세 능력 영역으로 묶어 보면 그림이 선명합니다. DiffusionGemma TD 모드는 추론과 지식에서 75.3점, 코딩에서 76.9점, 지시 따르기와 에이전트 행동에서 66.5점을 기록했습니다. 같은 영역에서 Gemma 4 AR(MTP)은 각각 84.7점, 82.4점, 75.8점이고 Mercury 2 High는 80.0점과 78.7점입니다. 반면 출력 속도는 DiffusionGemma가 1,479 TPS로, Mercury 2 High의 600 TPS 대비 약 2.5\times, Gemma 4 AR(MTP)의 303 TPS 대비 약 4.9\times 입니다.
주요 벤치마크를 개별로 보면 다음과 같습니다.
| 벤치마크 | DiffusionGemma (TD) | DiffusionGemma (AR) | Gemma 4 (AR, MTP) | LLaDA 2.1 Flash 100B | Nemotron Diffusion 14B | Mercury 2 (High) |
|---|---|---|---|---|---|---|
| AIME 2026 | 69.1 | 84.2 | 88.3 | 80.0 | 40.0 | 91.7 |
| GPQA Diamond | 73.2 | 79.8 | 82.3 | 68.7 | 47.0 | 75.2 |
| LiveCodeBench-v6 | 69.1 | 71.4 | 77.1 | 39.4 | 28.6 | 79.4 |
| Codeforces ELO | 1429 | 1569 | 1718 | 718 | - | 1986 |
| HumanEval | 94.5 | 98.2 | 98.8 | 90.2 | 86.0 | 98.2 |
| LBPP (v2) | 81.0 | 86.3 | 89.5 | 45.7 | 40.7 | 89.2 |
| IFEval | 97.4 | 97.2 | 98.7 | - | 72.1 | 97.0 |
| MMLU-Pro | 77.6 | 78.8 | 82.6 | - | - | 77.6 |
| 출력 속도(TPS) | 1479 | 204 | 303 | 375 | 49 | 600 |
| 순전파당 토큰(TPF) | 19.74 | 1.00 | 1.40 | 4.63 | 1.79 | - |
공개 가중치 확산 모델과의 대비가 가장 뚜렷합니다. LLaDA 2.1 Flash 100B는 파라미터가 네 배 가까이 많고 8장의 B200에서 측정했음에도 GPQA-Diamond 68.7점, LiveCodeBench-v6 39.4점에 TPF 4.63이며, Nemotron Diffusion 14B는 GPQA-Diamond 47.0점에 TPF 1.79입니다. DiffusionGemma는 이들을 품질에서 크게 앞서면서 TPF를 대략 한 자릿수 배 규모로 끌어올렸습니다. 독점 모델인 Mercury 2와는 품질에서 경쟁 가능한 수준을 유지하면서 이전 세대 GPU인 H100 한 장으로 약 2.5\times 빠른 속도를 냅니다.
출발점인 AR 모델과 비교하면 이야기는 정직한 교환입니다. TD 모드는 세 능력 영역 모두에서 절대 성능을 일부 내주는 대신, 고도로 최적화된 MTP 서빙 기준 Gemma 4의 처리량 대비 거의 5\times 를 얻습니다. 그리고 앞서 언급한 대로 같은 가중치를 AR 모드로 돌리면 성능 격차의 일부가 회복됩니다. 추론과 지식 81.0점, 코딩 80.0점으로 TD 모드와 원본 베이스라인 사이에 자리합니다.
지연 지표를 과제별로 보면 체감이 더 분명합니다. GSM8K는 TPF 23.2에 1866 TPS, 유효 디노이징 스텝 9.1로 문항당 종단 간 0.47초에 끝납니다. HumanEval은 TPF 23.0에 1838 TPS로 0.64초입니다. 반면 생각 모드가 길게 돌아가는 GPQA-Diamond는 평균 5,647토큰을 생성하며 4.68초, Codeforces는 11,622토큰에 12.23초가 걸립니다.
텍스트 확산이 실제로 잘하는 일
지금까지는 낮은 지연을 텍스트 확산의 주된 이점으로 다뤘습니다. 하지만 이 패러다임에는 계산 효율을 넘어서는 이점이 몇 가지 더 있습니다. 아래 예시들은 아키텍처 자체의 성질을 보기 위해 DiffusionGemma와 Gemma 4 AR 양쪽 모두에서 명시적 생각 모드를 끈 상태로 얻은 것입니다.
양방향 추론과 자기 교정
AR의 다음 토큰 예측은 본질적으로 인과적입니다. 특정 토큰을 생성할 때 모델은 앞선 컨텍스트만 볼 수 있고, 아직 생성되지 않은 토큰에 조건화할 능력이 원리적으로 없습니다. 텍스트 확산은 캔버스 전체에 완전한 양방향 어텐션을 씁니다. 캔버스 안의 임의 위치 토큰이 과거와 미래의 표현에 동시에 어텐션할 수 있고, 이는 초기 결정이 최종 결과에 의존하는 복잡한 계획과 추론 과제에서 결정적인 능력입니다.
논문의 산술 예시가 이 차이를 잘 보여 줍니다. 7 \times (\sqrt{111 + 10} - 3) - 9^2 를 계산하되 답을 먼저 쓰고 그다음에 근거를 제시하라 는 프롬프트를 줍니다. 인과 생성에 묶인 Gemma 4는 중간 계산을 말하기 전에 최종 답의 첫 토큰을 확정해야 하므로 -1 이라는 틀린 답을 먼저 내놓습니다. 그리고 근거를 자기회귀적으로 써 내려가다가 56 - 81 = -25 라는 사실을 스스로 발견하고, "Wait, recalculating" 이라는 정정을 뒤에 덧붙이는 모양새가 됩니다. DiffusionGemma는 처음부터 -25 를 답으로 내놓습니다.
더 흥미로운 것은 그 과정입니다. 디노이징 궤적을 보면 DiffusionGemma도 초기에는 AR 모델과 똑같이 -1 에 높은 확률을 부여합니다. 그러나 반복적 양방향 정제를 거치며 다음 스텝에 -15 를 제시했다가 최종적으로 정답 -25 로 수렴합니다. 최종 답과 근거 단계가 서로에게 정보를 주며 함께 진화하는 것이고, 이 전체가 5스텝 만에 끝납니다.
부록의 개구리 퍼즐은 논리적 함정에서의 자기 교정을 보여 줍니다. 25피트 연못을 건너려는 개구리가 정확히 5피트씩 뛰는데, 20피트 지점 연잎에 착지하면 5피트 지점으로 순간이동한다는 설정입니다. Gemma 4는 "Yes, it is possible" 로 시작한 뒤 서술을 이어가다 결국 불가능하다는 결론에 도달해, 자기 첫 문장과 모순되는 답을 내놓습니다. DiffusionGemma는 초기에 직관적이지만 틀린 "Yes" 에 높은 확률을 주다가, 논리적 제약이 시퀀스 전체로 양방향 전파되면서 최종 토큰이 샘플링되기 전에 입장을 바꿔 깔끔하게 "No" 를 출력하고 무한 루프라는 이유까지 붙입니다. 6스텝이 걸렸습니다.
계산량을 과제 난이도에 맞춰 배분한다
AR 모델은 생성 토큰당 고정된 양의 계산을 씁니다. 텍스트 확산은 과제의 내재적 난이도에 따라 추론 시간과 생성 품질을 교환하며 계산 노력을 스스로 조정할 수 있습니다.
논문은 동일한 국소 논리 규칙을 따르는 이진 수열 생성 과제를 두 가지 형태로 대비시켜 이를 보여 줍니다. 구조적으로 "어려운" 변형에서는 새 토큰이 바로 앞의 두 토큰에 의존하므로 순차적 추론이 강제되고, 확산 과정은 사실상 좌에서 우로 논리를 풀어 갑니다. 이 경우 7스텝이 필요했습니다. 다만 여기서 눈여겨볼 것은, 이 순차적 문제에서조차 DiffusionGemma가 40토큰(이진 숫자 20개와 구분용 공백 20개) 전체를 7번의 디노이징으로 해결했다는 점입니다. AR 모델이라면 40번의 순차 스텝이 필요합니다.
반대로 "쉬운" 변형은 같은 규칙을 정적으로 주어진 입력 문자열에 적용하도록 요구합니다. 모델 자신의 출력에 대한 인과 의존성이 제거되면 과제에 순차 구조가 없어지므로, DiffusionGemma는 양방향 어텐션으로 모든 국소 규칙을 독립적으로 병렬 해결하고 출력 전체가 4스텝에 동시 수렴합니다.
구조화된 출력에서 두세 스텝에 끝난다
실무에서 원하는 출력이 JSON 스키마처럼 경직된 형식을 따르거나, 광학 문자 인식(OCR)이나 코드 편집처럼 입력에 강하게 어휘적으로 의존하는 경우가 많습니다. 텍스트 확산은 모든 토큰을 병렬로 생성하고 정제하므로 이런 구조적 사전 정보를 그대로 활용해 수렴을 가속합니다. AR 모델은 이 능력이 없습니다. 엄격한 순차 디코딩에 묶여 있어서, 생성할 N 개 토큰이 경직된 보일러플레이트든 입력 컨텍스트의 그대로 복사든 똑같이 O(N) 의 계산 비용을 지불해야 합니다.
JSON 추출 예시에서는 초기 캔버스가 이미 대체로 정확하며 토큰당 평균 신뢰도가 83\% 를 넘습니다. 두 번째 디노이징 스텝에서 출력이 100\% 신뢰도로 완전히 수렴해, 최종 응답이 단 2스텝 에 반환됩니다. 버그 있는 파이썬 코드를 고치는 예시도 비슷합니다. 대부분의 토큰이 그대로 복사되고 국소적인 의미 수정 하나만 필요하기 때문에 3스텝에 수정된 구현이 나옵니다.
다운스트림 파인튜닝: 공개된 툴킷
연구팀은 모델과 함께 실무자가 자기 도메인 데이터셋에 맞춰 적응시킬 수 있는 오픈소스 미세조정 툴킷을 공개했습니다. 생성 모델링 연구용 모듈형 툴박스인 Hackable Diffusion 위에 구축되었고, 소비자용 하드웨어에서도 돌아가도록 LoRA(Low-Rank Adaptation) 레시피를 제공합니다.
미세조정 목적 함수는 인코더 손실과 디코더 손실의 합입니다. 인코더가 전체 시퀀스의 모든 토큰을 처리해 KV 캐시를 채우고 다음 토큰 예측으로 표준 교차 엔트로피를 계산하며, 디코더 손실은 K 개 캔버스 중 하나를 균일하게 뽑아 그 캔버스에 대한 디노이징 교차 엔트로피를 계산합니다. 배치 안의 데이터 포인트 중 절반에는 직전 순전파에서 계산한 자기 조건화 상태 z_t 를 조건으로 주고, 나머지 절반은 z_t = 0 으로 둡니다. LoRA는 어텐션 투영, MLP 게이트, MoE 라우터, 자기 조건화 순방향 블록을 포함한 모든 선형 연산에 적용됩니다.
스도쿠 풀이 사례가 이 모델의 성격을 잘 드러냅니다. 스도쿠는 본질적으로 비자기회귀적인 과제라서 이산 확산의 시험대로 적절합니다. 미세조정 전의 모델은 정확한 스도쿠 격자를 아예 만들어 내지 못합니다(정확도 0\%). 형식 지시를 따르지 못해 생각 채널에서 잘못된 격자를 만들려다 최종 응답을 비워 두는 식으로 실패합니다. 그런데 LoRA 랭크 8로 미세조정하면 4096개 퍼즐 홀드아웃 세트에서 정확도가 84.4\% 로, 전체 파인튜닝에서는 85\% 이상으로 올라갑니다.
여기서 함께 관찰된 부수 효과가 흥미롭습니다. 유효 디노이징 스텝이 40.65에서 10.72로 떨어졌습니다. 미세조정이 예측 엔트로피를 낮추기 때문에 정확도가 올라가는 동시에 계산량이 줄어드는 것입니다. 랭크 8이면 학습하는 파라미터는 8M뿐이고, 최소 하드웨어 요구 사항은 A100 80GB 2장입니다.
구조적 추론이 아닌 영역에도 적용 가능한지 확인하기 위해 PubMedQA 실험도 함께 제시합니다. 의학 논문 초록을 읽고 범주형 답(yes, no, maybe)과 설명 문단을 함께 생성해야 하는 생의학 질의응답 과제입니다. LoRA 랭크 4로 미세조정한 결과 BLEU 점수가 10.76에서 20.67로 크게 올랐고 정확도는 75.6에서 76.62로 소폭 상승했습니다. 기반 성능이 이미 좋은 모델에서는 정확도보다 도메인 문체 적합도가 개선되는 양상입니다.
설치 및 사용 방법
DiffusionGemma는 Hugging Face Transformers와 vLLM에 참조 구현이 병합되어 있어, 최신 버전만 설치하면 바로 쓸 수 있습니다.
pip install -U transformers torch accelerate
Transformers에서는 확산 전용 클래스인 DiffusionGemmaForBlockDiffusion 을 사용합니다.
from transformers import DiffusionGemmaForBlockDiffusion, AutoProcessor
MODEL_ID = "google/diffusiongemma-26B-A4B-it"
processor = AutoProcessor.from_pretrained(MODEL_ID)
model = DiffusionGemmaForBlockDiffusion.from_pretrained(
MODEL_ID,
dtype="auto",
device_map="auto",
)
message = [{"role": "user", "content": "Why is the sky blue?"}]
input_ids = processor.apply_chat_template(
message,
tokenize=True,
add_generation_prompt=True,
return_dict=True,
)
프롬프트 형식에서 한 가지 주의할 점이 있습니다. 생각 모드는 시스템 지시에 <|think|> 토큰을 넣어 활성화하는데, 이 토큰이 없어도 모델은 빈 생각 채널을 항상 내보냅니다. 그리고 멀티턴 대화에서는 이전 턴의 숨겨진 생각을 대화 이력에 포함하지 말고 최종 응답만 남겨야 합니다. 자세한 사양은 공식 문서 와 vLLM 배포 레시피 를 참고하시면 좋습니다.
한계점과 남은 과제
연구팀은 이번 릴리스를 실험적(experimental)이라고 명시하며 알려진 한계를 솔직하게 나열합니다.
AR 베이스라인 대비 성능 격차 가 가장 큰 항목입니다. 저자들은 그 원인을 네 가지로 분해합니다. 첫째, 네이티브 확산 사전학습을 건너뛰고 AR 가중치에서 웜 스타트했습니다. 둘째, 컴퓨트 예산 제약으로 SFT 단계가 비교적 짧았습니다. 셋째, SD·RL이 초저지연을 명시적 목표로 삼기 때문에 본질적으로 점근 성능을 교환합니다. 넷째, AR 베이스라인에서 상속한 아키텍처, 최적화, 데이터 혼합 결정이 이산 확산 패러다임에는 최적이 아닐 수 있습니다. 다시 말해 이 격차는 확산 방식의 상한이 아니라 이번 파이프라인이 선택한 지점의 결과입니다.
간결성의 이면 도 한계로 꼽힙니다. 최종 체크포인트는 매우 간결한 출력을 내는데, 이 창발적 간결성이 추론 속도에는 곱셈으로 작용하지만 더 길고 정교한 추론 흔적으로 얻을 수 있는 품질 향상은 포기하게 만듭니다.
간헐적인 토큰 말더듬 이 드물게 남아 있습니다. 출력이 반복 루프나 국소적인 말더듬으로 퇴화하는 경우인데(예컨대 "the the the" 처럼 흔한 토큰을 끝없이 반복), SD·RL 학습이 대부분을 완화했지만 완전히 사라지지는 않았습니다. 디노이징 스텝을 공격적으로 줄인 초저지연 영역에서 동작하는 데 따르는 직접적인 대가입니다.
멀티모달 과제에서 닫는 생각 태그가 누락되는 문제 는 구체적인 숫자로 드러납니다. 멀티모달 프롬프트를 처리할 때 추론 자체는 맞았는데도 생각 태그를 닫지 못하는 경우가 있고, 이것이 특정 벤치마크의 생각 모드 점수를 인위적으로 끌어내립니다. MMMU-Pro에서 생각 모드 점수 54.3이 생각 모드를 끈 66.0보다 낮게 나오는 이유가 바로 이것입니다. 저자들은 이 문제를 파이프라인 후반에 발견해 이번 릴리스에는 수정을 반영하지 못했다고 밝히고 있습니다. 벤치마크 표를 읽을 때 이 항목만은 모델의 실제 능력보다 낮게 잡혀 있다고 보는 편이 정확합니다.
높은 배치 크기에서의 처리량 한계 는 앞서 살펴본 대로 동시 사용자 32명 근처를 분기점으로 합니다. 다만 배치 크기를 겨냥한 최적화가 아직 적용되지 않은 상태의 결과이며, 현실적인 트래픽 조건에서의 철저한 실증 분석은 향후 과제로 남겨 두었습니다.
이런 한계들을 감안해도, DiffusionGemma가 놓는 이정표는 분명해 보입니다. 이 연구가 실제로 증명한 것은 "확산 언어 모델이 AR 모델을 능가한다" 가 아니라, 잘 학습된 AR 체크포인트를 사전학습 예산의 10\% 미만으로 확산 모델로 개조할 수 있고, 그 결과가 속도와 지능의 파레토 곡선에 새로운 지점을 만든다 는 것입니다. 확산 모델을 처음부터 사전학습할 여력이 없는 조직도 기존 오픈 웨이트 모델에서 출발해 초저지연 모델을 만들 수 있다는 뜻이고, 가중치와 미세조정 툴킷이 Apache 2.0으로 함께 공개되었으니 실제로 시도해 볼 수 있습니다. 또한 하나의 가중치가 확산과 자기회귀 두 모드를 모두 지원한다는 점은, 지연 요구와 과제 복잡도에 따라 디코딩 방식을 갈아 끼우는 하이브리드 서빙이라는 다음 연구 방향을 열어 둡니다. 데이터 이동을 연산으로 교환하는 이 거래는 연산 대비 대역폭 비율이 계속 커지는 현대 가속기에서 점점 유리해지는 방향이기도 합니다.
DiffusionGemma Technical Report 논문
DiffusionGemma 발표 블로그
DiffusionGemma 공식 문서
DiffusionGemma 26B A4B (Hugging Face)
Hackable Diffusion GitHub 저장소
vLLM의 DiffusionGemma 네이티브 지원 소개 블로그
vLLM DiffusionGemma 배포 레시피
더 읽어보기
-
확산 언어 모델(Diffusion LLM)의 개념과 동작에 대한 연구 정리: LLaDA에서 DiffusionGemma까지
-
LLaDA2.2: 레벤슈타인(Levenshtein) 편집 기법을 도입하여 에이전트 작업을 지원하는 확산 언어 모델(Diffusion LM)
이 글은 GPT 모델로 정리한 초안을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 댓글로 알려주시기를 부탁드립니다.
논문의 주장이나 벤치마크에 대한 의견, 직접 재현해보신 결과가 있다면 
파이토치 한국 사용자 모임
회원들을 위해 댓글로 공유해주세요! 