# \#diffusion-llm **URL:** https://discuss.pytorch.kr/tag/diffusion-llm/5778.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [DiffusionGemma 기술 문서 리뷰: 자기회귀 Gemma 4를 이산 확산 모델로 변환한 초고속 텍스트 생성에 대한 연구](https://discuss.pytorch.kr/t/diffusiongemma-gemma-4/11526)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [8월 6, 2026, 6:30오전 UTC](https://discuss.pytorch.kr/t/diffusiongemma-gemma-4/11526 "2026-08-06T06:30:01Z")
DiffusionGemma 소개 글을 쓸 때 우리는 첫 글자부터 마지막 글자까지 순서대로만 써 내려가지 않습니다. 전체 얼개를 흐릿하게 잡아 두고 앞뒤를 오가며 고쳐 쓰다 보면 어느 순간 문장이 제자리를 찾습니다. DiffusionGemma 기술 보고서 는 언어 모델의 생성 방식을 정확히 이렇게 바꾸려는 연구입니다. Google DeepMind는 자기회귀(autoregressive, AR) 방식으로 학습을 마친 Gemma 4 26B A4B 모델을 이산 확산(discrete diffusion) 모델로 미세조정하여, 토큰을 왼쪽에서 오른쪽으로 하나씩 뽑는 대신 256개 토큰 묶음을 병렬로 반복 정제하도록 만들었습니다. 그 결과 NVIDIA H100 한 장에서 초당 약 1,500토큰이라는, 기존 AR 모델로는 도달하기 어려웠던 생성 속도를 얻었습니다. 자기회귀 생성이 속도에서 막히는 지점 현재 대규모 언어 모델(LLM) 시장은 사실상 자기회귀 모델이 독점하고 있습니다. 시퀀스 x 의 결합 확률을 p(x) = \\prod\_{i=1}^{L} p(x\_i \\mid x\_{\ **Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [7월 30, 2026, 9:30오후 UTC](https://discuss.pytorch.kr/t/llada2-2-levenshtein-diffusion-lm/11463 "2026-07-30T21:30:55Z") LLaDA2.2 소개 지우개도 없고 끼워 넣기도 없는 편집기 글을 고쳐 쓸 때 우리는 단어를 다른 단어로 바꾸기도 하고, 군더더기를 통째로 지우기도 하고, 빠뜨린 괄호를 중간에 끼워 넣기도 합니다. 그런데 만약 편집기가 "같은 칸에 다른 글자를 덮어쓰기"만 허용하고 지우기와 끼워 넣기를 막아 둔다면, 고칠 수 있는 오류의 종류는 크게 줄어들 것입니다. 이 논문은 확산 언어 모델(diffusion language model, dLLM)이 겪는 바로 그 제약을 푸는 연구입니다. Ant Group의 Inclusion AI 팀이 공개한 LLaDA2.2 는 확산 모델의 병렬 디코딩 과정에 삭제(DELETE)와 삽입(INSERT) 연산을 추가하여, 고정 길이 치환만 가능하던 기존 편집 메커니즘을 레벤슈타인 편집(Levenshtein Editing) 으로 확장합니다. 목표는 명확합니다. 확산 언어 모델을 여러 턴에 걸친 긴 호흡의 에이전트(agent) 작업에 실제로 쓸 수 있게 만드는 것입니다. 확산 언어 모델은 왜 빠른가, 그리고 왜 에이전트에서 무너지는가 오늘날 대부분의 대규모 언어 모델은 자기회귀(Autoregressive, AR) 방식으로 동작합니다. 토큰을 하나 만들고, 그것을 다시 입력에 붙여 다음 토큰을 만들고, 이 과정을 반복합니다. 품질은 좋지만 생성 길이에 비례해 순차적인 지연(latency)이 쌓인다는 구조적 한계가 있습니다. 확산 언어 모델은 이 지연 병목을 정면으로 공격합니다. 텍스트 전체(또는 일정 크기의 블록)를 마스킹된 상태에서 시작해, 여러 위치의 토큰을 동시에 복원(denoising)해 나가는 방식입니다. 한 스텝에서 여러 토큰이 확정되므로 이론적으로 훨씬 빠릅니다. 실제로 이 시리즈의 이전 모델인 LLaDA2.0은 확산 언어 모델을 처음으로 100\\text{B} 파라미터 규모까지 끌어올렸고, LLaDA2.0-flash-CAP은 초당 535 토큰의 디코딩 속도를 기록했습니다. 문제는 이 병렬성이 곧 약점이 된다는 점입니다. 같은… --- ## [확산 언어 모델(Diffusion LLM)의 개념과 동작에 대한 연구 정리: LLaDA에서 DiffusionGemma까지](https://discuss.pytorch.kr/t/diffusion-llm-llada-diffusiongemma/11311)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [7월 20, 2026, 11:30오전 UTC](https://discuss.pytorch.kr/t/diffusion-llm-llada-diffusiongemma/11311 "2026-07-20T11:30:43Z")
확산 언어 모델(Diffusion LLM)이란 무엇인가 우리가 글을 쓸 때는 대개 첫 단어부터 마지막 단어까지 한 방향으로 써 내려갑니다. 앞 문장을 다 쓰기 전에는 뒤 문장을 확정하기 어렵고, 한 번 뱉은 문장을 되돌아가 통째로 고치는 일도 드뭅니다. 오늘날의 주류 대형 언어 모델(Large Language Model, LLM)도 정확히 이 방식으로 동작합니다. 토큰을 왼쪽에서 오른쪽으로 하나씩 예측하는 자기회귀(Autoregressive, 이하 AR) 생성입니다. 확산 언어 모델(Diffusion Language Model, 이하 dLLM)은 이 순차 생성이라는 전제 자체를 바꾼 언어 모델입니다. 답변 자리를 통째로 마스킹(masking)해 둔 상태에서 출발해, 여러 번의 복원(denoising) 단계를 거치며 마스킹된 토큰들을 병렬로 채워 넣습니다. 이미지 생성에서 노이즈를 조금씩 걷어내며 그림을 완성하는 확산 모델의 발상을, 이산적인 텍스트 토큰 위에서 재현한 것입니다. 이 글에서는 먼저 확산이라는 개념 자체와 그것이 언어로 옮겨 온 과정을 짚은 뒤, dLLM의 대표 모델인 LLaDA, Mercury, Dream 7B, DiffusionGemma, Nemotron Diffusion을 살펴보고, 추론 디코딩 전략, 아키텍처 수준의 가속 기법, 강화학습 기반 정렬까지 최근 연구 지형을 한데 정리합니다. 자기회귀 생성의 한계와 확산이라는 발상의 전환 AR 생성은 지난 수년간 놀라운 성과를 냈지만, 구조적으로 두 가지 부담을 안고 있습니다. 첫째, 생성이 본질적으로 순차적이라 토큰 하나를 만들 때마다 모델 전체를 한 번씩 통과해야 합니다. 문장이 길어질수록 지연 시간이 선형으로 늘고, 배치 크기가 작을 때는 GPU의 연산 자원이 남아도는데도 메모리 대역폭에 발목이 잡히는 메모리 바운드(memory-bound) 상태에 놓입니다. 둘째, 왼쪽에서 오른쪽이라는 고정된 순서 탓에 이미 쓴 앞부분을 뒤늦게 수정하거나, 전체 구조를 먼저 잡고 세부를 채우는 식의… --- ## [DiffusionGemma: vLLM이 네이티브로 지원하는 최초의 디퓨전 언어 모델(dLLM)](https://discuss.pytorch.kr/t/diffusiongemma-vllm-dllm/10653)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [6월 11, 2026, 11:30오후 UTC](https://discuss.pytorch.kr/t/diffusiongemma-vllm-dllm/10653 "2026-06-11T23:30:16Z")
DiffusionGemma 소개 vLLM은 그동안 거의 모든 주요 대형 언어 모델(LLM)을 떠받쳐 온 고성능 추론 엔진이지만, 지금까지 다뤄온 모델은 사실상 모두 한 가지 부류였습니다. 바로 자기회귀(Autoregressive, AR) 트랜스포머, 즉 왼쪽에서 오른쪽으로 토큰을 한 개씩 차례대로 뽑아내는 모델입니다. Google DeepMind가 공개한 DiffusionGemma 는 이 전제를 정면으로 깨는 모델입니다. Gemma4 백본 위에 올린 260억(26B) 파라미터 규모의 이산 디퓨전 언어 모델(Discrete Diffusion Language Model, dLLM) 로, vLLM이 네이티브로 지원하는 최초의 dLLM이기도 합니다. 디퓨전 언어 모델은 텍스트를 생성하는 방식부터 다릅니다. 자기회귀 모델이 이미 만든 토큰을 조건으로 다음 한 토큰의 확률 분포를 구하는 일을 반복한다면, 디퓨전 모델은 고정 길이의 캔버스(canvas) 를 무작위 토큰으로 채워 놓고, 이 캔버스를 여러 번의 디노이징(denoising) 단계에 걸쳐 점진적으로 다듬어 나갑니다. 핵심은 한 번의 순전파(forward pass)에서 캔버스의 여러 위치를 동시에 정제한다는 점입니다. DiffusionGemma는 한 번에 256개 토큰 크기의 캔버스를 디노이징합니다. 이 방식이 매력적인 이유는 하드웨어 자원을 쓰는 결이 다르기 때문입니다. 자기회귀 디코딩은 토큰 하나를 뽑을 때마다 모델 가중치 전체를 메모리에서 다시 읽어야 하므로, 특히 배치 크기가 작을 때는 연산 능력이 남아돌아도 메모리 대역폭(memory bandwidth) 이 병목이 됩니다. 반면 디퓨전 디코딩은 한 번의 순전파에서 여러 토큰을 만들어내므로, 남아도는 연산 능력을 써서 메모리 대역폭 부담을 상쇄합니다. 즉 메모리 대역폭 압박을 추가 연산과 맞바꾸는(trading memory bandwidth pressure for additional compute) 셈이며, 이는 곧 매우 낮은 지연 시간(latenc… --- ## [LLaDA2.0-Uni: 마스크 토큰 예측 패러다임으로 멀티모달 이해와 생성을 통합한 확산 언어 모델에 대한 연구](https://discuss.pytorch.kr/t/llada2-0-uni/9870)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [4월 27, 2026, 9:30오전 UTC](https://discuss.pytorch.kr/t/llada2-0-uni/9870 "2026-04-27T09:30:39Z")
LLaDA2.0-Uni 소개 멀티모달 AI 모델은 지금까지 두 가지 뚜렷한 흐름으로 발전해 왔습니다. 하나는 이미지와 텍스트를 함께 이해하는 비전-언어 모델(Vision-Language Model, VLM)이고, 다른 하나는 텍스트 조건을 받아 이미지를 생성하는 텍스트-이미지 확산 모델입니다. 최근에는 이 두 기능을 하나의 모델로 통합하려는 시도가 활발해졌지만, 대부분은 이해(understanding)와 생성(generation)을 위한 별도의 구성 요소를 연결하는 방식이라 아키텍처가 복잡해지는 한계가 있었습니다. 진정한 통합을 위해서는 이해와 생성을 하나의 학습 목표 아래에서 처리할 수 있는 단일 프레임워크가 필요했습니다. 기존의 통합 멀티모달 모델은 대부분 자기회귀(Autoregressive, AR) 아키텍처를 기반으로 합니다. Janus나 Lumina-mGPT는 이미지를 이산 시퀀스로 토큰화한 뒤 다음 토큰 예측(next-token prediction)으로 통합하고, OmniGen2, Hunyuan Image 3.0, BAGEL 등은 텍스트의 자기회귀와 이미지의 확산을 결합한 하이브리드 방식을 채택합니다. 반면 마스크 확산 모델(masked diffusion model)은 병렬 디코딩(parallel decoding)과 양방향 컨텍스트 모델링이 가능하다는 본질적 장점을 가지고 있지만, 기존의 통합 마스크 확산 모델인 MMaDA나 Lumina-DiMOO는 (1) 재구성 기반 VQ 토크나이저가 의미 정보를 충분히 담지 못해 이해 성능이 떨어지고, (2) 과도한 이미지 압축이 생성 품질을 저해하며, (3) 완전 양방향 어텐션이 텍스트에서 불안정하다는 문제를 안고 있었습니다. LLaDA2.0-Uni는 Ant Group의 InclusionAI AGI Research Center가 이러한 한계를 극복하기 위해 개발한 멀티모달 통합 확산 언어 모델입니다. 이 모델은 마스크 토큰 예측(Mask Token Prediction) 이라는 단일 패러다임 아래에서… --- ## [\[2025/11/24 ~ 30\] 이번 주에 살펴볼 만한 AI/ML 논문 모음](https://discuss.pytorch.kr/t/2025-11-24-30-ai-ml/8327)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [11월 30, 2025, 9:30오후 UTC](https://discuss.pytorch.kr/t/2025-11-24-30-ai-ml/8327 "2025-11-30T21:30:30Z")
\[2025/11/24 ~ 30\] 이번 주에 살펴볼 만한 AI/ML 논문 모음 PyTorchKR​:fire::south\_korea: :thinking::thought\_balloon: :one: 혼합 아키텍처의 발전: 최근 논문들에서는 디퓨전 모델과 오토회귀 모델의 장점을 결합한 혼합 아키텍처가 주목받고 있습니다. 예를 들어, TiDAR는 디퓨전 방식으로 토큰을 생성하고, 오토회귀 방식으로 최종 출력을 샘플링하는 구조를 통해 높은 처리량과 품질을 동시에 달성하고 있습니다. 이러한 접근은 모델의 효율성을 극대화하고, GPU 자원을 효과적으로 활용하는 데 기여하고 있습니다. :two: 자기 진화 에이전트의 자율성: Agent0와 같은 연구는 외부 데이터에 의존하지 않고도 고성능 에이전트를 진화시킬 수 있는 프레임워크를 제시합니다. 이 방식은 두 개의 에이전트 간의 상호작용을 통해 복잡한 문제를 해결하는 커리큘럼을 생성하며, 도구 통합을 통해 문제 해결 능력을 향상시키는 데 중점을 두고 있습니다. 이는 AI의 자율성과 확장성을 높이는 데 중요한 기여를 하고 있습니다. :three: 효율적인 모델 훈련 및 최적화: Nemotron Elastic과 EGGROLL과 같은 연구는 대규모 언어 모델의 훈련 비용을 줄이고, 메모리 및 계산 효율성을 높이는 방법론을 제시합니다. 특히, Nemotron Elastic은 여러 하위 모델을 하나의 부모 모델에 내장하여 다양한 배포 구성에 최적화된 모델을 생성할 수 있도록 하며, EGGROLL은 저랭크 학습을 통해 대규모 최적화를 가능하게 합니다. 이러한 접근은 모델 훈련의 경제성을 높이고, 다양한 환경에서의 적용 가능성을 확대합니다. TiDAR: 디퓨전에서 생각하고, 자기회귀로 대화하기 / TiDAR: Think in Diffusion, Talk in Autoregression 논문 소개 TiDAR는 디퓨전 언어 모델의 빠른 병렬 생성 능력과 자기 회귀(Autoregressive, AR) 모델의 높은 품질을 통합한 혁신적… --- ## [\[2025/10/20 ~ 26\] 이번 주에 살펴볼 만한 AI/ML 논문 모음](https://discuss.pytorch.kr/t/2025-10-20-26-ai-ml/8030)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [10월 26, 2025, 9:30오후 UTC](https://discuss.pytorch.kr/t/2025-10-20-26-ai-ml/8030 "2025-10-26T21:30:14Z")
\[2025/10/20 ~ 26\] 이번 주에 살펴볼 만한 AI/ML 논문 모음 PyTorchKR​:fire::south\_korea: :thinking::thought\_balloon: :one: 데이터 품질과 LLM 성능의 관계: 여러 논문에서 대규모 언어 모델(LLM)의 성능 저하가 데이터 품질과 밀접한 관련이 있음을 보여줍니다. 예를 들어, "LLMs Can Get 'Brain Rot'!" 논문에서는 저품질 데이터에 지속적으로 노출될 경우 LLM의 인지 능력이 저하된다는 가설을 제안하고 실험을 통해 이를 입증했습니다. 이는 LLM의 지속적인 사전학습에서 데이터 큐레이션의 중요성을 강조합니다. :two: 멀티모달 처리의 필요성: "Beyond Seeing" 논문은 멀티모달 대규모 언어 모델(MLLM)이 이미지와 텍스트를 통합하여 복잡한 작업을 수행하는 능력을 평가하는 새로운 벤치마크를 소개합니다. 이는 이미지 인식뿐만 아니라 이미지 조작과 같은 능력이 필요함을 강조하며, 멀티모달 처리의 중요성이 증가하고 있음을 보여줍니다. :three: 효율적인 학습 및 추론 기술 개발: 여러 논문에서 LLM의 학습 및 추론 효율성을 높이기 위한 다양한 기술이 제안되고 있습니다. "OptPipe" 논문에서는 파이프라인 병렬성을 최적화하여 메모리 사용량과 처리 속도를 개선하는 방법을 제시하고, "Fast-dLLM" 논문에서는 비자율적 텍스트 생성을 위한 새로운 KV 캐시 메커니즘을 도입하여 추론 속도를 크게 향상시켰습니다. 이러한 연구들은 LLM의 실용성을 높이기 위한 지속적인 노력을 반영합니다. LLM은 "브레인 로트"에 걸릴 수 있다! / LLMs Can Get "Brain Rot"! 논문 소개 LLM 뇌 부패 가설을 제안하고 검증하였다. 지속적인 쓰레기 웹 텍스트 노출이 대규모 언어 모델(LLMs)의 인지 능력 저하를 유발한다는 내용을 다룬다. 이를 위해 실제 Twitter/X 데이터셋을 사용하여 통제된 실험을 진행하였으며, 두 가지 기준(M1: 참여도, M2:…