# \#veomni **URL:** https://discuss.pytorch.kr/tag/veomni/6754.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [dFactory: 쉽고 효율적인 Diffusion LLM의 파인튜닝을 위한 오픈소스 프레임워크](https://discuss.pytorch.kr/t/dfactory-diffusion-llm/9152)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [3월 6, 2026, 9:30오전 UTC](https://discuss.pytorch.kr/t/dfactory-diffusion-llm/9152 "2026-03-06T09:30:49Z")
dFactory 소개 dFactory는 최근 새롭게 떠오르고 있는 확산 대형 언어 모델(Diffusion Large Language Model, dLLM) 의 미세 조정(Fine-Tuning)을 쉽고 효율적으로 수행할 수 있도록 돕는 오픈소스 프레임워크입니다. 앤트그룹(Ant Group)의 InclusionAI 팀이 주도하여 개발했으며, 자사의 강력한 100B 매개변수 규모 모델인 LLaDA 2.0 시리즈와 함께 dLLM 생태계 확장을 위해 공개되었습니다. 기존의 대형 언어 모델(LLM) 생태계는 주로 왼쪽에서 오른쪽으로 한 단어씩 순차적으로 예측하는 자기회귀(Autoregressive) 방식에 맞춰져 있었습니다. 그러나 최근 확산 모델(Diffusion Model)이 텍스트 생성 영역에서도 강력한 성능과 압도적인 병렬 디코딩의 이점을 증명하면서, 이를 커스텀 데이터로 훈련하려는 개발자들의 수요가 급증하고 있습니다. 텍스트 토큰은 이미지 픽셀과 달리 딱 떨어지는 이산적(Discrete) 성질을 가지기 때문에, dFactory는 텍스트에 연속적인 노이즈를 주는 대신 토큰을 무작위로 가리고(Masking) 복원하는 특수한 '이산 확산(Discrete Diffusion)' 과정을 최적화하여 학습할 수 있는 환경을 제공합니다. 특히 dFactory 프레임워크는 대규모 분산 학습 프레임워크인 VeOmni를 기반으로 구축되어, FSDP2(Fully Sharded Data Parallel)와 같은 복잡한 병렬화 기법을 매끄럽게 지원합니다. 덕분에 개발자와 연구자들은 소비자용 혹은 기업용 GPU 클러스터 환경에서 LLaDA2.0-mini(16B)나 LLaDA2.0-flash(100B)와 같은 거대한 MoE(Mixture-of-Experts) 기반의 확산 모델을 상대적으로 적은 리소스로 빠르고 안정적으로 학습시킬 수 있습니다. dFactory vs. 기존 SFT 프레임워크와 비교 기존의 Hugging Face transformers나 TRL 같은 프레임워크들은 일반…