# \#diffusion-transformer **URL:** https://discuss.pytorch.kr/tag/diffusion-transformer/2689.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [LingBot-World 2.0: 720p 60fps 실시간으로 끝없이 조작 가능한 세계를 생성하는 14B 월드 모델](https://discuss.pytorch.kr/t/lingbot-world-2-0-720p-60fps-14b/11693)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [8월 24, 2026, 12:30오전 UTC](https://discuss.pytorch.kr/t/lingbot-world-2-0-720p-60fps-14b/11693 "2026-08-24T00:30:29Z")
LingBot-World 2.0 소개 인터랙티브 월드 모델(Interactive World Model)은 사용자의 조작에 반응해 다음 화면을 한 프레임씩 만들어내는 생성 모델입니다. 게임 엔진처럼 미리 만들어 둔 3D 자산을 렌더링하는 것이 아니라 화면 자체를 생성하기 때문에 어떤 장면이든 만들 수 있지만, 대신 두 가지 벽에 부딪힙니다. 하나는 길이입니다. 자기회귀(Autoregressive)로 이어 붙이는 방식은 자기 출력을 다시 입력으로 받으므로 오차가 누적되고, 몇 분을 넘기면 화면이 무너집니다. 다른 하나는 속도입니다. 확산 모델(Diffusion Model)은 프레임 한 장을 만드는 데에도 여러 번의 잡음 제거 단계를 거쳐야 해서, 손이 움직인 즉시 화면이 따라오는 조작감을 내기 어렵습니다. 이번에 소개할 LingBot-World 2.0(LingBot-World-Infinity)은 그 두 벽을 함께 겨냥한 오픈소스 월드 모델입니다. 인과적(Causal) 사전학습으로 무한한 상호작용 구간을 목표로 삼고, 거기서 실시간 변형을 증류(Distillation)해 720p 영상을 60fps로 흘려보낼 수 있는 응답 속도를 확보했다고 저자들은 밝히고 있습니다. 여기에 공격, 궁술, 주문 시전, 사격처럼 이전 버전보다 넓어진 행동군과 텍스트로 지시하는 사건을 더했고, 월드 모델 영역에서는 처음으로 에이전트 하네스(Agentic Harness)를 붙여 캐릭터의 행동 계획과 환경 요소 생성을 각각 다른 에이전트가 맡도록 했습니다. 이 프로젝트는 Robbyant 팀이 공개했고, 기술 보고서와 함께 추론 코드, 그리고 14B 규모 모델 하나의 가중치가 2026년 7월 9일에 공개됐습니다. 코드베이스는 Wan2.2 (:pytorch::kr: Wan2.2: Alibaba에서 공개한 오픈소스 비디오 생성 모델) 위에 올려 두어 설치 절차를 그쪽 문서와 공유합니다. 이 글에서는 저자들이 무엇을 어떻게 했다고 주장하는지, 실제로 손에 들어오는 것이 무엇인지, 그리… --- ## [HiDream-O1-Image: VAE와 분리된 텍스트 인코더 없이 픽셀 위에서 직접 동작하는 8B 통합 이미지 생성 파운데이션 모델](https://discuss.pytorch.kr/t/hidream-o1-image-vae-8b/10195)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 1\ **마지막 업데이트:** [5월 18, 2026, 9:56오전 UTC](https://discuss.pytorch.kr/t/hidream-o1-image-vae-8b/10195 "2026-05-18T09:56:58Z")
HiDream-O1-Image 소개 최근 이미지 생성 모델의 흐름은 텍스트 기반 생성, 지시 기반 편집(instruction editing), 주체 보존 개인화(subject-driven personalization) 등 서로 다른 작업을 어떻게 하나의 모델로 통합하느냐에 집중되고 있습니다. FLUX, Qwen-Image, SD3.5 등 기존의 대표적인 오픈 웨이트 모델들은 외부 VAE 인코더와 별도의 텍스트 인코더를 결합한 잠재 공간(latent space) 위에서 동작하는 디퓨전 트랜스포머(DiT) 구조를 채택해왔습니다. 그러나 이 방식은 픽셀 → VAE 잠재 → 텍스트 임베딩이라는 여러 도메인을 분리해 다루는 만큼, 정밀한 텍스트 렌더링이나 멀티 태스크 통합 측면에서 일관성을 유지하기 어렵다는 한계도 함께 안고 있습니다. HiDream-O1-Image 는 이 문제를 한 발 더 밀어붙인 시도입니다. HiDream-ai 팀이 공개한 이 8B 파라미터 규모의 모델은, "Peanut" 이라는 코드네임으로 Artificial Analysis Text-to-Image Arena에서 8위로 데뷔하며 최신 오픈 웨이트 텍스트-이미지 모델로 자리 잡았습니다. 핵심 아이디어는 외부 VAE나 분리된 텍스트 인코더 없이, 원시 픽셀과 텍스트, 그리고 태스크별 조건(task-specific condition)을 단일 공유 토큰 공간(shared token space)에서 직접 인코딩하는 Pixel-Level Unified Transformer(UiT) 구조를 도입한 점입니다. 이 단일 아키텍처 위에서 텍스트-이미지 생성(text-to-image), 긴 텍스트 렌더링, 지시 기반 편집, 주체 보존 개인화, 스토리보드 생성을 모두 처리할 수 있으며, 최대 2,048 × 2,048 해상도까지 직접 합성이 가능합니다. 모델 가중치는 50-step 풀(full) 버전과 28-step 추론용 Dev 버전이 함께 공개되었고, 사용자의 거친 지시를 모델 친화적인 프롬프트로 재작… --- ## [\[2025/12/08 ~ 14\] 이번 주에 살펴볼 만한 AI/ML 논문 모음](https://discuss.pytorch.kr/t/2025-12-08-14-ai-ml/8416)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [12월 14, 2025, 9:30오후 UTC](https://discuss.pytorch.kr/t/2025-12-08-14-ai-ml/8416 "2025-12-14T21:30:19Z")
\[2025/12/08 ~ 14\] 이번 주에 살펴볼 만한 AI/ML 논문 모음 PyTorchKR​:fire::south\_korea: :thinking::thought\_balloon: :one: “에이전트 = 단일 모델”에서 “에이전트 = 시스템”으로 - 협업·분해·통합의 설계가 핵심: 이번 주에 선정된 논문들을 살펴보면, 다중 에이전트 시스템과 에이전틱 LLM 흐름이 공통적으로 “모델 1개”가 아니라 “역할과 상호작용을 가진 시스템”을 성능 단위로 다룹니다. 특히 잠재 공간 협업이나 하위 문제 분해 기반 추론처럼, 커뮤니케이션/추론 구조(순차·병렬·트리)를 설계해 품질과 비용을 같이 잡으려는 시도가 두드러집니다. 또한 이미지·비디오 올인원 추론처럼 “모달리티/태스크 분리”를 줄이고 지식 전이를 극대화하려는 통합형 일반화가 같은 방향의 확장으로 읽힙니다. 결과적으로 요즘 논문들은 “좋은 모델”보다 “좋은 시스템 토폴로지(협업/분해/통합)”를 경쟁력의 원천으로 놓는 경향이 강합니다. :two: 중간단(손실·누적오류)을 걷어내고 “직접 공간/직접 최적화”로: 표현·파이프라인 재설계: 성능 병목을 만드는 손실 있는 중간 표현을 제거하고 더 “직접적인 공간”에서 학습/생성을 하려는 움직임이 보입니다. 예를 들어 픽셀 공간 디퓨전 트랜스포머처럼 오토인코더 2단계를 없애거나, 무한 지형 생성 디퓨전처럼 “무한/실시간” 제약을 디퓨전으로 직접 만족시키도록 알고리즘을 재구성합니다. 한편 에이전트 쪽에서도 텍스트 왕복 대신 잠재 표현 공유로 통신 비용을 줄이는 등, 표현 공간을 바꿔 효율(토큰/시간)과 품질을 동시에 노리는 패턴이 반복됩니다. 요약하면 “더 큰 모델”만이 아니라 “어디서 무엇을 직접 다루는가(픽셀/잠재/구조화 지식)”가 성능을 좌우하는 설계 중심의 트렌드입니다. :three: 신뢰성의 ‘측정 가능화’ - 프로덕션 관측, 벤치마크, 결정론적 검증으로 안전·정확성 다루기: 에이전트/생성 모델이 실제 도입되면서, “잘 되는지”보다 “언제/왜/얼마나 위험한지”를 다루… --- ## [miniDiffusion: Stable Diffusion 3.5를 순수 PyTorch로 구현한 학습용 프로젝트](https://discuss.pytorch.kr/t/minidiffusion-stable-diffusion-3-5-pytorch/7138)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [6월 20, 2025, 1:30오전 UTC](https://discuss.pytorch.kr/t/minidiffusion-stable-diffusion-3-5-pytorch/7138 "2025-06-20T01:30:04Z")
miniDiffusion 프로젝트 소개 Diffusion 모델은 현재 이미지 생성 분야에서 가장 강력한 성능을 보여주고 있는 기술이며, Stable Diffusion 계열 모델은 그 중에서도 가장 널리 사용되고 있는 프레임워크 중 하나입니다. 하지만 그 내부 구조는 복잡하고, 다양한 라이브러리와의 의존성으로 인해 학습이나 커스터마이징이 쉽지 않습니다. miniDiffusion은 Stable Diffusion 3.5의 구조를 순수 PyTorch로 재현하여, 이러한 복잡성을 제거하고 누구나 쉽게 구조를 학습할 수 있도록 돕는 프로젝트입니다. miniDiffusion은 Yousef Rafat가 공개한 Stable Diffusion 3.5의 교육용 PyTorch 구현체입니다. 이 프로젝트는 약 2,800줄의 코드로 구성되어 있으며, Hugging Face에서 제공하는 사전 학습 가중치만을 사용하고 외부 의존성을 최소화하여 구성되었습니다. 핵심적인 아키텍처인 DiT(Diffusion Transformer), VAE, 텍스트 인코더, 토크나이저, 스케줄러 등이 모두 PyTorch 기반으로 구현되어 있어, 구조를 직접 분석하거나 수정하기에 적합한 형태입니다. 특히 이 프로젝트는 복잡한 inference pipeline이나 API 통합 없이도 순수하게 모델 구조를 이해하는 데 집중할 수 있게 설계되었습니다. 이는 최신 diffusion 모델의 원리를 학습하고자 하는 학생, 연구자, 그리고 현업 개발자들에게 매우 유용한 접근 방식을 제공합니다. 학습 방식은 간단합니다. 저장소를 클론한 뒤 필요한 Python 패키지를 설치하고, 체크포인트 파일을 다운로드한 후 학습 혹은 추론 스크립트를 실행하면 됩니다. Diffusion 모델 소개 Diffusion 모델은 데이터를 점차적으로 노이즈화하고, 이를 다시 원래 데이터로 복원하는 과정을 학습하는 생성 모델입니다. 정방향 과정에서는 원본 이미지에 점진적으로 Gaussian 노이즈를 추가하여 거의 무작위 상태까지 변형하고, 역… --- ## [Road to Sora: OpenAI의 Sora를 이해하기 위한 선행 연구 소개 (feat. Oxen.AI)](https://discuss.pytorch.kr/t/road-to-sora-openai-sora-feat-oxen-ai/3846)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 1\ **마지막 업데이트:** [3월 29, 2024, 4:28오전 UTC](https://discuss.pytorch.kr/t/road-to-sora-openai-sora-feat-oxen-ai/3846 "2024-03-29T04:28:30Z")
:pytorch:PyTorchKR:kr:: 고품질의 AI 데이터셋 도구를 제작하는 Oxen.AI에서는 매주 금요일마다 AI 논문을 읽고 인사이트를 공유하는 ArXiv Dives를 운영하고 있습니다. 이번 글은 3월 초 ArXiv Dives에서 진행되었던 Road to Sora라는 글을 허락 하에 번역하여 공유합니다. Road to Sora는 OpenAI에서 공개한 이미지 생성 모델인 Sora의 기술 문서를 바탕으로 Sora 모델을 이해하는데 필요한 지식들을 알아보는 것을 목표로 합니다. https://www.oxen.ai/blog/road-to-sora-reading-list Road to Sora: OpenAI의 Sora를 이해하기 위한 연구들 / "Road to Sora" Paper Reading List by Greg Schoeninger, Mar 5, 2024 이번 글은 금요일 논문 클럽인 ArXiv Dives의 읽기 목록을 정리하기 위한 노력의 일환입니다. 아직 Sora에 대한 공식 논문이 발표되지 않았기 때문에 OpenAI의 Sora 기술 보고서의 내용을 따르는 것이 목표입니다. 앞으로 몇 주 동안 금요일 논문 클럽에서 몇 가지 기본 논문을 검토하여 Sora의 장막 뒤에서 어떤 일이 벌어지고 있는지 더 잘 파악할 수 있도록 할 계획입니다. This post is an effort to put together a reading list for our Friday paper club called ArXiv Dives. Since there has not been an official paper released yet for Sora, the goal is follow the bread crumbs from OpenAI's technical report on Sora. We plan on going over a few of the fundamental papers in the coming weeks during our Friday pa… --- ## [\[GN\] Stable Diffusion 3 연구 논문 공개](https://discuss.pytorch.kr/t/gn-stable-diffusion-3/3696)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [3월 6, 2024, 7:49오후 UTC](https://discuss.pytorch.kr/t/gn-stable-diffusion-3/3696 "2024-03-06T19:49:15Z")
GeekNews의 xguru님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. :smiley\_cat: 소개 Stable Diffusion 3를 구동하는 기술에 대해 깊이 탐구하는 연구 논문을 발표 SD3는 인간의 선호도 평가에 기반하여 타이포그래피와 프롬프트 준수 면에서 DALL·E 3, Midjourney v6, Ideogram v1과 같은 최신의 텍스트-이미지 생성 시스템을 능가함 새로운 Multimodal Diffusion Transformer (MMDiT) 아키텍처는 이미지와 언어 표현을 위한 별도의 가중치 세트를 사용하여 이전 버전의 SD3에 비해 텍스트 이해와 철자 능력을 향상시킴 성능 Stable Diffusion 3의 출력 이미지를 SDXL, SDXL Turbo, Stable Cascade, Playground v2.5, Pixart-α 등 다양한 오픈 모델과 DALL·E 3, Midjourney v6, Ideogram v1과 같은 폐쇄 소스 시스템과 비교하여 인간 피드백을 기반으로 성능을 평가 테스트 결과, Stable Diffusion 3은 모든 위의 영역에서 현재 최신 텍스트-이미지 생성 시스템과 동등하거나 능가함 초기 비최적화 추론 테스트에서 가장 큰 SD3 모델은 8B 매개변수를 가지고 있으며, RTX 4090의 24GB VRAM에 맞고, 50개의 샘플링 단계를 사용할 때 1024x1024 해상도의 이미지를 생성하는 데 34초가 소요됨 초기 릴리스 시 800m에서 8B 매개변수 모델에 이르는 다양한 Stable Diffusion 3 변형이 있어 하드웨어 장벽을 추가로 제거함 아키텍처 세부 사항 Stable Diffusion 3는 Diffusion Transformer 구조를 기반으로 구성됨 텍스트-이미지 생성을 위해 모델은 텍스트와 이미지 두 가지 모달리티를 모두 고려해야 함 이 새로운 아키텍처를 MMDiT라고 부르는데, 이는 다양한 모달리티를 처리할 수 있는 능력을… --- ## [\[GN\] 인텔 Gaudi 2 칩, Diffusion Transformer 벤치마크에서 Nvidia H100을 능가](https://discuss.pytorch.kr/t/gn-gaudi-2-diffusion-transformer-nvidia-h100/3747)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [3월 12, 2024, 10:15오후 UTC](https://discuss.pytorch.kr/t/gn-gaudi-2-diffusion-transformer-nvidia-h100/3747 "2024-03-12T22:15:00Z")
GeekNews의 xguru님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. :smiley\_cat: 소개 "Behind the Compute" 시리즈는 Stability AI의 사업 기록이자, 다른 이들이 생성 AI의 힘을 활용할 수 있도록 통찰력을 제공하는 블로그 포스트 시리즈 이번 편에서는 다양한 컴퓨팅 솔루션의 성능 벤치마크와 이점에 대해 더 깊이 탐구함 성능 분석 두 가지 모델을 훈련시키며 성능 분석을 수행했으며, 그 중 하나는 매우 기대되는 Stable Diffusion 3임 Intel Gaudi 2 가속기와 Nvidia의 A100 및 H100을 비교하여 훈련 속도를 측정함 이들은 스타트업과 개발자들이 대규모 언어 모델을 훈련시키는 데 가장 일반적으로 선택하는 옵션임 모델 1: Stable Diffusion 3 Stable Diffusion 3은 곧 초기 미리보기 단계에 들어갈 예정인 가장 능력 있는 텍스트-이미지 모델임 Stable Diffusion 3의 공개 버전은 800M에서 8B 파라미터 범위의 크기로 제공될 예정 2B 파라미터 버전을 사용한 분석에서는 기대 이상의 결과를 보여줌 2B Multimodal Diffusion Transformer (MMDiT) 아키텍처 모델의 훈련 처리량을 측정했으며, 이는 d=24, BFloat16 혼합 정밀도, 최적화된 어텐션(xFormers for A100 및 FusedSDPA for Intel Gaudi)을 사용 이 모델 버전을 MMDiT-ps2-d24라고 함 2개의 노드, 총 16개의 가속기(Gaudi/GPU)를 통한 훈련 벤치마크 결과를 살펴보면, Gaudi 2 시스템은 가속기 당 배치 크기를 16으로 유지하며 초당 927개의 훈련 이미지를 처리함 - H100-80GB보다 1.5배 빠름 Gaudi 2의 96GB 고대역폭 메모리(HBM2E)를 활용하여 가속기 당 배치 크기를 32로 늘려 훈련 속도를 초당 1,254개 이미지로 더욱 향상시킴 32개의 …