# \#dit **URL:** https://discuss.pytorch.kr/tag/dit/9130.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [Bernini: Wan 렌더러에 MLLM 플래너를 더해 영상 생성과 편집 6개 작업을 하나로 묶은 영상 생성 프레임워크](https://discuss.pytorch.kr/t/bernini-wan-mllm-6/11931)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [9월 17, 2026, 2:30오전 UTC](https://discuss.pytorch.kr/t/bernini-wan-mllm-6/11931 "2026-09-17T02:30:03Z")
Bernini 소개 영상을 만들거나 고치는 확산 모델(Diffusion Model)은 대개 텍스트 조건 하나로 픽셀 생성을 통제합니다. 이 구조에서는 지시가 복합적일수록 무엇을 바꾸고 무엇을 그대로 둘지가 렌더러까지 충분히 전달되지 않습니다. ByteDance의 Bernini 팀은 여기서 멀티모달 대규모 언어 모델(MLLM)과 확산 모델을 한 덩어리로 합치는 대신, 둘의 역할을 나누는 방식을 제안했습니다. 앞쪽은 여러 형태의 입력을 읽고 의미를 다루는 데 강하고 뒤쪽은 픽셀을 사실적으로 합성하는 데 강하니, 앞쪽에 계획을 맡기고 뒤쪽에 그리기를 맡기자는 것입니다. 이번에 소개하는 Bernini는 그 분업을 그대로 구현한 영상 생성과 편집 통합 프레임워크로, MLLM 기반 의미 플래너(Semantic Planner)와 DiT 기반 렌더러(Renderer)를 한 파이프라인에 묶은 프로젝트입니다. 두 모델을 잇는 방법이 Bernini의 핵심입니다. 플래너는 결과 영상을 픽셀이나 토큰 ID로 예측하지 않고 ViT 임베딩 공간에서 목표 의미 표현을 직접 예측합니다. 렌더러는 그렇게 나온 의미 표현을 조건으로 받고, 여기에 텍스트 특징을 더하며, 편집 작업일 때는 원본 영상의 VAE(Variational Autoencoder) 특징까지 함께 받아 세부를 보존합니다. 의미 표현이 두 모델 사이의 인터페이스 역할을 하기 때문에 플래너와 렌더러를 따로 학습한 뒤 가볍게만 함께 학습해도 되고, 저자들은 이 덕분에 두 모델이 사전 학습에서 얻은 강점을 지키면서도 학습 비용을 낮출 수 있었다고 설명합니다. 여러 개의 시각 입력을 한 시퀀스에 담을 때 생기는 혼동을 줄이기 위해 세그먼트 인식 3D 회전 위치 임베딩(SA-3D RoPE, Segment-Aware 3D Rotary Positional Embedding)을 도입했고, 플래너 쪽에는 생각의 사슬(Chain-of-Thought) 추론을 함께 적용했습니다. Bernini는 플래너로 Qwen2.5-VL-7B-Ins…