# \#multiscale-3d-rope **URL:** https://discuss.pytorch.kr/tag/multiscale-3d-rope/6323.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [NextFlow: 대규모 학습의 불안정성 및 추론 속도의 한계를 극복한 멀티모달 생성 모델에 대한 연구 (feat. ByteDance)](https://discuss.pytorch.kr/t/nextflow-feat-bytedance/8644)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [1월 12, 2026, 9:30오후 UTC](https://discuss.pytorch.kr/t/nextflow-feat-bytedance/8644 "2026-01-12T21:30:34Z")
NextFlow 연구 배경: 통합 모델의 딜레마와 NextFlow의 등장 인공지능 연구의 궁극적인 지향점 중 하나는 텍스트, 이미지, 비디오 등 다양한 모달리티를 사람처럼 자유자재로 이해하고 생성할 수 있는 통합 시스템, 즉 인공 일반 지능(AGI)을 구축하는 것입니다. 현재 우리는 텍스트 추론 영역에서는 거대 언어 모델(LLM)이, 시각적 생성 영역에서는 디퓨전(Diffusion) 모델이 각자의 영역에서 최고 수준의 성능을 보여주는 시대를 살고 있습니다. 하지만 이 두 가지 강력한 패러다임은 근본적으로 서로 다른 구조와 표현 방식을 가지고 있어, 이를 하나의 시스템으로 통합하는 데에는 큰 '마찰(Friction)'이 존재해 왔습니다. 예를 들어, Transfusion이나 Bagel과 같은 하이브리드 모델들이 등장하여 가능성을 보여주었지만, 서로 다른 인코딩 방식을 사용함으로써 발생하는 간극과 재인코딩(Re-encoding) 오버헤드는 여전히 해결해야 할 과제로 남아 있었습니다. 순수하게 텍스트와 이미지를 하나의 시퀀스로 처리하려는 자기회귀(Autoregressive, AR) 방식의 시도들, 예컨대 Chameleon이나 EMU3 같은 모델들도 등장했습니다. 하지만 이들 역시 실용적인 배포를 어렵게 만드는 치명적인 병목 현상에 직면했습니다. 가장 큰 문제는 바로 '추론 속도'였습니다. 이미지를 텍스트처럼 왼쪽 상단에서 오른쪽 하단으로 픽셀 단위로 예측해 나가는 래스터 스캔(Raster-scan) 방식은 해상도가 높아질수록 처리해야 할 시퀀스 길이가 기하급수적으로 늘어납니다. 실제로 1024 \\times 1024 해상도의 고화질 이미지를 생성하기 위해 기존 AR 모델들은 10분 이상의 시간이 소요되기도 하여, 실시간 상호작용이 필요한 서비스에 적용하기에는 무리가 있었습니다. 또한, 픽셀 복원력에만 집중한 기존의 VQ-VAE 토크나이저는 생성된 토큰이 언어 모델이 이해할 수 있는 고차원적인 의미(Semantic)를 충분히 담지 못해, 복잡한 추론이나 멀티모달…