소개
InstaFlow는 이미지 품질을 안정된 확산에 가깝게 달성하는 초고속, 한 단계 이미지 생성기입니다. 이 효율성은 최근의 정류된 흐름 기술을 통해 가능하게 되었으며, 이 기술은 확률 흐름을 직선 궤적으로 학습시켜 빠른 추론을 위해 단 한 단계만 필요로 합니다.
주요 내용
InstaFlow의 장점
-
초고속 추론: InstaFlow 모델은 한 단계 생성기로, 노이즈를 이미지로 직접 매핑하고 확산 모델의 다단계 샘플링을 피합니다.
-
고품질: InstaFlow는 안정된 확산처럼 세밀한 세부 사항을 가진 이미지를 생성하며, StyleGAN-T처럼 MS COCO 2014에서 최첨단 텍스트-이미지 GAN와 유사한 FID를 가집니다.
-
간단하고 효율적인 학습: InstaFlow의 학습 과정은 감독 학습만을 포함합니다.
조건부-텍스트 재흐름(reflow)을 사용한 생성 확률 흐름 정렬
InstaFlow의 파이프라인은 세 단계로 구성됩니다:
- 사전 학습된 Stable Diffusion에서 (텍스트, 노이즈, 이미지)의 삼중데이터를 생성합니다.
- 2-Rectified Flow를 생성하는
text-conditioned reflow(텍스트 조건부 재흐름)을 적용합니다. - 2-Rectified Flow로부터 One-Step InstaFlow를 얻습니다.
설명 영상
생성 사례 (갤러리)
InstaFlow를 사용한 한 단계 생성(One-step generation)은 다양한 버전과 크기의 이미지를 제공합니다.
One-step generation with InstaFlow-0.9B (0.09s per image, 512×512)
One-step generation with InstaFlow-1.7B (0.12s per image, 512×512)
One-step generation with InstaFlow-0.9B (0.09s) + SDXL-Refiner (1024×1024)
Latent space interpolation of one-step InstaFlow-0.9B (0.09s per image, 512×512)
SD 1.5와의 비교
동일한 A100 서버를 사용하여 다양한 모델로 무작위 생성을 해본 비교 영상입니다. InstaFlow-0.9B는 한 단계이며, SD 1.5는 25단계 DPMSolver를 사용하였습니다.
- 입력 프롬프트: "A photograph of a snowy mountain near a beautiful lake under sunshine."
더 읽어보기
InstaFlow 논문
InstaFlow GitHub 저장소
https://github.com/gnobitab/instaflow
Rectified Flow 공식 github 저장소
- Rectified Flow에 대한 공식 코드 저장소
https://github.com/gnobitab/RectifiedFlow
Rectified Flow 소개
- Rectified Flow에 대한 기본적인 소개
https://www.cs.utexas.edu/~lqiang/rectflow/html/intro.html
FlowGrad: 그래디언트로 생성 ODE의 출력 제어
- 생성 ODE의 출력을 제어하는 방법에 대한 논문
https://github.com/gnobitab/FlowGrad
직선 흐름으로 빠른 포인트 클라우드 생성
- 직선 흐름을 사용한 포인트 클라우드 생성 방법
아이콘을 누르셔서 검색하시거나, 