Stability AI에서는 새로운 3D 기술인 Stable Video 3D(SV3D)를 발표했습니다. 이 모델은 단일 이미지를 입력으로 받아 객체의 새로운 다중 뷰를 생성할 수 있으며, 이를 통해 3D 메시를 생성할 수 있습니다. 이전에 발표된 Stable Zero123와 비교할 때 품질과 다양한 시점에서의 성능이 크게 향상되었으며, 기존의 Stability AI에서 공개했던 Zero123-XL과 같은 오픈소스 모델보다 우수한 성능을 보입니다.
Stable Video 3D는 기존 모델들에 비해 더 세밀하고 입력 이미지에 충실하며 멀티뷰가 일관된 새로운 멀티뷰 영상을 생성할 수 있습니다.
소개
SV3D는 단일 오브젝트 이미지를 입력으로 받아 해당 오브젝트에 대한 새로운 멀티뷰를 출력합니다. 그런 다음 이러한 새로운 뷰와 SV3D를 사용하여 3D 메시를 생성할 수 있습니다.
Stable Video 3D는 Stability AI에서 새롭게 출시한 모델로, 객체의 단일 이미지로부터 새로운 다중 시점을 생성할 수 있는 3D 생성형 모델입니다. Stability Video 3D는 높은 품질과 일관성을 갖는 이미지를 생성하며, 두 가지 버전(SV3D_u, SV3D_p)으로 출시하였습니다. 각 버전은 다음과 같습니다:
-
SV3D_u: 이 버전은 카메라 컨디셔닝 없이 단일 이미지 입력을 기반으로 궤도 비디오를 생성합니다.
-
SV3D_p: SVD3_u의 기능을 확장한 이 버전은 단일 이미지와 궤도 뷰를 모두 수용하여 지정된 카메라 경로를 따라 3D 비디오를 생성할 수 있습니다.
SV3D를 상업적 목적으로 사용하기 위해서는 Stability AI Membership이 필요하며, 비상업적 목적으로는 Hugging Face에서 모델 가중치를 다운로드하여 사용할 수 있습니다.
주요 기능
SV3D 모델과 그 출력을 사용한 3D 최적화를 통해 3D 메시 생성 샘플을 제공합니다.
Stable Video 3D는 이미지를 3D 비디오로 변환하는 데 있어 다음과 같은 주요 기능을 제공합니다:
- 다중 시점 생성: 단일 이미지에서 객체의 다양한 시점을 생성하여, 보다 현실적이고 정확한 3D 생성을 가능하게 합니다.
- 향상된 품질과 일관성: 비디오 확산 모델을 사용하여 생성된 출력물의 일반화 및 시점 일관성에 있어 주요 이점을 제공합니다.
- 3D 최적화: 객체 주위의 임의의 궤도를 생성할 수 있는 강력한 기능을 활용하여 개선된 3D 최적화를 제안합니다.
사용 방법 또는 작동 원리
Stable Video 3D는 이미지-비디오 확산 모델을 카메라 경로 조건과 결합하여 객체의 다중 시점 비디오를 생성합니다. 이 모델은 일관된 객체 모양을 여러 시점에서 유지하면서도, 포즈 제어 가능성을 크게 향상시킵니다. 또한, 개선된 3D 최적화를 통해 단일 이미지 입력으로부터 고품질의 3D 메시를 신뢰성 있게 출력할 수 있습니다.
비교
Stable Video 3D는 이전의 Stable Zero123 및 기타 오픈 소스 대안들과 비교하여 몇 가지 중요한 이점을 제공합니다. 특히, 다중 시점 생성과 관련하여 더 높은 품질과 일관성을 보여주며, 이는 3D 생성물의 현실감과 정확성을 크게 향상시킵니다. 또한, 비디오 확산 모델의 사용은 출력물의 일반화 및 시점 일관성에 있어서도 중요한 이점을 제공합니다.
더 읽어보기
SV3D 공개 블로그 글
SV3D 프로젝트 홈페이지
기술 문서
SV3D 모델 가중치
이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있으니 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다. 
파이토치 한국 사용자 모임
이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일
로 보내드립니다! (기본은 Weekly지만 Daily로 변경도 가능합니다.)
아래
쪽에 좋아요
를 눌러주시면 힘이 됩니다~ 