PyTorchKR
- 최근 급격히 발전하고 있는 3D 생성 기술과 관련하여, NVIDIA에서 일전에 공개한 LATTE3D(Large-scale Amortized Text-To-Enhanced3D Synthesis)를 소개합니다. LATTE3D는 사용자가 입력한 텍스트로부터 고화질의 3D 메쉬를 400ms만에 생성하는 방법을 제시하고 있습니다.
LATTE3D의 주요 기능과 동작 방식 등을 함께 살펴보시죠. 
LATTE3D
: Text-to-3D Mesh 생성 기술 (feat. NVIDIA)
소개
LATTE3D(Large-scale Amortized Text-To-Enhanced3D Synthesis)는 NVIDIA 연구팀에 의해 개발된 새로운 Text-to-3D 생성 모델입니다. 이 기술은 3D 데이터 중심의 최적화와 3D 인식 확산 사전(prior)을 활용하여 다양하고 복잡한 트레이닝 프롬프트에 대해 강인함을 보여줍니다. LATTE3D는 신경 필드(neural field)와 텍스처 표면 생성을 한 번의 순전파(forward pass)로 처리하여, 단 400ms 내에 고화질의 텍스처 메쉬를 생성할 수 있습니다. 이는 실시간 3D 에셋 생성을 가능하게 하며, 사용자가 더 높은 품질을 원할 경우 빠른 테스트 시간 최적화를 추가로 지원합니다.
LATTE3D는 MVDream, 3DTopia, LGM, ATT3D 등 기존의 Text-to-3D 방법들과 비교하였을 때, LATTE3D는 빠른 생성 시간(400ms)과 사용자 연구에서의 선호도 측면에서 우수한 성능을 보였습니다. 특히, LATTE3D는 고주파수의 지오메트리 및 텍스처 디테일을 잘 포착하는 것으로 나타났으며, 대규모 프롬프트 세트에 대한 일반화 능력에서도 좋은 결과를 보였습니다.
주요 기능
- 고속 생성: LATTE3D는 텍스트 프롬프트로부터 400ms 내에 고화질 3D 메쉬를 생성합니다.
- 고품질과 강인성: 복잡하고 다양한 트레이닝 프롬프트에 대해 강인하며, 고주파수의 지오메트리 및 텍스처 디테일을 잘 포착합니다.
- 대규모 프롬프트 세트 지원: 100k 이상의 프롬프트에 대한 트레이닝을 통해 일반화 능력을 강화했습니다.
- 사용자 제어 가능성: 사용자가 지정한 3D 형태로 정규화를 유도하거나, 텍스트 프롬프트를 통해 모델의 생성을 안내할 수 있습니다.
LATTE3D 구성 개요
LATTE3D는 두 단계로 구성됩니다. 첫 번째 단계에서는 볼류메트릭 렌더링을 사용해 텍스처와 지오메트리를 트레이닝합니다. 이 단계는 3D 이미지 사전으로부터의 SDS 기울기와 예측된 형태의 마스크를 3D 자산 라이브러리와 비교하는 정규화 손실을 포함한 트레이닝 목표를 통해 프롬프트에 대한 강인성을 강화합니다. 두 번째 단계에서는 표면 기반 렌더링을 사용하고 텍스처만을 트레이닝하여 품질을 높입니다. 이 두 단계 모두 다수의 프롬프트에 대한 최적화를 분담하여 빠른 생성 속도를 유지합니다.
데모 영상
결과 예시
Generalization on unseen, in-distribution (gpt-101k) prompts
Generalization on unseen, out-of-distribution (DreamFusion) prompts
Stylization
Stylization: Seen, training prompts for stylized animals
Stylization: Generalization on unseen, combinatorial prompts for stylized animals
더 읽어보기
프로젝트 홈페이지
https://research.nvidia.com/labs/toronto-ai/LATTE3D/
LATTE3D 논문
30초 요약 영상
3분 Overview 영상
Overview Slides
이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다. 
파이토치 한국 사용자 모임이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일
로 보내드립니다! (기본은 Weekly지만 Daily로 변경도 가능합니다.)
아래
쪽에 좋아요
를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~ 