LivePortrait: 효율적인 초상화 애니메이션 생성 (feat. Stiching & Retargeting Control)

읽을거리&정보공유
, , , ,
1

LivePortrait 소개

LivePortrait 소개

LivePortrait는 초상화 애니메이션을 효율적으로 구현하는 방법을 제안하는 프로젝트입니다. 기존의 방법들보다 더 적은 자원으로 더 높은 품질의 애니메이션을 생성할 수 있도록 설계되었습니다. 이 프로젝트는 PyTorch를 사용하여 구현되었으며, 연구팀은 지속적으로 업데이트를 진행하고 있습니다. 특히, 인물의 표정과 동작을 자연스럽게 표현하기 위해 스티칭과 리타겟팅 기술을 활용합니다.

LivePortrait showcase

LivePortrait는 기존의 FOMM(First Order Motion Model)과 Open Facevid2vid와 같은 프로젝트와 비교할 때, 다음과 같은 장점을 제공합니다:

  • 효율성: 모델의 크기와 파라미터 수가 줄어들어 더 빠른 추론 속도를 자랑합니다.

  • 자연스러움: 스티칭과 리타겟팅 기술을 통해 인물의 표정과 동작을 더욱 자연스럽게 표현합니다.

  • 유연성: 다양한 입력 소스와 동작 비디오를 지원하여, 사용자가 원하는 대로 애니메이션을 생성할 수 있습니다.

LivePortrait의 학습 단계 및 주요 특징

LivePortrait 모델 구조: 1단계 - 기본 모델 학습

학습 1단계 - 기본 모델 학습: 외형 및 동작 추출기, 워핑 모듈, 디코더를 학습합니다. 자세한 내용은 논문을 참고해주세요.

LivePortrait 모델 구조: 2단계 - Stiching & Retargeting 모듈 학습

학습 2단계 - 스티칭(Stiching) 및 리타겟팅(Retargeting) 모듈 학습: 1단계에서 학습 완료된 모듈들을 고정한 뒤, 스티칭 모듈과 리타게팅 모듈만 최적화합니다. 자세한 내용은 논문을 참고해주세요.

  • 스티칭 및 리타겟팅: 인물의 표정과 동작을 자연스럽게 연결하여, 보다 현실적인 애니메이션을 구현합니다.

  • 효율적인 모델 구조: 각 모듈이 최적화되어 있어, 빠른 추론 속도를 제공합니다.

  • 다양한 입력 지원: 사진과 비디오를 입력으로 사용하여, 다양한 애니메이션을 생성할 수 있습니다.

추론 속도 평가

RTX 4090 GPU에서 한 프레임을 추론하는 시간은 다음과 같습니다:

모델 파라미터(M) 모델 크기(MB) 추론 시간(ms)
Appearance Feature Extractor 0.84 3.3 0.82
Motion Extractor 28.12 108 0.84
Spade Generator 55.37 212 7.59
Warping Module 45.53 174 5.21
Stitching and Retargeting Modules 0.23 2.3 0.31

다른 모델과의 비교 영상

Self-reenactment

Cross-reenactment

라이센스

이 프로젝트는 MIT 라이센스로 공개 및 배포되고 있습니다.

:books: LivePortrait 논문

:github: LivePortrait GitHub 저장소

:house: LivePortrait 프로젝트 홈페이지

https://liveportrait.github.io/



이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다. :hugs:

:pytorch:파이토치 한국 사용자 모임:kr:이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일:love_letter:로 보내드립니다! (기본은 Weekly지만 Daily로 변경도 가능합니다.)

:gift: 아래:arrow_lower_right:쪽에 좋아요:+1:를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~ :star_struck: