Sapiens: 🧑‍🤝‍🧑 인간 비전 모델을 위한 파운데이션 모델 (feat. Meta Reality Labs)

[9bow (박정환)]

Sapiens 소개

최근 컴퓨터 비전 분야에서는 인간을 대상으로 한 포즈 추정, 신체 부위 분할, 깊이 및 표면 노멀 예측 등의 작업이 크게 주목받고 있습니다. 하지만, 이러한 작업을 정확하게 수행하는 것은 여전히 도전 과제입니다. 특히 실세계 데이터에서 라벨링된 데이터를 얻는 것은 비용이 많이 들고 시간이 많이 소요됩니다. 이에 따라 Sapiens는 고해상도 이미지에서 네 가지 인간 중심의 비전 작업을 효율적으로 처리할 수 있는 새로운 모델군을 제안합니다. 이 모델들은 대규모 인간 이미지 데이터셋으로 사전 학습된 후, 특정 작업에 맞게 미세 조정되어, 실세계에서의 강력한 일반화 성능을 보여줍니다.

Sapiens 모델은 기존의 최첨단 기술보다 훨씬 더 우수한 성능을 자랑합니다. 예를 들어, 2D 포즈 추정에서 이전 최고 성능 모델을 7.6 mAP 차이로 능가하며, 신체 부위 분할에서는 17.1 mIoU, 깊이 추정에서는 22.4% RMSE, 표면 노멀 예측에서는 53.5%의 상대적 각도 오차를 줄였습니다. Sapiens 모델의 주요 특징은 다음과 같습니다:

• 고해상도 지원: 1K 해상도의 고품질 이미지를 자연스럽게 처리할 수 있습니다.
• 대규모 사전 학습: 300억 개 이상의 인간 이미지를 사용해 사전 학습하여, 다양한 인간 중심 작업에 적합합니다.
• 간단한 모델 설계: 미세 조정만으로도 다양한 작업에 적응할 수 있어 사용이 간편합니다.
• 확장성: 모델의 성능은 파라미터 수에 따라 더욱 향상됩니다.

Humans-300M 데이터셋

Sapiens 모델은 11억 개의 야생에서 수집된 인간 이미지를 포함한 대규모 데이터셋인 Humans-300M을 사용하여 사전 학습되었습니다. 이 데이터셋은 자연스러운 인간 이미지를 포함하며, 복잡한 환경에서의 일반화를 위한 중요한 요소로 작용합니다.

Sapiens 소개 글

Sapiens | Meta

Sapiens 논문

Sapiens: Foundation for Human Vision Models

Sapiens GitHub 저장소

GitHub - facebookresearch/sapiens: High-resolution models for human tasks.

---

이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다.

파이토치 한국 사용자 모임이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일로 보내드립니다! (기본은 Weekly지만 Daily로 변경도 가능합니다.)

아래쪽에 좋아요를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~

[KevinTheRainmaker (Kangbeen Ko)]

복잡한 아키텍처나 수식의 제안이 아닌, 대용량의 Unlabeled Dataset을 이용한 Self-supervised Pretrain 방식을 이용하는 방식으로 성능을 끌어올린다는 점은 Depth Anything 논문(CVPR'24)을 처음 봤을 때 매력적이라고 생각했던 부분이었는데 그보다 한단계 더 나아간 파운데이션 모델이네요.

이러한 방식이 효과적임은 사실 LLM에서도 어느정도 입증된 방법이기에 조만간 비전에서도 같은 움직임이 생길 것이라 생각했는데 이 논문이 제가 생각한 느낌과 상당 부분 일치하는 것 같아서 흥미롭습니다.

한편으로는, 번뜩이는 아이디어에서 비롯된 새로운 아키텍처나 로직에서, 모델의 크기, 데이터의 크기로 넘어가는 흐름이 주가 되면(이미 넘어왔을 수도 있고) 이제는 공룡 기업들만이 이끌어나가는 시장이 될 수도 있겠다는 우려도 생기는 것 같습니다.

미래엔 결국 데이터의 주인이 이기게 될까요? 구글 풀매수 가즈아