SAM2: 이미지와 비디오 모두에 적용 가능한 Segment Anything Model (feat. Meta)

읽을거리&정보공유
, , , , , , , , ,
1

SAM2(Segment Anything Model 2) 소개

Meta는 지난 해 SAM(Segment Anything Model)을 출시한 이후, 최신 모델인 SAM 2(Segment Anything Model 2)를 공개했습니다. SAM 2는 실시간으로 프롬프트에 따라 이미지와 비디오에서 객체를 분할할 수 있는 기능을 제공합니다. SAM 2는 Apache 2.0 라이선스로 제공되며, 연구와 상업적 용도로 자유롭게 사용할 수 있습니다. 이 모델은 기존 SAM의 성능을 한층 향상시켜, 더욱 정교하고 빠른 객체 분할을 가능하게 합니다.

Meta의 SAM과 SAM 2 결과 비교
Meta의 SAM과 SAM 2 결과 비교3840×2160 1.06 MB

SAM 2는 다양한 응용 분야에서 활용될 수 있습니다. 예를 들어, 비디오 편집 소프트웨어에서 특정 객체를 추적하거나, 자율 주행 차량의 시각 시스템에서 객체 인식을 수행하는 데 사용할 수 있습니다. 이러한 기능은 다양한 산업에서 효율성을 높이고, 새로운 기술 개발의 기초가 될 것입니다.

SAM 2는 기존 SAM 모델과 비교하여 영상에서의 객체 세분화 성능이 크게 향상되었습니다. SAM 2는 적은 사용자 상호작용으로도 높은 정확도를 제공하며, 기존 모델 대비 3배 빠른 상호작용 시간을 자랑합니다. 또한, SAM 2는 이미지와 비디오에서 객체를 선택하고 세분화된 마스크를 생성하는 프롬프트 방식을 사용합니다. 프레임마다 사용자 입력에 따라 마스크를 생성하고, 이를 통해 전체 비디오 프레임에 걸쳐 마스크를 생성할 수 있습니다.

SAM 2 주요 기능

  • 프롬프트 기반 시각적 분할: SAM 2는 사용자가 지정한 프롬프트에 따라 이미지와 비디오의 프레임에서 프롬프트를 받아 객체를 분할합니다.

  • 메모리 메커니즘: SAM 2는 메모리 메커니즘을 통해 객체의 과거 정보를 기억하여 정확한 분할을 수행합니다.

  • 다중 마스크 출력: 객체의 불명확한 분할 시 여러 개의 마스크를 생성하여 정확성을 높입니다.

  • 오클루전(occlusion) 처리: 객체가 다른 물체에 의해 일시적으로 가려질 때에도 분할을 유지합니다.

SA-V 데이터셋 (Segment Anythong - Video Dataset)

SAM 2의 훈련을 위해 사용된 SA-V 데이터셋은 약 51k개의 비디오와 643k개의 마스크(masklet)를 포함하는 방대한 데이터셋입니다. SA-V는 비디오 객체 분할을 위한 가장 큰 데이터셋으로, SAM 2의 성능 향상에 중요한 역할을 합니다. 이 데이터셋은 다양한 환경과 조건에서의 객체 분할을 가능하게 합니다.

SA-V 데이터셋의 지리적 분포
SA-V 데이터셋의 지리적 분포809×400 81.3 KB

SA-V 데이터셋의 수집 과정은 매우 도전적이었습니다. 다양한 소스에서 데이터를 수집하고, 이를 정확하게 라벨링하는 작업이 포함되었습니다. 또한, 데이터의 다양성을 확보하기 위해 여러 카테고리와 시나리오를 포함시키는 작업이 이루어졌습니다.

SA-V 데이터셋의 주요한 특징은 다음과 같습니다:

  • 비디오의 수: 51K
  • 마스크의 수: 643K
  • 비디오당 평균 마스크 수: 12.61
  • 평균 비디오 해상도: 1401×1037(px)

:house: SAM 2 홈페이지

:eight_pointed_black_star: SAM 2 (Segment Anything Model 2) 소개 글

:framed_picture: SAM 2 데모

:scroll: SAM 2 (Segment Anything Model 2) 논문

:github: SAM 2 (Segment Anything Model 2) 저장소

https://github.com/facebookresearch/segment-anything-2

:house: SA-V 데이터셋 소개

:framed_picture: SA-V 데이터셋 데모

:person_raising_hand: SA-V 데이터셋 신청

더 읽어보기



이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다. :hugs:

:pytorch:파이토치 한국 사용자 모임:kr:이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일:love_letter:로 보내드립니다! (기본은 Weekly지만 Daily로 변경도 가능합니다.)

:gift: 아래:arrow_lower_right:쪽에 좋아요:+1:를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~ :star_struck:

2개의 좋아요