Meta, 객체 멀티플렉싱으로 2배 빨라진 실시간 비디오 분할 모델 SAM 3.1 공개

9bow · 3월 30, 2026, 3:30오전

SAM 3.1: 더 빠르고 효율적인 실시간 비디오 세그멘테이션

Meta가 2026년 3월 27일, Segment Anything Model 3(SAM 3)의 후속 업데이트인 SAM 3.1을 공개했습니다. SAM 3.1은 SAM 3의 드롭인 대체(drop-in replacement)로 설계되어, 기존 SAM 3 파이프라인에 바로 적용할 수 있으면서도 비디오 처리 속도를 크게 향상시킨 것이 핵심입니다.

SAM 시리즈는 Meta가 2023년 처음 공개한 이후 컴퓨터 비전 분야에서 범용 세그멘테이션의 표준으로 자리 잡아왔습니다. SAM 2에서 비디오로 영역을 확장했고, SAM 3에서는 텍스트와 예시 이미지를 프롬프트로 활용하는 프롬프트 기반 개념적 분할(Promptable Concept Segmentation) 을 도입했습니다. 이번 SAM 3.1은 그 기반 위에서 추론 효율성이라는 실용적 과제를 정면으로 해결합니다.

기존 SAM 3는 비디오에서 각 객체를 개별적으로 추적해야 했기 때문에, 추적 대상이 늘어날수록 추론 비용이 선형적으로 증가하는 한계가 있었습니다. SAM 3.1은 객체 멀티플렉싱(Object Multiplexing) 이라는 새로운 접근으로 이 문제를 해결하여, 단일 포워드 패스에서 최대 16개 객체를 동시에 추적할 수 있게 되었습니다.

SAM 3.1의 핵심 개선 사항: 객체 멀티플렉싱과 글로벌 추론

SAM 3.1의 가장 중요한 변화는 객체 멀티플렉싱 기술의 도입입니다. 이전에는 추적 대상 객체마다 별도의 추론 패스가 필요했지만, SAM 3.1은 하나의 포워드 패스 안에서 최대 16개 객체를 동시에 처리합니다. 이를 통해 중복 연산을 제거하고 메모리 병목을 해소하여, 중간 수준의 객체가 포함된 비디오에서 처리 속도가 단일 H100 GPU 기준 16 FPS에서 32 FPS로 2배 향상 되었습니다.

또한 글로벌 추론 헤드(Global Reasoning Head) 를 도입하여 객체 간 맥락 정보를 공유할 수 있게 했습니다. 기존에는 각 객체가 공유된 프레임 임베딩만 사용하고 객체 간 소통이 없었지만, 이제 시각적으로 유사한 객체가 많은 복잡한 장면에서도 더 정확한 추적이 가능합니다.

SAM 3의 핵심 기능: 개방형 어휘 기반 개념적 분할

SAM 3.1은 SAM 3의 모든 기능을 그대로 계승합니다. SAM 3가 도입한 프롬프트 기반 개념적 분할은 텍스트, 예시 이미지, 그리고 마스크/박스/포인트 등의 시각적 프롬프트를 사용하여 이미지와 비디오에서 객체를 감지하고 분할하는 기능입니다.

텍스트 프롬프트: 개방형 어휘(open-vocabulary)의 짧은 명사구를 입력하면 해당 개념에 속하는 모든 인스턴스를 감지하고 분할합니다
예시 이미지 프롬프트: 고정된 레이블 집합의 제약 없이, 예시 이미지를 통해 원하는 개념을 정의할 수 있습니다
멀티모달 LLM 연동: Llama 같은 멀티모달 대형 언어 모델과 결합하면 "앉아 있는 사람들 중 선물 상자를 들고 있지 않은 사람"과 같은 복잡한 쿼리도 처리할 수 있습니다

SAM 3.1: Faster and More Accessible Real-Time Video Detection and Tracking 소개 블로그

SAM 3 및 SAM 3.1 GitHub 저장소

SAM 3.1 모델 다운로드

Segment Anything Playground

더 읽어보기

이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다.

파이토치 한국 사용자 모임이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일로 보내드립니다! (기본은 Weekly지만 Daily로 변경도 가능합니다.)

아래쪽에 좋아요를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~