SeedRealtime: ByteDance Seed의 보면서 듣고 말하는 전이중(Full-Duplex) 모델

9bow · 8월 8, 2026, 12:30오전

SeedRealtime 소개

ByteDance Seed 팀이 2026년 8월 5일, 오디오와 영상을 함께 다루는 전이중(Full-Duplex) LLM 인 SeedRealtime 을 공개했습니다. 음성 인식과 영상 이해, 음성 합성을 따로 붙여 쓰던 기존 방식과 달리, 하나의 모델이 끊기지 않고 들어오는 오디오와 영상 스트림을 계속 받아들이면서 지금 말할 차례인지까지 스스로 판단합니다. 사용자가 말하는 동안에도 모델은 화면을 계속 보고 있고, 필요하다고 판단하면 질문을 받지 않아도 먼저 입을 엽니다. ByteDance Seed는 이 모델을 모든 모달리티를 아우르는 상호작용(全模態, Omni-Modal Interaction)으로 가는 핵심 단계 라고 규정했습니다.

여기서 전이중(Full-Duplex) 이라는 표현이 핵심입니다. 지금까지 대부분의 음성 AI는 한쪽이 말하면 다른 쪽은 듣는다 는 반이중(Half-Duplex) 규칙을 따랐습니다. 사용자의 발화가 끝났는지를 외부 음성 활동 감지기(Voice Activity Detection, VAD) 가 판정해 주면 그때부터 모델이 응답을 만드는 구조입니다. 반면 사람끼리의 대화는 듣는 동시에 말하고, 상대가 뜸을 들이면 기다렸다가, 할 말이 있으면 끼어듭니다. SeedRealtime이 겨냥한 지점이 바로 이 차이이고, 여기에 보는 것 까지 같은 모델 안으로 끌어들인 것이 이번 발표의 내용입니다.

ByteDance Seed는 이번 발표에서 세 가지를 앞세웠습니다. 화면 속 장면으로 동음이의어나 불분명한 발화를 해석해 내는 오디오 비주얼 결합 이해(Joint Audio-Visual Understanding), 장면 변화를 지켜보다 스스로 말을 거는 능동적 상호작용(Proactive Interaction), 그리고 소음과 주변 잡담 속에서도 언제 말할지를 스스로 정하는 자연스러운 대화 타이밍(Natural Conversational Timing) 입니다. 자체 진행한 사람 평가(End-to-End Human Evaluation)에서는 캐스케이드 방식 모델과 비교해 대화 타이밍 문제가 절반으로 줄었다고 밝혔습니다. 말이 도중에 잘리거나, 사용자가 잠깐 멈춘 뒤 응답이 굼떠지거나, 배경 소음과 잡담에 잘못 반응하는 상황이 눈에 띄게 줄었고, 한 번의 대화를 매끄럽고 온전하게 마칠 확률도 함께 개선되었다는 설명입니다.

한 가지 미리 짚어 둘 부분이 있습니다. SeedRealtime은 가중치나 기술 보고서, 공개 API가 함께 나온 모델이 아니라 이미 서비스에 배포된 상태로 발표된 모델 입니다. ByteDance는 자사 AI 앱인 Doubao(豆包)에 전면 배포를 마쳤고 오디오 비주얼 전이중 기술의 대규모 상용화를 업계에서 처음 이뤘다고 밝혔습니다. 이 글에 실린 시연 영상들도 모두 Doubao 앱 화면으로 촬영된 것입니다. 참고로 배포처가 Doubao 앱이라는 문장은 중문판에만 있고, 영문판에서는 앱 이름이 빠진 채 전면 배포를 마쳤다 고만 되어 있습니다. 그래서 이 글은 아키텍처 해부가 아니라, 공개된 시연과 공식 페이지에서 읽어낼 수 있는 만큼을 정리하고 무엇이 공개되지 않았는지까지 함께 짚는 방향으로 구성했습니다.

캐스케이드와 반이중 사이에 갇혀 있던 실시간 상호작용

실시간 오디오 비주얼 상호작용은 오랫동안 두 가지 방식 사이에서 절충을 강요받아 왔습니다. 첫 번째는 캐스케이드(Cascaded) 구성입니다. Whisper 같은 음성 인식(ASR) 모듈이 소리를 글자로 바꾸고, 시각 언어 모델(VLM)이 화면을 설명으로 바꾸고, 마지막에 음성 합성(TTS)이 답을 소리로 만듭니다. 모듈을 갈아 끼우기 쉽다는 장점이 있지만, 단계를 넘길 때마다 지연이 쌓이고 정보가 손실됩니다. 억양과 망설임, 화면 속 손짓 같은 것들은 텍스트로 옮겨지는 순간 사라집니다.

두 번째는 종단간(End-to-End) 모델입니다. 응답은 훨씬 자연스러워지지만, 여기서도 상당수 구현이 언제 말을 시작할지 는 여전히 외부 VAD에 맡깁니다. Silero VAD 같은 모듈이 사용자 발화가 끝났다 고 신호를 보내면 그때 모델이 응답을 시작하는 식입니다. 결국 한 번에 한 사람만 말하는 반이중 구조에서 벗어나지 못합니다. Pipecat이나 LiveKit Agents 같은 실시간 에이전트 프레임워크가 널리 쓰이는 것도 이 조립 방식이 현실적인 선택지였기 때문입니다.

SeedRealtime의 핵심 돌파구는 소리와 화면, 시간, 표현을 하나의 종단간 모델 안으로 합친 것이라고 ByteDance Seed는 설명합니다. 발표문이 굵게 강조한 다음 문장이 그 구조를 압축하고 있습니다.

"먼저 다 듣고, 그다음 보고, 마지막에 답하는 것이 아닙니다. 연속적인 오디오 비주얼 스트림 위에서 지각과 이해, 결정, 표현을 동시에 진행시켜, 들은 것과 본 것이 매번의 실시간 판단에 함께 참여하도록 합니다."

"Rather than listening in full, then looking, and finally answering, it lets perception, understanding, decision-making, and expression run in parallel over continuous audio-visual streams, so that what is heard and what is seen jointly inform every real-time judgment."

ByteDance Seed는 여기서 두 가지 난제를 지목합니다. 첫 번째는 대화의 리듬 입니다. 음성에는 쉼이 있어서 언제 응답할지에 대한 단서를 주지만, 영상은 항상 켜져 있고 끊임없이 변합니다. 모델은 화면에서 벌어지는 일을 계속 이해하면서도 배경 소음 때문에 자주 끼어들지 않아야 하고, 어떤 대상에 집중할지, 누구의 목소리를 들을지, 지금이 말할 순간인지를 계속 판단해야 합니다.

두 번째는 오디오와 영상의 결합 모델링, 그리고 시간 정렬 입니다. 사용자가 이거 어떻게 해요 라고 물으면 모델은 현재 장면과 손짓, 시선, 앞선 동작을 종합해 이거 가 무엇인지 확정해야 합니다. 동음이의어나 뭉개진 발음을 만나면 화면을 근거로 어느 쪽 뜻인지 가려내야 합니다. 소리와 영상, 그리고 시간 정보를 함께 모델링해야만 보는 것과 듣는 것, 말하는 것이 하나로 이어집니다. 보고 듣고 말하는 일이 같은 실시간 판단 체계 안에 들어오면, 모델은 사용자의 질문을 기다리기만 하는 존재에서 벗어나 장면의 변화를 계속 좇다가 적절한 순간에 먼저 입을 열 수 있게 됩니다.

구분	캐스케이드 조합	종단간 모델 + 외부 VAD	SeedRealtime
구성	ASR, VLM, TTS를 순차 연결	하나의 모델 + 별도 턴 판정 모듈	하나의 모델이 지각부터 표현까지 담당
정보 손실	단계마다 텍스트로 변환되며 발생	상대적으로 적음	모달리티 변환 단계 없음
턴 판정	외부 VAD 규칙	외부 VAD 규칙	멀티모달 정보로 모델이 연속 판단
대화 방식	반이중(한 번에 한 명)	사실상 반이중	전이중(듣는 동시에 말함)
영상 처리	프레임을 설명 텍스트로 변환	구현마다 상이	오디오와 함께 원시 스트림으로 결합

Seeduplex에서 SeedRealtime으로, 음성 전이중에서 오디오 비주얼 전이중까지

SeedRealtime이 갑자기 등장한 것은 아닙니다. ByteDance Seed는 넉 달 앞선 2026년 4월 9일에 음성만 다루는 전이중 모델 Seeduplex를 공개했고, 그때도 Doubao 앱에 전면 배포하는 방식을 택했습니다. Seeduplex는 반이중 방식이던 이전 세대 Doubao 종단간 음성 모델을 대체하면서, 음성 데이터 사전학습과 강화학습(Reinforcement Learning)을 결합해 음성과 의미를 함께 모델링하는 구조를 도입했습니다. SeedRealtime은 이 음성 전이중 기반 위에 영상을 얹은 다음 단계로 읽는 것이 자연스럽습니다.

Seeduplex 발표에는 SeedRealtime 발표에 없는 정량 수치가 담겨 있어서, 이 계보를 이해하는 데 참고가 됩니다. Seeduplex는 반이중 대비 발화 종료 판정 지연을 약 250ms 줄이면서도 복잡한 환경에서 AI가 사용자 말을 끊는 비율을 40% 낮췄고, 사용자가 끼어들었을 때의 응답 지연을 약 300ms 단축했습니다. 음향 간섭이 심한 상황에서는 오응답률과 오중단률이 절반으로 줄었습니다. 수억 명이 쓰는 Doubao 앱에서 진행한 대규모 A/B 테스트에서는 전체 통화 만족도가 절대치 기준 8.34% 상승했습니다.

아래는 Seeduplex 발표에 포함된 주관 평가 결과입니다. 발화 종료 판정(Endpoint), 끼어들기 처리(Barge-in), 대화 유창성(Dialogue Fluency) 세 항목을 평균 의견 점수(Mean Opinion Score, MOS) 로 측정했고, Doubao 앱의 Seeduplex와 기존 반이중 버전, 그리고 주요 앱의 음성 통화 기능 두 종(Q-App, C-App으로 익명 처리)을 비교했습니다. 아래 그림과 표를 통해 대화 유창성 항목의 점수 차이가 가장 크다는 점을 알아볼 수 있습니다.

평가 항목	Doubao 앱 Seeduplex	Doubao 앱 반이중	Q-App	C-App
발화 종료 판정(Endpoint)	87	79	64	74
끼어들기 처리(Barge-in)	94	92	71	86
대화 유창성(Dialogue Fluency)	77	65	38	52

Seeduplex 발표문이 말하는 Endpoint MOS 8% 개선 과 대화 유창성 MOS 12% 개선 은 위 표에서 Seeduplex 열과 반이중 열의 점수 차이(87 대 79, 77 대 65)에 해당합니다.

SeedRealtime에 대해서는 이런 표가 아직 나오지 않았습니다. 공개된 정량 표현은 캐스케이드 모델 대비 대화 타이밍 문제가 절반으로 줄었다는 사람 평가 결과 하나뿐이고, 비교 대상이 된 캐스케이드 모델이 무엇인지도 밝히지 않았습니다. 대신 ByteDance Seed는 일곱 개의 시연 영상으로 능력을 보여주는 방식을 택했습니다. 아래에서는 그 일곱 장면을 세 가지 능력별로 묶어 정리합니다.

장면을 이해하고 대화 상대를 가려내는 오디오 비주얼 결합 이해

첫 번째 축은 사람이 많고 소리가 겹치는 열린 공간에서, 시각과 청각과 시간 정보를 정렬해 함께 이해하는 능력입니다.

네 사람이 둘러앉은 식탁에서 이름과 얼굴, 목소리를 잇기

친구 넷이 모여 식사하는 자리는 사람도 많고 말도 겹칩니다. 사용자가 참석자를 한 명씩 소개하자 SeedRealtime은 외모를 근거로 이름과 얼굴을 연결합니다. 밝은 머리색의 Qiqi와 안경을 쓴 Julia를 알아보고, Lele에게는 먼저 인사를 건넵니다. 이후 이어지는 대화 내내 각자의 목소리를 그 사람의 신원에 계속 묶어 둡니다.

이야기가 여행으로 넘어가면서 요구사항이 차례로 쏟아집니다. 한 사람은 해변에서 사진을 찍고 수족관에 가고 싶어 하고, 다른 사람은 더위와 번거로움이 싫다고 하고, 또 다른 사람은 해산물 알레르기가 있습니다. SeedRealtime은 어느 발언이 누구의 것인지를 구분한 뒤, 모두의 요구를 반영한 여행 계획을 내놓습니다. 사람을 알아보는 일과 목소리를 가려내는 일, 각자의 요구를 이해하는 일이 같은 대화 안에서 하나의 모델로 실시간 처리됩니다.

중국어 메뉴판 앞에 앉은 외국인 손님

쓰촨 식당에서 중국어로만 적힌 메뉴판을 마주한 외국인 손님이 다음 장면입니다. SeedRealtime은 화면에서 곧바로 요리를 식별해 영어로 추천하고, 문화적 배경까지 끌어와 위샹러우쓰(鱼香肉丝)에는 왜 생선이 들어가지 않는지, 송화단은 어떻게 만드는지 를 설명합니다.

종업원이 접시를 내려놓으며 지나가듯 밥이랑 먹으면 딱이에요 라고 말하는 대목이 특히 이 능력을 잘 보여줍니다. 모델은 그 말을 화면에 놓인 요리라는 맥락 안에서 이해한 뒤 손님에게 통역합니다. 시각 정보를 먼저 텍스트로 바꿀 필요 없이 같은 모델 안에서 음성과 정렬되기 때문에, 눈앞에 있는 것을 근거로 답할 수 있다는 설명입니다.

먼저 말을 거는 모델, 계속 지켜보다 필요한 순간에 끼어드는 능동적 상호작용

두 번째 축은 사용자가 먼저 말을 걸 때까지 기다리지 않고, 장면의 변화를 근거로 개입 여부를 스스로 정하는 능력입니다. 모델이 과제를 맥락에 담아 두고 있다가 목표가 등장하는 순간 반응한다는 점, 그리고 필요하면 도구 호출을 응답 안에 함께 엮는다는 점이 핵심입니다.

박물관에서 유물이 화면에 들어오는 순간 알려주기

허베이 박물관 전시를 둘러보던 사용자가 호랑이가 사슴을 무는 형상의 금은 상감 청동 병풍 받침이 보이면 알려줘 라고 부탁합니다. 카메라가 계속 움직이는 동안 SeedRealtime은 장면을 지켜보다가, 그 유물이 화면에 들어오는 순간 먼저 알려줍니다.

이후에는 시각적 세부를 근거로 네 마리 용과 네 마리 봉황을 새긴 금은 상감 청동 탁자 받침, 장신궁등(長信宮燈) 같은 박물관의 대표 소장품을 설명하고, 주조와 금은 상감, 용접 같은 공예 기법까지 이어 갑니다. 시연 영상에서 모델은 장신궁등을 중국 제일의 등으로 불리는 장신궁등입니다 라고 소개합니다. 과제를 맥락에 유지한 채 목표가 등장하는 순간 알려 준다는 것이 연속적인 시각 지각과 능동적 상호작용의 정의에 해당한다고 ByteDance Seed는 설명합니다.

에스프레소 머신 앞에서 실수를 잡아내기

복잡한 에스프레소 머신을 다루는 장면에서는 시각 상태의 변화를 근거로 실수를 바로잡고 피드백을 줍니다. 사용자가 통원두를 그대로 포터필터에 붓는 것을 본 모델은 곧바로 지적합니다. 원두를 그대로 부으면 안 되고, 먼저 곱게 갈아야 합니다.

추출이 끝난 뒤에는 크레마의 색과 잔에 담긴 액체의 양을 시각적으로 읽고 다음에는 추출 시간을 2~3초 줄이라 고 먼저 제안합니다. 사용자가 단계마다 묻지 않아도 실제 상황을 근거로 의견을 낼 수 있다는 점을 보여주는 장면입니다.

ResNet 논문을 함께 읽으며 학습 설정 절을 찾아 주기

개발자 입장에서 가장 눈에 들어오는 시연은 ResNet 논문을 함께 읽는 장면입니다. 모델은 네트워크 다이어그램을 근거로 스킵 연결(Skip Connection)이 그래디언트 소실(Vanishing Gradient)을 어떻게 완화하는지 설명합니다.

이어서 사용자가 학습 파라미터 부분 나오면 알려줘 라고 부탁하자, 페이지가 빠르게 넘어가는 화면을 계속 지켜보다가 3.4 Implementation 절을 정확히 찾아내 스스로 멈추고, 학습률(learning rate)과 모멘텀(momentum), 가중치 감쇠(weight decay) 같은 핵심 학습 설정을 읽어 줍니다. 연속적으로 흘러가는 프레임 안에서 목표를 찾아내고 스스로 멈추는 동작이, 상호작용에서의 능동적 협업을 보여주는 대목입니다.

소음과 잡담 속에서 말할 때를 정하는 자연스러운 대화 타이밍

세 번째 축은 턴 판정을 외부 VAD 규칙에 넘기지 않고 멀티모달 정보를 근거로 계속 결정하는 능력입니다. 끼어드는 편이 나을 때는 주저하지 않고, 조용히 있는 편이 나을 때는 말을 끊지 않는다는 것이 목표입니다.

베이징 다싱 공항의 잡담과 안내 방송 사이에서

베이징 다싱 국제공항은 사람이 많고 시끄럽습니다. 동행이 잡담 중에 라오리 비행기 를 지나가듯 언급하지만, 모델은 자신과 무관한 이 발언에 반응하지 않습니다.

사용자가 실제로 물었을 때가 흥미롭습니다. 항공편 정보는 이미 화면에서 스크롤되어 사라진 뒤인데도, 모델은 앞서 본 출도착 안내판 정보를 근거로 실시간 도착 시각을 답합니다. 수하물 수취대 위치는 온라인 검색으로 채워 넣습니다. 이어서 두 사람이 걸으며 추억을 나누는 동안에도 눈앞의 장면을 계속 지켜보다가, 차량 호출 표지판을 발견하자 승차 지점 안내를 자연스럽게 덧붙입니다. 소음이 걸러 내야 할 방해물이기만 한 것이 아니라, 잡담 속의 핵심 정보도 붙잡아 두었다가 필요할 때 꺼내 쓸 수 있다는 점을 보여줍니다.

아빠의 통화 소리 옆에서 아이의 발음만 따라가기

마지막 장면은 가정입니다. 다른 일로 바쁜 엄마가 SeedRealtime에게 딸의 동물 이름 영어 학습을 부탁합니다. 배경에서는 아빠가 통화 중이라 사람 목소리가 계속 들리지만, 모델은 이 무관한 대화에 끌려가지 않습니다.

아이가 가리키는 곳을 일관되게 따라가면서 발음을 실시간으로 교정하고 예문을 만들어 줍니다. 말해야 할 때 주저하지 않고, 간섭이 있을 때 흔들리지 않는다는 것이 이 시연의 요지입니다.

하나의 모델 안에서 지각과 이해, 판단, 표현을 동시에 돌리는 구조

기술적인 설명은 블로그가 아니라 SeedRealtime 모델 페이지의 Technology Implementation 절에 조금 더 담겨 있습니다. 분량은 짧지만 방향은 분명합니다.

모델 쪽에서는 지각과 이해, 판단, 응답 생성이 모두 하나의 모델 안에서 일어나는 종단간 통합 오디오 비주얼 모델링 프레임워크를 채택했습니다. 다단계 캐스케이드 시스템이 만들어 내는 정보 손실과 오류 누적을 줄이는 것이 목적입니다. 여기에 더해 전이중 상호작용을 기본으로 지원하며, 대화 상태와 타이밍을 계속 모델링해 실시간 주고받기를 매끄럽게 만든다고 설명합니다.

엔지니어링 쪽에서는 두 가지를 언급합니다. 하나는 청크 단위 오디오 비주얼 입력(Chunked Audio-Visual Input) 과 스트리밍 생성(Streaming Generation) 으로, 응답 시간을 줄이기 위한 저지연 최적화입니다. 다른 하나는 양자화(Quantization) 와 추론 최적화로 서빙 효율을 개선했다는 내용입니다. 앞서 Seeduplex 발표에서 추측 디코딩(Speculative Decoding)과 양자화로 비용과 지연의 균형을 맞췄다고 밝힌 것과 같은 결의 접근입니다.

여기까지가 공개된 전부입니다. 모델 크기도, 시각 인코더 구성도, 오디오 토크나이저 설계도, 영상 프레임을 초당 몇 장이나 어떤 해상도로 받는지도 나와 있지 않습니다. 청크 크기나 실제 종단간 지연 수치 역시 마찬가지입니다. 대화 상태 모델링을 어떤 형태로 구현했는지, 즉 별도의 상태 토큰을 두는지 아니면 응답 여부 자체를 매 스텝 예측하는지도 알 수 없습니다. Moshi처럼 구조를 논문과 코드로 함께 공개한 사례와 비교하면 확인 가능한 정보의 폭이 크게 다릅니다.

공개된 것과 공개되지 않은 것

정리하면 이번 발표에서 공개된 것은 두 개의 소개 페이지와 일곱 개의 시연 영상, 그리고 캐스케이드 대비 대화 타이밍 문제 절반 감소 라는 자체 사람 평가 결과 한 줄입니다. 공개되지 않은 것은 그 밖의 거의 전부입니다.

모델 가중치: 공개되지 않았습니다. ByteDance Seed의 GitHub 조직에는 여러 오픈소스 모델이 올라와 있지만 SeedRealtime은 포함되어 있지 않습니다.
기술 보고서나 논문: arXiv를 포함해 어디에도 공개되지 않았습니다. 앞선 Seeduplex도 마찬가지로 블로그 발표만 있었습니다.
공개 API나 가격: 언급이 없습니다. 접근 경로는 현재 Doubao 앱뿐입니다.
다국어 지원 범위: 시연은 중국어 환경이고, 영어 대응은 쓰촨 식당 장면처럼 통역 상황에서만 확인됩니다. 한국어를 포함한 다른 언어에서 어느 수준인지는 알 수 없습니다.
벤치마크 표: 없습니다. Seeduplex 때 제시했던 MOS 비교표에 해당하는 자료가 SeedRealtime에는 아직 나오지 않았습니다.
비교 대상의 정체: 캐스케이드 모델 대비 라고만 되어 있고, 그 캐스케이드 모델이 자사 이전 버전인지 외부 시스템인지 밝히지 않았습니다.

직접 써 보는 경로는 중문 페이지에만 안내되어 있습니다. Doubao 앱을 최신 버전으로 업데이트한 뒤 대화창에서 전화 걸기(打电话) 를 선택하고 영상 통화 화면으로 들어가면 됩니다. 다만 Doubao는 중국 시장용 서비스이고 공개된 시연도 모두 중국어 환경이라, 국내에서 그대로 재현해 보기는 쉽지 않습니다.

이런 조건에서 같은 방향의 기술을 직접 만져 보고 싶다면 공개된 대안 쪽이 현실적입니다. 오디오와 영상, 텍스트를 함께 다루는 옴니모달(Omni-Modality) 모델로는 Qwen3-Omni와 MiniCPM-o가 가중치와 코드를 함께 공개하고 있고, 전이중 음성 대화 구조 자체를 뜯어보려면 Moshi가 가장 참고할 만한 공개 구현입니다. 조립형으로 실시간 파이프라인을 세우는 쪽이라면 Pipecat이나 LiveKit Agents, 상용 API로는 OpenAI Realtime API와 Gemini Live API가 있습니다. 서빙 단계에서 옴니모달 모델을 다루는 문제는 vLLM 진영에서도 별도로 다루고 있습니다.

vLLM에서 옴니모달 모델을 서빙하는 접근에 관해서는 다음 글을 참고해주세요:

vLLM팀, 실시간 음성 상호작용 등, 옴니모달(Omni-Modality) 모델 서빙을 위한 vLLM-Omni 공개 읽을거리&정보공유

[vLLM-Omni: 실시간 음성 상호작용 등, 멀티모달 모델 서빙을 위한 새로운 프레임워크 공개] vLLM-Omni 소개 vLLM 팀은 텍스트 중심의 AI 서빙을 넘어, 음성 및 영상과 같은 멀티모달 데이터를 실시간으로 처리할 수 있는 새로운 프레임워크인 vLLM-Omni를 공개했습니다. 최근 AI 분야의 트렌드는 단순한 텍스트 채팅을 넘어, 보고 듣고 말하는 '옴니-모달(Omni-Modality)' 에이전트로 진화하고 있습니다. 하지만 기존의 오픈소스 서빙 엔진들은 주로 텍스트 기반의 자기회귀(Autoregressive, AR) 작업에만 최적화되어 있어, 이러한 복합적인 데이터를 실시간으로 처리하는 데 한계가 있었습니다. vLLM-Omni는 이러한 격차를 해소하기 위해 설계되었습니다. 이 시스템은 텍스트뿐만 아니라 오디오와 이미지 입출력을 지원하며, 특히 실시간 음성 상호작용(Speech-to-Speech) 에 최적화된 엔드투엔드(End-to-End) 파이프라인을 제공합니다…

그렇더라도 이번 발표에서 눈여겨볼 지점은 성능 수치보다 배포 방식입니다. 전이중 오디오 비주얼 상호작용을 연구 데모가 아니라 대규모 소비자 앱에 그대로 얹었다는 사실 자체가, 이 기술의 지연과 비용, 안정성이 이미 서비스 가능한 수준에 도달했다는 신호이기 때문입니다. Seeduplex를 넉 달 만에 오디오 비주얼로 확장한 속도 역시 같은 맥락에서 읽힙니다.

ByteDance Seed가 밝힌 앞으로의 방향

ByteDance Seed는 현실의 오디오 비주얼 소통이 복잡하고 연속적이라는 점을 전제로, 네 가지 방향으로 계속 나아가겠다고 밝혔습니다.

더 낮은 지연과 더 자연스러운 타이밍: 듣고, 이해하고, 응답하기까지의 종단간 지연을 계속 압축해 끼어들기와 맞장구, 쉼 같은 실제 대화의 미세한 리듬을 자연스럽게 재현하는 것이 목표입니다. 단순히 더 빠른 것이 아니라 더 잘 맞춘 타이밍을 지향한다고 표현했습니다.
더 능동적인 지각과 판단: 영상과 소리에 대한 연속적 이해를 바탕으로 언제 알려 주고, 언제 정보를 보태고, 언제 사용자에게 필요한 정보를 정확히 건넬지를 스스로 판단하도록 만드는 방향입니다. 적절할 때 말할 뿐 아니라 적절할 때 행동하는 모델을 목표로 두었습니다.
복잡한 다자 대화 상황에서의 견고함: 소음이 있고 여러 사람이 화면에 잡히며 여러 사람이 동시에 말하는 환경에서, 누가 말하고 있고 무엇을 보고 있으며 누구에게 답해야 하는지를 안정적으로 식별하는 능력을 더 많은 생활과 업무 상황으로 확장하겠다는 것입니다.
대화하는 모델에서 행동하는 모델로: 도구 호출을 실제 세계와 연결해, 소통하고 관찰하는 데 그치지 않고 검색과 예약, 작업 완수까지 도와주는 방향입니다. 실시간 멀티모달 이해를 구체적인 행동으로 바꾸는 것이 마지막 목표로 제시되었습니다.

발표문은 아래 문장으로 끝납니다.

"AI 상호작용이 뚜렷한 턴 안의 질의응답에 머무르지 않고, 연속적으로 변하는 실제 상황에서 맥락을 이해하고 타이밍을 예민하게 포착해 적절한 순간에 도움을 주기를 바랍니다."

"We hope AI interaction will no longer be limited to turn-based question answering, but instead understand context in continuously changing real-world situations, grasp timing sensitively, and offer help at the right moment."

SeedRealtime 소개 블로그

SeedRealtime 모델 소개 홈페이지

Seeduplex 소개 블로그

Seeduplex 모델 페이지

더 읽어보기

이 글은 GPT 모델로 정리한 초안을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 댓글로 알려주시기를 부탁드립니다.

이 글이 유용하셨다면 아래쪽 좋아요를 눌러주세요 — 파이토치 한국 사용자 모임이 새로운 소식을 정리하고 공유하는 데 힘이 됩니다!