# \#speaker-diarization **URL:** https://discuss.pytorch.kr/tag/speaker-diarization/5415.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [hayamimi: GPU와 클라우드 없이 CPU만으로 실시간 다국어 자막을 만드는 음성 인식 도구](https://discuss.pytorch.kr/t/hayamimi-gpu-cpu/11798)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [9월 7, 2026, 3:30오전 UTC](https://discuss.pytorch.kr/t/hayamimi-gpu-cpu/11798 "2026-09-07T03:30:19Z")
hayamimi 소개 회의나 방송을 실시간으로 받아 적어야 하는 상황에서 지금 선택할 수 있는 길은 대체로 두 가지입니다. 하나는 클라우드 음성 인식(Speech Recognition, ASR) API를 붙여 분당 요금을 내는 것이고, 다른 하나는 Whisper 계열 모델을 로컬에 올려 GPU에서 실행하는 것입니다. 두 번째 길에서 GPU를 뺄 수 없다는 점이 문제가 됩니다. 노트북과 사무용 데스크톱에는 대개 쓸 만한 GPU가 없고, 그렇다고 CPU에서 Whisper를 실행하면 실시간에 못 미쳐 자막이 말보다 늦게 따라옵니다. 발화가 끝나고 한참 지나서 글자가 표시되는 자막은 회의 중계나 방송 송출에는 쓸 수 없습니다. 이번에 소개할 hayamimi는 이 제약을 모델 한 개의 성능으로 해결하는 대신, 발화마다 언어를 판별해 그 언어 전용 모델로 보내는 라우팅으로 우회하는 프로젝트입니다. 모든 모델은 INT8로 양자화(Quantization)된 ONNX 형태이고 sherpa-onnx 런타임(Runtime)에서 실행되므로, PyTorch도 CUDA도 설치하지 않습니다. 저장소 이름인 早耳(하야미미)는 일본어로 소식을 빨리 듣는 사람을 뜻하는데, 개발자는 이를 설계 목표로 삼았다고 설명하고 있습니다. 말하는 중에 임시 자막이 먼저 표시되고, 말을 멈춘 뒤 약 100밀리초 후에 확정 자막이 확정되는 동작이 그 목표의 구체적인 형태입니다. hayamimi를 사용하기 위해서는 파이썬 3.10 이상과 ffmpeg만 준비하면 되고, 모델 가중치는 저장소에 들어 있지 않아 설치 스크립트가 원 배포처에서 내려받습니다. 개발과 테스트는 Windows 11에서 이뤄졌고 macOS와 Linux는 런타임이 모두 크로스 플랫폼이라 동작할 것으로 보지만 종단 간 CI 검증은 아직 없다고 개발자가 밝혔습니다. 이번 게시물에서는 언어별 라우팅 구조와 두 번 훑기 방식, 그리고 개발자가 같은 음성으로 whisper-large-v3-turbo와 직접 맞붙여 공개한 수치를 정리… --- ## [Senko: 빠르고 정확한 화자 분리(Speaker Diarization) 파이프라인](https://discuss.pytorch.kr/t/senko-speaker-diarization/7695)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [9월 9, 2025, 4:00오전 UTC](https://discuss.pytorch.kr/t/senko-speaker-diarization/7695 "2025-09-09T04:00:57Z")
Senko 소개 Senko는 오디오 데이터에서 \*\*“누가 말했는지”\*\*를 자동으로 구분하는 화자 분리(Speaker Diarization) 파이프라인입니다. 회의 녹음, 팟캐스트, 유튜브 영상 분석처럼 여러 사람이 대화하는 음성 데이터에서는 화자별 구분이 필수적입니다. Senko는 기존 방식보다 훨씬 빠르고 정확하게 이를 수행할 수 있어, 실시간 응용부터 대량 데이터 처리까지 폭넓게 활용 가능합니다. 특히 속도 면에서 큰 강점을 가지고 있습니다. 예를 들어, RTX 4090과 Ryzen 9 7950X 환경에서는 1시간 분량의 오디오를 단 5초 만에 처리할 수 있으며, 이는 Pyannote 3.1 대비 약 17배 가량 빠릅니다. Apple M3에서도 1시간을 23.5초 만에 처리할 수 있어 GPU와 CPU 환경 모두에서 효율적입니다. Senko는 Zanshin 미디어 플레이어에 내장되어 실제 사용자 환경에서 사용되고 있으며, 연구용을 넘어 실용적 도구로 자리 잡고 있습니다. 또한 Pyannote 기반 모델을 부분적으로 활용하면서도 파이프라인 전반을 최적화하여 더 높은 속도와 효율성을 달성했습니다. Senko의 기술적 구조 Senko는 3D-Speaker 프로젝트 기반으로 개선된 파이프라인입니다. VAD: Pyannote segmentation-3.0 또는 Silero VAD Fbank 특성 추출: C++ 기반, 모든 CPU 코어 활용 화자 임베딩: CAM++ 모델의 배치 처리 클러스터링: GPU 환경에서는 RAPIDS로 가속 가능 Senko의 언어 의존성 여부 일반적으로 화자 분리 기술은 음성의 언어적 의미보다 음향적 특징(목소리의 톤, 주파수, 발화 패턴 등) 에 의존합니다. Senko 역시 이 원리에 따라 작동하기 때문에 언어 비의존적(language-agnostic) 입니다. Senko는 영어(VoxConverse 데이터셋) 및 중국어(AISHELL-4 데이터셋)의 두 가지 언어에서 벤치마크 평가를 진행했고, 모두 기존 Pyannote보다 낮은… --- ## [WhisperLiveKit: 실시간 음성 인식(STT), 번역 및 화자 분리 등을 로컬에서 실행할 수 있는 오픈소스 툴킷](https://discuss.pytorch.kr/t/whisperlivekit-stt/7622)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [9월 1, 2025, 9:30오전 UTC](https://discuss.pytorch.kr/t/whisperlivekit-stt/7622 "2025-09-01T09:30:35Z")
WhisperLiveKit 소개 WhisperLiveKit은 실시간 음성 인식(Speech-to-Text), 번역, 그리고 화자 분리(Speaker diarization)를 로컬 환경에서 실행할 수 있는 오픈소스 툴킷입니다. 이 프로젝트는 웹 브라우저에서 직접 결과를 확인할 수 있도록 서버와 간단한 웹 UI까지 제공하며, 기존 OpenAI Whisper 모델이 가진 ‘실시간 인식의 한계’를 극복하기 위해 최신 연구 결과를 적극적으로 반영했습니다. 단순히 오디오를 짧은 청크 단위로 나누어 Whisper를 실행하는 방식은 문맥을 잃고, 단어가 끊어지며, 인식 품질이 저하된다는 문제가 있습니다. WhisperLiveKit은 SimulStreaming, WhisperStreaming, Streaming Sortformer 등 최첨단 스트리밍 기술을 통합하여 이러한 문제를 해결하고 있습니다. 이 프로젝트는 단순히 “Whisper를 빠르게 돌릴 수 있다”는 수준이 아니라, 화자 인식과 음성 활동 감지(Voice Activity Detection, VAD)까지 포함해 실제 서비스 배포에 적합한 아키텍처를 제공합니다. 또한 로컬에서 완전히 작동하기 때문에 개인정보 보호 측면에서도 장점이 있으며, 클라우드 API 비용 없이도 활용할 수 있습니다. 이 툴은 회의 기록, 실시간 자막 생성, 고객 상담 기록 분석, 팟캐스트/영상 자동 전사 등 다양한 분야에 바로 적용할 수 있습니다. 특히 청각 장애인 보조 도구나 고객센터에서 화자 분리가 필요한 환경에서 유용하게 활용할 수 있습니다. WhisperLiveKit은 기본적으로 OpenAI의 Whisper 모델을 기반으로 하지만, 단순 Whisper 실행과는 달리 실시간 스트리밍과 화자 분리 기능이 강화되어 있습니다. 기존 Whisper: 오디오 파일 단위로 처리 → 실시간 스트리밍 불가, 문맥 단절 발생 WhisperStreaming: 지연을 줄인 실시간 인식 제공 → 하지만 화자 분리 기능은 제한적 Diart, Sort…