안녕하세요. 긴 방송 영상을 짧은 클립으로 만들어 주는 SceneMaker를 개발하고 있습니다. 2026 아이치·나고야 아시안게임 때 SBS와 함께 야구 대표팀 경기에 적용했는데, 자동으로 만든 클립 초안 79개를 운영자가 검수해서 SBS의 AI PICK 페이지에 올렸습니다. 전체 정량 평가는 아직 진행 중입니다.
개발하면서 한국 방송 음성이 특히 까다로웠는데, 그중 결과가 의외였던 실험을 하나 공유합니다. 배경음악과 함성이 늘 깔려 있으니 디노이즈를 하면 언어 판별도 좋아질 거라고 생각했는데, 오히려 떨어졌습니다.
뉴스, 다큐, 드라마, 사극, 예능, 야구 6편에서 나온 발화 구간 3,115개의 결과입니다.
| 모델 | 원본 음성 | 디노이즈 후 |
|---|---|---|
| Whisper | 95.2% | 93.4% |
| VoxLingua107 | 88.9% | 87.0% |
Whisper 기준으로 음악이 많은 예능(502개 중 464개 → 438개)과 사극(437개 중 411개 → 386개)에서 많이 떨어졌습니다. 공개 정답셋이 없는 영상이라 구간별 검수 시트로 센 값이고, 참고용으로 봐 주시면 좋겠습니다. 디노이즈는 DeepFilterNet v3를 썼습니다.
그래서 지금은 구간 분리와 언어 판별은 원본 음성으로 하고, 전사에만 디노이즈한 음성을 넣습니다.
실험 도구는 MIT 라이선스로 공개해 두었고, GPU가 있으면 가지고 있는 wav 파일로 바로 돌려 볼 수 있습니다.
- 실험 코드: GitHub - SceneMakerAI/poc-lid-bench: LID model comparison — Whisper LID vs VoxLingua107 (raw vs denoise) · GitHub
- 실험 문서: 한국어 콘텐츠 LID 정확도 비교 — Whisper vs VoxLingua107 | SceneMakerAI
- 야구 클립: SBS 나고야 아시안게임 : AI PICK : SBS
솔박스와 SBSi가 2026년 NIPA 오픈소스 AI·SW 개발·활용 지원사업으로 진행하고 있습니다.
잡음이 많은 한국어 음성에서 언어 판별을 다뤄 보신 분이 있다면, 어떤 방식이 잘 맞았는지 듣고 싶습니다.