GeekNews의 xguru님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. 
Speakz: 다국어 미디어 번역 서비스
![[GN⁺] Speakz - 7살 아이와 함께 외국어 동영상을 보기 위해 제작한 AI 더빙 도구](https://discuss.pytorch.kr/uploads/default/original/2X/6/638f823c2865db5260a96f63b89e815b1b883e76.jpeg)
- 한 언어로 된 비디오를 다른 언어로 번역하여 새로운 오디오 트랙을 생성
- 원본의 목소리, 기타 소리 또는 배경 음악을 보존하면서 의미, 개성, 타이밍을 조화롭게 맞춰 자연스럽고 진정성 있는 번역을 제공
- 개발자는 독일인인 자신과 7세 딸이 YouTube 콘텐츠를 독일어로 즐길 수 있도록 도구를 만듦
지원 언어 및 번역 속도
- 출력 언어: 영어, 중국어, 스페인어, 아랍어, 프랑스어, 러시아어, 독일어, 이탈리아어, 한국어, 폴란드어, 네덜란드어를 지원
- 입력 언어: 추가적으로 힌디어, 벵골어, 포르투갈어 등 다양한 언어를 지원
- 30분짜리 비디오를 번역하는 데 약 1시간이 소요되며, 실시간 번역 및 스트리밍을 향한 발전 가능성이 있음
크리에이터와 일반 사용자를 위한 활용
- 크리에이터는 Speakz를 사용하여 기존 콘텐츠로 더 많은 오디언스에게 다가갈 수 있음
- YouTube는 비디오에 여러 오디오 트랙을 추가하는 것을 지원하므로 Speakz를 통해 자동으로 다양한 언어의 오디오 트랙을 추가할 수 있음
- 일반 사용자도 개인 베타에 참여하여 원하는 비디오를 번역할 수 있음
비용 및 프라이빗 베타 참여
- 비용은 아직 확정되지 않았으나, 언어당 시간당 약 5달러가 될 것으로 예상됨
- 동일한 비디오를 여러 언어로 번역하거나 크리에이터를 위한 대량 할인이 있을 수 있음
- 프라이빗 베타에 참여하고자 하는 사용자는 웹사이트를 통해 신청할 수 있음
GN⁺의 의견
- Speakz는 다언어 콘텐츠 소비를 원하는 사용자와 글로벌 시장을 목표로 하는 크리에이터 모두에게 유용한 도구임
- 실시간 번역 기능은 라이브 스트리밍이나 실시간 이벤트에서의 언어 장벽을 허물 수 있는 잠재력을 가짐
- 비슷한 기능을 제공하는 다른 서비스로는 Google의 자동 자막 기능이나 Amara와 같은 커뮤니티 기반 번역 플랫폼이 있음
- Speakz를 도입할 때는 번역의 정확성과 문화적 뉘앙스를 고려해야 함
- 이 기술을 선택함으로써 얻을 수 있는 이점은 언어 장벽 없는 콘텐츠 접근성이지만, 비용과 번역 품질에 대한 고려가 필요함
Hacker News 의견
- 독일에서는 비디오를 대부분 더빙하지만, 7세 아이도 자막을 읽을 수 있을 것이며, 이는 영어 학습에 좋은 방법이라는 의견이 있음. 스웨덴에서는 학교에 들어가기 전에 대부분의 아이들이 이 방법으로 영어를 배운다고 함. 또한, 더빙이 흔한 나라일수록 평균 영어 능력이 낮은 경향이 있다는 강한 상관관계가 있다는 주장이 제시됨.
- 웹사이트의 샘플이 인상적이며, 스피커 구분과 음성 복제가 어떻게 이루어지는지에 대한 질문이 있음. 음성 인식과 시간 단서를 사용하여 문장 단위로 나누고, 번역 엔진을 사용하여 다양한 번역안을 제공하며, 언어에 관계없이 원본 음성을 복제하고, 가장 시간 매칭이 잘 되는 번역을 선택하는 과정이 포함될 수 있음을 추측함.
- 간단한 영어를 출력 언어 옵션으로 추가해달라는 요청이 있음. 이를 통해 언어 복잡성을 아이들의 수준에 맞추고 점차적으로 지원을 줄여나갈 수 있음.
- 러시아어 사용자가 Lex 샘플의 더빙이 실제와 매우 흡사하다고 칭찬함. 전문 더빙 수준은 아니지만 매우 좋으며, Lex와 Elon의 목소리와도 매우 가깝다고 함.
- 자동 자막 생성 솔루션을 개발한 경험이 있는 사용자가 자동 더빙에 대한 프로젝트를 칭찬함. 자동 더빙은 관객에게 편안한 결과를 위해 수동 조정이 필요하며, 편집 소프트웨어로 돌아가지 않고도 더빙을 미세 조정할 수 있는 고급 편집기 제공에 초점을 맞추고 있음을 설명함.
- 프로젝트에 대한 감탄과 함께, 비디오를 개별적으로 결제할 의향이 있다는 의견이 있음. 페이지 피드백으로는 비디오가 계속 재생되어 같은 부분을 다른 언어로 비교하기 어렵다는 문제점을 지적함. 또한, 번역 오류와 타이밍 문제가 있으며, 원본 오디오의 일부가 번역되지 않는 경우도 있음을 언급함.
- 네덜란드어 더빙이 어린이 TV에서만 경험되었지만, 네덜란드어 모델이 개선이 필요하다는 의견이 있음. 특히 대만 다큐멘터리 더빙이 이해하기 어려웠다고 함. 네덜란드어가 포함된 이유에 대해 의문을 제기하며, 네덜란드어 사용자들이 대부분 영어를 이해한다고 언급함.
- 그리스와 같이 영화와 TV 프로그램이 더빙되지 않는 많은 국가에서는 시각 장애나 노화로 인한 시력 문제가 있는 사람들이 영어를 잘하지 못하면 현지 제작 영화 및 프로그램만 볼 수밖에 없다는 문제를 지적함. 이러한 문제를 해결할 수 있는 프로젝트라고 평가함.
- 오디오 타이밍 방식이 영리하다고 칭찬하며, 어떤 모델을 사용하고 있는지에 대한 질문이 있음.
- 독일 콘텐츠를 보면서 영어 자막이 AI에 의해 생성되었는지 궁금해진 적이 있다는 의견이 있음. 때로는 자막이 독일어보다 더 혼란스럽게 느껴지며, 문맥 단서 등을 사용하는 실제 번역가보다는 자동 생성된 것처럼 보인다고 함.