Insanely Fast Whisper API: OpenAI의 Whisper Large v3를 클라우드 환경에 배포하는 프로젝트

Insanely Fast Whisper API: OpenAI의 Whisper Large v3를 클라우드 환경에 배포하는 프로젝트

소개

'Insanely Fast Whisper API'는 OpenAI의 Whisper Large v3 모델을 클라우드 환경에 배포하여 음성을 텍스트로 변환하는 API를 제공하는 프로젝트입니다. 이 프로젝트는 :hugs:Hugging Face의 Transformers, Optimum 및 flash-attn을 기반으로 하고 있으며, 빠른 처리 속도를 보입니다.

이 프로젝트는 Insanely Fast Whisper CLI 프로젝트를 기반으로 하며, Docker를 통해 GPU 클라우드 인프라에서 확장 가능한 프로덕션 사용 사례를 위한 매우 빠른 Whisper API를 제공합니다. 특히, 비동기 작업 및 웹훅 기능을 통해 대규모 작업을 효율적으로 관리할 수 있는 기능을 제공하는 등, 클라우드 인프라에서 다수의 GPU를 활용하여 대규모 생산 환경에 적합하게 설계되었습니다.

최근 fly.io의 GPU 서비스 출시에 맞춰 fly.io에서 쉽게 배포할 수 있도록 설정된 구성 파일을 함께 배포하였습니다. 하지만 필요한 경우 GPU와 도커를 지원하는 다른 모든 가상 머신 환경에도 배포할 수 있습니다.

주요 특징

이 프로젝트는 완전히 오픈소스로 공개되었으며, 음성을 텍스트로 빠르게 변환하는 것을 목표로 합니다. 주요한 특징은 다음과 같습니다:

  • :microphone: 빠른 속도로 오디오를 텍스트로 변환

  • :open_book: 완전 오픈 소스 및 GPU 클라우드 제공업체에 배포 가능

  • :speaking_head: 내장된 화자 구분 기능

  • :zap: 사용하기 쉽고 빠른 API 레이어

  • :page_with_curl: 비동기 백그라운드 작업 및 웹훅 지원

  • :fire: 동시성 및 병렬 처리에 최적화

  • :white_check_mark: 작업 관리, 취소 및 상태 엔드포인트 제공

  • :lock: 안전한 API 접근을 위한 관리자 인증

  • :jigsaw: JigsawStack에서 완전 관리형 API 제공

성능 벤치마크

NVIDIA의 A100(80GB)를 사용하여 fly.io의 GPU 인프라에서 수행한 벤치마크 결과입니다:

최적화 유형 150분 분량의 오디오 변환에 걸린 시간
large-v3 (Transformers) (fp16 + batching [24] + Flash Attention 2) ~2분 (1분 38초)
large-v3 (Transformers) (fp16 + batching [24] + Flash Attention 2 + 화자 구분) ~2분 (3분 16초)
large-v3 (Transformers) (fp16 + batching [24] + Flash Attention 2 + fly machine 시작) ~2분 (1분 58초)
large-v3 (Transformers) (fp16 + batching [24] + Flash Attention 2 + 화자 구분 + fly machine 시작) ~2분 (3분 36초)

Fly 머신의 GPU 및 모델 로딩 시작에 약 20초 가량이 소요되며, 나머지 시간은 실제 계산에 사용됩니다.

사용법

Docker hub의 yoeven/insanely-fast-whisper-api 이미지를 활용하여 배포 및 사용할 수 있습니다.

fly.io 및 그 외 클라우드나 로컬 환경에서의 배포 및 제공하는 API 등에 대한 소개에 대한 내용은 GitHub 저장소의 README 문서를 참고해주세요.

라이선스

이 프로젝트는 MIT License로 공개 및 배포되고 있습니다.

더 읽어보기




이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다. :hugs:

:pytorch:파이토치 한국 사용자 모임:kr:이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일:love_letter:로 보내드립니다! (기본은 Weekly지만 Daily로 변경도 가능합니다.)

:gift: 아래:arrow_lower_right:쪽에 좋아요:heart:를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~ :star_struck:

1개의 좋아요