GeekNews의 xguru님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. 
소개
-
OpenAI Whisper 모델을 애플 CoreML 프레임워크와 연동해주는 Swift 패키지
-
애플기기에서 효율적으로 로컬 추론이 가능
-
자체 HuggingFace Repo에 추천 위스퍼 모델을 자동으로 다운로드 함(모델 지정 가능)
- whisperkittools 로 자신의 미세조정 버전을 CoreML 포맷으로 만들어서 이용 가능
-
MIT License로 개인적 / 상업적 사용이 모두 가능
원문
WhisperKit 소개글
GitHub 저장소
WhisperKit 가중치 다운로드 및 성능 평가 결과 (HuggingFace)
WhisperKit + openai_whisper-large-v3 (+optimized variants)
| WER | QoI (%) | File Size (MB) | |
|---|---|---|---|
| openai_whisper-large-v3 | 2.44 | 100 | 3100 |
| openai_whisper-large-v3_turbo | 2.41 | 99.8 | 3100 |
| openai_whisper-large-v3_turbo_1307MB | 2.6 | 97.7 | 1307 |
| openai_whisper-large-v3_turbo_1049MB | 4.81 | 91 | 1049 |
| openai_whisper-large-v3_1053MB | 4.65 | 90.8 | 1053 |
Different Projects + openai_whisper-large-v3
| WER | Commit Hash | Model Format | |
|---|---|---|---|
| WhisperKit | 2.44 | 0f8b4fe | Core ML |
| WhisperCpp | 2.36 | e72e415 | Core ML + GGUF |
| WhisperMLX | 2.69 | 614de66 | MLX (Numpy) |
WhisperKit on iOS 다운로드
Testflight App을 통한 베타 버전 설치 링크