[GN] Whisper 모델로 비교한 Nvidia 4090과 M1/M2/M3에서의 MLX 성능 비교

[9bow (박정환)]

GeekNews의 xguru님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다.

---

소개

• 애플이 공개한 머신러닝 프레임워크 MLX의 성능 벤치마크
• 10분짜리 오디오를 Whisper로 Transcribe
  • M1 Pro(2021모델) + MLX + 32GB 램 : 216초
  • I7 + 4090 + 64GB 램 : 186초
    • 2000€ 짜리 GPU가 M1에 비해 30초(16%) 빠름
  • M2 Ultra(76 GPU) : 95초
  • M3 Max (40 GPU) : 100초
• Nvidia에 최적화된 insanely-fast-whisper 를 사용하면 4090으로 8초만에 끝남
  • 이 모델을 M1에서 돌리면 359초로 더 오래 걸림

원문

Whisper: Nvidia RTX 4090 vs M1Pro with MLX (updated with M2/M3)

출처 / GeekNews

Whisper로 비교한 Nvidia 4090과 M1/M2/M3 with MLX | GeekNews

더 읽어보기

MLX: 애플 전용칩(Apple silicon: M1, M2, M3 등)을 지원하는 새로운 머신러닝 프레임워크

MLX: 애플 전용칩을 위한 머신러닝 프레임워크 / MLX: An array framework for Apple silicon 소개 Apple의 ML팀에서 Apple Silicon용 머신러닝 프레임워크인 MLX를 공개하였습니다. 그것도 무려 MIT 라이선스로 공개하였습니다. 공식 소개에는 MLX를 Array Framework라고 하지만, 문서를 보면 ReLU, Conv, MultiHeadAttention, Embedding 등과 같은 주요 Neural Network의 Layer들은 물론, 최적화를 위한 Optimizer나 Loss 등을 제공하고 있어, 그냥 ML/DL framework라고 불러도 될 것 같습니다. 아래는 공식 문서의 MLP(Multi-Layer Perceptron) 예시인데요, 보시면 NumPy/PyTorch스럽게 모델을 구성하고 학습/추론하는 것을 보실 수 있습니다. import mlx.core as mx im…