[GN] MLC LLM - LLM모델을 어떤 디바이스에든 배포 가능하게 해주는 오픈소스 솔루션

GeekNewsxguru 님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. :smiley_cat:


소개

image

  • 누구나 AI 모델을 개발하고 최적화해서 어떤 디바이스에든 배포 가능하게 만드는 것을 목표
  • MLC(Machine Learning Compilation) 와 Apache TVm Unity 를 이용
  • 지원 플랫폼
    • 아이폰/아이패드/안드로이드
    • Metal GPU 와 Intel&ARM 맥북
    • AMD/Intel 및 NVidia GPU(윈도우/리눅스에서 Vulkan)
    • NVidia GPU(윈도우/리눅스에서 CUDA)
    • 브라우저의 WebGPU

원문

출처 / GeekNews