[GN] Carton - 다양한 언어에서 ML모델을 하나의 API로 실행하기

9bow · 11월 29, 2023, 5:50오전

GeekNews의 xguru님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다.

소개

다양한 ML 프레임워크를 위한 오픈소스 API
- PyTorch, Tensorflow, Keras, ONNX, ...
모델을 메타데이터와 함께 하나의 Zip 파일로 압축한 뒤, 해당 파일을 로딩
추론 코드는 프레임워크와 무관하게 동작 가능. Carton API를 호출하면 Carton이 프레임워크 내부를 호출
Rust 로 구현되고, 각 언어용 바인딩을 제공
- 지원 중: C, C++, Python, Rust,
- 지원 예정: C#, Java, Javascript, Typescript, Golang, Swift, Ruby, PHP, Kotlin, Scala
x86_64 Linux 와 macOS, aarch64 Linux 와 macOS, WebAssembly 지원
모델을 변환하는 ONNX와 달리 Carton 은 변환하지 않고 Wrapping 만 함