LLM Price Compass🧭, 클라우드 제공 업체에 따른 LLM 추론 비용 비교

[9bow (박정환)]

LLM Price Compass 소개

LLM(대규모 언어 모델)을 활용하는 비용이 모델과 클라우드 제공 업체에 따라 크게 달라질 수 있습니다. LLM Price Compass 프로젝트는 다양한 GPU와 클라우드 제공 업체에서 벤치마크 데이터를 수집하고 이를 토큰당 고정 비용과 비교하여, 최적의 GPU와 클라우드 제공 업체를 선택할 수 있도록 돕습니다.

LLM Price Compass 도구는 오픈 소스 프로젝트로, 다양한 클라우드 제공 업체에서 제공하는 GPU 성능을 벤치마크하고, 각 모델의 추론 비용을 비교합니다. 예를 들어, Llama 3.1 모델의 8b 및 70b 버전 간의 비교 데이터를 제공하여, 개발자들이 자신에게 맞는 GPU와 클라우드 제공 업체를 선택하는 데 도움을 줍니다. 이 프로젝트는 주로 대규모 언어 모델을 자주 사용하는 AI 연구자나 개발자들을 대상으로 하며, 최적의 성능과 비용 절감을 목표로 하고 있습니다.

현재 Llama-3.1 Instruct 8B 및 70B 모델에 대해서 7곳(+ Databricks)의 가격을 비교하고 있으며, 참여자들의 기여에 따라 제공 업체 및 모델은 늘어날 수 있습니다.

LLM Price Compass 홈페이지

https://compass.arc53.com/

LLM Price Compass GitHub 저장소

GitHub - arc53/llm-price-compass: LLM provider price comparison, gpu benchmarks to...

---

이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다.

파이토치 한국 사용자 모임이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일로 보내드립니다! (기본은 Weekly지만 Daily로 변경도 가능합니다.)

아래쪽에 좋아요를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~