# \#lmsys **URL:** https://discuss.pytorch.kr/tag/lmsys/2462.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [\[GN⁺\] RouteLLM - LLM 라우터 서빙 및 평가를 위한 프레임워크](https://discuss.pytorch.kr/t/gn-routellm-llm/4809)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [7월 12, 2024, 3:46오전 UTC](https://discuss.pytorch.kr/t/gn-routellm-llm/4809 "2024-07-12T03:46:09Z")
RouteLLM은 LMSys와 Anyscale이 협력하여 개발한 LLM 라우터 serving 및 평가를 위한 프레임워크 핵심 기능: OpenAI 클라이언트를 대체하여 간단한 쿼리를 저렴한 모델로 라우팅 학습된 라우터 제공, 새로운 라우터 확장 및 벤치마크에서 라우터 성능 비교 등 모델 지원 GPT-4와 Mixtral 8x7B 외에도 strong-model과 weak-model 인수를 수정하여 다양한 모델 조합 사용 가능 LiteLLM을 활용해 다양한 오픈소스 및 closed 모델에서 chat completions 지원 OpenAI 호환 엔드포인트도 사용 가능 다양한 모델 제공업체의 API 키 설정 방법 제공 개발 동기 비용과 기능이 다양한 LLM을 배포할 때 고품질 응답을 위해 가장 강력한 모델을 사용하면 비용이 많이 들고, 저렴한 모델을 사용하면 품질이 낮아질 수 있음 LLM 라우팅은 간단한 쿼리를 저렴한 모델로 보내 비용을 절감하면서 품질을 유지하는 솔루션 제공 각 요청에는 비용-품질 tradeoff를 결정하는 cost threshold가 연관됨 서버 RouteLLM은 다양한 라우팅 전략에 따라 요청을 라우팅하기 위한 경량 OpenAI 호환 서버 제공 --routers로 사용 가능한 라우터 목록 지정, --config로 라우터 설정 파일 경로 지정 대부분의 경우 강력하고 가벼운 mf 라우터 사용 권장 클라이언트는 model 필드에 라우터 이름과 threshold를 지정하여 요청 Threshold 보정 라우팅에 사용되는 threshold는 비용-품질 tradeoff를 제어함 라우터 유형과 받는 쿼리에 따라 의미 있는 threshold 범위가 다르므로, 샘플 쿼리와 강한 모델로 보낼 쿼리 비율을 사용해 보정하는 것이 좋음 기본적으로 Chatbot Arena 데이터셋을 기반으로 threshold 보정 지원 실제 수신하는 쿼리 유형과 유사한 데이터셋에서 보정하는 것이 좋음 평가 RouteLLM은 벤치마크에서 다양한 라우팅 전략의 성능… --- ## [RadixAttention과 SGLang을 활용한 LLM 프로그래밍 혁신 (feat. LMSYS)](https://discuss.pytorch.kr/t/radixattention-sglang-llm-feat-lmsys/3318)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [1월 20, 2024, 3:08오후 UTC](https://discuss.pytorch.kr/t/radixattention-sglang-llm-feat-lmsys/3318 "2024-01-20T15:08:38Z")
PyTorchKR​:fire::south\_korea: :thinking::speech\_balloon: 이번 글에서는 LLM을 사용하는데 있어 효율성을 높이기 위한 시도 중 하나인 SGLang과 RadixAttention에 대해서 소개하려고 합니다. 복잡한 LLM 작업을 더 빠르고 효율적으로 수행할 수 있도록 하는 시도 중 하나로, 다양한 활용 사례에 적용하여 기존보다 최대 5배 높은 처리가 가능한 것으로 보입니다. SGLang과 RadixAttention이 각각 어떠한 기술들이고, 속도 및 효율성 향상을 위해 어떻게 접근하고 있는지 같이 한 번 살펴보시죠 :thinking: 이 글은 GPT 모델로 정리한 것으로, 잘못된 부분이 있을 수 있으니 글 아래쪽의 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다. :hugs: SGLang과 RadixAttention 소개 SGLang(Structured Generation Language for LLMs)은 LLM를 위해 만들어진 언어로, 파이썬에 내장된 도메인 특화 언어로, 백엔드 런타임 시스템과 프론트엔드 언어를 공동 설계함으로써 LLM과의 상호 작용을 향상시켜 더 빠르고 더 쉽게 제어하는 것을 목표로 합니다. 이 언어는 프롬프트 기술, 제어 흐름, 다중 모달성, 디코딩 제약 조건 및 외부 상호 작용을 쉽게 표현할 수 있으며, SGLang의 함수는 인터프리터 모드 또는 컴파일러 모드로 실행될 수 있으며, 다양한 백엔드에서 실행될 수 있습니다. RadixAttention은 LLM 호출 시, 자동적이고 및 효율적인 KV 캐시 재사용을 위한 기술입니다. 이는 다양한 KV 캐시 재사용 패턴을 자동으로 수용할 수 있게 함으로써, 복잡한 LLM 프로그램의 실행을 개선합니다. 이 기술은 Radix Tree 구조를 사용하여 효율적인 접두사 검색, 삽입 및 제거를 가능하게 합니다. SGLang의 주요 기능 프롬프트 및 생성 관리 SGLang은 대규모 언어 모델…