PyTorchKR
load-balancing
글
댓글
조회수
활동
vLLM Router: 세션과 캐시를 고려해 추론 요청을 분산하는 라우터
읽을거리&정보공유
rust
,
vllm
,
kv-cache
,
llm-serving
,
disaggregated-inference
,
vllm-router
,
load-balancing
0
128
11월 12, 2026