|
vLLM Router: 세션과 캐시를 고려해 추론 요청을 분산하는 라우터
|
|
0
|
148
|
11월 12, 2026
|
|
DeepInfer: DeepSeek이 V4.1-Flash 모델의 서비스에 사용하는 추론 프레임워크 (단, 오프라인 추론만 공개 😅)
|
|
1
|
291
|
10월 23, 2026
|
|
Pie: KV 캐시와 디코딩 루프를 사용자 프로그램에 맡기는 오픈소스 LLM 서빙 시스템 (feat. SOSP 2025)
|
|
0
|
192
|
10월 18, 2026
|
|
vLLM과 SGLang 중 무엇을 골라야 할까? Red Hat이 공개한 PagedAttention과 RadixAttention의 차이와 벤치마크 해석법
|
|
0
|
400
|
10월 17, 2026
|
|
Kaggle TPU Lab: 무료 Kaggle TPU에서 320B 크기의 GLM-5.3-Flash을 서빙하는 코딩 에이전트용 API 레시피 저장소
|
|
0
|
382
|
9월 17, 2026
|
|
E-P-D 분리 서빙: 비전 인코더를 떼어내 TTFT를 최대 93% 줄이는 조건과 오히려 느려지는 조건 (feat. NVIDIA Dynamo)
|
|
0
|
331
|
9월 10, 2026
|
|
Reef: 에이전트가 서비스되는 동안 모델 가중치와 하네스를 계속 갱신하는 지속 학습 인프라
|
|
0
|
223
|
9월 7, 2026
|
|
Mooncake: Kimi를 떠받치는 KVCache 중심 분리형 LLM 서빙 플랫폼
|
|
0
|
624
|
6월 30, 2026
|
|
Club-3090: RTX 3090 GPU에서 vLLM, llama.cpp, SGLang으로 LLM을 서빙하는 커뮤니티 레시피 모음
|
|
0
|
607
|
5월 4, 2026
|
|
Dynamo: NVIDIA가 공개한 고성능 AI 추론 프레임워크
|
|
0
|
1604
|
3월 20, 2025
|
|
[GN⁺] RouteLLM - LLM 라우터 서빙 및 평가를 위한 프레임워크
|
|
0
|
1003
|
7월 12, 2024
|