주제에 vllm 태그가 달렸습니다

글	댓글	조회수	활동
vLLM과 SGLang 중 무엇을 골라야 할까? Red Hat이 공개한 PagedAttention과 RadixAttention의 차이와 벤치마크 해석법 읽을거리&정보공유 kv-cache , llm-serving , inference , vllm , sglang , benchmark , red-hat	1	195	10월 18, 2026
ReplaySSM: 상태-공간 모델(SSM)의 상태 쓰기를 줄여 하이브리드 모델 디코딩을 가속하는 NVIDIA 블로그 글 정리 읽을거리&정보공유 mamba , inference , vllm , nvidia , quantization , speculative-decoding , ssm	0	136	10월 13, 2026
GuideLLM v0.8.0 공개, 지연 SLO를 지키는 최대 동시성 탐색과 에이전트 트레이스 재생 (feat. vLLM) 읽을거리&정보공유 vllm , release , agent , benchmark , llm-inference , guidellm , red-hat	0	179	10월 12, 2026
vLLM-Omni 기술 보고서: 음성, 이미지, 영상, 로봇 행동 모델을 한 런타임에서 서빙하는 구조 읽을거리&정보공유 paper , vllm , diffusion , tts , inference-framework , vllm-omni , omni-modality , serving	0	189	10월 10, 2026
vLLM Semantic Router팀, Jev와 유사한 Decision 1.0 기능 및 6개 모델, Decision Studio 공개 읽을거리&정보공유 model-routing , semantic-router , vllm , hugging-face , decision-model , llm , jev	0	363	9월 25, 2026
AIPerf: 서버 성능 측정 시, 부하 생성기가 병목이 되지 않도록 NVIDIA가 개발 및 공개한 LLM 추론 벤치마크 도구 읽을거리&정보공유 benchmark , inference , vllm , llm , nvidia , guide , aiperf	0	160	9월 22, 2026
Kaggle TPU Lab: 무료 Kaggle TPU에서 320B 크기의 GLM-5.3-Flash을 서빙하는 코딩 에이전트용 API 레시피 저장소 읽을거리&정보공유 long-context , llm-serving , mixture-of-experts , vllm , coding-agent , tpu , jax , kaggle-tpu-lab	0	363	9월 17, 2026
E-P-D 분리 서빙: 비전 인코더를 떼어내 TTFT를 최대 93% 줄이는 조건과 오히려 느려지는 조건 (feat. NVIDIA Dynamo) 읽을거리&정보공유 multimodal , disaggregated-inference , llm-serving , inference-optimization , vllm , nvidia , sglang , dynamo	0	263	9월 10, 2026
NVIDIA Model Optimizer: 모델을 경량화하여 vLLM / TensorRT / SGLang 등의 추론 서버용 배포용 체크포인트를 만드는 프로젝트 읽을거리&정보공유 llm-inference , model-compression , vllm , quantization , nvidia , tensorrt-llm , pruning , model-optimizer	0	264	9월 2, 2026
vLLM.KR Community Meetup (8월) 참가자를 모집합니다! 공지 사항 파이토치 , ai , vllm , amd , vllm-meetup , vllm-community-meetup	0	474	8월 6, 2026
vLLM.KR Community Meetup (8월)에서 발표하실 연사분을 모십니다! 공지 사항 vllm	6	406	8월 5, 2026
MiniMax, 영상과 음향을 함께 만드는 33B 옴니모달 모델 H3 웨이트 공개 (단, 한국 사용 금지🫠) 읽을거리&정보공유 multimodal , open-weights , video-generation , vllm , diffusers , sglang , minimax , minimax-h3	1	2393	8월 4, 2026
local-llm: 최신 LLM을 로컬에서 직접 돌리는 GPU 하드웨어 구성 가이드 읽을거리&정보공유 vllm , local-llm , multi-gpu , local-inference , rtx-pro-6000 , self-hosting	1	10237	7월 19, 2026
하드웨어 인식 동적 추측 디코딩(DSD): 배치 크기에 맞춰 초안 토큰 수를 조절하는 추론 최적화 (feat. Cohere) 읽을거리&정보공유 inference , llm , vllm , gpu , cohere , speculative-decoding , moe	0	167	7월 12, 2026
vLLM Hook: vLLM에 배포된 모델의 내부 상태를 관찰하고 제어하는 플러그인 읽을거리&정보공유 interpretability , activation-steering , vllm , prompt-injection , vllm-hook , model-internals , ibm-research	1	1381	7월 9, 2026
vLLM Semantic Router가 공개한, 모델 API 안에서 협업하는 마이크로 에이전트 (feat. Looper) 읽을거리&정보공유 agent , benchmark , vllm , micro-agent , semantic-router , llm-routing , inference-serving	0	282	7월 1, 2026
Mooncake: Kimi를 떠받치는 KVCache 중심 분리형 LLM 서빙 플랫폼 읽을거리&정보공유 apache-2 , vllm , sglang , llm-serving , mooncake , kvcache , disaggregated-inference , transfer-engine	0	535	6월 30, 2026
1조 파라미터 규모로 에이전틱 강화학습을 수행하는 prime-rl 0.6.0의 최적화 총정리 (feat. Prime Intellect) 읽을거리&정보공유 agent , pytorch , reinforcement-learning , vllm , fp8 , moe , prime-intellect , agentic-rl	0	212	6월 29, 2026
DiffusionGemma: vLLM이 네이티브로 지원하는 최초의 디퓨전 언어 모델(dLLM) 읽을거리&정보공유 inference , llm , vllm , google , speculative-decoding , gemma , diffusion-llm	0	2123	6월 11, 2026
tiny-vllm: C++와 CUDA로 vLLM을 직접 구현하며 배우는 LLM 추론 엔진 읽을거리&정보공유 kv-cache , vllm , cuda , pagedattention , llm-inference , tiny-vllm , gqa	0	4001	6월 1, 2026
vllm 에 rust frontend 로 전처리 성능 향상 읽을거리&정보공유 vllm , rust	0	354	5월 27, 2026
vLLM.KR Community Meetup (5월) 참가자를 모집합니다! 공지 사항 vllm , lablup , meetup , vllm-meetup , vllm-kr	0	688	5월 19, 2026
Club-3090: RTX 3090 GPU에서 vLLM, llama.cpp, SGLang으로 LLM을 서빙하는 커뮤니티 레시피 모음 읽을거리&정보공유 vllm , sglang , quantization , llm-serving , llama-cpp , rtx-3090 , llm-inference , llm-inference-serving , club-3090	0	551	5월 4, 2026
Xiaomi, 1.02T 파라미터 오픈소스 MoE 추론 모델 MiMo-v2.5 및 MiMo-v2.5-Pro 출시 읽을거리&정보공유 llm , vllm , sglang , moe , xiaomi , mimo , agentic	1	390	5월 1, 2026
vLLM.KR Community Meetup (5월)에서 발표하실 연사분을 모십니다! 공지 사항 파이토치 , ai , vllm	2	576	4월 29, 2026
DFlash: 블록 확산(Block Diffusion) 기반으로 LLM 추론 속도를 높이는 오픈소스 라이브러리 (feat. Z.ai) 읽을거리&정보공유 vllm , speculative-decoding , transformers , sglang , llm-inference , block-diffusion	0	885	4월 24, 2026
vLLM Recipes 개편 - 모델+하드웨어 조합별 설정을 딸각 한방으로 읽을거리&정보공유 vllm	0	378	4월 23, 2026
[GN⁺] 월 $20 스택으로 월매출 $10K 회사를 여러 개 운영하는 법 읽을거리&정보공유 ollama , vllm , geeknews , local-llm , openrouter , saas-bootstrap	0	427	4월 14, 2026
rvLLM: Rust로 처음부터 구현한 고성능 LLM 추론 엔진, vLLM 완전 대체제 읽을거리&정보공유 vllm , rust , cuda , opensource , llm-inference , rvllm , high-performance	1	6925	4월 3, 2026
LLM 추론 엔진 이해하기: Nano-vLLM 내부 살펴보기 - 2부 (Understanding LLM Inference Engines: Inside Nano-vLLM (Part 2)) 읽을거리&정보공유 llm-inference , vllm , inference-framework , nano-vllm , neutree , arcfra	0	587	3월 3, 2026