# \#kvcache
**URL:** https://discuss.pytorch.kr/tag/kvcache/8295.md
[최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md)
---
## [대규모 모델 최적화에 대한 고민, KVCache Meetup에서 함께 나눠요~](https://discuss.pytorch.kr/t/kvcache-meetup/11925)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [9월 15, 2026, 10:30오전 UTC](https://discuss.pytorch.kr/t/kvcache-meetup/11925 "2026-09-15T10:30:28Z")
대규모 모델 추론 시 병목은 어디에서 주로 발생할까요? 대규모 모델 추론 인프라의 메모리 병목에 대해서 고민해보셨던 실무자들라면, KVCache Meetup Korea와 함께 해주세요! 이번 KVCache Meetup은 추론 비용과 지연시간을 좌우하는 병목이 연산에서 메모리로 옮겨가고 있는 이 때, 어떻게 Cache를 관리할 것인지에 대한 고민과 경험을 나누는 자리입니다. 우리 파이토치 한국 사용자 모임(PyTorchKR)과 CXL 전문 스타트업 엑시나(XCENA)가 함께 주최하는 이번 행사에 함께 해주세요! SK Hynix, FuriosaAI, LMCache Lab에서 연사로 함께 참여하는 이번 Meetup에 대한 자세한 정보는 다음과 같습니다: 행사 개요 행사명: KV-Cache Meetup Korea 일시: 2026년 9월 30일(수) 19:00 ~ 22:00 장소: 강남 드림플러스 (서울특별시 서초구 강남대로 311, B1) 행사 시간표 18:00 ~ 19:00, 참가자 등록 및 네트워킹 19:00 ~ 19:25, 오프닝 19:25 ~ 19:55, 세션 발표, "Analyzing Utilization of GPU and HBM in LLM Serving Systems", 오세진님 (SK Hynix) 20:00 ~ 20:30, 세션 발표, "LLM Inference Engine for RNGD", 이동훈님 (FuriosaAI) 20:30 ~ 21:00, 세션 발표, "A Unified KV Cache Layer and Multi-Platform Architecture", Baolong Mao (LMCache) 21:00 ~ 22:00, 참가자 네트워킹 각 세션은 발표 25분과 Q&A 5분으로 구성되며, 현장 상황에 따라 세부 일정은 변경될 수 있습니다. 참가 신청 신청 마감: 2026년 9월 20일(일) 오후 11시 59분 선정 안내: 2026년 9월 23일(수) 중 신청 링크: KVCache Meetup Korea - 이벤터스 다…
---
## [Mooncake: Kimi를 떠받치는 KVCache 중심 분리형 LLM 서빙 플랫폼](https://discuss.pytorch.kr/t/mooncake-kimi-kvcache-llm/10991)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [6월 30, 2026, 9:30오전 UTC](https://discuss.pytorch.kr/t/mooncake-kimi-kvcache-llm/10991 "2026-06-30T09:30:37Z")
Mooncake 소개 Mooncake는 Moonshot AI의 LLM 서비스 Kimi를 떠받치는 서빙 플랫폼으로, "KVCache를 중심에 둔 분리형 아키텍처(KVCache-centric Disaggregated Architecture)"를 핵심으로 삼습니다. 대규모 LLM 서비스에서 가장 큰 비용은 입력을 한 번에 처리하는 프리필(prefill) 단계와 토큰을 하나씩 생성하는 디코드(decode) 단계가 서로 다른 자원 특성을 가지면서도 같은 GPU에 묶여 있다는 데서 발생합니다. Mooncake는 이 두 단계를 분리하고, 그 사이를 잇는 KVCache를 일급 시민으로 끌어올려 전체 처리량을 끌어올립니다. Mooncake의 기술 보고서는 USENIX FAST 2025에서 발표되어 최우수 논문상(Best Paper Award)을 받았습니다. 저자들은 모든 요청을 처리한다고 가정하는 기존 연구와 달리, 과부하 상황을 정면으로 다루기 위해 예측 기반 조기 거절(prediction-based early rejection) 정책을 설계했다고 설명합니다. 보고서에 따르면 Mooncake는 긴 컨텍스트 시나리오에서 특히 강점을 보이며, 일부 시뮬레이션 환경에서는 SLO를 지키면서도 기준 방식 대비 최대 525%까지 처리량을 늘렸고, 실제 워크로드에서는 Kimi가 75% 더 많은 요청을 처리할 수 있게 했습니다. 현재 Mooncake는 핵심 구성요소인 전송 엔진(Transfer Engine)과 Mooncake Store가 오픈소스로 공개되어 있으며, 2026년 2월 PyTorch 생태계(PyTorch Ecosystem)에 공식 합류했습니다. vLLM, SGLang, TensorRT-LLM 같은 주요 추론 스택에 통합되어 KV 캐시 전송과 분산 저장 백엔드로 쓰이고 있습니다. 본 게시물에서는 Mooncake의 분리형 아키텍처, 네 가지 핵심 구성요소, 전송 성능, 설치 방법, 그리고 생태계 통합 현황을 정리합니다. Mooncake의 KVCache 중심 분리형 아키…