# \#transfer-engine **URL:** https://discuss.pytorch.kr/tag/transfer-engine/8297.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [Mooncake: Kimi를 떠받치는 KVCache 중심 분리형 LLM 서빙 플랫폼](https://discuss.pytorch.kr/t/mooncake-kimi-kvcache-llm/10991)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [6월 30, 2026, 9:30오전 UTC](https://discuss.pytorch.kr/t/mooncake-kimi-kvcache-llm/10991 "2026-06-30T09:30:37Z")
Mooncake 소개 Mooncake는 Moonshot AI의 LLM 서비스 Kimi를 떠받치는 서빙 플랫폼으로, "KVCache를 중심에 둔 분리형 아키텍처(KVCache-centric Disaggregated Architecture)"를 핵심으로 삼습니다. 대규모 LLM 서비스에서 가장 큰 비용은 입력을 한 번에 처리하는 프리필(prefill) 단계와 토큰을 하나씩 생성하는 디코드(decode) 단계가 서로 다른 자원 특성을 가지면서도 같은 GPU에 묶여 있다는 데서 발생합니다. Mooncake는 이 두 단계를 분리하고, 그 사이를 잇는 KVCache를 일급 시민으로 끌어올려 전체 처리량을 끌어올립니다. Mooncake의 기술 보고서는 USENIX FAST 2025에서 발표되어 최우수 논문상(Best Paper Award)을 받았습니다. 저자들은 모든 요청을 처리한다고 가정하는 기존 연구와 달리, 과부하 상황을 정면으로 다루기 위해 예측 기반 조기 거절(prediction-based early rejection) 정책을 설계했다고 설명합니다. 보고서에 따르면 Mooncake는 긴 컨텍스트 시나리오에서 특히 강점을 보이며, 일부 시뮬레이션 환경에서는 SLO를 지키면서도 기준 방식 대비 최대 525%까지 처리량을 늘렸고, 실제 워크로드에서는 Kimi가 75% 더 많은 요청을 처리할 수 있게 했습니다. 현재 Mooncake는 핵심 구성요소인 전송 엔진(Transfer Engine)과 Mooncake Store가 오픈소스로 공개되어 있으며, 2026년 2월 PyTorch 생태계(PyTorch Ecosystem)에 공식 합류했습니다. vLLM, SGLang, TensorRT-LLM 같은 주요 추론 스택에 통합되어 KV 캐시 전송과 분산 저장 백엔드로 쓰이고 있습니다. 본 게시물에서는 Mooncake의 분리형 아키텍처, 네 가지 핵심 구성요소, 전송 성능, 설치 방법, 그리고 생태계 통합 현황을 정리합니다. Mooncake의 KVCache 중심 분리형 아키…