# \#disaggregated-inference **URL:** https://discuss.pytorch.kr/tag/disaggregated-inference/8296.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [E-P-D 분리 서빙: 비전 인코더를 떼어내 TTFT를 최대 93% 줄이는 조건과 오히려 느려지는 조건 (feat. NVIDIA Dynamo)](https://discuss.pytorch.kr/t/e-p-d-ttft-93-feat-nvidia-dynamo/11883)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [9월 10, 2026, 10:00오후 UTC](https://discuss.pytorch.kr/t/e-p-d-ttft-93-feat-nvidia-dynamo/11883 "2026-09-10T22:00:28Z")
Encode-Prefill-Decode(EPD) 분리 서빙 소개 Encode-Prefill-Decode 분리(EPD Disaggregation) 는 멀티모달 모델을 서빙할 때 비전 인코더 단계를 프리필(prefill)과 디코드(decode) 단계에서 떼어내 독립적인 워커로 실행하는 추론(inference) 최적화 기법입니다. Jesse Gu, Ryan McCormick, Akshatha Kamath가 2026년 9월 9일 NVIDIA 개발자 블로그에 공개한 글은 이 기법을 자사 추론 프레임워크 NVIDIA Dynamo에 적용해 어떤 조건에서 이득이 나고 어떤 조건에서 손해가 나는지를 격자 단위로 실측한 결과를 담고 있습니다. 텍스트만 다루는 LLM 서빙에서는 프리필과 디코드를 분리하는 방식이 이미 널리 쓰이고 있습니다. 프리필은 입력 전체를 한 번에 처리하는 연산 집약적(compute-bound) 단계이고, 디코드는 토큰을 하나씩 뽑아내는 메모리 대역폭 집약적(memory-bound) 단계라서 두 단계를 한 워커에 묶어 두면 서로의 발목을 잡습니다. 그래서 Mooncake처럼 KVCache를 중심에 두고 두 단계를 쪼개는 서빙 플랫폼이나 CPU 작업을 GPU에서 분리하는 접근이 계속 나왔습니다. 멀티모달 요청은 여기에 한 단계를 더 얹습니다. 이미지나 영상이 붙은 요청은 LLM 프리필이 시작되기 전에 미디어를 내려받아 디코딩하고 전처리한 뒤, 비전 트랜스포머(Vision Transformer, ViT) 를 통과시켜 임베딩(embedding)을 만들어야 합니다. 통합 서빙(aggregated serving)에서는 이 인코딩 작업과 LLM 프리필, 디코드가 모두 같은 GPU와 같은 스케줄러를 공유합니다. 미디어 처리가 전체 작업의 일부에 그칠 때는 이 단순한 설계가 잘 동작하지만, 요청에 이미지가 여러 장 붙거나 영상이 들어오면 균형이 무너집니다. 이 글에서 정리하는 실측의 핵심은 "인코더를 떼면 빨라진다" 는 단순한 결론이 아닙니다. NVIDIA는 이… --- ## [Mooncake: Kimi를 떠받치는 KVCache 중심 분리형 LLM 서빙 플랫폼](https://discuss.pytorch.kr/t/mooncake-kimi-kvcache-llm/10991)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [6월 30, 2026, 9:30오전 UTC](https://discuss.pytorch.kr/t/mooncake-kimi-kvcache-llm/10991 "2026-06-30T09:30:37Z")
Mooncake 소개 Mooncake는 Moonshot AI의 LLM 서비스 Kimi를 떠받치는 서빙 플랫폼으로, "KVCache를 중심에 둔 분리형 아키텍처(KVCache-centric Disaggregated Architecture)"를 핵심으로 삼습니다. 대규모 LLM 서비스에서 가장 큰 비용은 입력을 한 번에 처리하는 프리필(prefill) 단계와 토큰을 하나씩 생성하는 디코드(decode) 단계가 서로 다른 자원 특성을 가지면서도 같은 GPU에 묶여 있다는 데서 발생합니다. Mooncake는 이 두 단계를 분리하고, 그 사이를 잇는 KVCache를 일급 시민으로 끌어올려 전체 처리량을 끌어올립니다. Mooncake의 기술 보고서는 USENIX FAST 2025에서 발표되어 최우수 논문상(Best Paper Award)을 받았습니다. 저자들은 모든 요청을 처리한다고 가정하는 기존 연구와 달리, 과부하 상황을 정면으로 다루기 위해 예측 기반 조기 거절(prediction-based early rejection) 정책을 설계했다고 설명합니다. 보고서에 따르면 Mooncake는 긴 컨텍스트 시나리오에서 특히 강점을 보이며, 일부 시뮬레이션 환경에서는 SLO를 지키면서도 기준 방식 대비 최대 525%까지 처리량을 늘렸고, 실제 워크로드에서는 Kimi가 75% 더 많은 요청을 처리할 수 있게 했습니다. 현재 Mooncake는 핵심 구성요소인 전송 엔진(Transfer Engine)과 Mooncake Store가 오픈소스로 공개되어 있으며, 2026년 2월 PyTorch 생태계(PyTorch Ecosystem)에 공식 합류했습니다. vLLM, SGLang, TensorRT-LLM 같은 주요 추론 스택에 통합되어 KV 캐시 전송과 분산 저장 백엔드로 쓰이고 있습니다. 본 게시물에서는 Mooncake의 분리형 아키텍처, 네 가지 핵심 구성요소, 전송 성능, 설치 방법, 그리고 생태계 통합 현황을 정리합니다. Mooncake의 KVCache 중심 분리형 아키…