|
LLM Inference Handbook: 지표부터 PD 분리, GPU 커널, 추론 비용까지 다룬 Modular의 안내서
|
|
0
|
242
|
11월 5, 2026
|
|
StepFun, Step 5 Preview 가중치 공개: H200 8장에서 도는 FP8 체크포인트 (단, 상업적 사용 시 별도 계약 필요)
|
|
0
|
129
|
10월 26, 2026
|
|
vLLM과 SGLang 중 무엇을 골라야 할까? Red Hat이 공개한 PagedAttention과 RadixAttention의 차이와 벤치마크 해석법
|
|
0
|
397
|
10월 17, 2026
|
|
E-P-D 분리 서빙: 비전 인코더를 떼어내 TTFT를 최대 93% 줄이는 조건과 오히려 느려지는 조건 (feat. NVIDIA Dynamo)
|
|
0
|
331
|
9월 10, 2026
|
|
Reef: 에이전트가 서비스되는 동안 모델 가중치와 하네스를 계속 갱신하는 지속 학습 인프라
|
|
0
|
223
|
9월 7, 2026
|
|
MiniMax, 영상과 음향을 함께 만드는 33B 옴니모달 모델 H3 웨이트 공개 (단, 한국 사용 금지🫠)
|
|
1
|
2546
|
8월 4, 2026
|
|
Mooncake: Kimi를 떠받치는 KVCache 중심 분리형 LLM 서빙 플랫폼
|
|
0
|
619
|
6월 30, 2026
|
|
MOSS-TTS-Local-Transformer-v1.5, 로컬 서빙에 최적화된 48kHz 스트리밍 TTS 모델 (feat. SGLang-Omni)
|
|
0
|
332
|
6월 22, 2026
|
|
Club-3090: RTX 3090 GPU에서 vLLM, llama.cpp, SGLang으로 LLM을 서빙하는 커뮤니티 레시피 모음
|
|
0
|
604
|
5월 4, 2026
|
|
Xiaomi, 1.02T 파라미터 오픈소스 MoE 추론 모델 MiMo-v2.5 및 MiMo-v2.5-Pro 출시
|
|
1
|
406
|
5월 1, 2026
|
|
DFlash: 블록 확산(Block Diffusion) 기반으로 LLM 추론 속도를 높이는 오픈소스 라이브러리 (feat. Z.ai)
|
|
0
|
947
|
4월 24, 2026
|
|
Mini-SGLang: SGLang의 핵심을 담은 경량화 고성능 LLM 추론 프레임워크
|
|
0
|
1656
|
12월 18, 2025
|
|
TileRT: LLM의 연산을 Tile 단위 작업으로 분해하여 실행하는 초저지연(Ultra-Low Latency) 런타임
|
|
0
|
379
|
11월 26, 2025
|
|
RadixAttention과 SGLang을 활용한 LLM 프로그래밍 혁신 (feat. LMSYS)
|
|
0
|
3300
|
1월 20, 2024
|