llm-inference-serving
| 글 | 댓글 | 조회수 | 활동 | |
|---|---|---|---|---|
| Mini-SGLang: SGLang의 핵심을 담은 경량화 고성능 LLM 추론 프레임워크 |
|
0 | 387 | 12월 18, 2025 |
| HAIF(Hyperswarm-RPC AI Inference Framework): MSA 구조로 AI 추론 작업을 분산처리하도록 설계된 프레임워크 |
|
0 | 201 | 10월 14, 2025 |
| vLLM Semantic Router: 지능형 LLM 라우팅을 위한 차세대 아키텍처 |
|
0 | 1513 | 9월 24, 2025 |
| LMCache: LLM 서빙 효율성을 높여주는 캐시 시스템 |
|
0 | 1291 | 6월 26, 2025 |
| Nano-vLLM: 처음부터 다시 구현한, 1200줄 가량의 경량 vLLM 구현체 |
|
0 | 743 | 6월 24, 2025 |
| [2025/06/16 ~ 22] 이번 주에 살펴볼 만한 AI/ML 논문 모음 |
|
0 | 626 | 6월 23, 2025 |