# \#model-compression **URL:** https://discuss.pytorch.kr/tag/model-compression/3289.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [NVIDIA Model Optimizer: 모델을 경량화하여 vLLM / TensorRT / SGLang 등의 추론 서버용 배포용 체크포인트를 만드는 프로젝트](https://discuss.pytorch.kr/t/nvidia-model-optimizer-vllm-tensorrt-sglang/11782)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [9월 2, 2026, 12:30오전 UTC](https://discuss.pytorch.kr/t/nvidia-model-optimizer-vllm-tensorrt-sglang/11782 "2026-09-02T00:30:15Z")
NVIDIA Model Optimizer 소개 큰 언어 모델을 서비스에 올려 추론(Inference)을 수행하려는 팀이 가장 먼저 부딪히는 벽은 정확도가 아니라 메모리와 지연 시간입니다. BF16 그대로 올리면 GPU가 부족하고, 정확도를 조금 내주고 압축하기로 결정하면 이번에는 도구 선택 문제가 남습니다. 양자화(Quantization), 가지치기(Pruning), 지식 증류(Knowledge Distillation), 추측 디코딩(Speculative Decoding)은 각각 별개의 연구 계보에서 나온 기법이라 구현체도 따로 흩어져 있고, 두 가지를 겹쳐 쓰려면 중간 산출물의 형식을 직접 맞춰야 합니다. 어렵게 압축을 끝내도 마지막 관문이 하나 더 있습니다. 만들어 둔 체크포인트를 실제 추론 엔진이 그대로 읽어 주느냐입니다. NVIDIA Model Optimizer 는 이 기법들을 한 파이썬 라이브러리 안에서 조합하고, 그 결과를 추론 엔진이 바로 읽을 수 있는 체크포인트로 내보내는 것을 목표로 하는 모델 최적화 라이브러리입니다. NVIDIA는 이 프로젝트를 짧게 Model Optimizer 또는 ModelOpt 으로 부르며, 파이썬 패키지 이름은 nvidia-modelopt 입니다. 입력으로는 Hugging Face, PyTorch, ONNX 모델을 받고, 출력된 체크포인트는 TensorRT-LLM, TensorRT, vLLM, SGLang 에 배포할 수 있습니다. 학습이 필요한 최적화 기법을 위해 NVIDIA Megatron-Bridge, Megatron-LM, Hugging Face Accelerate 와의 연동도 함께 제공합니다. 이 프로젝트의 이름을 검색할 때 한 가지 주의할 점이 있습니다. 원래 이름은 NVIDIA TensorRT Model Optimizer 였고 2025년 12월 8일에 지금의 NVIDIA Model Optimizer 로 바뀌었습니다. 이름에 TensorRT 가 남아 있던 시절의 문서를 보고 배포 대상이 Tenso… --- ## [Apple Core AI 공개, 애플 실리콘용 온디바이스 AI 추론 스택과 PyTorch 변환 도구 coreai-torch](https://discuss.pytorch.kr/t/apple-core-ai-ai-pytorch-coreai-torch/10612)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [6월 10, 2026, 12:30오전 UTC](https://discuss.pytorch.kr/t/apple-core-ai-ai-pytorch-coreai-torch/10612 "2026-06-10T00:30:34Z")
Apple Core AI 소개 Apple이 Core AI라는 새로운 온디바이스 추론 프레임워크를 공개했습니다. Core AI는 앱 안에서 AI 모델을 빌드하고, 실행하고, 배포하기 위한 스택으로, 처음부터 Apple silicon을 염두에 두고 설계되었습니다. 모델 추론을 CPU, GPU, 그리고 Neural Engine에 걸쳐 분산해 실행하며, 최신 모델 아키텍처와 추론 기법을 앱에서 곧바로 활용할 수 있게 해줍니다. Swift API는 흔한 작업을 간단하게 만들면서도, 필요할 때는 모델 특화(specialization), 캐싱, 추론 성능에 대한 세밀한 제어를 제공합니다. 여기서 핵심 단어는 온디바이스(on-device) 입니다. 추론이 사용자의 기기에서 직접 일어나기 때문에 데이터가 기기 밖으로 나가지 않아 프라이버시가 보장되고, 네트워크가 없어도 AI 기능이 동작하며, 추론 한 번마다 발생하는 서버 비용도 없습니다. 최근 몇 년간 온디바이스 LLM과 확산 모델(diffusion model)에 대한 관심이 폭발적으로 커졌지만, 트랜스포머(Transformer) 계열의 무거운 모델을 모바일이나 노트북에서 효율적으로 돌리는 일은 여전히 까다롭습니다. Core AI는 바로 이 지점을 겨냥해, 모델 준비부터 변환, 압축, 실행, 디버깅까지 이어지는 일관된 도구 체인을 제공합니다. PyTorchKR 커뮤니티 입장에서 특히 주목할 부분은, 이 스택이 PyTorch를 1급 시민(first-class citizen)으로 취급한다는 점입니다. Apple은 Core AI 프레임워크와 함께 PyTorch 모델을 Core AI로 가져오는 coreai-torch, 배포를 위한 모델 압축 라이브러리 coreai-optimization, 그리고 바로 쓸 수 있는 모델 갤러리 coreai-models를 함께 오픈소스로 공개했습니다. 즉, torch.export로 내보낸 그래프에서 시작해 Apple 하드웨어에서 도는 .aimodel까지, 익숙한 PyTorch 워크플로우를 그대… --- ## [Talaria: Apple의 Apple Intelligence를 위한 On-Device 모델 성능 모니터링 및 최적화 도구](https://discuss.pytorch.kr/t/talaria-apple-apple-intelligence-on-device/4631)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [6월 13, 2024, 5:21오후 UTC](https://discuss.pytorch.kr/t/talaria-apple-apple-intelligence-on-device/4631 "2024-06-13T17:21:17Z")
Talaria: Apple의 Apple Intelligence를 위한 모델 성능 모니터링 및 최적화 도구 PyTorchKR:pytorch::kr: 이번 WWDC24에서 공개한 AI(Apple Intelligence: Apple의 On-Device 및 Private Cloud에서의 Foundation Model 소개)의 핵심 도구 중 하나로 제시한 Talaria에 대해 별도의 소개 글 및 논문이 있어 간략히 정리해보았습니다. 어차피 사용하지 못할 것 같은 Talaria 자체의 기능 및 사용자 조사에 대한 내용보다는 어떠한 접근들을 하였고, 기술들을 검토 및 적용하였는지를 위주로 살펴보겠습니다. 이 글에서는 앞 부분의 기존 연구들에 대한 소개 및 각 연구들에 대해 인용된 논문들 위주로 살펴보았고, Talaria에 대한 소개는 논문의 그림 소개 및 목차 정도를 소개하는 정도에 그쳤습니다. :sweat\_smile: Talaria 자체에 대해 관심이 있으신 분들께서는 글 가장 아래쪽의 원문 글 및 논문을 참고해주시기를 부탁드립니다. :bow: 최적화 도구의 필요성 및 Talaria 소개 사용자 단말 상에서의 머신러닝(On-Device ML)은 서버 및 클라욷가 아닌 개인 단말에서의 모델 추론을 수행하므로써 사용자에게 AI의 경험을 제공하면서도 개인정보를 보호할 수 있는 장점이 있습니다. 하지만, 이러한 개인 단말에는 자원제약이 있어 대규모 모델을 있는 그대로 실행하기는 어려우며, 모델의 크기(Model Size) 및 지연시간(Latency), 전력 소모(Power) 등의 최적화 및 (Trade-offs를 통한) 균형이 필요합니다. Talaria는 Apple이 모델 최적화를 위해 개발한 최적화 도구로, 모델을 하드웨어에 컴파일 하고, 모델 통계를 인터랙티브하게 시각화하며, 최적화의 영향을 실시간으로 시뮬레이션 할 수 있습니다. 논문에서는 3가지 방법론으로 Talaria를 평가 및 소개하고 있습니다: 지난 2년간 800명 이상의 개…