# \#executorch **URL:** https://discuss.pytorch.kr/tag/executorch/3405.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [ExecuTorch: 마이크로컨트롤러부터 스마트폰까지 PyTorch 모델을 그대로 배포하기 위한 통합 PyTorch 네이티브 엣지 AI 배포 프레임워크 (feat. Meta, MLSys 2026)](https://discuss.pytorch.kr/t/executorch-pytorch-pytorch-ai-feat-meta-mlsys-2026/10254)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [5월 18, 2026, 6:30오전 UTC](https://discuss.pytorch.kr/t/executorch-pytorch-pytorch-ai-feat-meta-mlsys-2026/10254 "2026-05-18T06:30:14Z")
ExecuTorch 소개: 마이크로컨트롤러부터 스마트폰까지 PyTorch 모델을 그대로 배포하기 (feat. Meta, MLSys 2026) On-Device AI 배포는 왜 이렇게 어려운가 스마트폰의 실시간 번역, 스마트 글래스의 음성 비서, 자율주행차의 인식 모듈, 그리고 환자 모니터링 장비. 이 모든 응용은 한 가지 공통점을 갖습니다. 클라우드 왕복(round-trip)이 허용되지 않는 지연 시간과 프라이버시 요구사항 때문에, AI 추론이 반드시 기기 내에서(on-device) 일어나야 한다는 것입니다. 모델 아키텍처의 발전과 NPU(Neural Processing Unit)와 같은 전용 가속기의 등장은 이러한 온디바이스 추론을 점점 더 현실적으로 만들고 있습니다. 문제는 "연구실에서 만든 PyTorch 모델을 어떻게 실제 기기로 옮길 것인가" 입니다. PyTorch는 전 세계 AI 연구의 70\\% 이상을 차지하지만, 정작 모델을 단말기에 배포하려는 순간 ML 엔지니어는 PyTorch 생태계를 떠나 플랫폼별 도구로 갈아타거나, 성능과 이식성을 맞바꾸는 타협을 받아들여야 합니다. 기존 접근법들은 모두 나름의 한계를 안고 있었습니다. 모델 변환 기반 프레임워크(ONNX Runtime, TensorFlow Lite)는 학습과 배포를 중간 표현(intermediate representation)으로 분리합니다. 하지만 변환 단계에서 발생하는 미묘한 의미(semantic) 차이는 배포 이후에야 드러납니다. 예를 들어 PyTorch의 QAT(Quantization-Aware Training)가 ONNX의 양자화 의미와 정확히 일치하지 않으면, 기기에서 비로소 수치 불일치(numerical mismatch)가 발견되어 디버깅에 막대한 시간이 듭니다. 모델 전용 런타임(llama.cpp, vLLM)은 특정 아키텍처에 강하게 특화된 최적화로 뛰어난 성능을 내지만, 학습 프레임워크 바깥에서 모델을 완전히 재구현해야 합니다. 이는 연구와 프로덕션 사이의 반복 주기… --- ## [Meta, 모바일 기기를 위한 양자화된 Llama 3.2 경량 모델 공개(Quantized 1B/3B)](https://discuss.pytorch.kr/t/meta-llama-3-2-quantized-1b-3b/5391)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [10월 27, 2024, 8:59오전 UTC](https://discuss.pytorch.kr/t/meta-llama-3-2-quantized-1b-3b/5391 "2024-10-27T08:59:37Z")
Quantized Llama 3.2 1B/3B 모델 소개 Meta는 새로운 양자화된 Llama 3.2 모델(1B 및 3B 버전)을 공개하여 AI를 모바일 장치와 같은 제한된 리소스 환경에서도 효율적으로 실행할 수 있도록 했습니다. 이 모델들은 기존의 Llama 모델과 동일한 품질과 안전성을 유지하면서도, 모델 크기를 평균 56% 줄이고 메모리 사용량을 41% 절감하였습니다. 특히 양자화 인지 학습(QAT) 및 SpinQuant와 같은 기술을 사용해 성능과 효율성을 높였으며, 퀄컴과 미디어텍과의 협력을 통해 주요 SoC에 최적화되었습니다. 이러한 경량화 덕분에 더 빠르고 효율적인 모바일 장치 기반 AI 경험을 가능하게 하며, 사용자 데이터를 장치 내에서 처리하여 프라이버시와 실시간 반응성을 크게 개선하였습니다 양자화 설정 (Our Quantization Setup) Meta의 현재 양자화 설정은 PyTorch의 ExecuTorch 추론 프레임워크와 Arm CPU 백엔드를 염두에 두고 설계되었으며, 모델 품질, 프리필 및 디코딩 속도, 메모리 사용량 등의 다양한 지표를 고려하여 최적화되었습니다. 이 양자화 설정은 다음 세 가지 주요 요소로 구성됩니다​. 트랜스포머 블록 내 선형 계층: 모든 트랜스포머 블록의 선형 계층의 가중치는 그룹 크기 32를 가진 4비트 그룹 방식으로 양자화되며, 활성화는 8비트 동적 양자화(per-token dynamic quantization)로 처리됩니다. 이러한 설정은 메모리 효율성과 정확성을 동시에 유지하기 위해 설계되었습니다. 분류 계층: 분류 계층은 가중치를 위해 8비트 per-channel 방식으로 양자화되고, 활성화는 8비트 per-token 동적 양자화가 적용됩니다. 이는 모델의 최종 출력 계층에서 요구되는 높은 정확도를 보장하면서 메모리 효율성을 확보하는 방식입니다. 임베딩 계층: 임베딩 계층의 경우 8비트 per-channel 방식으로 양자화하여 메모리 사용량을 줄이면서도 정확한 결과를 유지… --- ## [MobileLLM: On-Device를 위한 1B 미만 크기의 언어 모델 최적화에 대한 연구 (feat. Meta)](https://discuss.pytorch.kr/t/mobilellm-on-device-1b-feat-meta/4796)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [7월 10, 2024, 11:01오후 UTC](https://discuss.pytorch.kr/t/mobilellm-on-device-1b-feat-meta/4796 "2024-07-10T23:01:00Z")
MobileLLM 연구 소개 MobileLLM은 사용자 장치 등에서 바로 사용할 수 있도록 최적화하여 1B 미만 규모(sub-billion scale)의 언어 모델(LM, Language Model)로 최적화하는 연구입니다. Meta에서 진행한 연구로, 이러한 방식을 통해 제한적인 하드웨어에서 실질적으로 사용 가능한 모델을 최적화 및 배포할 수 있는 것을 목표로 합니다. MobileLLM은 레이어 공유 등의 방법을 사용하여 모델 크기를 증가시키지 않고도 정확도를 향상시키는 접근 방식을 취합니다. 이 접근 방식은 모델 크기가 주요 제약인 On-Device 시나리오에서 유용합니다. 실험 결과에 따르면 트랜스포머 블록을 단순히 복제하는 것만으로도 성능 향상이 가능했습니다. 또한, 세 가지 다른 가중치 공유 전략을 검토한 결과, 블록 단위 즉시 공유(Immediate Block-wise Sharing) 전략이 가장 효과적임을 확인했습니다. 기존의 모델 경량화 방법들 모델 프루닝(Pruning): 모델에서 덜 중요한 뉴런이나 파라미터를 제거하여 모델 크기를 줄이고 효율성을 높이는 기술입니다. 하지만 프루닝은 모델 성능 손실을 초래할 수 있습니다. 양자화(Quantization): 모델의 파라미터를 부동 소수점에서 8비트 정수와 같은 낮은 정밀도로 변환하여 모델 크기와 컴퓨팅 요구 사항을 줄이는 방법입니다. 양자화는 효과적이지만 모델 정확도가 저하될 수 있습니다. 지식 증류(Distillation): 더 큰 "교사(Teacher)" 모델에서 더 작은 "학생(Student)" 모델로 지식을 전달합니다. 이 방법은 작은 크기에도 성능을 유지하는 데 도움이 되지만, 추가 학습 복잡성과 시간이 필요합니다. 그 외에도 소규모 모델 설계에서는 TinyLLaMA와 같은 연구들이 있지만, 여전히 1B 이상의 크기가 필요로 합니다. 신경망 아키텍처 검색에서는 NAS(Neural Architecture Search) 알고리즘이 주로 사용되며, 레이어 …