# \#depth-pruning

**URL:** https://discuss.pytorch.kr/tag/depth-pruning/3631.md

[최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md)

---

## [minitron: 15B -\> 8B -\> 4B 더 작고 효율적으로 정제한 모델 (feat. NVIDIA)\\](https://discuss.pytorch.kr/t/minitron-15b-8b-4b-feat-nvidia/5103)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [8월 26, 2024, 10:22오후 UTC](https://discuss.pytorch.kr/t/minitron-15b-8b-4b-feat-nvidia/5103 "2024-08-26T22:22:49Z")

</div>

minitron 모델 소개 대형 언어 모델(LLM)은 자연어 처리와 이해에서 중요한 역할을 하고 있지만, 배포하는 데 많은 자원이 필요합니다. 이에 따라 비용 효율적인 소형 언어 모델(SLM, Small Language Model)이 주목받고 있습니다. NVIDIA 연구원들은 구조적 가중치 프루닝과 지식 증류를 결합한 방법이 LLM을 효과적으로 소형화하는 전략임을 보여주었습니다. NVIDIA는 최근 Llama-3.1 8B 모델을 4B 모델로 줄이는 과정에서 구조적 가중치 가지치기(Structured Weight Pruning)와 지식 증류(KD, Knowledge Distillation)를 활용했습니다. 이 방법은 학습 효율성을 높이고 컴퓨팅 비용을 절감하며, 성능은 유지하면서도 모델 크기를 줄일 수 있는 혁신적인 접근법으로 평가받고 있습니다. 프루닝(Pruning) 은 모델을 작게 만드는 과정으로, 레이어를 제거하는 "깊이 프루닝(Depth Pruning)"과 뉴런, 어텐션 헤드, 임베딩 채널을 제거하는 "너비 프루닝(Width Pruning)"이 있습니다. 이러한 가지치기 작업 후에는 정확도를 회복하기 위한 재학습이 필요합니다. 모델 디스틸레이션(Model Distillation) 은 큰 모델(선생님 모델)에서 작은 모델(학생 모델)로 지식을 전이하는 기법입니다. 이 방법은 모델의 예측 성능을 유지하면서도 더 작고 효율적인 모델을 만들기 위해 사용됩니다. 이러한 과정을 통해 NVIDIA Nemotron 시리즈의 15B 모델을 사용하여 NVIDIA Minitron 8B 모델과 4B 모델을 제작 및 공개하였습니다. minitron의 가지치기 및 증류 절차 먼저, 다음의 단계들을 통해 가지치기(pruning)와 증류(distillation)를 실행합니다: 15B 모델에서 시작하여 각 구성 요소의 중요도를 평가하고 8B 모델로 축소합니다. 원본 모델을 Teacher Model로 사용하여 프루닝된 모델을 경량화된 재학습을 수행합니다. …
