# \#mode

**URL:** https://discuss.pytorch.kr/tag/mode/2895.md

[최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md)

---

## [MoD(Mixture-of-Depths): Transformer 기반 언어 모델 연산 최적화를 위한 접근법, 그리고 MoDE(MoD+MoE)](https://discuss.pytorch.kr/t/mod-mixture-of-depths-transformer-mode-mod-moe/3993)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [4월 7, 2024, 5:19오전 UTC](https://discuss.pytorch.kr/t/mod-mixture-of-depths-transformer-mode-mod-moe/3993 "2024-04-07T05:19:17Z")

</div>

:pytorch:PyTorchKR:kr: Jamba나 Qwen1.5-MoE, 또는 DBRX 등과 같이 여러 '전문가' 블록들 중 하나 이상을 선택하여 입력 token의 처리를 진행하는 MoE(Mixture-of-Experts) 방법이 최근들어 많이 사용되고 있습니다. 이러한 MoE 방식은 방대한 LLM 중 일부를 동적으로 조절하여 연산 자원을 효율적으로 할당하면서 더 나은 성능을 보이고 있습니다. 이렇게 MoE가 여러 전문가들 중 일부를 선택하는 방식으로 '모델의 폭(width)'을 동적으로 조절했다면, 이번에 소개하는 MoD(Mixture-of-Depth)는 '모델의 깊이(depth)'를 동적으로 조절하는 접근 방식을 취하고 있습니다. 즉, 특정 토큰에 대해서 모델의 전체 레이어에 대해서 연산을 하지 않고, 일부 레이어들을 건너뛰는 방식으로 동적으로 연산을 하는 것인데요, 함께 살펴보시죠. :wink: MoD(Mixture-of-Depths): Transformer 기반 언어 모델 연산 최적화를 위한 접근법 (Mixture-of-Depths: Dynamically allocating compute in transformer-based language models) 소개 전통적으로, 트랜스포머 모델은 입력 시퀀스의 모든 부분에 동일한 계산 자원을 할당합니다. 하지만 이번에 소개하는 MoD(Mixture-of-Depth) Transformer 논문은 Trnasformer의 특정 시퀀스 위치에 컴퓨트 자원을 동적으로 할당하고, 다른 레이어를 통해 할당을 변화시키는 시도를 합니다. 이러한 Mixture-of-Depths(MoD) 전략을 사용하기 위해 저자들은 어떤 토큰을 처리할지 결정하기 위해 top-k 라우팅 메커니즘을 사용하여 전체 연산량을 관리합니다. 이 기술은 기존 모델의 성능에 필적하거나 뛰어나면서도, 훨씬 적은 FLOPs를 요구하며, 학습 후 샘플링 동안 최대 50%의 속도 향상을 제공합니다. Attention is All You N…