# Meta, 차세대 학습 및 추론 가속기 MTIAv2 공개

**URL:** <https://discuss.pytorch.kr/t/meta-mtiav2/4042>\
**Category:** 읽을거리&정보공유\
**Tags:** meta, mtia, triton\
**Created:** [4월 10, 2024, 4:14오후 UTC](https://discuss.pytorch.kr/t/meta-mtiav2/4042 "2024-04-10T16:14:00Z")\
**Posts on this page:** 1\
**Page:** 1

<div class="post-metadata">

**Author:** ![9bow](https://discuss.pytorch.kr/user_avatar/discuss.pytorch.kr/9bow/32/16301_2.png) [@9bow](https://discuss.pytorch.kr/u/9bow)\
**Post date:** [4월 10, 2024, 4:14오후 UTC](https://discuss.pytorch.kr/t/meta-mtiav2/4042/1 "2024-04-10T16:14:00Z")

</div>

### :pytorch:PyTorchKR:kr:

- Meta에서 자체 개발한 AI 추론 가속기인 MTIA(Meta Training and Inference Accelerator)v1의 차세대 버전인 MTIAv2에 대한 상세 정보를 공개했습니다. MTIAv1 대비 성능이 크게 향상되었다고 하는데요, Meta의 랭킹 및 추천 광고 모델에 활용된다고 합니다. AI 인프라에 대한 Meta의 투자가 계속 증가하고 있는 가운데, 앞으로 제품과 서비스 전반에 걸쳐 새롭고 개선된 경험을 제공하는데 기여할 것으로 보입니다. 함께 살펴보시죠!

* * *

# Our next-generation Meta Training and Inference Accelerator

## 소개

 ![Meta, 차세대 학습 및 추론 가속기](https://discuss.pytorch.kr/uploads/default/original/2X/2/2452dab3b8a9a5d2130625222dce5415adce7332.jpeg)

Meta가 지난 해 공개한, 자체 개발한 AI 추론 가속기인 [MTIA(Meta Training and Inference Accelerator) v1](https://ai.meta.com/blog/meta-training-inference-accelerator-AI-MTIA/)의 차세대 버전 MTIAv2를 공개하였습니다. MTIA는 Meta의 AI 워크로드, 특히 제품 전반에 걸쳐 다양한 경험을 개선하는 딥러닝 추천 모델을 위해 설계된 칩입니다. AI 워크로드가 Meta의 제품과 서비스에서 점점 더 중요해짐에 따라, MTIA의 효율성 향상은 전 세계 사용자들에게 최상의 경험을 제공하는 능력을 개선시킬 것으로 보입니다.

이 차세대 MTIAv2 칩은 4개의 주요 모델에서 1세대 칩 대비 성능이 이미 3배 향상된 것으로 나타났습니다. 플랫폼 수준에서는 2배의 디바이스 수와 강력한 2소켓 CPU를 통해 1세대 MTIA 시스템 대비 6배의 모델 서빙 처리량과 1.5배의 성능/와트 향상을 달성할 수 있었습니다. 상용 GPU와 비교했을 때, Meta 고유의 워크로드에 대해 최적의 성능과 효율성을 제공하는 데 있어 MTIA가 매우 상호 보완적인 역할을 하는 것으로 입증되고 있습니다.

## MTIAv2의 주요 특징 및 1세대 MTIA와의 비교

MTIAv2의 주요 특징은 다음과 같습니다:

- 이전 세대 대비 컴퓨팅 성능과 메모리 대역폭이 2배 이상 향상
- 랭킹 및 추천 모델을 효율적으로 처리하도록 설계
- 8x8 그리드의 처리 요소(PE)로 구성, 밀집 컴퓨팅 성능 3.5배, 희소 컴퓨팅 성능 7배 개선
- 로컬 PE 스토리지 3배, 온칩 SRAM 2배 및 대역폭 3.5배 증가, LPDDR5 용량 2배
- 개선된 NoC(Network on Chip) 아키텍처로 대역폭 2배, 낮은 지연 시간으로 PE 간 조정 가능

1세대 MTIA 칩과의 성능은 다음과 같이 비교할 수 있습니다:

| Metric | MTIAv1 | Next Gen MTIA(MTIAv2) |
| --- | --- | --- |
| Technology | TSMC 7nm | TSMC 5nm |
| Frequency | 800MHz | 1.35GHz |
| Instances | 1.12B gates, 65M flops | 2.35B gates, 103M flops |
| Area | 19.34mm x 19.1mm, 373mm² | 25.6mm x 16.4mm, 421mm² |
| Package | 43mm x 43mm | 50mm x 40mm |
| Voltage | 0.67V logic, 0.75V memory | 0.85V |
| TDP | 25W | 90W |
| Host Connection | 8x PCIe Gen4 (16 GB/s) | 8x PCIe Gen5 (32 GB/s) |
| GEMM TOPS | 102.4 TFLOPS/s (INT8) | 708 TFLOPS/s (INT8) (sparsity) |
| | 51.2 TFLOPS/s (FP16/BF16) | 354 TFLOPS/s (INT8) |
| | | 354 TFLOPS/s (FP16/BF16) (sparsity) |
| | | 177 TFLOPS/s (FP16/BF16) |
| SIMD TOPS | Vector core: | Vector core: |
| | 3.2 TFLOPS/s (INT8) | 11.06 TFLOPS/s (INT8) |
| | 1.6 TFLOPS/s (FP16/BF16) | 5.53 TFLOPS/s (FP16/BF16) |
| | 0.8 TFLOPS/s (FP32) | 2.76 TFLOPS/s (FP32) |
| | SIMD: | SIMD: |
| | 3.2 TFLOPS/s (INT8/FP16/BF16) | 5.53 TFLOPS/s (INT8/FP16/BF16) |
| | 1.6 TFLOPS/s (FP32) | 2.76 TFLOPS/s (FP32) |
| Memory Capacity | Local memory: 128 KB per PE | Local memory: 384 KB per PE |
| | On-chip memory: 128 MB | On-chip memory: 256 MB |
| | Off-chip LPDDR5: 64 GB | Off-chip LPDDR5: 128 GB |
| Memory Bandwidth | Local memory: 400 GB/s per PE | Local memory: 1 TB/s per PE |
| | On-chip memory: 800 GB/s | On-chip memory: 2.7 TB/s |
| | Off-chip LPDDR5: 176 GB/s | Off-chip LPDDR5: 204.8 GB/s |

## 구성 및 동작 방식

 ![차세대 MTIA](https://discuss.pytorch.kr/uploads/default/original/2X/d/de4f2a0e2b223e9ca96d686efce7764c0b8cb3a5.jpeg)  
_새로운 MTIA 설계는 대역폭을 두 배로 늘리고 짧은 지연 시간으로 여러 PE 간에 조율할 수 있는 향상된 네트워크 온 칩(NoC) 아키텍처를 특징으로 합니다. 이러한 PE의 새로운 기능과 기타 새로운 기능은 MTIA를 더욱 다양하고 까다로운 워크로드로 확장하기 위한 장기 로드맵에 필수적인 핵심 기술을 형성합니다._

MTIA는 Meta의 고유한 워크로드와 시스템을 다루는 맞춤형 도메인 특화 실리콘을 위한 풀스택 개발 프로그램의 일부입니다. 하드웨어 시스템과 소프트웨어 스택을 실리콘과 함께 공동 설계하는 것이 전반적인 추론 솔루션의 성공에 필수적입니다.

 ![MTIAv2 소프트웨어 스택](https://discuss.pytorch.kr/uploads/default/original/2X/0/04201b9e43878d77ecec307c82e4cb65bb5d57b1.jpeg)

차세대 실리콘을 지원하기 위해 최대 72개의 가속기를 수용하는 대형 랙 기반 시스템을 개발했습니다. 소프트웨어 스택은 PyTorch 2.0 및 TorchDynamo, TorchInductor와 같은 기능과 완전히 통합되도록 설계되었습니다.

Triton-MTIA 컴파일러 백엔드를 통해 소프트웨어 스택을 더욱 최적화했는데, 이는 MTIA 하드웨어를 위한 고성능 코드를 생성합니다. Triton 언어가 MTIA와 같은 비GPU 하드웨어 아키텍처에도 적용 가능할 만큼 하드웨어에 구애받지 않는다는 것을 발견했습니다.

## 더 읽어보기

### Meta의 차세대 MTIA 공개 글

> **[Our next generation Meta Training and Inference Accelerator](https://ai.meta.com/blog/next-generation-meta-training-inference-accelerator-AI-MTIA/)**
>
> We are sharing details of our next generation chip in our Meta Training and Inference Accelerator (MTIA) family. MTIA is a long-term bet to provide the most efficient architecture for Meta’s unique workloads.

### Triton 관련 글

[https://openai.com/blog/triton/](https://openai.com/blog/triton/)

* * *

_이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다._ 🤗

[:pytorch:파이토치 한국 사용자 모임🇰🇷](https://pytorch.kr/)이 정리한 이 글이 유용하셨나요? [회원으로 가입](https://discuss.pytorch.kr/signup)하시면 주요 글들을 이메일💌로 보내드립니다! (기본은 Weekly지만 [Daily로 변경도 가능](https://discuss.pytorch.kr/my/preferences/emails)합니다.)

🎁 아래↘쪽에 좋아요❤를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~ 🤩