# \#nvidia-gb200

**URL:** https://discuss.pytorch.kr/tag/nvidia-gb200/2767.md

[최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md)

---

## [AI Factory: NVIDIA가 제시하는, AI 혁신을 위한 차세대 AI 데이터센터(AIDC, AI Data Center)](https://discuss.pytorch.kr/t/ai-factory-nvidia-ai-ai-aidc-ai-data-center/4592)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [6월 7, 2024, 7:48오전 UTC](https://discuss.pytorch.kr/t/ai-factory-nvidia-ai-ai-aidc-ai-data-center/4592 "2024-06-07T07:48:32Z")

</div>

AI Factory: NVIDIA가 제시하는, AI 혁신을 위한 차세대 AI 데이터센터에 대한 개념 소개 NVIDIA는 최근 컴퓨텍스에서 최신 Blackwell(블랙웰) 아키텍처를 탑재한 시스템을 발표했습니다. 젠슨 황(Jensen Huang) CEO는 이번 발표에서 NVIDIA의 파트너들과 함께 블랙웰 시스템을 기반으로 AI 기반 혁신을 가속화할 것이라고 밝혔습니다. 이 시스템은 Grace CPU와 NVIDIA 네트워킹을 포함하며, AI를 위한 데이터 센터(AIDC, AI Data Center)를 위한 새로운 솔루션을 제공하게 될 것이라고 합니다. 젠슨황 CEO는 이러한 새로운 차세대 데이터센터를 'AI Factory(AI 공장)'라고 이름붙였습니다. 그는 이 시스템을 통해 전통적인 데이터 센터를 가속화된 컴퓨팅으로 전환하고, AI를 새로운 상업적 자원으로 만드는 데 큰 역할을 할 것이라고 주장하였습니다. 이러한 AI Factory는 기존의 x86 기반 데이터 센터와 달리, NVIDIA의 새로운 시스템은 Grace 기반 프로세서와 다중 GPU 구성을 사용하여 높은 에너지 효율성과 성능을 제공합니다. 또한, 공기 냉각뿐만 아니라 액체 냉각 기술도 지원하여 다양한 환경에 맞게 최적화할 수 있습니다. AI Factory를 위한 구성 요소 NVIDIA MGX: 모듈식 레퍼런스 디자인 플랫폼으로, 다양한 시스템 구성과 네트워킹 옵션을 제공합니다. Blackwell 아키텍처: 고대역폭 메모리와 전용 압축 해제 엔진을 통해 데이터 처리 속도를 최대 18배 향상시킵니다. GB200 NVL2: 대규모 언어 모델 추론과 데이터 처리에 적합한 플랫폼으로, x86 CPU 대비 에너지 효율이 8배 높습니다. 파트너 생태계: TSMC, ASRock Rack, ASUS 등 글로벌 기술 리더와 협력하여 서버 랙(Rack)부터 냉각 솔루션에 이르기까지 필수 구성 요소를 제공합니다. 더 읽어보기 젠슨황 CEO의 COMPUTEX 키노트 다시보기 …

---

## [NVIDIA, GTC 2024에서 새로운 GPU 아키텍처 Blackwell 발표 외](https://discuss.pytorch.kr/t/nvidia-gtc-2024-gpu-blackwell/3808)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [3월 19, 2024, 10:31오후 UTC](https://discuss.pytorch.kr/t/nvidia-gtc-2024-gpu-blackwell/3808 "2024-03-19T22:31:46Z")

</div>

NVIDIA가 GTC 2024에서 새로운 GPU 아키텍처인 Blackwell을 공개했습니다. Blackwell B200 GPU는 놀라운 성능을 제공하여 AI 개발의 새로운 장을 열 것으로 기대됩니다. 이는 AI 연구와 개발에 있어 더 빠르고 효율적인 모델 훈련을 가능하게 해, NVIDIA의 시장 리더십을 강화할 것으로 보입니다​​. 소개 이번 GTC 2024에서 NVIDIA의 Blackwell 아키텍처와 B200/B100 가속기에 대한 발표는 AI 가속기 시장에서의 리더십을 이어가려는 NVIDIA의 노력을 보여줍니다. Hopper H100/H200/GH200 시리즈가 이미 인기를 끌고 있는 가운데, 다음 세대 가속기 아키텍처인 Blackwell이 2024년 후반에 출시될 예정입니다. Blackwell 아키텍처의 주요 특징 성능의 대폭 향상: Blackwell B100 AI GPU는 Hopper H200 GPU에 비해 2배 이상의 AI 성능을 제공할 예정입니다. 이는 GPT-3 175B 추론 성능 벤치마크에서 확인할 수 있습니다. TSMC 4NP 공정: Blackwell GPU는 TSMC의 4NP 공정을 사용하여 제작됩니다. 이는 4N 공정에 비해 성능이 향상된 버전으로, NVIDIA가 3nm급 노드 대신 이를 선택했습니다. 칩렛 디자인의 도입: Blackwell은 NVIDIA의 플래그십 가속기에서 칩렛 방식을 도입한 첫 사례로, B200 모듈에는 단일 패키지에 두 개의 GPU 다이가 포함됩니다. 메모리와 대역폭의 증가: 각 다이는 4개의 HBM3E 메모리 스택과 함께 제공되어, 총 8개의 스택을 통해 최대 192GB의 HBM3E 메모리와 8TB/초의 메모리 대역폭을 제공합니다. 에너지 효율성: Blackwell GPU는 클러스터 수준에서 H100에 비해 4배의 훈련 성능 및 30배의 추론 성능 향상을 목표로 하면서, 25배 더 높은 에너지 효율성을 제공합니다. Blackwell 기반 GPU 모델들 GB200 (Grace Blackwell Supe…
