GeekNews의 xguru님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. 
소개
- Nvidia는 CUDA와 cuDNN 같은 소프트웨어 도구와 최적화된 라이브러리 덕분에 GenAI 분야에서의 우위를 가지고 있음
- 하드웨어 주변에 강력한 소프트웨어 "해자(Moat)"를 구축해 HPC와 GenAI 시장에서 다른 회사들이 경쟁하는 것을 어렵게 만듦
- GenAI 컴퓨팅 자원에 대한 수요 증가로 인해 GPU가 더 필요해지고 있음. 이로 인해 공급-수요 격차가 발생하고, AMD와 같은 회사들이 이를 채우려고 함
- Nvidia와 경쟁하기 위해, 다른 제조사의 GPU와 가속기는 CUDA를 지원해야 함. AMD는 이를 HIP CUDA 변환 도구를 통해 가능하게 함
- PyTorch 오픈소스 머신러닝 라이브러리는 GPU를 이용한 AI 애플리케이션을 만드는데 TensorFlow의 대안으로 인기를 얻고 있음.
- PyTorch는 사용자를 기본 GPU 아키텍처로부터 격리시켜 AMD GPU가 CUDA 해자를 넘기는 것을 용이하게 함
- Nvidia의 다가오는 72코어 ARM 기반 Grace-Hopper 슈퍼칩은 HPC와 GenAI에서의 잠재적 성능으로 많은 기대를 받고 있음
- AMD는 다가오는 Instinct MI300A 프로세서로 Nvidia의 Grace-Hopper 슈퍼칩과 경쟁할 예정이며, 이 프로세서는 Lawrence Livermore National Laboratory의 다가오는 El Capitan을 구동할 것임
- AMD CEO Lisa Su는 그들의 아키텍처 선택으로 인해 추론 솔루션의 산업 리더가 되려는 목표를 밝혔음
- AMD 와 다른 하드웨어 벤더들에게 PyTorch는 CUDA 해자에 도개교(Drawbridge)를 놔줬음
- GenAI 시장에서의 하드웨어 전투는 성능, 이식성, 그리고 가용성(performance, portability, and availability)에 의해 결정될 것
Hacker News 의견
- 사용자는 ROCm을 Pytorch와 함께 사용하여 CPU에 비해 200배 성능 향상을 보았다.
- AMD 설정의 복잡성 때문에 사용자는 공식 ROCm Pytorch 기본 도커 이미지 사용을 권장한다.
- 사용자는 Nvidia 카드를 가진 유일한 이유가 CUDA이지만, 더 많은 프로젝트가 중립적인 환경으로 이동하면 감사할 것이라고 말했다.
- 사용자는 Linux에서 Nvidia를 실행하는 것이 Windows Vista에서의 커널 충돌에 비해 즐겁지 않다고 느낀다.
- 사용자는 AMD와 다른 경쟁사들의 경쟁을 환영하며, 대형 내부 RAM을 가진 Apple Silicon SOC에도 관심이 있다.
- Pytorch는 다른 하드웨어를 허용하며, 사용자는 컴퓨팅 파워에 대한 실제 벤치마크를 보고 싶어한다.
- AMD가 Nvidia와의 과학 또는 ML 소프트웨어에서 격차를 줄이는 것에 대한 실증적 증거는 제한적이다.
- CUDA는 Nvidia가 생태계를 지원하는 노력의 결과물이며, Nvidia를 구매할 때, 그들이 생태계에 투자한 노력도 함께 구매하는 것이다.
- AMD는 하드웨어를 가지고 있지만, bliss와 AOCL 외의 HPC에 대한 지원이 부족하다.
- 사용자는 AMD가 Nvidia의 PTX처럼 전방 장치 호환성에 대한 해결책을 가지고 있는지 의문을 제기한다.
- Nvidia의 우위는 오픈소스 커뮤니티, 대기업, 연구소들이 노력한 수년간의 작업이다.
- 사용자는 AMD가 따라잡으면 취미용이나 부트스트랩 스타트업을 위한 가격이 낮아질지, 아니면 AMD도 Nvidia처럼 가격을 올릴지 의문을 제기한다.
- AMD의 소프트웨어 솔루션은 어떤 하드웨어에서도 실행되도록 설계되었으며, hip이 cuda와 줄 단위로 호환되므로 이식이 매우 쉽다.