GeekNews의 xguru님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. 
[GN⁺] Ollama, 이제 AMD 그래픽 카드 지원
![[GN⁺] Ollama, 이제 AMD 그래픽 카드 지원](https://discuss.pytorch.kr/uploads/default/original/2X/5/51de5e55b1129c6116551a9893920403198eea04.jpeg)
소개
https://github.com/ollama/ollama/assets/3325447/671a8031-1915-448e-b033-16b367b359d9
- Ollama가 프리뷰 버전에서 Windows와 Linux에서 AMD 그래픽 카드를 지원하기 시작함
- Ollama의 모든 기능이 이제 Linux와 Windows에서 AMD 그래픽 카드로 가속화될 수 있음
지원되는 그래픽 카드
| Family | Supported cards and accelerators |
|---|---|
| AMD Radeon RX | 7900 XTX, 7900 XT, 7900 GRE, 7800 XT, 7700 XT, 7600 XT, 7600, 6950 XT, 6900 XTX, 6900XT, 6800 XT, 6800, Vega 64, Vega 56 |
| AMD Radeon PRO | W7900, W7800, W7700, W7600, W7500, W6900X, W6800X Duo, W6800X, W6800, V620, V420, V340, V320, Vega II Duo, Vega II, VII, SSG |
| AMD Instinct | MI300X, MI300A, MI300, MI250X, MI250, MI210, MI200, MI100, MI60, MI50 |
더 많은 AMD 그래픽 카드에 대한 지원이 곧 제공될 예정
Hacker News 의견
- llama.cpp의 기여에 대한 인정 부족
- llama.cpp가 제공하는 기술을 기반으로 하는 도구에 대해 llama.cpp가 직접적으로 인정받거나 감사를 받지 못하는 것이 눈에 띔.
- 다른 "로컬 실행" 소프트웨어는 적절한 수준의 크레딧을 받는데, Ollama는 MIT 라이선스에 문제가 없는 것처럼 보이지만, 저장소나 블로그, Ollama 웹사이트 어디에도 감사의 표시가 없음.
- Ollama의 AMD 지원과 관련된 블로그 포스트에 대한 의견
- 블로그 포스트가 재미있게 느껴짐. 이미 몇 주 동안 AMD RX 6650에서 Ollama를 실행하고 있었음.
- 21일 전부터 ROCm 컨테이너를 제공했고, 최신 릴리스인 0.1.29와 함께 게시된 것 같음. AMD 지원과 관련하여 이번 릴리스에서 실제로 변경된 사항이 궁금함.
- 공식적으로 지원하지 않는 AMD 카드에서 Ollama를 실행하는 과정을 거친 이슈가 있음. 환경 변수를 설정하는 것이 전부임.
- starcoder2 모델이 이제 작동한다는 변경 사항을 발견함. 이전에는 충돌이 발생했었음.
- Ollama에 대한 과도한 관심에 대한 의문
- Ollama가 많은 관심을 받는 이유가 확실하지 않음. 한 번에 하나의 모델만 지원하고 실험용으로만 사용되는 제한된 가치를 가짐.
- 실험 과정을 매우 쉽게 만들지만, llama.cpp에 완전히 의존하고 주된 가치 제안이 쉬운 모델 관리인 것을 고려하면, 받는 주목과 찬사에 비해 가치가 과대평가되었다고 생각함.
- 초기 실험 후에는 결국 모델을 생산 환경에 배포해야 함. llama.cpp에 대한 크레딧을 주는 것이 아니라, 이 제품이 제공하는 가치에 비해 과도한 주목을 받고 있다는 점을 지적함.
- RX 6800/6800 XT / 6900 XT에 대한 지원에 대한 감사
- 코로나 이후 부족으로 인해 과도한 금액을 지불하고 구입한 카드를 ML 작업에 사용할 수 있게 되어 기쁨.
- Ollama 프로젝트와 llama.cpp에 감사함.
- Ollama 실행 시 AMD 관련 경고 메시지
- fooocus는 실행되지만 Ollama 실행 시 AMD 리눅스 드라이버와 관련된 경고 메시지가 나타남.
- ROCm 라이브러리가 없어 CPU를 사용하게 됨.
- Arch Linux에서 ROCm을 다시 설치하는 방법을 확인해야 함.
- CUDA의 경쟁력 감소에 대한 긍정적인 반응
- 이러한 프로젝트가 늘어날수록 CUDA는 덜 중요해지고, Nvidia의 경쟁력이 줄어듦.
- 로컬 LLM 소프트웨어가 새로운 하드웨어 구매를 유도
- RX 570/580 같은 오래된 카드는 지원받지 못하고 새로운 하드웨어가 더 강력함에도 불구하고, CUDA가 2007년, ROCm이 2016년에 출시되었기 때문에 최신 카드가 필요하지 않을 것이라고 생각함.
- Ollama의 간편한 사용 경험
- 로컬 모델을 실행해본 경험이 없지만, Ubuntu 22에서 7600 카드로 바로 작동하여 매우 훌륭함.
- OpenCL의 활용과 관련된 궁금증
- OpenCL이 Cuda에 비해 드물게 사용되는데, 이를 어떻게 성공적으로 구현했는지 궁금함.
- 4090 카드에 상당한 금액을 지불했지만, 선택의 여지가 있었으면 좋겠음.
- NVidia 카드 가격과 AMD 지원 개선 노력
- 최상위 NVidia 카드의 가격이 매우 높고 구하기 어려운 상황에서 AMD 지원을 개선하기 위한 많은 노력이 이루어지고 있음을 시사함.