# \#command-r-plus
**URL:** https://discuss.pytorch.kr/tag/command-r-plus/2890.md
[최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md)
---
## [Apple M2 Ultra와 MLX 프레임워크로 Command R+ QLoRA 파인튜닝 모델 실행](https://discuss.pytorch.kr/t/apple-m2-ultra-mlx-command-r-qlora/3995)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 1\
**마지막 업데이트:** [4월 7, 2024, 1:32오후 UTC](https://discuss.pytorch.kr/t/apple-m2-ultra-mlx-command-r-qlora/3995 "2024-04-07T13:32:46Z")
:pytorch:PyTorchKR:kr: Cohere에서 공개한 Command R+ 모델에 대해서 GeekNews에 올라온 글을 통해 소개해드렸는데요, 트위터(X)와 Reddit에서 Apple M2 Ultra + MLX 프레임워크의 조합으로 Command R+ 모델을 파인튜닝하고 초당 약 7.5토큰의 속도로 실행한 내용이 화제입니다. MLX는 작년 말 Apple이 공개한 Apple 전용 칩(M1/M2/M3)을 지원하는 머신러닝 프레임워크로, 빠르진 않지만 꾸준히 사용자가 늘며 성장하고 있습니다. MLX와 관련한 내용은 관련 글(MLX: 애플 전용칩(Apple silicon: M1, M2, M3 등)을 지원하는 새로운 머신러닝 프레임워크)을 참고해주세요. :smiley: 소개 MLX에서 제공하는 QLoRA(Command R+ 104b)는 M2 Ultra와 같은 프로슈머(Pro-sumer) 기기에서도 실행 가능한 인공지능 모델입니다. 이 기술은 초당 약 25 토큰의 처리 속도를 제공하며, GPU 클러스터에 비해 속도가 떨어지기는 하지만, 접근성과 편의성 측면에서 뛰어납니다. 바로 실행을 해보기 원하는 사용자는 Cohere의 Command R+ 모델을 MLX 프레임워크용으로 포팅한 모델을 Hugging Face에서 받아서 실행해볼 수 있습니다. Awni Hannun (@awnihannun)\](https://twitter.com/awnihannun)이 게시한 영상(출처) 또는, 직접 M2 Ultra 등의 하드웨어에서 파인튜닝을 해보길 원하는 사용자는, GitHub에 공개된 Tiny-Llama 파인튜닝 노트북을 활용하여 직접 실험해볼 수 있습니다. 더 읽어보기 @awnihannun의 트윗 https://x.com/awnihannun/status/1775942513653924049?s=20 Reddit LocalLLaMA 게시판의 글 https://www.reddit.com/r/LocalLLaMA/comments/1bwbgum/ql…
---
## [\[GN⁺\] Cohere의 Command R+, 비즈니스를 위해 구축된 확장 가능한 LLM](https://discuss.pytorch.kr/t/gn-cohere-command-r-llm/3991)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [4월 7, 2024, 3:06오전 UTC](https://discuss.pytorch.kr/t/gn-cohere-command-r-llm/3991 "2024-04-07T03:06:03Z")
소개 실제 기업용 대규모 작업 및 사용 사례에 최적화된 확장 가능한 대규모 언어 모델(LLM) Command R+는 높은 효율성과 강력한 정확성의 균형을 유지하는 R-시리즈 LLM에 속함 기업이 개념 증명을 넘어 AI를 프로덕션에 적용할 수 있도록 지원 Command R+의 주요 특징 128k 토큰 컨텍스트 창을 특징으로 하며, 다음과 같은 최고 수준의 기능을 제공: 환각을 줄이기 위한 인용을 통한 고급 검색 강화 생성(RAG) 글로벌 비즈니스 운영을 지원하기 위한 10개 주요 언어의 다국어 지원 복잡한 비즈니스 프로세스를 자동화하는 도구 사용 Command R의 주요 장점을 기반으로 전반적인 성능을 더욱 향상시킴 확장 가능한 시장 범주의 유사 모델보다 우수한 성능을 보이며, 주요 비즈니스 핵심 기능에서 훨씬 비싼 모델과 경쟁력 있음 데이터 프라이버시와 보안에 대한 동일한 수준의 약속을 제공 Microsoft Azure와의 협력 전 세계 기업 커뮤니티를 위해 Microsoft Azure와 새로운 협력을 발표 Cohere의 최신 모델을 Azure AI로 가져와 기업의 AI 도입을 가속화하는 데 전념 기업이 보안과 규정 준수의 최고 기준을 준수하면서 더 많은 것을 달성할 수 있도록 하는 포괄적인 AI 도구 제공 기술이 인간의 능력과 혁신을 증폭시키는 미래 조성 모델 가용성 개발자와 기업은 오늘부터 Azure에서 Cohere의 최신 모델에 액세스할 수 있음 Oracle Cloud Infrastructure(OCI) 및 추가 클라우드 플랫폼에서도 곧 사용 가능 Cohere의 호스팅된 API에서도 즉시 사용 가능 업계 최고 수준의 RAG 솔루션 RAG는 기업이 LLM을 도입하고 자체 독점 데이터로 사용자 정의하는 기반이 됨 Command R+는 기업 준비, 높은 신뢰성, 검증 가능한 솔루션을 제공하도록 고급 RAG에 최적화됨 새로운 모델은 응답 정확도를 개선하고 환각을 완화하는 인라인 인용을 제공 이 기능은 기업이 AI를 통해 확장…