# ipex-llm: Intel CPU 및 GPU에서 로컬 LLM의 추론 및 미세 조정을 위한 PyTorch LLM 라이브러리

**URL:** https://discuss.pytorch.kr/t/ipex-llm-intel-cpu-gpu-llm-pytorch-llm/4057
**Category:** 읽을거리&정보공유
**Tags:** intel-extension-for-pytorch, pytorch, local-llm, llm-acceleration, ipex-llm, ipex
**Created:** [4월 12, 2024, 2:09오전 UTC](https://discuss.pytorch.kr/t/ipex-llm-intel-cpu-gpu-llm-pytorch-llm/4057 "2024-04-12T02:09:51Z")
**Posts on this page:** 1
**Page:** 1

<div class="post-metadata">

### Author: ![9bow](https://discuss.pytorch.kr/user_avatar/discuss.pytorch.kr/9bow/32/16301_2.png) [@9bow](https://discuss.pytorch.kr/u/9bow)
#### Post date: [4월 12, 2024, 2:09오전 UTC](https://discuss.pytorch.kr/t/ipex-llm-intel-cpu-gpu-llm-pytorch-llm/4057/1 "2024-04-12T02:09:51Z")

</div>

### :pytorch:PyTorchKR:kr:

- 인텔의 ipex-llm 프로젝트는 Intel CPU가 탑재된 로컬 PC나 Intel의 Arc, Flex, Max와 같은 별도의 GPU에서 로컬 LLM의 추론 및 미세 조정(fine-tuning)용 PyTorch LLM 가속 라이브러리입니다. 이 라이브러리는 LLaMA, Mistral, ChatGLM, Qwen, Baichuan, Mixtral, Gemma 등의 다양한 LLM 모델들을 지원하며, llama.cpp, HuggingFace, LangChain, LlamaIndex, DeepSpeed, vLLM, FastChat, ModelScope 등과의 원활한 통합 또한 제공합니다.

 ![ipex-llm: Intel CPU 및 GPU에서 로컬 LLM의 추론 및 미세 조정을 위한 PyTorch LLM 라이브러리](https://discuss.pytorch.kr/uploads/default/original/2X/3/376efbc0130a11ed2bc81021a29a5ca4a80c27b8.png)

* * *

# ipex-llm: Intel CPU 및 GPU에서 로컬 LLM의 추론 및 미세 조정을 위한 PyTorch LLM 라이브러리

## 소개

ipex-llm은 Intel의 CPU 및 GPU에서 대규모 언어 모델(LLM)을 효율적으로 실행할 수 있게 해주는 PyTorch 라이브러리입니다. Intel Extension for PyTorch(IPEX)를 기반으로 하며, llama.cpp, bitsandbytes, vLLM, qlora, AutoGPTQ, AutoAWQ 등의 우수한 작업에 기반을 두고 있습니다. 이 라이브러리는 50개 이상의 모델을 최적화/검증했으며, 인텔 코어 울트라 랩톱이나 Arc GPU를 사용할 때 매우 낮은 지연 시간으로 LLM을 실행할 수 있습니다.

## 주요 기능

- **다양한 LLM 지원** : LLaMA2, Mistral, Mixtral, Gemma, LLaVA, Whisper, ChatGLM, Baichuan, Qwen, RWKV 등 50개 이상의 모델 최적화 및 검증.

- **통합성** : llama.cpp, ollama, Text-Generation-WebUI, HuggingFace transformers 등과 같은 다양한 도구 및 라이브러리와의 원활한 통합 제공.

- **성능 최적화** : Intel CPU와 GPU에서 실행할 때 낮은 지연 시간 및 높은 처리량 제공.

- **사용 용이성** : 사용자 친화적인 설치 및 실행 과정을 통해 누구나 쉽게 사용할 수 있음.

## 사용 방법

ipex-llm은 몇 가지 간단한 단계로 설치 및 실행할 수 있습니다. 예를 들어, Windows GPU 환경에서는 Intel GPU와 함께 ipex-llm을 설치할 수 있으며, Docker를 사용하여 Intel CPU와 GPU에서 ipex-llm docker를 사용할 수 있습니다. 또한, llama.cpp, ollama, vLLM, FastChat, LangChain-Chatchat RAG, Text-Generation-WebUI 등을 사용하여 Intel GPU와 CPU에서 LLM을 실행할 수 있습니다. 이러한 다양한 실행 방법은 사용자가 자신의 필요에 맞게 LLM을 손쉽게 사용할 수 있게 해줍니다.

## ipex-llm 데모

### Intel Core Ultra Laptop에서의 데모

**[Text-Generation-WebUI](https://ipex-llm.readthedocs.io/en/latest/doc/LLM/Quickstart/webui_quickstart.html)**

**[Local RAG using LangChain-Chatchat](https://ipex-llm.readthedocs.io/en/latest/doc/LLM/Quickstart/chatchat_quickstart.html)**

### Intel Arc GPU에서의 데모

**[llama.cpp](https://ipex-llm.readthedocs.io/en/latest/doc/LLM/Quickstart/llama_cpp_quickstart.html)**

**[HuggingFace transformers](https://github.com/intel-analytics/ipex-llm/tree/main/python/llm/example/GPU/HF-Transformers-AutoModels)**

## 검증된 모델

| Model | CPU Example | GPU Example |
| --- | --- | --- |
| LLaMA _(such as Vicuna, Guanaco, Koala, Baize, WizardLM, etc.)_ | link1, link2 | link |
| LLaMA 2 | link1, link2 | link |
| ChatGLM | link | |
| ChatGLM2 | link | link |
| ChatGLM3 | link | link |
| Mistral | link | link |
| Mixtral | link | link |
| Falcon | link | link |
| MPT | link | link |
| Dolly-v1 | link | link |
| Dolly-v2 | link | link |
| Replit Code | link | link |
| RedPajama | link1, link2 | |
| Phoenix | link1, link2 | |
| StarCoder | link1, link2 | link |
| Baichuan | link | link |
| Baichuan2 | link | link |
| InternLM | link | link |
| Qwen | link | link |
| Qwen1.5 | link | link |
| Qwen-VL | link | link |
| Aquila | link | link |
| Aquila2 | link | link |
| MOSS | link | |
| Whisper | link | link |
| Phi-1\_5 | link | link |
| Flan-t5 | link | link |
| LLaVA | link | link |
| CodeLlama | link | link |
| Skywork | link | |
| InternLM-XComposer | link | |
| WizardCoder-Python | link | |
| CodeShell | link | |
| Fuyu | link | |
| Distil-Whisper | link | link |
| Yi | link | link |
| BlueLM | link | link |
| Mamba | link | link |
| SOLAR | link | link |
| Phixtral | link | link |
| InternLM2 | link | link |
| RWKV4 | | link |
| RWKV5 | | link |
| Bark | link | link |
| SpeechT5 | | link |
| DeepSeek-MoE | link | |
| Ziya-Coding-34B-v1.0 | link | |
| Phi-2 | link | link |
| Yuan2 | link | link |
| Gemma | link | link |
| DeciLM-7B | link | link |
| Deepseek | link | link |
| StableLM | link | link |

## 더 읽어보기

### 프로젝트 홈페이지

[https://ipex-llm.readthedocs.io/](https://ipex-llm.readthedocs.io/)

### GitHub 저장소

[https://github.com/intel-analytics/ipex-llm](https://github.com/intel-analytics/ipex-llm)

* * *

_이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다._ 🤗

[:pytorch:파이토치 한국 사용자 모임🇰🇷](https://pytorch.kr/)이 정리한 이 글이 유용하셨나요? [회원으로 가입](https://discuss.pytorch.kr/signup)하시면 주요 글들을 이메일💌로 보내드립니다! (기본은 Weekly지만 [Daily로 변경도 가능](https://discuss.pytorch.kr/my/preferences/emails)합니다.)

🎁 아래↘쪽에 좋아요❤를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~ 🤩