# \#ipex-llm

**URL:** https://discuss.pytorch.kr/tag/ipex-llm/2939.md

[최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md)

---

## [ipex-llm: Intel CPU 및 GPU에서 로컬 LLM의 추론 및 미세 조정을 위한 PyTorch LLM 라이브러리](https://discuss.pytorch.kr/t/ipex-llm-intel-cpu-gpu-llm-pytorch-llm/4057)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [4월 12, 2024, 2:09오전 UTC](https://discuss.pytorch.kr/t/ipex-llm-intel-cpu-gpu-llm-pytorch-llm/4057 "2024-04-12T02:09:51Z")

</div>

:pytorch:PyTorchKR:kr: 인텔의 ipex-llm 프로젝트는 Intel CPU가 탑재된 로컬 PC나 Intel의 Arc, Flex, Max와 같은 별도의 GPU에서 로컬 LLM의 추론 및 미세 조정(fine-tuning)용 PyTorch LLM 가속 라이브러리입니다. 이 라이브러리는 LLaMA, Mistral, ChatGLM, Qwen, Baichuan, Mixtral, Gemma 등의 다양한 LLM 모델들을 지원하며, llama.cpp, HuggingFace, LangChain, LlamaIndex, DeepSpeed, vLLM, FastChat, ModelScope 등과의 원활한 통합 또한 제공합니다. ipex-llm: Intel CPU 및 GPU에서 로컬 LLM의 추론 및 미세 조정을 위한 PyTorch LLM 라이브러리 소개 ipex-llm은 Intel의 CPU 및 GPU에서 대규모 언어 모델(LLM)을 효율적으로 실행할 수 있게 해주는 PyTorch 라이브러리입니다. Intel Extension for PyTorch(IPEX)를 기반으로 하며, llama.cpp, bitsandbytes, vLLM, qlora, AutoGPTQ, AutoAWQ 등의 우수한 작업에 기반을 두고 있습니다. 이 라이브러리는 50개 이상의 모델을 최적화/검증했으며, 인텔 코어 울트라 랩톱이나 Arc GPU를 사용할 때 매우 낮은 지연 시간으로 LLM을 실행할 수 있습니다. 주요 기능 다양한 LLM 지원: LLaMA2, Mistral, Mixtral, Gemma, LLaVA, Whisper, ChatGLM, Baichuan, Qwen, RWKV 등 50개 이상의 모델 최적화 및 검증. 통합성: llama.cpp, ollama, Text-Generation-WebUI, HuggingFace transformers 등과 같은 다양한 도구 및 라이브러리와의 원활한 통합 제공. 성능 최적화: Intel CPU와 GPU에서 실행할 때 낮은 지연 …