# \#low-rank-adapter **URL:** https://discuss.pytorch.kr/tag/low-rank-adapter/429.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [QLoRA: 48GB GPU로 65B 모델의 미세조정(파인튜닝)이 가능하다고요?](https://discuss.pytorch.kr/t/qlora-48gb-gpu-65b/1682)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [5월 30, 2023, 6:26오전 UTC](https://discuss.pytorch.kr/t/qlora-48gb-gpu-65b/1682 "2023-05-30T06:26:29Z")
지난 주의 Drag Your GAN에 이어, 오늘은 QLoRA: Efficient Finetuning of Quantized LLMs를 들고 왔습니다! 지난 주에 SNS 상에서 많은 분들께서 언급해주셨고, HuggingFace에서도 관련 글이나 자료들이 나왔었는데요, 저희 게시판에서도 @yblee 님께서 데일리 뉴스로 소개를 해주시기도 하였고, TLDR AI 뉴스레터에서도 소개되어... 봐야지... 봐야지... 하고 생각만 하다가 (연휴 내내 뒹굴거리느랴 바빠서) 이제서야 김 굽듯이 대애추웅 살펴보게 되었습니다 :sweat\_smile: 소개 LLM은 학습은 꿈도 못 꾸고, 파인튜닝(미세조정) 시에도 엄청난 시간과 비용이 소모됩니다. 지난 주에 KoAlpaca 개발자이신 이준범님께서 발표 때 말씀해주신 내용으로는, Polyglot-Ko 12.8B 모델을 파인튜닝하는데 대략 A100(80G) 4대로 12시간 가량 걸렸다고 하십니다. 더 큰 모델이라면.... :thinking: LoRA 그래서 이렇게 큰 모델의 경우 모델의 전체 파라매터/가중치가 아닌, 일부 가중치만 파인튜닝하는 PEFT(Parameter-Efficient Fine-Tuning)라는 방법론을 사용하는데요, 이 중 전체 가중치는 고정시킨 상태에서 별도의 (원래 모델보다 훨씬 적은 양의) 파라매터들을 각 Transformer의 Layer들에 추가하고, 해당 파라매터들만 학습시키는 Low-Rank Adaptation, LoRA라는 불리는 방법이 주로 사용되었습니다. LoRA에 대한 자세한 설명은 아래 영상과 글을 참고해주세요~ 딥러닝 논문 읽기 모임의 LoRA 논문 리뷰 eagle705님의 PEFT - LoRA 설명 글 + 양자화(Quantization) :atom\_symbol: 또한, 추론 시에는 양자화(quantized)를 사용하여 파라매터를 16-bit float (또는 bfloat) 보다 더 작은 4-bit로 만들어 더 작은 VRAM을 소…