PEFT: Parameter-Efficient Fine-Tuning of Billion-Scale Models on Low-Resource Hardware
모델이 점점 커지면서 이제는 일반인들이 사용하고 있는 GPU로도 fine-tuning하기 쉽지 않은 세상이 온 것 같습니다. 그래서 요즘 Parameter-Efficient-Fine-Tuning(PEFT)가 조금씩 대세로 자리잡는 것 같아요. PEFT란 LLM의 대부분의 파라미터를 freezing시키고 소수의 모델 파라미터만 fine-tuning하는 기법입니다.
해당 내용은 코랩에서도 실행할 수 있게끔 설계되었으니 관심있으면 클릭해주세요.