[GN] GPT같은 LLM을 커스텀 데이터셋으로 파인튜닝 하는 방법

읽을거리&정보공유
, , ,
1

GeekNews의 xguru님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. :smiley_cat:

소개

image

  • nanoGPT 기반의 오픈소스 구현체인 Lit-Parrot 으로 LoRA 와 Adapter 를 이용해서 파인 튜닝하기
    • StableLM, Pythia, RedPajama 같은 LLM을 지원
    • PyTorch의 FlashAttention 이용
  • 예제에서는 Databricks의 Dolly 2.0 인스트럭션 데이터셋으로 RedPajama-INCITE 모델을 튜닝

원문

출처 / GeekNews