LLM 파인튜닝 도구 XTuner, Llama-3 기반 LLaVA 모델 공개

더 작은 모델을 시도해보시려면, LLaVA의 방법론을 더 작은 모델(Phi-2.5 등)에 적용한 Imp 같은 모델이나 Gemma를 기반으로 한 PaliGemma 같은 모델 등이 있으니 참고해보시는 것도 방법일 것 같습니다.

그 외에도 TinyGPT-V 등이 있긴 하지만, 아무래도 학습 스크립트까지 잘 갖춰진 Open Weight 모델들을 찾으시는게 나으실 것 같아 위 2개 모델을 먼저 추천드립니다. :smiley:

1개의 좋아요