LLaMa2 7B ,13B를 GPTQ 4bit Quantization하여 동작하고, 관련 Webpage를 추천해주는 Chatbot를 개발해보았습니다

읽을거리&정보공유
1

LLaMa2 7B ,13B를 GPTQ 4bit Quantization하여 동작하고, 관련 Webpage를 추천해주는 Chatbot를 개발해보았습니다 LLaMa2GPTQ
도움되는분 있을까해 공유합니다


3개의 좋아요
2

아래는 CLI에서 Token Streaming 형태로 light하게 구현한 파트 영상입니다

3

멋지네요! 감사합니다.

4

우와, 멋진 프로젝트 소개 감사합니다!!! :star_struck:
:+1: :+1: :+1:

5

프로젝트 홈페이지 링크가 없어 추가해봅니다! :smiley: