[GN] OpenLLaMA - LLaMA의 개방형 복제본

읽을거리&정보공유
, ,
1

GeekNews 의 xguru 님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. :smiley_cat:

소개

image

  • 다른 용도의 이용이 가능하도록 아파치 라이센스로 만들어진 LLaMA의 복제본
  • Together가 릴리즈한 RedPajama 데이터셋을 활용
  • JAX 기반의 파이프라인인 EasyLM을 통해 훈련
  • 200B/300B 토큰 기반의 OpenLLAMA 7B를 공개

원문

출처 / GeekNews

2

llama.cpp와 함께 사용하는 방법을 xguru님께서 덧글로 남겨주셔서 함께 퍼왔습니다 +_+

HN댓글에 "llama.cpp + 8GB RAM에서 OpenLLaMA 사용하기" 코맨드를 올려놨네요
OpenLLaMA: An Open Reproduction of LLaMA | Hacker News

  git clone https://github.com/ggerganov/llama.cpp && cd llama.cpp && cmake -B build && cmake --build build  
  python3 -m pip install -r requirements.txt  
  
  cd models && git clone https://huggingface.co/openlm-research/open_llama_7b_preview_200bt/ && cd -  
  python3 convert-pth-to-ggml.py models/open_llama_7b_preview_200bt/open_llama_7b_preview_200bt_transformers_weights 1  
  ./build/bin/quantize models/open_llama_7b_preview_200bt/open_llama_7b_preview_200bt_transformers_weights/ggml-model-f16.bin models/open_llama_7b_preview_200bt_q5_0.ggml q5_0  
  ./build/bin/main -m models/open_llama_7b_preview_200bt_q5_0.ggml --ignore-eos -n 1280 -p "Building a website can be done in 10 simple steps:" --mlock

답변달기

3

다른 참고 링크들

RedPajama

LLaMA 모델의 간략한 역사