# \[GN\] OpenLLaMA - LLaMA의 개방형 복제본

**URL:** <https://discuss.pytorch.kr/t/gn-openllama-llama/1494>\
**Category:** 읽을거리&정보공유\
**Tags:** llama, redpajama, openllama\
**Created:** [5월 7, 2023, 3:19오전 UTC](https://discuss.pytorch.kr/t/gn-openllama-llama/1494 "2023-05-07T03:19:30Z")\
**Posts on this page:** 3\
**Page:** 1

<div class="post-metadata">

**Author:** ![9bow](https://discuss.pytorch.kr/user_avatar/discuss.pytorch.kr/9bow/32/16301_2.png) [@9bow](https://discuss.pytorch.kr/u/9bow)\
**Post date:** [5월 7, 2023, 3:19오전 UTC](https://discuss.pytorch.kr/t/gn-openllama-llama/1494/1 "2023-05-07T03:19:30Z")

</div>

_[GeekNews](https://news.hada.io/)의 [xguru](https://news.hada.io/user?id=xguru)님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. 😺_

* * *

### 소개

[![image](https://discuss.pytorch.kr/uploads/default/original/2X/6/6f6e166e77e248c577c296c1805af417aab7901a.png)](https://github.com/openlm-research/open_llama)

- 다른 용도의 이용이 가능하도록 아파치 라이센스로 만들어진 LLaMA의 복제본
- Together가 릴리즈한 RedPajama 데이터셋을 활용
- JAX 기반의 파이프라인인 EasyLM을 통해 훈련
- 200B/300B 토큰 기반의 OpenLLAMA 7B를 공개

### 원문

> **[GitHub - openlm-research/open\_llama: OpenLLaMA, a permissively licensed open source...](https://github.com/openlm-research/open_llama)**
>
> OpenLLaMA, a permissively licensed open source reproduction of Meta AI’s LLaMA 7B trained on the RedPajama dataset

### 출처 / GeekNews

> **[OpenLLaMA - LLaMA의 개방형 복제본 | GeekNews](https://news.hada.io/topic?id=9112)**
>
> 다른 용도의 이용이 가능하도록 아파치 라이센스로 만들어진 LLaMA의 복제본Together가 릴리즈한 RedPajama 데이터셋을 활용JAX 기반의 파이프라인인 EasyLM을 통해 훈련200B/300B 토큰 기반의 OpenLLAMA 7B를 공개

---

<div class="post-metadata">

**Author:** ![9bow](https://discuss.pytorch.kr/user_avatar/discuss.pytorch.kr/9bow/32/16301_2.png) [@9bow](https://discuss.pytorch.kr/u/9bow)\
**Post date:** [5월 7, 2023, 3:21오전 UTC](https://discuss.pytorch.kr/t/gn-openllama-llama/1494/2 "2023-05-07T03:21:02Z")

</div>

llama.cpp와 함께 사용하는 방법을 xguru님께서 덧글로 남겨주셔서 함께 퍼왔습니다 +\_+

> HN댓글에 "llama.cpp + 8GB RAM에서 OpenLLaMA 사용하기" 코맨드를 올려놨네요  
> [OpenLLaMA: An Open Reproduction of LLaMA | Hacker News](https://news.ycombinator.com/item?id=35798888)
> 
> ```auto
> git clone https://github.com/ggerganov/llama.cpp && cd llama.cpp && cmake -B build && cmake --build build  
> python3 -m pip install -r requirements.txt  
>   
> cd models && git clone https://huggingface.co/openlm-research/open_llama_7b_preview_200bt/ && cd -  
> python3 convert-pth-to-ggml.py models/open_llama_7b_preview_200bt/open_llama_7b_preview_200bt_transformers_weights 1  
> ./build/bin/quantize models/open_llama_7b_preview_200bt/open_llama_7b_preview_200bt_transformers_weights/ggml-model-f16.bin models/open_llama_7b_preview_200bt_q5_0.ggml q5_0  
> ./build/bin/main -m models/open_llama_7b_preview_200bt_q5_0.ggml --ignore-eos -n 1280 -p "Building a website can be done in 10 simple steps:" --mlock  
> 
> ```
> 
> [답변달기](https://news.hada.io/topic?id=9112)

---

<div class="post-metadata">

**Author:** ![9bow](https://discuss.pytorch.kr/user_avatar/discuss.pytorch.kr/9bow/32/16301_2.png) [@9bow](https://discuss.pytorch.kr/u/9bow)\
**Post date:** [5월 7, 2023, 3:23오전 UTC](https://discuss.pytorch.kr/t/gn-openllama-llama/1494/3 "2023-05-07T03:23:17Z")

</div>

**다른 참고 링크들**

### RedPajama

> [@\[GN\] RedPajama - LLaMA 데이터셋을 재작성하는 오픈소스 프로젝트](https://discuss.pytorch.kr/t/gn-redpajama-llama/1412):
>
> [GeekNews](https://news.hada.io/)의 [xguru](https://news.hada.io/user?id=xguru)님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. ^^ 소개 LLaMA, Alpaca, Vicuna 같은 반개방형 모델이 아니라 재현가능하고 완전한 개방형 언어 모델을 만들기 위한 프로젝트 3가지 구성요소 높은 품질과 넓은 커버리지를 가진 Pre-Training 데이터 이 데이터 기반으로 대규모로 학습된 베이스 모델 베이스 보델은 안전하고 사용가능하게 만들기 위한 인스트럭션 튜닝 데이터와 모델 첫번째 컴포넌트로 RedPajama-Data-1T 데이터셋을 공개 LLaMA 논문에 설명된 레시피에 따라서 생성한 1.2조개의 토큰으로 구성된 완전 개방형 데이터 셋 HuggingFace를 통해 다운로드 가능. 전체 5TB(3TB로 압축하여 배포) 7개의 데이터 조각으로 구성 : 각각 전처리와 필터링하여 LLaMA 논문과 비슷한 갯수로 구성(전처리 방법 및 필터 역시 GitHub에 공개) Co…

### LLaMA 모델의 간략한 역사

> [@\[GN\] LLaMA 모델의 간략한 역사](https://discuss.pytorch.kr/t/gn-llama/1481):
>
> [GeekNews](https://news.hada.io/)의 [xguru](https://news.hada.io/user?id=xguru)님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. smiley_cat소개 [[image]](https://agi-sphere.com/llama-models/) 2023년 2월에 출시된 LLaMA는 이미 다양한 파인튜닝 모델이 출시됨 각 모델을 살펴보고 비교 LLaMA : (7B, 13B, 33B, 65B), CommonCrawl/C4/GitHub/Wikipedia/Gutenberg & Book3/ArXiv/StackExchange Alpaca : 52k GPT-3 instructions Vicuna : 70k ChatGPT conversations Koala : 117k cleaned ChatGPT conversations GPT4-x-Alpaca : 20k GPT4 instructions WizardLM : 70k instructions synthesized with ChatGPT/GPT-3 OpenAssistant : 600k human interactions (OpenA…