# \[GN\] RedPajama 3B, 7B 모델 공개

**URL:** <https://discuss.pytorch.kr/t/gn-redpajama-3b-7b/1500>\
**Category:** 읽을거리&정보공유\
**Tags:** redpajama, geeknews, llm\
**Created:** [5월 8, 2023, 3:52오전 UTC](https://discuss.pytorch.kr/t/gn-redpajama-3b-7b/1500 "2023-05-08T03:52:50Z")\
**Posts on this page:** 1\
**Page:** 1

<div class="post-metadata">

**Author:** ![9bow](https://discuss.pytorch.kr/user_avatar/discuss.pytorch.kr/9bow/32/16301_2.png) [@9bow](https://discuss.pytorch.kr/u/9bow)\
**Post date:** [5월 8, 2023, 3:52오전 UTC](https://discuss.pytorch.kr/t/gn-redpajama-3b-7b/1500/1 "2023-05-08T03:52:50Z")

</div>

_[GeekNews](https://news.hada.io/)의 [xguru](https://news.hada.io/user?id=xguru)님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. 😺_

* * *

### 소개

[![redpajama](https://discuss.pytorch.kr/uploads/default/original/2X/0/07c33ccd382e269320a0e854e38a68431b7d70a3.jpeg)](https://www.together.xyz/blog/redpajama-models-v1)

- 완전한 개방형 언어 모델을 만들기 위한 프로젝트
- 3주전 공개한 RedPajama-Data-1T 데이터셋을 기반으로 3B(완료), 7B(프리뷰) 파라미터의 RedPajama-INCITE 모델들을 공개
  - Base 모델
  - Instruction-Tuned 모델
  - Chat 모델

- 3B 모델은 동급에서 가장 강력. 크기가 작아서 빠르고 5년전 출시된 RTX 2070 같은 장비에서도 실행 가능
- 명령어 튜닝 버전의 7B 모델은 HELM 벤치마크에서 LLaMA 7B 보다 3점 더 높음
- 7B 모델(훈련 80% 완료)은 이미 Pythia 7B 모델을 뛰어넘음
- 몇주내로 7B 훈련이 완료되면, LLaMA 7B를 넘어설 것
- 3B 모델은 8000억개의 토큰으로 안정화 되었고, 7B 모델은 1조개의 토큰으로 훈련완료중이며 개선중

### 원문

> **[Releasing 3B and 7B RedPajama-INCITE family of models including base,...](https://www.together.ai/blog/redpajama-models-v1)**

### 출처 / [GeekNews](https://news.hada.io/topic?id=9124)

> **[RedPajama 3B, 7B 모델 공개 | GeekNews](https://news.hada.io/topic?id=9124)**
>
> 완전한 개방형 언어 모델을 만들기 위한 프로젝트3주전 공개한 RedPajama-Data-1T 데이터셋을 기반으로 3B(완료), 7B(프리뷰) 파라미터의 RedPajama-INCITE 모델들을 공개Base 모델Instruction-Tuned 모델Chat 모델3B 모델은 동급에서 가장 강력. 크기가 작아서 빠르고 5년전 출시된 RTX 2070 같은 장비에서도

### 참고 링크

> [@\[GN\] RedPajama - LLaMA 데이터셋을 재작성하는 오픈소스 프로젝트](https://discuss.pytorch.kr/t/gn-redpajama-llama/1412):
>
> [GeekNews](https://news.hada.io/)의 [xguru](https://news.hada.io/user?id=xguru)님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. ^^ 소개 LLaMA, Alpaca, Vicuna 같은 반개방형 모델이 아니라 재현가능하고 완전한 개방형 언어 모델을 만들기 위한 프로젝트 3가지 구성요소 높은 품질과 넓은 커버리지를 가진 Pre-Training 데이터 이 데이터 기반으로 대규모로 학습된 베이스 모델 베이스 보델은 안전하고 사용가능하게 만들기 위한 인스트럭션 튜닝 데이터와 모델 첫번째 컴포넌트로 RedPajama-Data-1T 데이터셋을 공개 LLaMA 논문에 설명된 레시피에 따라서 생성한 1.2조개의 토큰으로 구성된 완전 개방형 데이터 셋 HuggingFace를 통해 다운로드 가능. 전체 5TB(3TB로 압축하여 배포) 7개의 데이터 조각으로 구성 : 각각 전처리와 필터링하여 LLaMA 논문과 비슷한 갯수로 구성(전처리 방법 및 필터 역시 GitHub에 공개) Co…