[GN] OpenLLaMA - LLaMA의 개방형 복제본

[9bow (박정환)]

다른 참고 링크들

RedPajama

[GN] RedPajama - LLaMA 데이터셋을 재작성하는 오픈소스 프로젝트

GeekNews 의 xguru님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. ^^ 소개 [RedPajama] LLaMA, Alpaca, Vicuna 같은 반개방형 모델이 아니라 재현가능하고 완전한 개방형 언어 모델을 만들기 위한 프로젝트 3가지 구성요소 높은 품질과 넓은 커버리지를 가진 Pre-Training 데이터 이 데이터 기반으로 대규모로 학습된 베이스 모델 베이스 보델은 안전하고 사용가능하게 만들기 위한 인스트럭션 튜닝 데이터와 모델 첫번째 컴포넌트로 RedPajama-Data-1T 데이터셋을 공개 LLaMA 논문에 설명된 레시피에 따라서 생성한 1.2조개의 토큰으로 구성된 완전 개방형 데이터 셋 HuggingFace를 통해 다운로드 가능. 전체 5TB(3TB로 압축하여 배포) 7개의 데이터 조각으로 구성 : 각각 전처리와 필터링하여 LLaMA 논문과 비슷한 갯수로 구성(전처리 방법 및 필터 역시 GitHub에 공개) C…

LLaMA 모델의 간략한 역사

[GN] LLaMA 모델의 간략한 역사

GeekNews 의 xguru 님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. 소개 [image] 2023년 2월에 출시된 LLaMA는 이미 다양한 파인튜닝 모델이 출시됨 각 모델을 살펴보고 비교 LLaMA : (7B, 13B, 33B, 65B), CommonCrawl/C4/GitHub/Wikipedia/Gutenberg & Book3/ArXiv/StackExchange Alpaca : 52k GPT-3 instructions Vicuna : 70k ChatGPT conversations Koala : 117k cleaned ChatGPT conversations GPT4-x-Alpaca : 20k GPT4 instructions WizardLM : 70k instructions synthesized with ChatGPT/GPT-3 OpenAssistant : 600k human interactions (Open…