# \[GN⁺\] Meta, 차세대 언어모델 Llama 2 공개

**URL:** <https://discuss.pytorch.kr/t/gn-meta-llama-2/2093>\
**Category:** 읽을거리&정보공유\
**Tags:** meta, llama2, geeknews, llm\
**Created:** [7월 19, 2023, 1:50오전 UTC](https://discuss.pytorch.kr/t/gn-meta-llama-2/2093 "2023-07-19T01:50:11Z")\
**Posts on this page:** 1\
**Page:** 1

<div class="post-metadata">

**Author:** ![9bow](https://discuss.pytorch.kr/user_avatar/discuss.pytorch.kr/9bow/32/16301_2.png) [@9bow](https://discuss.pytorch.kr/u/9bow)\
**Post date:** [7월 19, 2023, 1:50오전 UTC](https://discuss.pytorch.kr/t/gn-meta-llama-2/2093/1 "2023-07-19T01:50:11Z")

</div>

_[GeekNews](https://news.hada.io/)의 [xguru](https://news.hada.io/user?id=xguru)님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. 😺_

* * *

### 소개

 ![image](https://discuss.pytorch.kr/uploads/default/original/2X/4/4b0041e232fa8b816c6e355082fd9b47579adebc.jpeg)

- 연구 및 상업용도 모두 사용가능한 오픈소스 대규모 언어모델
- Llama 1 대비 40% 많은 2조개의 토큰 데이터로 훈련
- 2배의 컨텍스트 길이: 4096
- 세가지 크기의 모델: 7B, 13B, 70B
- 추론, 코딩, 숙련도, 지식테스트등 많은 벤치마크에서 다른 오픈소스 언어 모델보다 훌륭한 성능(MPT, Falcon, Llama-1)
- 공개된 데이터 소스로 훈련되었으며, 파인튜닝된 Llama-2-chat 역시 공개된 명령어셋 및 백만개가 넘는 사람의 주석을 활용
  - Reinforcement Learning from Human Feedback (RLHF) 응 이용. Rejection Sampling 및 Proximal policy optimization (PPO) 포함

- 다운로드에 포함된 것들
  - Model code
  - Model Weights
  - README (User Guide)
  - Responsible Use Guide
  - License
  - Acceptable Use Policy
  - Model Card

### 원문

> **[Industry Leading, Open-Source AI | Llama](https://www.llama.com/)**
>
> Discover Llama 4's class-leading AI models, Scout and Maverick. Experience top performance, multimodality, low costs, and unparalleled efficiency.

### 출처 / [GeekNews](https://news.hada.io/topic?id=9871)

> **[Meta, 차세대 언어모델 Llama 2 공개 | GeekNews](https://news.hada.io/topic?id=9871)**
>
> 연구 및 상업용도 모두 사용가능한 오픈소스 대규모 언어모델Llama 1 대비 40% 많은 2조개의 토큰 데이터로 훈련2배의 컨텍스트 길이: 4096세가지 크기의 모델: 7B, 13B, 70B추론, 코딩, 숙련도, 지식테스트등 많은 벤치마크에서 다른 오픈소스 언어 모델보다 훌륭한 성능(MPT, Falcon, Llama-1)공개된 데이터 소스로 훈련되었으며,