GeekNews의 xguru님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. 
소개
- 연구 및 상업용도 모두 사용가능한 오픈소스 대규모 언어모델
- Llama 1 대비 40% 많은 2조개의 토큰 데이터로 훈련
- 2배의 컨텍스트 길이: 4096
- 세가지 크기의 모델: 7B, 13B, 70B
- 추론, 코딩, 숙련도, 지식테스트등 많은 벤치마크에서 다른 오픈소스 언어 모델보다 훌륭한 성능(MPT, Falcon, Llama-1)
- 공개된 데이터 소스로 훈련되었으며, 파인튜닝된 Llama-2-chat 역시 공개된 명령어셋 및 백만개가 넘는 사람의 주석을 활용
- Reinforcement Learning from Human Feedback (RLHF) 응 이용. Rejection Sampling 및 Proximal policy optimization (PPO) 포함
- 다운로드에 포함된 것들
- Model code
- Model Weights
- README (User Guide)
- Responsible Use Guide
- License
- Acceptable Use Policy
- Model Card