이번 작업에서는 70억 개에서 700억 개의 매개변수 규모로 사전 학습되고 미세 조정된 대규모 언어 모델(LLM)의 모음인 Llama 2를 개발 및 출시합니다. Llama 2-Chat이라고 하는 미세 조정된 LLM은 대화 사용 사례에 최적화되어 있습니다. 테스트한 대부분의 벤치마크에서 오픈소스 채팅 모델보다 성능이 뛰어나며, 유용성과 안전성에 대한 인적 평가에 따르면 클로즈드소스 모델을 대체할 수 있는 적합한 모델일 수 있습니다. 커뮤니티가 저희의 작업을 기반으로 LLM의 책임감 있는 개발에 기여할 수 있도록 하기 위해 Llama 2-Chat의 미세 조정 및 안전 개선에 대한 접근 방식에 대한 자세한 설명을 제공합니다.
In this work, we develop and release Llama 2, a collection of pretrained and fine-tuned large language models (LLMs) ranging in scale from 7 billion to 70 billion parameters. Our fine-tuned LLMs, called Llama 2-Chat, are optimized for dialogue use cases. Our models outperform open-source chat models on most benchmarks we tested, and based on our human evaluations for helpfulness and safety, may be a suitable substitute for closedsource models. We provide a detailed description of our approach to fine-tuning and safety improvements of Llama 2-Chat in order to enable the community to build on our work and contribute to the responsible development of LLMs.
Llama 2 소개: Llama 2는 대형 언어 모델의 힘을 해제합니다. 이 최신 버전의 Llama는 개인, 창작자, 연구자, 모든 규모의 기업들이 책임감 있게 자신의 아이디어를 실험하고, 혁신하고, 확장할 수 있도록 합니다. 이 릴리스는 7B에서 70B 파라미터에 이르는 사전 학습 및 미세 조정된 Llama 언어 모델을 포함합니다.
다운로드: 모델 가중치와 토크나이저를 다운로드하려면 Meta AI 웹사이트를 방문하고 라이선스를 수락해야 합니다. 요청이 승인되면 이메일로 서명된 URL을 받게 됩니다. 그런 다음 제공된 URL을 사용하여 download.sh 스크립트를 실행하여 다운로드를 시작합니다.
설정: PyTorch / CUDA가 사용 가능한 conda 환경에서 레포지토리를 복제하고 최상위 디렉토리에서 실행합니다.
추론: 다른 모델들은 다른 모델 병렬(MP) 값을 필요로 합니다. 모든 모델들은 최대 4096 토큰까지의 시퀀스 길이를 지원하지만, 우리는 max_seq_len과 max_batch_size 값에 따라 캐시를 사전 할당합니다. 따라서 하드웨어에 따라 이들을 설정해야 합니다.
Llama 2는 대규모 언어 모델의 힘을 해제합니다. Llama의 최신 버전은 이제 개인, 창작자, 연구자 및 모든 규모의 기업이 책임감 있게 아이디어를 실험하고 혁신하고 확장할 수 있도록 접근할 수 있습니다.
이 릴리스에는 7B에서 70B 매개변수에 이르는 사전 훈련된 및 미세 조정된 Llama 언어 모델에 대한 모델 가중치와 시작 코드가 포함되어 있습니다.
이 저장소는 Llama 2 모델을 로드하고 추론을 실행하는 최소한의 예제로 의도되었습니다. HuggingFace를 활용한 더 자세한 예제는 llama-recipes를 참조하십시오.
다운로드
모델 가중치와 토크나이저를 다운로드하려면 Meta AI 웹사이트를 방문하고 라이선스를 수락하십시오.
요청이 승인되면 이메일을 통해 서명된 URL을 받게 됩니다. 그런 다음 다운로드를 시작하려면 프롬프트에 제공된 URL을 전달하여 download.sh 스크립트를 실행하십시오. URL 텍스트 자체를 복사하십시오. '링크 주소 복사' 옵션을 사용하지 마십시오. 복사한 URL 텍스트가 https://download.llamameta.net로 시작하면 올바르게 복사한 것입니다. 복사한 URL 텍스트가 https://l.facebook.com로 시작하면 잘못 복사한 것입니다.
설정
PyTorch / CUDA가 사용 가능한 conda env에서 저장소를 복제하고 최상위 디렉토리에서 다음을 실행하십시오:
pip install -e .
추론
다른 모델들은 다른 모델 병렬(MP) 값을 필요로 합니다:
모델
MP
7B
1
13B
2
70B
8
모든 모델은 최대 4096 토큰까지의 시퀀스 길이를 지원하지만, max_seq_len과 max_batch_size 값에 따라 캐시를 사전 할당합니다. 따라서 하드웨어에 따라 이러한 값을 설정하십시오.
)
