Yi 1.5, 4k의 컨텍스트 길이를 갖는 6B / 9B / 34B 규모의 OpenLLM (feat. 01.ai)

Yi 1.5, 4k의 컨텍스트 길이를 갖는 6B / 9B / 34B 규모의 OpenLLM (feat. 01.ai)

Yi 1.5, 4k의 컨텍스트 길이를 갖는 6B / 9B / 34B 규모의 OpenLLM (feat. 01.ai)

소개

01.ai는 지난 번 2개 언어 LLM인 Yi를 공개한데 이어, 이번에는 더 개선된 Yi-1.5 모델군을 공개하였습니다. Yi 1.5는 기존 Yi 1.0 모델을 더욱 발전시킨 버전으로, 500B 토큰의 지속적인 사전 학습을 통해 코딩, 추론, 지시 사항 이행 능력이 크게 향상되었습니다. Yi-1.5는 6B, 9B 및 34 규모의 3종류 모델이 기본(Base) 및 챗(Chat) 버전으로 각각 공개되었습니다.

이번에 공개한 모델군들 중 가장 큰 34B 모델은 Meta Llama 3 70B와 벤치마크에서 거의 동등한 성능을 보여주는 놀라운 결과를 보였습니다. 또햔, 9B 모델은 Mixtral 8x7B와의 벤치마크에서 매치되는 결과를 보여줍니다. 이는 Yi 1.5가 그 크기에 따라 다양한 벤치마크에서 경쟁력 있는 성능을 제공할 수 있음을 의미합니다.

모델 개요 및 다운로드

Model Context Length Pre-trained Tokens
Yi-1.5 4K 3.6T

Chat models 다운로드

Name Download
Yi-1.5-34B-Chat :hugs: Hugging Face:robot: ModelScope
Yi-1.5-9B-Chat :hugs: Hugging Face:robot: ModelScope
Yi-1.5-6B-Chat :hugs: Hugging Face:robot: ModelScope

Base models 다운로드

Name Download
Yi-1.5-34B :hugs: Hugging Face:robot: ModelScope
Yi-1.5-9B :hugs: Hugging Face:robot: ModelScope
Yi-1.5-6B :hugs: Hugging Face:robot: ModelScope

Yi-1.5 사용 예시

설치 및 모델 다운로드

먼저 Yi-1.5 GitHub 저장소를 복제한 뒤, 필요한 패키지를 설치합니다. Yi-1.5 모델 사용에는 Python 3.10 이상이 설치되어 있어야 합니다.

pip install -r requirements.txt

모델 다운로드는 위 모델 개요 및 다운로드 섹션의 링크들을 통해서, 또는 Hugging Face, ModelScope, WiseModel에서 Yi 1.5 모델을 검색하여 다운로드할 수 있습니다.

로컬에서 Yi 1.5-34B-Chat 모델 실행하기

다음은 Yi 1.5-34B-Chat 모델을 로컬 환경에서 실행하는 방법에 대한 단계별 가이드입니다. 이 예시에서는 A800(80G)에서 모델을 실행하는 것을 가정하여싀다.

  1. 필요한 라이브러리를 불러온 뒤, 모델과 토크나이저를 로드합니다:
from transformers import AutoModelForCausalLM, AutoTokenizer

model_path = '<your-model-path>' # 모델을 내려받은 위치를 지정하거나, HF의 모델 위치를 지정해주세요
tokenizer = AutoTokenizer.from_pretrained(model_path, use_fast=False)
model = AutoModelForCausalLM.from_pretrained(model_path, device_map="auto", torch_dtype='auto').eval()
  1. 대화를 생성하고 모델의 응답을 출력합니다:
messages = [{"role": "user", "content": "hi"}]
input_ids = tokenizer.apply_chat_template(conversation=messages, tokenize=True, add_generation_prompt=True, return_tensors='pt')
output_ids = model.generate(input_ids.to('cuda'))
response = tokenizer.decode(output_ids[input_ids.shape:], skip_special_tokens=True)

print(response)  # 출력 예: "Hello! How can I assist you today?"

그 외 vLLM 등을 사용하여 배포하거나 Yi Platform 사용방법 등은 Github 저장소의 README를 참고해주세요.

라이센스

Yi 1.5는 Apache 2.0 라이센스 하에 공개되어 있으며, 이는 상업적 사용에 대한 제한 없이 자유롭게 사용, 수정, 배포가 가능함을 의미합니다.

Yi-1.5 GitHub 저장소

더 읽어보기




이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다. :hugs:

:pytorch:파이토치 한국 사용자 모임:kr:이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일:love_letter:로 보내드립니다! (기본은 Weekly지만 Daily로 변경도 가능합니다.)

:gift: 아래:arrow_lower_right:쪽에 좋아요:heart:를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~ :star_struck:

이거 lmsys에서 써보니 한국어로도 답변수준이 소름돋을 정도로 깔끔하고 좋던데 중국스타트업의 기술이 이제 정말 무섭군요..

네, 주요 논문들에 중국분들 이름이 저자를 뒤덮은지도 오래되었고...
요 몇 년 사이에는 (미국에 계신 중국분들 외에도) 중국에서도 여러가지 새로 나온 기술들을 빠르게 상용화하고 공개하고 있는데 대단하면서도 부러우면서도 고마우면서도 무섭기도 하고 그렇습니다;;

요즘 저는 여기에서 나온 Intern 시리즈의 LLM과 Multimodal LLM들 사용해보고 있는데 성능도 성능이고 배포 등을 위한 도구까지 싹 다 잘 정리해뒀더라고요 :cold_sweat:

https://internlm.intern-ai.org.cn/