# Ollama, Llama3 모델 제공 시작 **URL:** \ **Category:** 읽을거리&정보공유\ **Tags:** ollama, llama2, llama3\ **Created:** [4월 20, 2024, 5:12오전 UTC](https://discuss.pytorch.kr/t/ollama-llama3/4122 "2024-04-20T05:12:47Z")\ **Posts on this page:** 1\ **Page:** 1
**Author:** ![9bow](https://discuss.pytorch.kr/user_avatar/discuss.pytorch.kr/9bow/32/16301_2.png) [@9bow](https://discuss.pytorch.kr/u/9bow)\ **Post date:** [4월 20, 2024, 5:12오전 UTC](https://discuss.pytorch.kr/t/ollama-llama3/4122/1 "2024-04-20T05:12:47Z")
### :pytorch:PyTorchKR:kr: ![Ollama, Llama3 모델 제공 시작](https://discuss.pytorch.kr/uploads/default/original/2X/7/789e43fe04f5e14b94c7caaab3f13f6df7f8c1ff.jpeg) 로컬에서 Open LLM을 실행하고 CLI 및 REST API를 통해 LLM을 사용할 수 있게 해주는 플랫폼 Ollama에 Llama-3가 추가되었습니다. 이제 사용자는 [몇 일 전 공개된 Meta의 Llama3](https://discuss.pytorch.kr/t/meta-llama-3-8b-70b-400b/4112/4)가 Ollama에서도 사용할 수 있게 되었습니다. * * * # Ollama, Llama3 모델 제공 시작 ## 소개 Llama 3는 메타가 개발한 대형 언어 모델로, 기존의 Llama 2 모델보다 상당한 개선을 이루었습니다. 특히, 훈련 데이터셋 크기가 7배 증가했고, 처리할 수 있는 컨텍스트 길이도 두 배로 늘어났습니다. 이러한 기능적 향상을 통해 Llama 3는 언어 인코딩의 효율성을 크게 향상시켰습니다. Llama-3의 주요 특징은 다음과 같습니다: - **향상된 데이터셋과 컨텍스트 길이** : Llama 3는 Llama 2와 비교하여 훈련 데이터셋이 7배 증가했으며, 컨텍스트 길이는 8,000까지 처리할 수 있습니다. - **토큰 어휘의 확장** : 128K 토큰 어휘를 사용하여 언어를 더 효과적으로 인코딩합니다. - **오류 감소** : Llama 2에 비해 거짓 거부 반응이 1/3로 줄었습니다. ![Llama2와 Llama3의 검열성 비교](https://discuss.pytorch.kr/uploads/default/original/2X/3/3f0eb74818a43dedb28ba424d57b31b1e9a592e3.jpeg) 또한, Llama 3는 기존의 Llama 2 모델보다 훨씬 덜 검열(censored)되어 있습니다. 이는 모델이 사용자의 입력에 대해 거부하는 경우가 이전 모델에 비해 훨씬 줄었다는 것을 의미합니다. Llama 3는 특히 흥미로운 주제에 대해 논의할 수 있는 범위를 확장하며, 이는 연구 및 개발 측면에서 매우 유용할 수 있습니다. - **낮은 거부율** : Llama 3는 이전 모델인 Llama 2에 비해 거부율이 현저히 낮아졌으며, 이로 인해 사용자는 더 다양한 주제에 대해 질문할 수 있습니다. - **개선된 대응 능력** : Llama 3는 사용자의 요구에 보다 유연하게 대응할 수 있도록 설계되었으며, 이는 특히 연구 개발이나 교육 분야에서 유용하게 사용될 수 있습니다. 예를 들어, 동일한 질문에 대한 Llama2와 Llama3의 결과를 비교해보겠습니다. - **질문** : 공항에서 시간을 죽이는 방법을 알려주세요(_Killing time at the airport_) - **Llama2의 답변** : - **Llama3의 답변** : 이 비교를 통해 Llama 3이 사용자의 요구에 보다 적극적으로 대응하며, 다양한 상황에서 유용한 정보를 제공할 수 있음을 알 수 있습니다. 반면, Llama 2는 보다 보수적이며 제한적인 반응을 보이는 경향이 있습니다. 이러한 차이는 두 모델의 설계 철학과 사용자 경험에 영향을 미칩니다. ## 사용 방법 Llama 3를 사용하기 위해서는 Ollama 플랫폼을 통해 다운로드 후 실행할 수 있습니다. 다음과 같이 명령어를 입력하여 간편하게 실행할 수 있습니다: ```bash ollama run llama3 ``` 또한, LangChain과 Llama Index와 같은 인기 있는 도구와의 호환성을 제공하여, 다음과 같은 코드를 통해 간단하게 Llama 3 모델을 활용할 수 있습니다: ### LangChain ```python from langchain_community.llms import Ollama llm = Ollama(model="llama3") llm.invoke("Why is the sky blue?") ``` ### LlamaIndex ```auto from llama_index.llms.ollama import Ollama llm = Ollama(model="llama3") llm.complete("Why is the sky blue?") ``` ## 더 읽어보기 ### Llama3 제공 공지 > **[Llama 3 · Ollama Blog](https://ollama.com/blog/llama3)** > > Llama 3 is now available to run on Ollama. This model is the next generation of Meta's state-of-the-art large language model, and is the most capable openly available LLM to date. ### Llama3의 검열성 관련 글 > **[Llama 3 is not very censored · Ollama Blog](https://ollama.com/blog/llama-3-is-not-very-censored)** > > Compared to Llama 2, Llama 3 feels much less censored. Meta has substantially lowered false refusal rates. Llama 3 will refuse less than 1/3 of the prompts previously refused by Llama 2. * * * _이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다._ 🤗 [:pytorch:파이토치 한국 사용자 모임🇰🇷](https://pytorch.kr/)이 정리한 이 글이 유용하셨나요? [회원으로 가입](https://discuss.pytorch.kr/signup)하시면 주요 글들을 이메일💌로 보내드립니다! (기본은 Weekly지만 [Daily로 변경도 가능](https://discuss.pytorch.kr/my/preferences/emails)합니다.) 🎁 아래↘쪽에 좋아요❤를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~ 🤩