# \#llama3 **URL:** https://discuss.pytorch.kr/tag/llama3/2466.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [GPULlama3.java: Java로 작성된 Llama 3 추론을 GPU에서 가속할 수 있게 하는 프로젝트 (feat. TornadoVM)](https://discuss.pytorch.kr/t/gpullama3-java-java-llama-3-gpu-feat-tornadovm/7036)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [6월 1, 2025, 3:30오전 UTC](https://discuss.pytorch.kr/t/gpullama3-java-java-llama-3-gpu-feat-tornadovm/7036 "2025-06-01T03:30:23Z")
GPULlama3.java 소개 Java 환경에서 LLM 추론은 주로 CPU 기반으로, 대규모 모델을 추론하려면 성능 한계에 쉽게 접하게 됩니다. Beehive Lab에서 공개한 GPULlama3.java는 TornadoVM을 활용하여 Java 코드로 작성된 Llama 3 추론을 GPU에서 실행할 수 있도록 지원합니다. GPULlama3.java는 Java 기반의 LLM 추론 프로젝트인 Llama3.java를 GPU에서 실행할 수 있도록 확장한 프로젝트입니다. TornadoVM을 활용하여 Java 코드를 GPU에서 실행 가능하게 하며, 이를 통해 Llama 3 모델의 추론을 GPU 가속으로 수행할 수 있습니다. Beehive Lab은 맨체스터 대학교의 Advanced Processor Technologies 그룹의 일원으로, 하드웨어/소프트웨어 공동 설계(hardware/software co-design)에 특화된 연구를 진행하고 있습니다. 이 프로젝트는 Java 개발자들이 GPU를 활용하여 LLM 추론을 수행할 수 있도록 지원하는 데 목적이 있습니다. 기존의 Llama3.java 프로젝트와 비교했을 때 다음과 같은 차이점이 있습니다: 항목 Llama3.java GPULlama3.java 실행 환경 CPU 기반 GPU 가속 (TornadoVM 활용) 주요 기술 Java Vector API, GraalVM Native Image TornadoVM, OpenCL/CUDA 성능 CPU 성능에 의존 GPU를 활용한 병렬 처리로 향상된 성능 활용 대상 Java 기반 LLM 추론 학습 및 실험 Java 환경에서의 고성능 LLM 추론 구현 GPULlama3.java 프로젝트의 주요 특징 GPU 가속 추론: TornadoVM을 활용하여 Java 코드를 GPU에서 실행, Llama 3 모델의 추론을 가속화합니다. 순수 Java 구현: Java로 작성된 Llama3.java를 기반으로 하여, Java 개발자들이 친숙한 환경에서… --- ## [Meta, 🦙 Llama-3.1 모델 공개: 405B 모델 추가 및 8B / 70B 모델들의 성능 개선](https://discuss.pytorch.kr/t/meta-llama-3-1-405b-8b-70b/4915)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 1\ **마지막 업데이트:** [7월 24, 2024, 9:08오전 UTC](https://discuss.pytorch.kr/t/meta-llama-3-1-405b-8b-70b/4915 "2024-07-24T09:08:52Z")
Llama 3.1 모델 소개 Meta는 최신 AI 모델 Llama 3.1을 공개했습니다. Llama 3.1은 이전 모델에 비해 상당히 향상된 기능과 성능을 제공하며, AI 연구 및 애플리케이션 개발에 중요한 도구로 자리잡을 것입니다. 이 모델은 대규모 데이터와 고성능 하드웨어를 활용하여 훈련되었으며, 다양한 실험과 평가를 통해 그 유효성이 입증되었습니다. Meta는 Llama 3.1을 통해 AI 기술의 접근성과 유용성을 높이고자 합니다. Llama 3.1은 기존의 8B 및 70B 모델 외에 새롭게 405B 규모의 대규모 모델도 함께 포함하고 있습니다. Llama 3.1 405B 모델은 8개 언어를 지원하여 다국어 번역과 다국적 사용자와의 상호작용이 가능합니다. 또한, 128K 컨텍스트 길이를 지원하여 문서와 같은 긴 입력이나 출력을 처리하는 데 매우 유리합니다. Llama 3.1의 모델들은 다양한 언어에 걸쳐 150개 이상의 벤치마크 데이터셋으로 성능을 평가한 결과는 다음과 같습니다: 또한, Llama 3.1 405B 모델을 실제 시나리오에서 주요 비공개 모델들과의 성능을 사람이 직접 평가하는 실험도 함께 진행하였습니다. Llama 3.1 모델 구조 및 학습 Llama 3.1 405B 모델은 15조 개의 토큰을 학습하였습니다. 이 모델은 16,000개의 H100 GPU를 사용하여 학습하였으며, 이는 기존의 AI 모델에 비해 훨씬 더 높은 수준의 계산 능력을 요구합니다. 또한 모델은 16비트에서 8비트로 양자화되어 단일 서버 노드에서 실행할 수 있도록 설계되었습니다. 이러한 아키텍처는 대규모 데이터 처리와 고성능 연산을 가능하게 하여, Llama 3.1의 우수한 성능을 뒷받침합니다. Llama 3.1 405B에서는 높은 수준의 안전성을 보장하면서 사용자 지시에 대한 모델의 유용성, 품질, 세부적인 지시 사항 준수 기능을 개선하기 위해 노력했습니다. 가장 큰 과제는 더 많은 기능, 128K 컨텍스트 창, 모델 크기 증가를 지원하… --- ## [Llama 3 Tokenizer 이해하기 (YouTube/영어)](https://discuss.pytorch.kr/t/llama-3-tokenizer-youtube/4899)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [7월 22, 2024, 11:59오전 UTC](https://discuss.pytorch.kr/t/llama-3-tokenizer-youtube/4899 "2024-07-22T11:59:31Z")
Llama 3 Tokenizer 이해하기 영상 요약 LLaMA 3의 주요 개선 사항 1. 학습 데이터와 컨텍스트 길이: LLaMA 3 모델은 학습 데이터의 양과 컨텍스트 길이에 있어서 큰 향상을 이루었습니다. 더 광범위한 데이터셋을 통합함으로써 모델은 더 풍부하고 다양한 정보에 접근할 수 있게 되었으며, 이는 텍스트의 이해와 생성 능력을 향상시킵니다. 컨텍스트 길이의 확장은 모델이 더 넓은 범위의 입력 토큰을 고려할 수 있게 하여, 긴 문장이나 복잡한 작업에서도 일관성과 관련성을 유지할 수 있게 합니다. 이는 특히 코드 생성이나 다국어 텍스트 처리와 같은 복잡한 작업에서 중요한 역할을 합니다. 2. 토크나이저 향상: SentencePiece 토크나이저에서 ti-token 라이브러리로의 전환은 상당한 업그레이드를 의미합니다. 새로운 토크나이저는 32,000개의 토큰에서 128,000개의 토큰으로 어휘 크기를 크게 확장합니다. 이 네 배의 증가는 모델이 더 정확하게 단어, 하위 단어 및 구문을 표현할 수 있게 합니다. 또한, 향상된 토크나이저는 더 나은 압축 비율을 자랑하며, 동일한 텍스트를 표현하는 데 필요한 토큰 수를 줄입니다. 이러한 효율성은 계산 부하를 줄이는 동시에 입력을 더 효과적으로 인코딩할 수 있어 전반적인 성능을 향상시킵니다. 토크나이저의 중요성 1. 토크나이저의 역할: 토크나이저는 인간이 읽을 수 있는 텍스트를 모델이 처리할 수 있는 형식으로 변환하는 기본 구성 요소입니다. LLaMA 3의 경우, 토크나이저는 자연어와 기계어 사이의 격차를 연결하는 중요한 역할을 합니다. 토크나이저를 개선함으로써 Meta는 모델의 텍스트 이해 및 생성 능력을 향상시켰습니다. 이러한 개선은 요약, 번역 및 질문-응답과 같은 정교한 언어 이해가 필요한 작업에 매우 중요합니다. 2. 어휘 확장: 어휘 크기를 128,000개의 토큰으로 확장하는 것은 모델의 성능에 큰 영향을 미칩니다. 더 큰 어휘는 모델이 더 구체적이고 다양한 언어 패턴을 포착하고 표현할 수 있… --- ## [\[GN\] GPT-4o는 이미지를 어떻게 인코딩할까?](https://discuss.pytorch.kr/t/gn-gpt-4o/4610)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 1\ **마지막 업데이트:** [6월 15, 2024, 7:05오전 UTC](https://discuss.pytorch.kr/t/gn-gpt-4o/4610 "2024-06-15T07:05:07Z")
GPT-4o는 이미지를 어떻게 인코딩할까? GPT-4o는 고해상도 모드에서 사용되는 각 512x512 타일을 처리하는 데 170 토큰을 부과함. 약 0.75 토큰/단어의 비율로 보면 이는 그림 한 장이 약 227 단어와 같다는 것 "그림 한 장이 천 마디 말보다 낫다"는 말과 비교했을 때 약 4배 차이임 170이라는 숫자는 기괴할 정도로 특이한 숫자임. OpenAI는 가격 책정에서 "20달러" 또는 "0.50달러"와 같은 반올림된 숫자나 내부 차원에 2와 3의 거듭제곱을 사용함 170과 같은 숫자를 선택한 이유는 무엇일까? 프로그래밍에서 코드베이스에 설명 없이 그냥 던져진 숫자를 "매직 넘버"라고 하는데, 170은 상당히 눈에 띄는 매직 넘버임 이미지 비용을 토큰 수로 변환하는 이유는 무엇일까? 단순히 청구 목적이라면 타일당 비용을 나열하는 것이 덜 혼란스러울 것임 OpenAI가 170을 선택한 것이 단순히 문자 그대로 사실이기 때문이라면 어떨까? 이미지 타일이 실제로 170개의 연속적인 임베딩 벡터로 표현된다면 어떨까? 임베딩 트랜스포머 모델에 대해 먼저 상기해야 할 점은 이산 토큰이 아닌 벡터에서 작동한다는 것임 입력은 벡터여야 하며, 그렇지 않으면 트랜스포머의 핵심인 내적 유사도가 의미가 없을 것임 토큰의 전체 개념은 전처리 단계임: 텍스트는 토큰으로 변환되고 토큰은 트랜스포머 모델의 첫 번째 레이어에 도달하기 전에 임베딩 모델에 의해 임베딩 벡터로 변환됨 예를 들어, Llama 3은 내부적으로 4,096개의 특징 차원을 사용함 "My very educated mother just served us nine pizzas."라는 문장을 보면 BPE에 의해 10개의 정수 토큰(마침표 포함)으로 변환된 다음, 각각 임베딩 모델에 의해 4,096차원 벡터로 변환되어 10x4096 행렬이 됨 이것이 트랜스포머 모델에 대한 "진짜" 입력임 그러나 이러한 벡터가 반드시 텍스트 임베딩 모델에서 나와야 한다는 법칙은 없음 텍스트 데이터에 잘 … --- ## [Dragonfly: 다중 해상도 줌을 갖춘, Llama-3 기반 Vision-Language 모델 (feat. TogetherAI)](https://discuss.pytorch.kr/t/dragonfly-llama-3-vision-language-feat-togetherai/4620)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [6월 12, 2024, 11:14오전 UTC](https://discuss.pytorch.kr/t/dragonfly-llama-3-vision-language-feat-togetherai/4620 "2024-06-12T11:14:53Z")
Dragonfly: 다중 해상도 줌을 갖춘, Llama-3 기반 Vision-Language 모델 (feat. TogetherAI) 소개 TogetherAI에서 공개한 Dragonfly는 Llama-3 기반의 새로운 비전-언어 아키텍처 모델로, 대규모 멀티모달 모델(LMM)의 발전을 기반으로 한 새로운 아키텍처입니다. 고해상도 이미지가 시각적 세부 사항을 이해하는 데 중요한 역할을 하지만, 고해상도 입력은 언어 모델의 컨텍스트 길이를 연장시켜 비효율을 초래하고, 시각적 특성의 복잡성을 증가시켜 더 많은 훈련 데이터나 복잡한 아키텍처를 필요로 합니다. 이를 해결하기 위해 Dragonfly는 멀티 해상도 시각 인코딩과 줌인 패치 선택이라는 두 가지 주요 전략을 사용합니다. 이러한 전략을 통해 모델은 고해상도 이미지를 효율적으로 처리하면서도 적절한 컨텍스트 길이를 유지할 수 있습니다. Dragonfly는 여덟 가지 인기 벤치마크에서 경쟁력 있는 성능을 보여주며, 생의학 지침에 대한 미세 조정을 통해 다양한 생의학 작업에서 최첨단 결과를 달성했습니다. 기존의 비전-언어 모델들과 비교하여, Dragonfly는 다중 해상도 처리와 선택적 패치 분석을 통해 보다 세밀하고 정확한 이미지 이해를 가능하게 합니다. Dragonfly는 기존의 대규모 시각-언어 모델(LMM)들과 비교했을 때 고해상도 이미지 처리에 있어 뛰어난 성능을 보여줍니다. 예를 들어, Path-VQA 데이터셋에서 92.3%의 정확도를 기록하며 Med-Gemini의 83.3%를 능가합니다. 또한, 생의학 이미지 캡션 작성 등에서 최고 성능을 기록했습니다. 주요 특징 멀티 해상도 시각 인코딩: 고해상도 이미지를 처리하여 세밀한 시각적 이해를 제공합니다. 줌인 패치 선택: 효율적인 고해상도 이미지 처리를 가능하게 합니다. 다양한 벤치마크 성능: 시각적 상식 추론 및 생의학 이미지 분석에서 우수한 성과를 보여줍니다. 풍부한 훈련 데이터셋: 550만 개의 일반 도메인 이미지-지시 샘플 … --- ## [LLM 파인튜닝 도구 XTuner, Llama-3 기반 LLaVA 모델 공개](https://discuss.pytorch.kr/t/llm-xtuner-llama-3-llava/4194)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 6\ **마지막 업데이트:** [6월 11, 2024, 5:29오전 UTC](https://discuss.pytorch.kr/t/llm-xtuner-llama-3-llava/4194 "2024-06-11T05:29:14Z")
:pytorch:PyTorchKR:kr: Llama-3 모델이 공개되며 많은 곳에서 다양한 방식으로 파인튜닝 및 활용을 하고 계신데요, 이번에는 대규모 언어 모델(LLM) 파인튜닝 도구 XTuner에서 Llama-3-8B-Instruct 모델을 기반으로 한 LLaVA-Llama-3-8B 모델과 LLaVA-Llama-3-8B-v1.1을 공개한 것이 눈에 띄어 가져와봤습니다. :star\_struck: LLM 파인튜닝 도구 XTuner, Llama-3 기반 LLaVA 모델 공개 XTuner 소개 XTuner는 Gemma, Mixtral 8x7B, Llama2를 비롯하여 InterLM2나 Qwen 등과 같은 다양한 LLM들을 지원합니다. 파인튜닝 방식 또한 전체 파인튜닝 외에도 LoRA/QLoRA과 같은 매개변수 효율적인 파인튜닝(PEFT, Parameter Efficient FineTuning) 기법들을 지원하며, 다양한 데이터셋과 파이프라인을 지원하는 도구입니다. XTuner의 주요 기능들은 다음과 같습니다: XTuner의 주요 특징 다양한 모델 지원 XTuner는 InternLM, Llama, Baichuan, Qwen, ChatGLM 등 다양한 대규모 언어 모델(Large Language Models, LLM)과 비주얼 언어 모델(Vision-Language Models, VLM)을 지원합니다. 이는 사용자가 필요에 따라 선택할 수 있는 폭넓은 옵션을 제공하며, 특정 프로젝트 요구에 맞게 모델을 선택할 수 있게 합니다. GitHub 페이지에 공개된, 현재까지의 지원 LLM들은 다음과 같습니다: InternLM2 InternLM Llama Llama 2 ChatGLM2 ChatGLM3 Qwen Baichuan Baichuan2 Mixtral 8x7B DeepSeek MoE Gemma ... 고성능 연산 지원 XTuner는 FlashAttention과 Triton과 같은 고성능 연산자를 자동으로 사용하여 모델 훈련의 효율을 극대화합니다. 이 기능… --- ## [\[GN⁺\] Llama 3-V - GPT4-V와 동등한 성능을 100배 작은 모델과 500달러로 구현하기](https://discuss.pytorch.kr/t/gn-llama-3-v-gpt4-v-100-500/4527)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 1\ **마지막 업데이트:** [6월 4, 2024, 9:28오전 UTC](https://discuss.pytorch.kr/t/gn-llama-3-v-gpt4-v-100-500/4527 "2024-06-04T09:28:16Z")
Llama 3-V - GPT4-V와 동등한 성능을 100배 작은 모델과 500달러로 구현하기 소개 Llama3-V는 Llama3를 기반으로 한 최초의 멀티모달 모델 Llama3-V는 500달러 이하의 비용으로 훈련되었음 벤치마크에서 Llava보다 10-20% 성능 향상을 보였고, 100배 큰 폐쇄형 모델과 비교해도 대부분의 지표에서 유사한 성능을 보임 모델 아키텍처 SigLIP: 이미지 임베딩 모델로, CLIP과 유사하지만 시그모이드 손실을 사용함. 텍스트 임베딩 정렬: SigLIP을 고정하고, 투영 모듈을 사용해 이미지 임베딩을 텍스트 임베딩과 정렬함. 이미지 토큰 추가: 이미지 임베딩을 텍스트 토큰 앞에 추가하여 Llama3에 입력함. 추론 최적화 캐싱: SigLIP 모델의 이미지 임베딩을 사전에 계산하여 GPU 활용도를 높이고, 훈련/추론 시간을 절약함. MPS/MLX 최적화: SigLIP 모델을 MPS 최적화하여 초당 32개의 이미지를 처리함. 훈련 과정 임베딩 사전 계산: SigLIP을 사용해 이미지 임베딩을 사전 계산함. 투영 레이어 학습: 투영 레이어를 통해 이미지와 텍스트 임베딩을 멀티모달 임베딩 공간으로 정렬함. 지도 학습: 사전 훈련 후, 지도 학습을 통해 모델 성능을 향상시킴. 요약 Llama3 8B에 비전 인코더를 추가함. Llava보다 10-20% 성능 향상. GPT4v, Gemini Ultra, Claude Opus와 같은 100배 큰 모델과 유사한 성능. 500달러 이하의 비용으로 효율적인 훈련 및 지도 학습 파이프라인 제공. GN⁺의 의견 흥미로운 점: Llama3-V는 저비용으로 고성능 멀티모달 모델을 구현한 점이 흥미로움. 비판적 시각: 모델 크기와 비용을 줄이면서 성능을 유지하는 것이 얼마나 지속 가능할지 의문임. 관련 기술: 비슷한 기능을 제공하는 모델로는 CLIP과 DALL-E가 있음. 도입 고려사항: 새로운 기술 도입 시, 모델의 정확도와 비용 효율성을 고려해야 함. 기술 선… --- ## [HPT 1.5 Air, HyperGAI가 공개한 Llama 3 기반의 8B 규모의 멀티모달 LLM (feat. OpenLLM)](https://discuss.pytorch.kr/t/hpt-1-5-air-hypergai-llama-3-8b-llm-feat-openllm/4363)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [5월 14, 2024, 11:36오전 UTC](https://discuss.pytorch.kr/t/hpt-1-5-air-hypergai-llama-3-8b-llm-feat-openllm/4363 "2024-05-14T11:36:35Z")
HPT 1.5 Air, Llama 3 기반의 8B 규모의 멀티모달 LLM (OpenLLM) 소개 HyperGAI가 최근에 발표한 HPT 1.5 Air는 기존에 발표된 HPT Air 아키텍처를 기반으로 하여, 시각적 인코더와 새로운 H-Former, 그리고 최신 Llama 3 8B 버전의 LLM을 통합한 모델입니다. 특히, 이미지와 텍스트 데이터의 혼합된 더 큰 데이터셋으로 훈련되어, 복잡한 시각적 이해와 추론 능력에서 높은 성능을 보여줍니다. 10B 미만의 상대적으로 작은 LLM군에 속함에도 불구하고, 8.5B의 총 파라미터로 다수의 상업적 모델을 능가하는 결과를 제시하고 있습니다. HPT 1.5 Air는 LLaVA-Next, GPT-4V, Gemini 1.0 Pro와 같은 대형 또는 상업적 모델들과 비교했을 때 SEED-I, SQA, MMStar 등의 벤치마크에서 우수한 성능을 보였습니다. 이 모델은 다양한 벤치마크에서 최고의 결과를 달성했으며, 오픈 소스 범주에서는 두 번째로 좋은 결과를 언더라인으로 표시하여 강조했습니다. 주요 기능 개선된 시각적 이해와 복잡한 추론 능력: HPT 1.5 Air는 실제 세계 시나리오에서 뛰어난 성능을 보여주며, 차트와 다이어그램 같은 다른 유형의 입력에서도 경쟁력 있는 성능을 유지합니다. 인상적인 성능: 시장에서 가장 우수한 멀티모달 Llama 3으로서, 더 큰 상업적 모델들을 여러 벤치마크에서 앞지르는 성능을 보여줍니다. 투명성: 모든 구성 요소를 Apache 2.0 라이선스 하에 공개하여, 개발자들이 실제 응용 프로그램을 구축할 수 있게 지원합니다. 예시 사용 방법 HPT 1.5 Air는 Huggingface와 Github에서 접근할 수 있습니다. 개발자들은 이 플랫폼들을 통해 모델을 자유롭게 다운로드하고, 다양한 실제 애플리케이션 개발에 활용할 수 있습니다. 간단한 설치 지침 또는 예제 코드 스니펫을 포함할 수 있습니다. 라이선스 이 프로젝트는 Apache 2.0 License로… --- ## [\[GN\] Secret Llama - WebGPU로 구동되는 인브라우저 Llama 3 챗봇 구현체](https://discuss.pytorch.kr/t/gn-secret-llama-webgpu-llama-3/4328)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [5월 11, 2024, 5:38오후 UTC](https://discuss.pytorch.kr/t/gn-secret-llama-webgpu-llama-3/4328 "2024-05-11T17:38:48Z")
\[GN\] Secret Llama - WebGPU로 구동되는 인브라우저 Llama 3 챗봇 구현체 소개 브라우저에서 완전히 동작하는 프라이버시를 보장하는 LLM 챗봇 Llama 3, Mistral 등의 오픈소스 모델을 지원 대화 데이터가 절대 컴퓨터 밖으로 나가지 않아 완전한 프라이버시 보장 브라우저에서 동작하므로 서버나 설치가 필요 없고, 오프라인에서도 동작 ChatGPT와 동등한 수준의 사용하기 쉬운 인터페이스를 제공하지만, 오픈소스 LLM을 위한 것 현재 지원모델 Model Model Size TinyLlama-1.1B-Chat-v0.4-q4f32\_1-1k 600MB Llama-3-8B-Instruct-q4f16\_1 :star: 4.3GB Phi1.5-q4f16\_1-1k 1.2GB Mistral-7B-Instruct-v0.2-q4f16\_1 :star: 4GB 원문 Secret Llama 저장소 https://github.com/abi/secret-llama Web-LLM 저장소 https://github.com/mlc-ai/web-llm 출처 / GeekNews :information\_source: 알려드립니다 이 글은 국내외 IT 소식들을 공유하는 GeekNews의 운영자이신 xguru님께 허락을 받아 GeekNews에 게제된 AI 관련된 소식을 공유한 것입니다. 출처의 GeekNews 링크를 방문하시면 이 글과 관련한 추가적인 의견들을 보시거나 공유하실 수 있습니다! :wink: :gift: 아래:arrow\_lower\_right:쪽에 좋아요:heart:를 눌러주시면 새로운 소식을 정리하고 공유하는데 힘이 됩니다~ :star\_struck: --- ## [\[GN\] 마크 주커버그 인터뷰 - Llama 3, 100억달러 모델을 오픈소싱한 이유](https://discuss.pytorch.kr/t/gn-llama-3-100/4161)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [4월 21, 2024, 11:35오후 UTC](https://discuss.pytorch.kr/t/gn-llama-3-100/4161 "2024-04-21T23:35:02Z")
마크 주커버그 인터뷰 - Llama 3, 100억달러 모델을 오픈소싱한 이유 소개 Dwarkesh Patel과 인터뷰에서 Llama3, AGI를 향한 오픈소싱, 커스텀 실리콘, 스케일링에 대한 에너지 제약등을 이야기해서 전체 스크립트를 간단히 요약 Llama 3 Meta는 오픈 소스 모델인 Llama 3를 출시하여 새로운 버전의 Meta AI를 구동할 예정 Meta AI는 가장 지능적이고 자유롭게 사용 가능한 AI 어시스턴트를 목표로 함 Llama 3는 현재 출시된 8B, 70B와 아직 학습 중인 405B 크기의 Dense 모델로 제공 멀티모달, 멀티언어, 더 큰 컨텍스트 창을 갖춘 새로운 릴리스의 로드맵을 가지고 있으며, 올해내로 405B를 롤아웃할 예정 405B는 현재 훈련중인 상태로 85 MMLU에 도달했으며, 여러 벤치마크에서 선두를 차지할 것으로 예상 8B Llama 3 모델은 최대 크기의 Llama 2 모델과 거의 동등한 성능을 가짐 70B도 훌륭해서 이미 82 MMLU임 GPU Meta는 주가가 폭락하던 2022년에 Reels를 구축하기 위해 H100 GPU를 확보했음 TikTok이 하고 있는 일을 원하는 만큼 빨리 따라잡는 데 인프라가 제한적이었고, 다시는 이런 상황에 빠지지 않도록 두배로 주문함 향후 대규모 모델 학습에 필요할 것으로 예상하긴 했는데, 그 당시에는 단지 콘텐츠 추천을 위한 것이라고 생각했음 돌이켜보면 아주 잘한 결정이었고, 그것은 뒤처져 있었기 때문에 가능했음 "아, 내가 너무 앞서 나갔구나." 같은 게 아니었음 사실, 우리가 어떤 결정을 내렸을 때 좋은 결정으로 끝나는 경우는 대부분 이전에 무언가를 망쳐서 그 실수를 반복하고 싶지 않았기 때문 AGI(Artificial General Intelligence)를 향한 코딩 및 추론 능력의 중요성 Meta는 모델이 실제 사용 사례를 해결하기 위해서는 직접적으로 코딩 질문을 받지 않더라도 코딩 및 추론 능력이 중요하다는 것을 인식함 최종 목표는 AGI를 해결하고 모… --- ## [\[2024/04/15 ~ 04/21\] 이번 주의 주요 ML 논문 (Top ML Papers of the Week)](https://discuss.pytorch.kr/t/2024-04-15-04-21-ml-top-ml-papers-of-the-week/4159)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [4월 21, 2024, 11:20오후 UTC](https://discuss.pytorch.kr/t/2024-04-15-04-21-ml-top-ml-papers-of-the-week/4159 "2024-04-21T23:20:00Z")
\[2024/04/15 ~ 04/21\] 이번 주의 주요 ML 논문 (Top ML Papers of the Week) PyTorchKR​:fire::south\_korea: :thinking::speech\_balloon: 이번 주에 제출된 논문들을 살펴보면, 주로 언어 모델(Language Models), 특히 대규모 언어 모델(Large Language Models, LLMs)과 그것들의 성능 향상이나 응용에 초점을 맞추고 있음을 알 수 있습니다. 특히 'Llama 3', 'Mixtral 8x22B', 'Chinchilla Scaling: A replication attempt' 같은 논문들은 모델 스케일링과 관련된 연구를 다루고 있으며, 이는 최근 몇 년 동안 AI 연구의 핵심 동향 중 하나입니다. 또한, 'How Faithful are RAG Models?', 'A Survey on Retrieval-Augmented Text Generation for LLMs', 'Reducing Hallucination in Structured Outputs via RAG' 처럼 검색 기반 텍스트 생성(Search-based Text Generation)을 통한 모델의 정확도와 신뢰성 증진에 관한 연구도 눈에 띕니다. 이와 같은 연구 동향은 AI 및 머신러닝 연구에서 대규모 언어 모델의 중요성이 증가하고 있음을 시사합니다. 대규모 언어 모델들은 다양한 NLP(자연어 처리) 문제들을 해결하는 데 있어 놀라운 성능을 보여주고 있으며, 이로 인해 이 분야에 대한 연구와 개발이 활발히 이루어지고 있습니다. 모델의 크기를 조정하고, 검색을 통해 정보를 통합하며, 출력의 정확성을 개선하려는 시도는 이러한 모델들이 실제 세계 응용에서 더욱 효과적으로 작동하도록 만드는 데 중요한 단계입니다. 또한, 여러 논문들에서 'State Space Models'와 같은 구체적인 모델 구조나 'RAG(Retrieval-Augmented Generation)'와 같은 기법들에 대한 논의… --- ## [Ollama, Llama3 모델 제공 시작](https://discuss.pytorch.kr/t/ollama-llama3/4122)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [4월 20, 2024, 5:12오전 UTC](https://discuss.pytorch.kr/t/ollama-llama3/4122 "2024-04-20T05:12:47Z")
:pytorch:PyTorchKR:kr: 로컬에서 Open LLM을 실행하고 CLI 및 REST API를 통해 LLM을 사용할 수 있게 해주는 플랫폼 Ollama에 Llama-3가 추가되었습니다. 이제 사용자는 몇 일 전 공개된 Meta의 Llama3가 Ollama에서도 사용할 수 있게 되었습니다. Ollama, Llama3 모델 제공 시작 소개 Llama 3는 메타가 개발한 대형 언어 모델로, 기존의 Llama 2 모델보다 상당한 개선을 이루었습니다. 특히, 훈련 데이터셋 크기가 7배 증가했고, 처리할 수 있는 컨텍스트 길이도 두 배로 늘어났습니다. 이러한 기능적 향상을 통해 Llama 3는 언어 인코딩의 효율성을 크게 향상시켰습니다. Llama-3의 주요 특징은 다음과 같습니다: 향상된 데이터셋과 컨텍스트 길이: Llama 3는 Llama 2와 비교하여 훈련 데이터셋이 7배 증가했으며, 컨텍스트 길이는 8,000까지 처리할 수 있습니다. 토큰 어휘의 확장: 128K 토큰 어휘를 사용하여 언어를 더 효과적으로 인코딩합니다. 오류 감소: Llama 2에 비해 거짓 거부 반응이 1/3로 줄었습니다. 또한, Llama 3는 기존의 Llama 2 모델보다 훨씬 덜 검열(censored)되어 있습니다. 이는 모델이 사용자의 입력에 대해 거부하는 경우가 이전 모델에 비해 훨씬 줄었다는 것을 의미합니다. Llama 3는 특히 흥미로운 주제에 대해 논의할 수 있는 범위를 확장하며, 이는 연구 및 개발 측면에서 매우 유용할 수 있습니다. 낮은 거부율: Llama 3는 이전 모델인 Llama 2에 비해 거부율이 현저히 낮아졌으며, 이로 인해 사용자는 더 다양한 주제에 대해 질문할 수 있습니다. 개선된 대응 능력: Llama 3는 사용자의 요구에 보다 유연하게 대응할 수 있도록 설계되었으며, 이는 특히 연구 개발이나 교육 분야에서 유용하게 사용될 수 있습니다. 예를 들어, 동일한 질문에 대한 Llama2와 Llama3의 결과를 비교해보겠습니다. 질… --- ## [\[GN\] Meta Llama 3에 대한 Andrej Karpathy의 평가](https://discuss.pytorch.kr/t/gn-meta-llama-3-andrej-karpathy/4113)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [4월 19, 2024, 8:37오전 UTC](https://discuss.pytorch.kr/t/gn-meta-llama-3-andrej-karpathy/4113 "2024-04-19T08:37:26Z")
Meta Llama 3에 대한 Andrej Karpathy의 평가 소개 8B, 70B(기본 모델과 파인튜닝된 모델 모두) 모델을 공개함. 이들은 각 모델 클래스에서 강력한 성능을 보여줌. 400B 모델은 아직 학습 중이지만, 이미 GPT-4의 영역에 근접하고 있음(예: MMLU 84.8 vs. GPT-4의 86.5) 토크나이저 토큰 수가 32K(Llama 2)에서 128K(Llama 3)로 4배 증가 더 많은 토큰으로 시퀀스 길이를 더 압축할 수 있음. 15% 적은 토큰을 인용하고 다운스트림 성능 향상 아키텍처 Llama 2에서는 큰 모델만 Grouped Query Attention(GQA)를 사용했지만, 이제 가장 작은 8B 모델을 포함한 모든 모델이 GQA를 사용 GQA는 Attention의 키/값에 대한 파라미터 공유 체계로, 추론 중 KV 캐시의 크기를 줄임 이는 복잡성을 줄이고 최적화하는 좋고 환영받을 만한 수정사항임 시퀀스 길이 컨텍스트 윈도우의 최대 토큰 수가 4096(Llama 2) 및 2048(Llama 1)에서 8192로 증가 이 증가는 환영할 만하지만 최신 표준(예: GPT-4는 128K)에 비해 상당히 작음 많은 사람들이 이 축에 대해 더 많은 것을 기대했을 것임. 나중에 파인튜닝으로 가능할지도(?) 학습 데이터 Llama 2는 2T 개의 토큰으로 학습되었고, Llama 3은 15T 학습 데이터셋으로 증가 데이터 품질, 4배 더 많은 코드 토큰, 30개 이상의 언어로 5%의 non-en 토큰에 많은 주의를 기울임 5%는 non-en:en 믹스에 비해 상당히 낮아서 이 모델은 대부분 영어 모델임. 그러나 0보다 큰 것은 꽤 좋음 스케일링 법칙 15T는 8B 매개변수와 같은 "작은" 모델에 대해 학습하기에 매우 큰 데이터셋이며, 이는 일반적으로 수행되지 않는 새롭고 매우 환영할 만한 일임 Chinchilla "compute optimal" 포인트에서 8B 모델을 학습시키려면 ~200B 토큰 정도 학습시켜야 함 모델 성… --- ## [Meta, Llama 3 8B 및 70B 모델 공개 🦙🦙🦙 (400B+는 준비 중)](https://discuss.pytorch.kr/t/meta-llama-3-8b-70b-400b/4112)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 3\ **마지막 업데이트:** [4월 19, 2024, 8:34오전 UTC](https://discuss.pytorch.kr/t/meta-llama-3-8b-70b-400b/4112 "2024-04-19T08:34:19Z")
:pytorch:PyTorchKR:kr: Meta에서 조금 전 Llama-3를 발표 및 공개했습니다. (Llama-3 모델이 Meta AI에 통합되었지만 아직 한국은 지원하지 않아 웹에서 사용하긴 어렵고:sob: 기존처럼 모델을 내려받아 사용해야 합니다.) 기존 모델들보다 더 나은 성능을 보이고 있는데요, 함께 살펴보시죠:llama::llama::llama: Meta, Llama 3 발표 :llama::llama::llama: 소개 Llama 3는 Meta에서 개발한 최신 AI 대화 모델로, 기존의 Llama 모델들보다 더욱 개선된 언어 이해와 생성 능력을 갖추고 있습니다. 이 모델은 대규모 데이터셋을 학습하여 다양한 주제에 대해 사람과 같은 수준으로 대화를 진행할 수 있습니다. 특히, 이전 모델들 대비 향상된 컨텍스트 이해력은 Llama 3의 가장 큰 특징 중 하나입니다. 고급 언어 이해 및 생성: Llama 3는 복잡한 언어 구조와 의미를 더 정확하게 이해하고, 자연스러운 대화를 생성할 수 있습니다. 대규모 학습 데이터셋: 다양한 언어와 주제에 대한 방대한 데이터셋을 학습하여, 보다 넓은 범위의 지식과 정보를 제공합니다. 개선된 대화 관리: 사용자의 의도와 문맥을 더 정확하게 파악하여, 더욱 유연하고 맥락에 맞는 대화가 가능합니다. 학습 정보 및 공개 모델 Llama-3 모델은 Meta에서 최근 공개한 맞춤형 24K GPU 클러스터에서 15T 이상의 토큰들을 사용하여 학습하였습니다. 이는 Llama-2 학습에 사용했던 것보다 4배 더 많은 코드들을 포함하며, 전체 학습 데이터셋은 7배가량 더 큽니다. 이번에 공개한 Llama-3 모델은 8B과 70B의 2종류로, 모델 정보는 아래 표와 같습니다: Training Data Params Context length GQA Token count Knowledge cutoff Llama 3 A new mix of publicly available online data. 8B 8… --- ## [\[GN⁺\] 메타의 새로운 목표는 인공 일반 지능(AGI, Artificial General Intelligence) 구축](https://discuss.pytorch.kr/t/gn-agi-artificial-general-intelligence/3321)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [1월 21, 2024, 2:59오전 UTC](https://discuss.pytorch.kr/t/gn-agi-artificial-general-intelligence/3321 "2024-01-21T02:59:00Z")
GeekNews의 xguru님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. :smiley\_cat: 소개 메타 CEO 마크 저커버그 인터뷰 저커버그는 "우리가 만들고 싶은 제품을 만들기 위해서는 인공 일반 지능(AGI)을 만들어야 한다"는 관점 AGI에 대한 명확한 정의나 도달 시기는 없으나, 그는 이를 구축하고자 함 메타의 AI 연구 그룹 FAIR을 메타 앱에서 생성 AI 제품을 개발하는 팀과 같은 부서로 이동시킴으로써, AI 혁신이 수십억 사용자에게 더 직접적으로 도달하도록 함 AI 인재 전쟁 AI 분야에서 인재를 둘러싼 경쟁은 매우 치열함 필요한 전문 지식을 가진 사람들은 연봉 100만 달러 이상의 보상 패키지를 요구할 수 있음 저커버그는 AI 인재를 유치하거나 경쟁사로부터 연구원을 지키기 위해 CEO들이 직접 나서야 하는 상황을 설명함 컴퓨팅 파워의 중요성 AI 분야에서 또 다른 희소 자원은 대규모 모델을 훈련하고 실행하는 데 필요한 컴퓨팅 파워임 메타는 2024년 말까지 Nvidia의 H100 GPU 340,000개 이상을 소유할 예정임 A100 및 기타 AI 칩까지 고려하면 2024년말까지 거의 60만개의 GPU를 비축 메타는 다른 어떤 개별 회사보다 더 큰 규모로 이를 수행할 능력을 구축함 AGI에 대한 실현 AGI에 대한 명확한 정의나 도달 시기는 아직 없음 저커버그는 AGI의 도래를 단일 순간보다 점진적인 과정으로 보고 있음 메타는 Llama 2, 최신 대규모 언어 모델을 발표한 후 AGI에 대한 더 넓은 관점을 가지게 됨 현재 Llama 3를 훈련하고 있으며 코드 생성 기능을 갖게 될 것 궁극적으로 업계 최고의 모델을 만들 것 오픈 소스 대 폐쇄 소스 AGI를 최종적으로 통제할 주체에 대한 논쟁이 뜨거움 저커버그는 메타의 주식에 대한 투표권을 통해 전체적인 권력을 행사함 그는 AGI가 달성되면 오픈 소스로 할지 여부에 대해 최종적으로 결정할 수 있는 위치에 있음 메타의 피…