# \#fp8 **URL:** https://discuss.pytorch.kr/tag/fp8/1289.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [1조 파라미터 규모로 에이전틱 강화학습을 수행하는 prime-rl 0.6.0의 최적화 총정리 (feat. Prime Intellect)](https://discuss.pytorch.kr/t/1-prime-rl-0-6-0-feat-prime-intellect/10939)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [6월 29, 2026, 12:30오전 UTC](https://discuss.pytorch.kr/t/1-prime-rl-0-6-0-feat-prime-intellect/10939 "2026-06-29T00:30:20Z")
prime-rl 0.6.0 소개 최근 대규모 언어 모델(Large Language Model, LLM)의 성능을 끌어올리는 핵심 동력은 사전 학습(pre-training)의 규모 확장에서 사후 학습(post-training), 그중에서도 강화 학습(Reinforcement Learning, RL) 으로 빠르게 옮겨가고 있습니다. 단순히 정답이 주어진 데이터로 모델을 미세조정(fine-tuning)하는 것을 넘어, 모델이 실제로 도구를 호출하고 코드를 실행하며 환경과 상호작용하는 에이전틱 강화학습(Agentic RL) 이 프런티어 모델의 추론(reasoning) 능력을 결정짓는 단계가 된 것입니다. 문제는 이 과정이 엄청나게 비싸고 까다롭다는 데 있습니다. 1조(1T) 파라미터급 모델을 SWE(소프트웨어 엔지니어링) 같은 장기 과제(long-horizon task)로 강화학습하려면, 학습기(trainer)와 추론기(inference) 양쪽을 동시에 굴리면서 수천 개의 GPU에서 발생하는 모든 비효율을 짜내야 합니다. Prime Intellect가 공개한 prime-rl 0.6.0 버전은 바로 이 문제를 정면으로 다룹니다. 이 릴리스의 목표는 "1조 파라미터 규모의 모델을 무거운 에이전틱 워크로드 위에서 최고 효율로 학습"하는 것입니다. Prime Intellect 팀이 제시하는 대표 성과는 다음과 같습니다. GLM-5를 SWE 과제로, 최대 131k 시퀀스 길이에서 5분 미만의 스텝 시간(step time), 256개 롤아웃(rollout)의 배치 크기로, 단 28개의 H200 노드만으로 학습할 수 있다는 것입니다. 위 히어로 이미지의 두 막대 그래프는 학습기 스텝 시간 중앙값이 3.7분, 오케스트레이터 기준 롤아웃 스텝 시간 중앙값이 5.0분으로, RL 스텝이 진행되어도 1T 규모에서 시간이 폭증하지 않고 평탄하게 유지된다는 점을 보여줍니다. 이번 글에서는 prime-rl이 이런 성과를 내기까지 적용한 최적화를 추론과 학습 양쪽으로 나누어 깊이 … --- ## [DeepGEMM: NVIDIA Hopper GPU에서 효율적인 FP8 연산을 위한 GEMM 커널 라이브러리 (feat. DeepSeek)](https://discuss.pytorch.kr/t/deepgemm-nvidia-hopper-gpu-fp8-gemm-feat-deepseek/6219)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [2월 26, 2025, 9:30오전 UTC](https://discuss.pytorch.kr/t/deepgemm-nvidia-hopper-gpu-fp8-gemm-feat-deepseek/6219 "2025-02-26T09:30:47Z")
들어가며 :pytorch::kr: DeepSeek에서 이번 주, 하루에 하나씩, 인프라와 관련한 GitHub 저장소를 공개하기로 하였습니다. 오늘 살펴볼 DeepGEMM은 DeepEP와 FlashMLA에 이어 세번째로 공개한 저장소로, NVIDIA Hopper GPU에서 FP8 연산을 위한 GEMM 커널 관련 코드를 담고 있습니다. 함께 살펴보시죠 :smiley: DeepGEMM 소개 DeepSeek-AI가 공개한 DeepGEMM 은 NVIDIA Hopper GPU에서 실행되는 FP8(8비트 부동소수점) 연산을 위한 GEMM(General Matrix Multiplication) 커널 입니다. 특히 MoE(Mix-of-Experts) 모델을 포함한 다양한 신경망 연산에 최적화되어 있으며, CUDA 기반으로 JIT(Just-In-Time) 컴파일 방식 을 채택하여 설치 과정에서 추가적인 컴파일이 필요 없습니다. DeepGEMM의 주요 특징은 다음과 같습니다: NVIDIA Hopper 아키텍처 전용으로 설계됨 (Tensor Memory Accelerator 활용) Mix-of-Experts(MoE) 모델을 위한 그룹화된 GEMM 연산 지원 JIT 기반으로 런타임에서 컴파일, 설치 시 별도의 컴파일 과정이 필요 없음 CUDA-core 2단계 축적(promotion) 기법 사용 으로 FP8의 낮은 정밀도를 보완 CUTLASS 및 CuTe에서 일부 개념을 차용하였으나, 템플릿 의존도를 줄여 코드가 간결 약 300줄의 핵심 커널 코드로 구성되어 있어 학습용으로도 적합 DeepGEMM은 CUTLASS 같은 기존의 최적화된 라이브러리와 비교해도 높은 성능을 발휘하며, 특히 특정 행렬 크기에서 1.1배 ~ 최대 2.7배의 속도 향상을 보입니다. 또한, DeepGEMM은 CUDA JIT 컴파일 기반으로 동작하기 때문에, CUDA 환경만 갖추어지면 빠르게 실행할 수 있습니다. 반면, CUTLASS는 정적 컴파일 기반으로 성능은 뛰어나… --- ## [FlashAttention-3, NVIDIA Hopper 아키텍처에 최적화된 어텐션 가속화 구현](https://discuss.pytorch.kr/t/flashattention-3-nvidia-hopper/4857)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [7월 16, 2024, 11:11오후 UTC](https://discuss.pytorch.kr/t/flashattention-3-nvidia-hopper/4857 "2024-07-16T23:11:00Z")
FlashAttention 돌아보기 어텐션(Attention) 연산은 트랜스포머(Transformer) 구조의 핵심 계층입니다. 하지만 대규모 언어 모델(LLM)을 비롯하여 긴 문맥(long-context)을 활용하는 트랜스포머 구조의 경우, 어텐션 연산 과정은 병목 현상을 일으키는 주요 원인 중 하나입니다. FlashAttention은 어텐션 계산 시 메모리 내에서의 재정렬을 통한 타일링 및 재계산을 활용하여 크게 가속하고 메모리 사용량을 시퀀스 길이에 따라 선형으로 줄이는 알고리즘입니다. 타일링을 사용하여 GPU의 주요 메모리인 HBM에 있는 입력 블록을 더 빠른 캐시로 활용하는 SRAM 영역으로 불러오고, 해당 입력 블록과 관련한 어텐션 연산을 수행하고, 출력을 HBM에 업데이트하는 방식으로 동작합니다. 이러한 어텐션 연산 중간 과정에서 발생하는 큰 어텐션 행렬을 HBM에 저장하지 않음으로써 메모리 읽기/쓰기 양을 줄여 2-4배의 실시간 속도 향상을 가져오는 것이 핵심입니다. 특히, 타일링 및 소프트맥스 재스케일링을 통해 블록 단위로 작업하여 HBM에서 읽기/쓰기 작업을 줄임으로써 전체 연산 시간을 줄이면서도 결과값은 정확하게 일치하는 (= 근사치가 아닌) 출력을 얻을 수 있습니다. H100 GPU에 최적화한 FlashAttention-3 소개 FlashAttention-3는 이전 버전인 FlashAttention-2에 비해 1.5배에서 2배 더 빠른 성능을 자랑하며, 특히 FP16 모드에서 최대 740 TFLOPS, FP8 모드에서는 1.2 PFLOPS의 성능을 달성합니다. 이러한 성능 향상은 NVIDIA의 Hopper GPU, 특히 H100 GPU의 새로운 기능들을 활용하여 이룬 것입니다. FlashAttention-3는 기존보다 더욱 긴 문맥을 처리할 수 있으며, 이는 복잡한 자연어 처리 작업에서 매우 유용합니다. 또한, FlashAttention-3를 사용하는 경우, 대규모 언어 모델의 학습 및 추론 시간 단축에 큰 도움을 줍니다. … --- ## [\[GN\] NVIDIA, LLM 추론을 가속하는 TensorRT-LLM 오픈소스 공개](https://discuss.pytorch.kr/t/gn-nvidia-llm-tensorrt-llm/2464)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [9월 13, 2023, 2:00오전 UTC](https://discuss.pytorch.kr/t/gn-nvidia-llm-tensorrt-llm/2464 "2023-09-13T02:00:00Z")
GeekNews의 xguru님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. :smiley\_cat: 소개 TensorRT 딥러닝 컴파일러와 최적화된 커널, 전처리/후처리 단계, 멀티GPU/멀티노드 통신 기본요소 등을 포함 C++ 이나 CUDA에 대한 깊은 지식 없이도 LLM에 최고 성능과 사용자 정의 기능을 빠르게 제공 가능 오픈소스 모듈식 Python API를 제공하여 사용 편의성과 확장성 제공 Ampere, Lovelace, Hopper GPU 지원 H100 기반으로 TensorRT-LLM을 적용하여 테스트 했을 때 GTP-J-6B 는 추론 성능 8배 향상, TCO 5.3배 감소, 에너지 소비량 5.6배 감소 Llama2 70B 는 추론 성능 4.6배 향상, TCO 3배 감소, 에너지 소비량 3.2배 감소 In-flight Batching 이라 불리는 최적화된 스케줄링 기술 포함 TensorRT-LLM이 탑재된 NVIDIA H100 GPU는 사용자에게 모델 가중치를 새로운 FP8 형식으로 쉽게 변환하고 모델을 컴파일하여 최적화된 FP8 커널을 자동으로 활용할 수 있는 기능을 제공 Hopper Transformer 엔진 기술을 통해 가능하며, 모델 코드를 변경할 필요 없음 현재 얼리억세스 가능하며, 몇주내로 출시할 예정 더 읽어보기 원문 출처 / GeekNews --- ## [Unit Scaling: 저정밀도의 학습을 위한 PyTorch 라이브러리 (Beta release)](https://discuss.pytorch.kr/t/unit-scaling-pytorch-beta-release/2345)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [8월 26, 2023, 4:09오전 UTC](https://discuss.pytorch.kr/t/unit-scaling-pytorch-beta-release/2345 "2023-08-26T04:09:28Z")
GraphCore에서 공개한 Unit Scaling 논문을 PyTorch용으로 구현 라이브러리의 베타 버전이 공개되었습니다! 소개 Unit Scaling은 Graphcore에서 개발한 새로운 학습 방법론으로, 딥러닝 모델의 학습 속도를 향상시키기 위해 설계되었습니다. 특히, 이 방법은 데이터셋의 크기와 관계없이 일관된 학습 속도를 제공하는 것을 목표로 하고 있습니다. Unit Scaling은 딥러닝 모델의 학습 속도를 최적화하기 위한 방법론입니다. 이 방법론은 데이터셋의 크기에 관계없이 일관된 학습 속도를 제공합니다. 학습 속도를 일정하게 유지하기 위해, 학습률과 미니 배치 크기를 동시에 조정합니다. 이를 통해 모델의 학습 속도가 데이터셋의 크기에 영향을 받지 않게 됩니다. 여러 데이터셋과 모델에 대한 실험에서 Unit Scaling 방법론이 효과적임이 입증되었습니다. 특히, 큰 데이터셋에서의 학습 속도 향상이 두드러졌다고 합니다. 관련 논문 아래 링크에서 보실 수 있으며, 초록(absctract) 부분(과 DeepL로 돌린 번역)을 덧붙였습니다. :smiley: 낮은 정밀도의 숫자 포맷 사용을 간소화하는 딥러닝 모델 설계 패러다임인 유닛 스케일링(Unit Scaling)을 소개합니다. FP16 또는 최근 제안된 FP8 형식의 학습은 상당한 효율성 향상을 제공하지만, 바로 학습에 적용할만큼 충분히 지원이 되지 않을 수 있습니다. 우리가 제안하는 유닛 스케일링은 초기화 시 모든 가중치와 활성화 및 기울기의 단위 분산을 구하는 모델 수치에 대한 원칙적인 접근 방식을 도입하여 이 문제를 해결합니다. 다른 방법과 달리 이 접근 방식은 적절한 스케일을 찾기 위해 여러 번 훈련을 실행할 필요가 없으며 계산 오버헤드도 크지 않습니다. 다양한 모델과 옵티마이저에 대해서도 유닛 스케일링의 효율성을 입증하였습니다. 또한 기존 모델을 단위 스케일링에 맞게 조정하여 정확도 저하 없이 FP16에서 BERT-Large를 훈련한 다음 FP8로 학습할 …