# \#pytorch2
**URL:** https://discuss.pytorch.kr/tag/pytorch2/142.md
[최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md)
---
## [:pytorch:PyTorch 2.4가 출시되었습니다 🎉](https://discuss.pytorch.kr/t/pytorch-2-4/4922)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [7월 25, 2024, 2:18오전 UTC](https://discuss.pytorch.kr/t/pytorch-2-4/4922 "2024-07-25T02:18:27Z")
:pytorch:PyTorch 2.4 소개 PyTorch 2.4가 출시되었습니다! PyTorch 2.4는 Python 3.12를 지원하며 torch.compile의 성능 최적화를 제공합니다. AOTInductor freezing은 성능 기반 최적화를 위해 MKLDNN 가중치의 직렬화를 지원합니다. 이러한 AOTInductor freezing 기능은 기존 Inductor CPP 백엔드와 유사한 성능을 제공하며, 새로운 TCPStore 서버 백엔드는 libuv를 사용하여 초기화 시간이 크게 단축되었으며, 더 나은 확장성을 제공합니다. 또한, Python 3.12 지원과 더불어 새로운 Python 커스텀 오퍼레이터 API는 사용자 정의 커널을 통합하는 과정을 더욱 간편하게 만들어줍니다. 이번 릴리스는 3,661개의 Commit과 475명의 기여자가 참여했습니다. PyTorch 커뮤니티의 헌신적인 기여에 감사드립니다. PyTorch 2 시리즈를 시작하는 방법에 대한 자세한 내용은 여기에서 확인할 수 있습니다. PyTorch 2.4는 이러한 최적화와 새로운 기능을 통해 더 나은 성능과 사용자 경험을 제공합니다. 특히 대규모 모델 학습과 배포 과정에서 성능 향상이 두드러집니다. 새로운 기능들과 최적화는 PyTorch를 더욱 강력한 도구로 만들어, 개발자들이 더욱 효율적으로 작업할 수 있도록 도와줍니다. 이번 릴리스는 다양한 사용자의 피드백을 반영하여 더욱 사용자가 필요로 하는 기능들을 포함하고 있습니다. :pytorch:PyTorch 2.4 주요 기능 소개 Python 3.12 지원: torch.compile()이 이제 Python 3.12를 지원합니다. AOTInductor 동결 기능: CPU에서 MKLDNN 가중치를 직렬화하여 성능 최적화를 제공합니다. 새로운 Python 커스텀 오퍼레이터 API: 사용자 정의 커널 통합이 더욱 쉬워졌습니다. TCPStore 서버 백엔드 변경: libuv를 사용하여 초기화 시간 단축 및 확장성 향상. …
---
## [가속화된 트랜스포머로 대규모 언어 모델 가속화하기 (Accelerating Large Language Models with Accelerated Transformers)](https://discuss.pytorch.kr/t/accelerating-large-language-models-with-accelerated-transformers/1417)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [4월 20, 2023, 4:11오후 UTC](https://discuss.pytorch.kr/t/accelerating-large-language-models-with-accelerated-transformers/1417 "2023-04-20T16:11:37Z")
PyTorch 공식 블로그에 게시된 Accelerating Large Language Models with Accelerated Transformers 글을 퍼왔습니다. :slight\_smile: 아래는 원문과 함께 DeepL이 번역한 내용입니다 - Translated with DeepL 가속화된 트랜스포머로 대규모 언어 모델 가속화하기 (Accelerating Large Language Models with Accelerated Transformers) April 19, 2023 by Lucas Pasqualin, Driss Guessous, Christian Puhrsch, Bertrand Maher, Michael Gschwind 요약 안드레이 카파시(Andrej Karpathy)의 GPT 모델의 컴팩트한 오픈소스 구현인 nanoGPT의 예제에서 가속화된 파이토치 2.0 트랜스포머와 새로 도입된 torch.compile() 메서드를 사용하여 대규모 언어 모델을 가속하는 방법을 보여줍니다. 가속화된 PT2 트랜스포머와 함께 도입된 새로운 스케일드 도트 프로덕트 어텐션 연산자(scaled dot product attention operator)를 사용하여 플래시-어텐션(flash\_attention) 커스텀 커널을 선택하고 배치당 훈련 시간을 ~143ms/배치 기준에서 ~113ms/배치로 단축(Nvidia A100 GPU로 측정)했습니다. 또한 SDPA 연산자를 사용한 향상된 구현으로 수치 안정성이 향상되었습니다. 마지막으로, 플래시 주의와 결합된 패딩 입력을 사용하여 추가 최적화를 달성하면 배치당 ~87ms로 개선됩니다. TL;DR. We show how to use Accelerated PyTorch 2.0 Transformers and the newly introduced torch.compile() method to accelerate Large Language Models on the example of nanoGPT, a comp…
---
## [파이토치 2를 사용한 가속화된 생성 확산 모델(Accelerated Generative Diffusion Models with PyTorch 2) 🎉](https://discuss.pytorch.kr/t/2-accelerated-generative-diffusion-models-with-pytorch-2/1401)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 1\
**마지막 업데이트:** [4월 18, 2023, 11:59오전 UTC](https://discuss.pytorch.kr/t/2-accelerated-generative-diffusion-models-with-pytorch-2/1401 "2023-04-18T11:59:31Z")
PyTorch 공식 블로그에 게시된 Accelerated Generative Diffusion Models with PyTorch 2 글을 퍼왔습니다. :slight\_smile: 아래는 원문과 함께 DeepL이 번역한 내용입니다 - Translated with DeepL Accelerated Generative Diffusion Models with PyTorch 2 / 파이토치 2를 사용한 가속화된 생성 확산 모델 April 14, 2023 by Grigory Sizov, Michael Gschwind, Hamid Shojanazeri, Driss Guessous, Daniel Haziza, Christian Puhrsch TL;DR: PyTorch 2.0 nightly offers out-of-the-box performance improvement for Generative Diffusion models by using the new torch.compile() compiler and optimized implementations of Multihead Attention integrated with PyTorch 2. 요약: PyTorch 2.0 nightly 버전은 새로운 torch.compile() 컴파일러를 사용하여 생성적 확산 모델의 성능을 즉시 개선하고 PyTorch 2와 통합된 멀티헤드 어텐션의 최적화된 구현을 제공합니다. INTRODUCTION / 소개 A large part of the recent progress in Generative AI came from denoising diffusion models, which allow producing high quality images and videos from text prompts. This family includes Imagen, DALLE, Latent Diffusion, and others. However, all models in this family sha…
---
## [PyTorch 2.0🔥이 공식 출시되었습니다! 🎉](https://discuss.pytorch.kr/t/pytorch-2-0/1252)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 1\
**마지막 업데이트:** [3월 15, 2023, 9:31오후 UTC](https://discuss.pytorch.kr/t/pytorch-2-0/1252 "2023-03-15T21:31:21Z")
지난 2022년 12월에 있었던 PyTorch Conference에서 발표했던 PyTorch 2.0이 드디어 공식 출시되었습니다! :tada: torch.compile()로 대표되는 이번 PyTorch 2.0의 주요한 변경 사항은 TorchDynamo, AOTAutograd, PrimTorch, TorchInductor 등이 있습니다. 이를 통해 연산 그래프를 더 빠르게 획득하고, 더 빠르게 IR 코드를 생성하고, 학습 시 Autograd를 재사용하여 연산 속도를 개선할 수 있게 되었습니다. 더 자세한 PyTorch 2.0의 변경 사항은 아래 공식 홈페이지에서 확인하실 수 있습니다. :smiley: 또한, PyTorch 2.0과 함께 TorchAudio, TorchVision, TorchText 등과 같은 도메인별 라이브러리들의 신규 기능 또한 공개되고, TorchX는 커뮤니티 지원 모드로 전환되었습니다. 이와 관련해서는 조만간 정리해서 공유드리도록 하겠습니다. :smiley: https://pytorch.org/docs/stable/index.html PyTorch 2.0의 새로운 기능들에 대해서는 지난 몇 달간 진행되었던 PyTorch 2.0 Live Q&A 비디오들:film\_projector:을 참고해주세요~