PyTorch 2.11이 출시되었습니다 🎉

읽을거리&정보공유
, , , , ,
1

PyTorch 2.11이 출시되었습니다 :tada:
PyTorch 2.11이 출시되었습니다 :tada:1252×491 14.1 KB

PyTorch 2.11 소개

PyTorch Foundation에서는 최신 PyTorch 버전인 PyTorch 2.11을 공식 발표하였습니다. 이번 버전은 분산 학습 환경을 위한 미분 가능한 집합 통신 지원과 최신 GPU 아키텍처 환경에서의 성능 극대화를 위한 FlexAttention 기술의 최적화에 중점을 두었습니다. 또한 Apple Silicon 기반의 MPS 백엔드 환경에서 비동기 오류 보고 기능을 추가하고 연산자 지원을 대폭 확장하였으며, 인텔 GPU를 위한 XPUGraph 기능이 추가되어 다양한 하드웨어 생태계 전반에 걸친 성능 최적화를 이루어냈습니다.

이번 릴리스는 이전 2.10 버전 이후 432명의 기여자가 참여하여 총 2,723개의 커밋을 반영한 결과물입니다. 이전 버전부터 예고된 바와 같이 2026년부터는 릴리스 주기가 기존 분기별 단위에서 2개월 단위로 단축되어 새로운 기능들이 더욱 빠르게 배포되고 있습니다.

PyTorch 2.11의 주요 업데이트

분산 학습을 위한 미분 가능한 컬렉티브 (Differentiable Collectives)

함수형 컬렉티브(functional collectives) 연산에 미분 기능(differentiability) 지원이 추가되었습니다. 이전에는 복잡한 분산 딥러닝 연구나 고급 학습 기법을 적용할 때 사용자 정의(custom) autograd 함수를 일일이 작성해야 했으나, 이제는 컬렉티브 연산을 통과하는 역전파(backpropagation)가 자체적으로 지원됩니다. 이는 분산 학습 워크플로우를 설계하는 엔지니어의 수고를 크게 덜어주며 진일보한 연구를 가능케 합니다.

Hopper 및 Blackwell GPU를 위한 FlexAttention 및 FlashAttention-4

최신 NVIDIA Hopper 및 Blackwell GPU 환경에서 FlexAttention 기능이 FlashAttention-4 백엔드를 정식으로 지원합니다. PyTorch 내에서 CuTeDSL의 score/mask 수정 함수를 자동으로 생성하고 FlashAttention-4 커널을 JIT로 인스턴스화할 수 있도록 업그레이드되었습니다. 이를 통해 연산 집약적인 컴퓨팅 워크로드에서 기존 Triton 구현체 대비 1.2배~3.2배의 획기적인 속도 향상을 제공합니다.

단, 해당 백엔드는 여전히 활발히 개발 중인 API-UNSTABLE 기능이므로 향후 안정화 과정에서 세부 사양이 변경될 수 있습니다. 상세한 내용은 FlexAttention + FlashAttention-4 블로그를 참고해주세요.

Apple Silicon (MPS) 백엔드 개선 및 연산자 확장

Apple의 macOS 환경을 사용하는 개발자를 위해 MPS 백엔드의 에러 리포팅 기능이 크게 개선되었습니다. 특히 비동기식 에러 리포팅을 통해 GPU 인덱싱 작업 중 발생하는 out-of-bounds 접근 시도를 즉각적으로 감지할 수 있습니다. 예를 들어 아래와 같은 코드에서 인덱스 초과 에러를 명확히 포착하여 예외 처리를 돕습니다.

import torch
x = torch.rand(10, 1, 10, device='mps')
y = x[:, [1]]
torch.mps.synchronize() # 인덱스 초과 에러(index out of bounds error) 발생

이 외에도 log_normal, cauchy, geometric 같은 새로운 확률 분포 함수가 추가되었고, erfcx 및 grid_sampler_2d의 전체 동작 모드 지원은 물론, 정수 및 복소수 타입에 대한 baddbmm 및 addbmm 지원 등 연산자 커버리지가 지속적으로 넓어지고 있습니다.

생산성 향상을 위한 RNN/LSTM GPU Export 지원

강화학습이나 시계열 데이터를 다룰 때 자주 사용되는 RNN 모듈(LSTM, GRU 등)을 마침내 GPU 상에서 원활히 Export할 수 있게 되었습니다. 특히 동적 셰이프(dynamic shapes)를 갖는 LSTM 모듈에 대한 트레이싱(tracing)이 지원되어 torch.export를 이용해 프로덕션 추론 환경으로 배포할 수 있는 모델의 범주가 획기적으로 확장되었습니다. 기존의 GRU API 구조는 그대로 유지되며, 이번 새로운 API 업데이트는 주로 LSTM 모듈에 맞춰 적용되었습니다.

AMD (ROCm) 및 Intel (XPU) GPU 최적화

  • ROCm 환경: 개발자에게 더 나은 디버깅 경험을 제공하기 위해 디바이스 측 어서션(device-side assertions) 지원이 추가되었습니다. 또한 공유 메모리에 데이터를 캐싱하여 Radix Select를 개선하고 TopK 연산자를 크게 최적화함으로써 AMD GPU 환경의 전반적인 개발 경험과 실행 성능을 끌어올렸습니다.

  • Intel XPUGraph 지원: Intel GPU 환경에서의 성능을 극대화하기 위해 XPUGraph 기능이 도입되었습니다. 다수의 XPU 연산을 런타임 실행 그래프(runtime execution graph)로 캡처하고 이를 여러 번 반복 실행(replay)할 수 있는 구조를 제공합니다. 커널 실행이나 Python 런타임에서 발생하는 CPU 오버헤드를 대폭 줄여주어 Intel 환경에서의 워크로드 처리 효율성을 높여줍니다. 상세한 내용은 API 문서를 참고해주세요.

CPU 기반 FP16 Half-Precision GEMM 연산 지원

초경량 엣지(Edge) 디바이스나 CPU 전용 추론(inference) 서버 환경을 고려하여, OpenBLAS를 통한 FP16 (Half-Precision) GEMM 지원이 추가되었습니다. 이 업데이트를 통해 CPU 환경에서도 병목 없이 더 빠르고 가벼운 FP16 추론이 가능해졌으며, 리소스가 제한된 환경에서의 모델 상용화 배포가 한결 수월해질 전망입니다.

기타 중요 변경 사항 (Non-Feature Updates)

  • CUDA 13 기본 적용: 이번 릴리스부터 x86_64 및 ARM 플랫폼 환경에서 PyTorch 설치 시 CUDA 13이 기본 버전으로 설치됩니다. 레거시 환경을 유지해야 하는 사용자는 공식 PyTorch Wheel 다운로드 경로를 통해 CPU 전용 빌드나 기존의 CUDA 12.8 빌드를 선택하여 이용할 수 있습니다.

  • Torchscript는 지원 중단(Deprecated): Torchscript는 2.10부터 사용되지 않게 되었으며, torch.export는 이제 JIT Trace 및 Script API로 대체되었습니다. 또한, Executorch는 임베디드 런타임으로 대체되었습니다. 더 상세한 내용은 PyTorch 컨퍼런스의 관련 발표를 참고해주세요.

  • 2026년 릴리스 주기 단축: 기존 분기별로 1회씩 진행되던 릴리스 주기가 2026년부터 2개월당 1회 릴리스로 단축되었습니다. 이는 커뮤니티의 개선 사항을 더 빠르게 수용하고 프레임워크의 변화 속도를 높이기 위한 전략입니다. 향후 릴리즈 일정은 다음과 같습니다:

Minor Version Release branch cut Release date First patch release date Second patch release date
2.11 16 Feb 2026 18 Mar 2026 (Apr 2026) Not planned
2.12 13 Apr 2026 13 May 2026 (Jun 2026) Not planned
2.13 8 Jun 2026 8 Jul 2026 (Aug 2026) Not planned
2.14 3 Aug 2026 2 Sept 2026 (Oct 2026) Not planned
2.15 28 Sept 2026 28 Oct 2026 (Nov 2026) Not planned
2.16 23 Nov 2026 22 Dec 2026 (Jan 2027) Not planned

:scroll: PyTorch 2.11 출시 공지 블로그

:github: PyTorch 2.11 출시 노트 (Release Note)



이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다. :hugs:

:pytorch:파이토치 한국 사용자 모임:south_korea:이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일:love_letter:로 보내드립니다! (기본은 Weekly지만 Daily로 변경도 가능합니다.)

:wrapped_gift: 아래:down_right_arrow:쪽에 좋아요:+1:를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~ :star_struck: