소개
PyTorch 2.2가 공식 출시되었습니다 
이번 PyTorch 2.2의 주요 개선 사항들은 다음과 같습니다:
-
SDPA(scaled_dot_product_attention) 가 이제 FlashAttention-2 를 지원합니다. 이전 버전에 비해 약 2배 가량의 속도 개선이 있습니다.
scaled_dot_product_attention (SDPA) now supports FlashAttention-2, yielding around 2x speedups compared to previous versions.
-
PyTorch 2.2부터 Python이 아닌 서버(non-python server-side)에서 PyTorch 프로그램을 컴파일하고 배포하기 위한 AoTInductor라는 TorchInductor의 새로운 확장 기능이 추가되었습니다.
PyTorch 2.2 introduces a new ahead-of-time extension of TorchInductor called AOTInductor, designed to compile and deploy PyTorch programs for non-python server-side.
-
torch.distributed는 device_mesh 라고 불리는, ProcessGroups의 초기화 및 표현을 위한 새로운 추상화를 지원합니다.
torch.distributed supports a new abstraction for initializing and representing ProcessGroups called device_mesh.
-
PyTorch 2.2부터 TORCH_LOGS라고 불리는, 표준화되고 구성 가능한 로깅 메커니즘을 제공합니다.
PyTorch 2.2 ships a standardized, configurable logging mechanism called TORCH_LOGS.
-
PyTorch 2.2에는 Optimizers 컴파일에 대한 지원 개선 및 개선된 TorchInductor 퓨전 및 레이아웃 최적화 등과 같은 여러가지 torch.compile 개선 사항들이 포함됩니다.
A number of torch.compile improvements are included in PyTorch 2.2, including improved support for compiling Optimizers and improved TorchInductor fusion and layout optimizations.
-
x86용 macOS에 대한 지원이 중단 예정이며, PyToch 2.2x는 x64용 macOS를 지원하는 마지막 버전입니다.
Please note that we are deprecating macOS x86 support, and PyTorch 2.2.x will be the last version that supports macOS x64.
이전 Stable 버전인 v2.1.2로부터 130개의 커밋이 반영되었으며, 자세한 반영 목록들은 아래에서 보실 수 있습니다.
더 자세한 정보는 PyTorch 2.2 릴리스 노트와 PyTorch 공식 블로그를 참조해주세요!