PyTorch v2.1 미리보기 👀

9bow · 8월 23, 2023, 2:04오전

얼마 전에 PyTorch 2.1.0에 대한 기능 리뷰(Feature Review)가 완료되었습니다.
~~이런저런 개인적인 일들이 텍사스 소떼처럼 몰려와서 정리해야지, 해야지 하다가 이제서야 올리네요~~

정식 릴리즈 이전으로, 아래 내용들은 언제든 변경될 수 있는 점 양해 부탁드립니다.

1. `torch.export()` 추가 (Beta)

PyTorch의 정적 그래프를 내보낼 수 있는 torch.export() API가 추가됩니다.

torch.export() API, a generic way to extract full static graph from PyTorch

사용자는 PyTorch 연산자에 대한 호출들을 데이터 흐름 그래프 형태로 표현한 Export IR을 추출할 수 있으며, 이를 변환하고 / 직렬화하고 / 파일에 저장하고 / 전송하고 / 불러와서 Python 환경 또는 Python을 사용하지 않는 환경에서 실행할 수 있습니다.

Users can extract a clean representation (Export IR) of a PyTorch program in the form of a dataflow graph, consisting of mostly straight-line calls to PyTorch operators. Export IR can then be transformed, serialized, saved to file, transferred, loaded back for execution in an environment with or without Python.

2. Python 3.11 에서 `torch.compile()` 지원 (Beta)

Python 3.11 에서 torch.compile()을 사용할 수 있도록 합니다.

3. TorchDynamo에서 NumPy 지원

PyTorch RFC 54에서 제안된 내용입니다. 자세한 내용은 RFC를 참조해주세요.

그 외에도 torch.compile()의 TensorRT 백엔드 지원, Flash-Attention 기반의 scaled-dot-product 연산의 CPU 지원 등의 기능들이 릴리즈 예정입니다.

Intel이 PyTorch Foundation에 합류하면서 다양한 연산들의 CPU 지원 및 Intel의 OneAPI를 사용하는 기능들이 추가되고 있는 것 같은데요, 기대해보셔도 좋을 것 같습니다.

이후 일정

~ 8/25: 진행 중인 기능 PR 검토 및 병합
~ 8/28: 릴리즈 브랜치 확정
~ 8/29: PyTorch Core RC1 바이너리 배포
~ 8/31: 도메인별 라이브러리 브랜치 확정
~ 9월 3주(11~17): 배포 브랜치 확정 및 출시 일정 발표
10월 04일: PyTorch 2.1.0 릴리즈

더 알아보기

이번 2.1.0 릴리즈와 관련한 더 자세한 내용은 PyTorch 개발 게시판에서 확인하실 수 있습니다.