멀티 GPU 사용 시 backpropagation이 다른 device 간에 전달되는지 궁금합니다.

안녕하세요 pytorch GAN 모델 공부하고 학습하는데 있어 질문 드립니다.

현재 의료 데이터 3D voxel 데이터를 가지고 GAN 모델을 학습하고자 합니다. 하지만 현재 제가 가진 GPU의 VRAM이 모자라는 문제가 있습니다.

그래서 생각해 본 것이 같은 GPU를 한 개 더 구입해,
첫번째 GPU에는 판별자 모델
두번째 GPU에는 생성자 모델로 사용하는 것입니다.

하지만 loss function의 backpropagation 시 GPU device가 달라도 다른 모델까지 전달이 되는지 몰라 구입에 고민하고 있습니다.

관련 경험이 있으시다면 답변 부탁드릴게요.

감사합니다.

안녕하세요
다른 device 에 모델을 쪼개서 올리는 Model paraller을 참고하시면 될것 같습니다.
https://pytorch.org/tutorials/intermediate/model_parallel_tutorial.html

1개의 좋아요