CUDA의 out of memory 관련 문제가 자주 있는 것 같습니다.
위에서 설명해주신 배치 크기를 줄이거나 네트워크 크기를 줄이는 것 외에, 메모리가 충분히 남아있음에도 문제가 계속된다면 아래 링크를 참고해보시는 것도 방법일 것 같습니다. 
CUDA의 out of memory 관련 문제가 자주 있는 것 같습니다.
위에서 설명해주신 배치 크기를 줄이거나 네트워크 크기를 줄이는 것 외에, 메모리가 충분히 남아있음에도 문제가 계속된다면 아래 링크를 참고해보시는 것도 방법일 것 같습니다.