바닥부터 시작하는 개발 공부

알아서 GPU를 전부 인식해주고 , 병렬처리를 지원해주면 좋겠지만 기본적으로 pytorch는 single gpu를 사용합니다. 이를 위해서는 추가적인 작업을 통해 병렬 처리를 하도록 설정해 주어야합니다. 현재 제가 사용하고 있는 서버의 nvidia-smi 화면입니다. 0번 gpu는 현재 학습에 활용되고 있지만 1번은 학습에 참여하고 있지 않습니다. 데이터 병럴처리를 위한 방법은 찾아본 바에 의하면 크게 세가지가 있다고 합니다. 첫번째로 torch.nn의 DataParallel이 있습니다. 정의한 model을 wrap 해주기만 하면 되서 굉장히 사용하기 편합니다. model = 아무 모델 model = nn.DataParallel(model).to(device) 혹은 .cuda() 학습과정에서 바뀌는건 전..