[딥러닝]cuda out of memory 해결

cuda out of memory가 떠서 cuda도 비워주고 gc.collcet도 해봤는데 해결이 안될때가 간혹 존재합니다 

프로세스도 조회를 해보면 진행 중인게 따로 안보이네요 

저 같은 경우엔 서버 연결 문제로 중간에 접속이 끊어지는 경우 이런 현상이 발생했습니다 

이런 경우 해결하는 법을 알아보겠습니다 

 

아래의 명령어를 터미널에 입력해주시면 됩니다 

 

for i in $(sudo lsof /dev/nvidia1 | grep python | awk '{print $2}' | sort -u); do kill -9 $i; done

목표하는 GPU의 프로세스를 강제로 죽이는 코드입니다. /dev/nvidia{숫자}에 GPU의 번호를 적어주시면 됩니다 

저는 0과 1번의 프로세서를 종료시켜 줬습니다