Notice
Recent Posts
Recent Comments
Link
250x250
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 | 31 |
Tags
- logistic regression
- jupyter notebook #anaconda #vscode #pytorch #딥러닝 #deep learning #vscode server #서버 vscode #ssh vscode #vscode cuda
- 트랜스포머 #자연어처리 #딥러닝 #구글 #attention #self-attention #BERT #transformer #deeplearing
- 파이썬 #Python
- 깃허브 #우분투 #ubuntu #Github #깃허브 우분투 #깃헙 우분투 #깃헙
- docker #도커 #도커 컨테이너 #docker container #도커 우분투
- 트랜스포머 #transformer #attention #self-attention #어텐션 #인공지능 #AI #딥러닝 #NLP #자연어처리
- 머신러닝
- docker #아나콘다 #anaconda #ubuntu anaconda #docker anaconda
- cuda #centos #cuda삭제 #리눅스 #cenos cuda삭제
- pandas #folium #groupby #네이버부스트코스 #코칭스터디
- GPU #cuda out of memory #gpu 메모리 #pytorch
- BERT #구글BERT #BERT의정석
- 구름자연어처리과정
- 백준 #알고리즘 #골드
- docker #우분투 #ubuntu #도커 설치 #docker 설치 #docker installation #우분투 도커
- 알고리즘 #levenshtein distance #편집거리 #edit distance
- GPU #jtorch GPU #파이토치 병렬 #파이토치 GPU #pytorch gpu #multi process torch #horovod
- pytorch #cuda #우분투 torch #ubuntu pytorch #cuda torch #cuda pytorch
- Machine Learning
- 백준
- docker #cuda #docker container #도커 #도커 컨테이너 #쿠다 #cuda 11.3
- 구름
- ssh #우분투 ssh #우분터 서버 #도커 #우분투 도커 #docker #cuda #우분투 개발환경 #딥러닝 #ubuntu docker #ubuntu cuda
Archives
- Today
- Total
바닥부터 시작하는 개발 공부
[딥러닝]가중치 초기화(weight initialize) 본문
728x90
가중치 초기화는 학습을 시작하는 초기 지점을 결정해주기 때문에 잘 선정할 필요가 있습니다.
대표적으로 3가지 가중치 초기화 방식이 있습니다.
+추가 설명
왠지 초기화니까 0으로 설정하면 나쁘지 않겠다는 생각이 듭니다.
CS231에서 가중치를 0으로 설정하는 것에 대한 내용이 있는데 0이면 안되는 이유에 대해서 설명합니다
가중치를 0으로 설정하게 되면 모든 파라미터(가중치)들이 동일한 값으로 업데이트가 되고
결과적으로 1개의 가중치를 가지는 1개의 신경망을 훈련시키는 것과 동일하기 때문입니다
가중치 초기화

크게 세가지 방법이 사용되고 일반적으로 He 혹은 Xabier 초기화를 사용합니다
728x90
'딥러닝' 카테고리의 다른 글
[딥러닝]경사 하강법(Gradient descent) (0) | 2023.02.25 |
---|---|
[딥러닝]Pytorch multi GPU 학습하기(Horovod) (0) | 2023.01.18 |