Notice
Recent Posts
Recent Comments
Link
250x250
«   2025/07   »
1 2 3 4 5
6 7 8 9 10 11 12
13 14 15 16 17 18 19
20 21 22 23 24 25 26
27 28 29 30 31
Archives
Today
Total
관리 메뉴

바닥부터 시작하는 개발 공부

[딥러닝]가중치 초기화(weight initialize) 본문

딥러닝

[딥러닝]가중치 초기화(weight initialize)

Im_light.J 2023. 2. 25. 07:07
728x90

가중치 초기화는 학습을 시작하는 초기 지점을 결정해주기 때문에 잘 선정할 필요가 있습니다. 

대표적으로 3가지 가중치 초기화 방식이 있습니다. 

 

+추가 설명 

 

왠지 초기화니까 0으로 설정하면 나쁘지 않겠다는 생각이 듭니다. 

CS231에서 가중치를 0으로 설정하는 것에 대한 내용이 있는데  0이면 안되는 이유에 대해서 설명합니다 

가중치를 0으로 설정하게 되면 모든 파라미터(가중치)들이 동일한 값으로 업데이트가 되고 

결과적으로 1개의 가중치를 가지는 1개의 신경망을 훈련시키는 것과 동일하기 때문입니다 

 

가중치 초기화 


크게 세가지 방법이 사용되고 일반적으로 He 혹은 Xabier 초기화를 사용합니다 

728x90
Comments