[211206] Pytorch: classification model 수정

#문제 

기존 모델에서는 3x128x128 이미지를 input으로 받아서 7x7x128 feature map을 뽑았다.

그 결과 무슨 input이 들어가든지 output이 0에 가까운 값으로 나오는 문제가 생겼다.

 

#참고

 

#해결 

원래 모델

1. 기존 모델에 max pool 없애고 skip connection만 추가

너무 오래걸려서 채널수를 조정해야겠다 

 

2. 1에서 filter 개수 조정 

3 (input) > 96 > 64> 32> 16

flattened 28,800 

여전히 output이 0으로 몰리는 현상이 나타났다 

 

3. max pooling 제거 전 vs 후 gradient 분포 

전과 후 분포가 별로 차이가 나지 않고, 둘 다 gradient vanishing 문제가 해결되지 않은 상태였다..

 

 

ResNet으로 모델을 바꿔야겠다.