DL - Deep Neural Network

Perceptron: Single-layer

MultiLayer: Backpropagation

Deep neural net의 단계

1.  네트워크를 디자인한다

2. 데이타를 준비한다. (가공)

3. 각 뉴런들을 초기화한다

4.  minibatch SGD를 돌린다

- batch data.  샘플들 뽑아

- Forward prop 을 하고 loss 계산

- Backward prop해서 gradient 계산

- 이렇게 계속 파라미터 업데이트, w튜닝

5. result 얻는다

Data preprocessing

zero mean 기법

zero centered 기법

Weight Initialization

스마트하게 weight값을 주는게 좋다.

Xavier라고,                       

           ( 오... 티스토리에서 수식입력 처음써봄 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ)

암튼 저렇게 입력되는 뉴런수와 나오는 아웃풋수를 나눠서 W 초기화때 쓴다고 한다.

논문으로 증명됫다고 한다.

아니면 그냥 input 수만 가지고 나누기도 하고.

Dropout

랜덤하게 중간뉴런들을 그냥 쳐버린다. 트레닝할땐 그렇고 학습할땐 다 넣어버린다.

어차피 매번 랜덤이라서.. 한두개정도 빠지는 확률이라고 함