jin's blog

Origianl Data가 5만개있다. 여기서 Data를 random으로 (extrapolation) 5만개 더 만든다. Model은 batch norm을 포함한다 Random 생성한 Data에는 Y값을 masking해서 loss계산에 포함 안되도록 한다. 그냥 batch norm만 지나치게 했는데 Moving average가 update ?

Object detection- 물체가 여러개있으면 바운더리. 물체가 어딨는지 box level로- 즉 box level의 localization Semantic Segmentation- 각 pixel이 어느레이블이다. 각 class에 해당하는..- pixel level localization이다. 그렇다면 RCNN은,object detection을 위한 CNN이다. 즉 CNN Feature에 region이 있는 것이다.3개 모듈로 구성된다. 1) Region proposal- selective search방법을 사용한다. 계층적 segmentation, bounding box 2) (feature) extraction위한 CNN (알렉스넷사용)- 알렉스넷 두번째 Fully connected layer의..

포스팅 하면서 그림넣는걸 뺏다.그림은 한꺼번에 넣을 예정이다. ㅠ.ㅠ CNN (Convolutional Neural Network)Convolution Layer들의 연속이다. 이것들이 activation function과 같이 배치된거다.합성곱 신경망(CNN)에서는 기존 신경망의 구조를 바꾸어 학습의 어려움을 해소하였다. 특히 이미지 인식분야의 딥러닝으로 잘 성능을 보인다고 알려져있다.이것의 기본은, 문제에 특화된 망 구성을 하여, 다층구조의 망을 간소화하여 망학습을 쉽게 하는 것이다.보통 입력 -> CNN -> POOLING -> CNN -> POOLING ... FUlly connected layer -> 출력이다. 기존 신경망 구조가 모두 fully conneted layer라고 했을 떄 이것은 ..

Perceptron: Single-layer MultiLayer: Backpropagation Deep neural net의 단계1. 네트워크를 디자인한다2. 데이타를 준비한다. (가공)3. 각 뉴런들을 초기화한다4. minibatch SGD를 돌린다- batch data. 샘플들 뽑아- Forward prop 을 하고 loss 계산- Backward prop해서 gradient 계산- 이렇게 계속 파라미터 업데이트, w튜닝5. result 얻는다 Data preprocessing zero mean 기법zero centered 기법 Weight Initialization 스마트하게 weight값을 주는게 좋다.Xavier라고, ( 오... 티스토리에서 수식입력 처음써봄 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ)암튼 저렇게 입..

Neural Network (신경망) 신경세포 = Neuron 이 뉴런을 이용해 layer 만든 것을 우리는 Perceptron 이라고 부른다. 퍼셉트론 자 그럼 각각 weight 들이 있고 이게 vector로 나타날거고 이것들을 합하고. bias더하고.이렇게 입력과 가중치가 곱해져서 나온 것에 activation function을 적용시킨다.sigmoid 를 자주 쓰는데, 시그모이드 함수를 이용하면back propagation에서 학습계산처리가 쉬워지므로 역전파 이용할때 전달함수로 자주 사용한다.예를 들어 하나의 신경망에 두개의 입력(x1, x2) = (0,0) 입력이 들어왔다고 가정해보자. 그리고 w1=1, w2=1, bias값은 -1.5, activation은 계단함수를 이용한다.그럼 1*0+1*0..

Models in ML - Generative Model : Gaussian - Discriminative model : p(h|v) Linear regression이나 logistic 같은- Undirected model MOG PPCA PCA Maximum Likelihood Estimation MLE MLE vs Bayesian Clustering K-meansHierarchical clusteringMixture of Gaussians MOG K-means Mixture of Gaussians non probabilistic pro less flexible more scalable EM , Expectation Maximization PCA NMF linear Model RegressionLSM ..