jin's blog

따라서 본 paper의 궁극적인 목표는 해석방법의 Robustness 와 Stability 개선에 대해 활발한 연구를 더 부르기 위한 것이다. 본 paper의 contribution은 다음과 같다. 1. Adversarial model manipulation 을 제시하면서 뉴럴넷 해석의 안정성에 대한 개념을 고려함 2. 기존 LRP, Grad-CAM, SimpleGradient 등은 본 paper Adversarial model manipulation에 취약했음을 보였고, 정확도는 각각 2%, 1% 떨어졌다. (Top-1, Top-5 Image net validation set) Figure 1-b 참고 3. Fooled explanation는 전체 validation set을 일반화하는 것을 보였고 특..

히히 latex 수식넣는 법 발견해서 글이 윤택해졌다 짱편하구먼ㅎ_ㅎ DNN output에 대한 결정에 대해 input image 각 location의 positive/negative 기여도를 고려하기 위해 Bach et al. 2015 소개한 것이 LRP. 예측에 대해 relevance score를 propagate 시켜나감으로써 input 중요도를 보여준다. LRP에서 언급되는 relevance propagation을 짧게 요약하자면, 아래 왼쪽 그림의 분류 결과값 $a_{7}$ 로부터 분해될 수 있음을 보여준다. 최종적으로 ${R_d}^{(1)}$에 대해 input layer에 대한 각 node들의 relevance값을 구하는 것이 목표이다. 그러나 기존 연구는 positive/negative re..

화이팅..언제 제출할꺼니? 일단 제출하고볼까? 온라인제출: mts-ncomms.nature.com/cgi-bin/main.plex 접수 된 원고의 양으로 인해 모든 제출은 온라인 제출 시스템을 통해 이루어져야합니다. 이 시스템을 사용하여 저자는 원고 파일 (텍스트, 그림, 동영상)을 저희 사무실에 직접 업로드하고 심사 과정에서 원고 상태를 확인할 수 있습니다. 또한 검토자는 온라인으로 원고에 액세스 할 수 있으므로 검토 프로세스가 빨라집니다. 수정 된 원고는 편집자 결정 편지에 제공된 링크를 통해 업로드해야합니다. 수정본을 새로운 원고로 제출하지 마십시오. 편집, publish 정책 : www.nature.com/ncomms/journal-policies/editorial-publishing-polici..

AutoCkt: Deep Reinforcement Learning of Analog Circuit Designs - University of California, Berkeley , Accepted to Design Automation and Test in Europe, 2020 RL기반 회로설계 플랫폼(AutoCkt) 논문입니다. DATE 2020 에 accepted 되었는데 DAC처럼 크게 영향력있는 곳은 아니어보이지만, transfer learning을 통해 exploration 잘된 Agent로 적용했을 때 바로 gain에는 도달한 후, 다른 target에 도달해가는 내용이 있어서 이 부분은 좋은 것 같습니다. 전이학습 방법에 대해서는 어느정도 제약사항이 있어보이긴 합니다. 1. 현존하는 진화알고..

아직 코드는 못돌려봄. 작성중 multiple objective를 위해 control task 명시를 위한 language를 제안함 reaching q reaching p avoind region O positive fule : reward function state space -> reward shaping?? q에 가까워지면서 p에 닿지 않는 partial credit을 만드는 reward. control task를 명시하기 위한 language를 제안했음 predicates: 서술어 disjunctions: 괴리? or primitives: 기초요소 user가 state에 대한 objective, constarint를 명시하면 -> 순차적으로 primitive를 사용자는 given task를 수행하..

LSTM구조를 갖는 Encoder+Decoder 방식을 이용한 번역모델을 sequence to sequence 구조로 소개한 논문이다! Encoder : EOS token이 나올 때까지 input을 계속 넣어주고 누적된 cell state(latent vector)를 갖는 context로 변환시킨다. 해당 context에는 입력 문장의 모든 단어들의 정보가 요약 되어있을 것을 기대한다. Decoder: Encoder에서 마지막으로 나온 Cell state를 hidden state로 받아서, sequence를 생성한다. Decoder의 경우 이전 셀의 output이 다음 셀의 input으로 들어가며, EOS를 생성할 때까지 작업이 반복된다. 학습에 사용된 모델구조 -> 4 layer LSTM, 1000 c..

Object detection- 물체가 여러개있으면 바운더리. 물체가 어딨는지 box level로- 즉 box level의 localization Semantic Segmentation- 각 pixel이 어느레이블이다. 각 class에 해당하는..- pixel level localization이다. 그렇다면 RCNN은,object detection을 위한 CNN이다. 즉 CNN Feature에 region이 있는 것이다.3개 모듈로 구성된다. 1) Region proposal- selective search방법을 사용한다. 계층적 segmentation, bounding box 2) (feature) extraction위한 CNN (알렉스넷사용)- 알렉스넷 두번째 Fully connected layer의..

RANSAC = Random Sample Consensus Very general framework for model fitting in the presenece of outlier.inlier: 모델의 정상분포에 속해있는 데이터집합outlier: 모델바깥에 분포해있는 이상치 집합 line fitting에도 쓰일수있고 corespondance 문제에도 적용될 수 있다. inlier으로 회귀분석을 수행할수있게 하는 기법이 RANSAC이다.Line fitting문제로 예를 들어보겠다!1. 임의로 랜덤하게 original data중 몇개를 고른다.2. 그것을 inlier로 가정하고 회귀모델을 가정한다. 3. 해당 모델에 대해 어느정도 마진을 두고(허용오차) , 그 안에 들어오는 아이들을 inlier로 본다. ..

포스팅 하면서 그림넣는걸 뺏다.그림은 한꺼번에 넣을 예정이다. ㅠ.ㅠ CNN (Convolutional Neural Network)Convolution Layer들의 연속이다. 이것들이 activation function과 같이 배치된거다.합성곱 신경망(CNN)에서는 기존 신경망의 구조를 바꾸어 학습의 어려움을 해소하였다. 특히 이미지 인식분야의 딥러닝으로 잘 성능을 보인다고 알려져있다.이것의 기본은, 문제에 특화된 망 구성을 하여, 다층구조의 망을 간소화하여 망학습을 쉽게 하는 것이다.보통 입력 -> CNN -> POOLING -> CNN -> POOLING ... FUlly connected layer -> 출력이다. 기존 신경망 구조가 모두 fully conneted layer라고 했을 떄 이것은 ..

Perceptron: Single-layer MultiLayer: Backpropagation Deep neural net의 단계1. 네트워크를 디자인한다2. 데이타를 준비한다. (가공)3. 각 뉴런들을 초기화한다4. minibatch SGD를 돌린다- batch data. 샘플들 뽑아- Forward prop 을 하고 loss 계산- Backward prop해서 gradient 계산- 이렇게 계속 파라미터 업데이트, w튜닝5. result 얻는다 Data preprocessing zero mean 기법zero centered 기법 Weight Initialization 스마트하게 weight값을 주는게 좋다.Xavier라고, ( 오... 티스토리에서 수식입력 처음써봄 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ)암튼 저렇게 입..