jin's blog

https://arxiv.org/pdf/1706.03825.pdf 입력이미지에 대한 class score의 gradient를 계산하는 과정에서, 입력에 noise를 주어 생성된 여러개의 saliency map을 average해서 smoothing 효과를 주는것. 이렇게 하면 오히려 주요하게 봐야하는 입력의 pixel은 더 강조가 되고 noise 같아 보이는 부분은 줄어들게 되었다고 말함 그럼 Noise 효과에 대해 생각해보자 단순하게 생각해보면 중요한 attribution을 가져야 하는부분이 계속 중요하게 나와서 그렇다고 생각할수있겠지만 다른 방면으로 생각해보면 이전에 integrated gradeint 연구에서 언급했던 axiom중에 sensitivity에서 non-zero attribution값을 가..

ICML 2017 논문 (https://arxiv.org/abs/1703.01365) Attribution이란 모델의 input과 output간의 관계를 파악하는 것을 의미하는데, 본 논문에서는 Attribution에 대한 주요성질을 정의하고 그것을 충족시키는 intergrated gradient라는 방법을 제안한다. 두 조건은 1) sensitivity baseline과 input과 차이나는 feature가 non-zero attribution값을 가지는 경우 sentivity 조건을 만족함 gradient로는 특정지점에서 0이 될수있기때문에 이 조건이 충족되지 않을수도있음. 2) implementation invariance 서로 다른 network구조이지만 같은 input -> output 관계를 ..

성별, 인종, 특정 패턴(줄무늬)같은 내가 생각한 컨셉이 실제 모델 예측에 있어서 얼마나 sensitivity를 주었는지 확인해볼수있는 방법으로, 검증하고자 하는 컨셉 C를 고르고 random data를 골라서 classifier를 학습시킨 후 -> 해당 classifier의 orthogonal vector를 CAV (weight vector) 라고 정의함. CAV를 이용해서 원본 image에서 컨셉벡터단위로 움직여보고 해당 특정 클래스에 대한 sensitivity값이 특정 값 이상으로 나오는지를 통해 모델 해석 설명하는 논문임 아래 내용은 https://beenkim.github.io/slides/TCAV_ICML_pdf.pdf 및 논문에서 가져와 재구성하여 만든 발표 자료로 컨텐츠 모두 beenkim..

Adversarial Examples Are Not Bugs, They Are Features 논문 (NeurIPS 2019) 을 읽고 discussion 6가지 정도가 distill에 소개되었음. 하나씩 포스팅해보기로 함 Learning from Incorrectly Labeled Data Ilyas et al. 연구[1]의 section 3.2 에서는 adversarial example에 대해서 모델을 훈련하더라도 모델이 일반화를 잘함을 보여주었고 이것은 데이터의 non-robust를 보고 배웠기 때문이다. 라고 말하면서 non robust도 충분히 일반화에 도움이 된다. 라고 말한다. 그러나 본 discussion에서는 이러한 실험이 error로부터 모델이 학습하는 특정 사례라고 반박하고 있음 먼저..

NeurIPS 2019에 spotlight으로 발표된 논문이다. Adversarial example은 non robust feature로 부터 발생되는 것임을 보이며, 즉 모델의 버그가 아니고 data의 내재적인 특성으로 인해 발생되는 현상이다 라고 주장하는 논문임 DNN이 adversarial example에 취약하다는 것은 잘 알려져있다. 이전 연구들은 이런 원인이 input space의 high-dims에서 오거나 train data의 통계적인 fluctuation으로부터 발생한다거나, 또는 우리가 사용하는 relu의 positive부분에서 local linearity가 발생해서 공격이 쉽게 당한다. 등 다양한 주장이 있었다. 또한 이러한 attack 을 방어하는 여러 전략들을 다뤄져왔다. 이 논문..

Robust Features (RFs), Non-Robust Features (NRFs) 한줄: Batch normalization (BN) 은 모델이 non-robust feature에 더 dependent하도록 shift 한다. 는 것에 대한 emprirical evidence를 제시 및 이걸 측정하기 위한 metric 제안하는 연구. 해당 연구가 BN과 robustness 관계에 대해 분석하는 첫 연구는 아니지만 기존 것들은 covariate shift 측면으로 중점을 두었었음. (BN statistics가 model robustness를 개선한다고). 그러나 이 연구는 non-robust feature 관점으로 adversarial robustness에 집중해서 분석함. BN이 improved a..

모델의 weight, input, output 으로 linear / non-linear 에서도 저자의 방법론으로 각각 signal을 구할 수 있음. 이 signal로 시각화를 하는게 더 좋다 아직도 의문인건 왜 conv에서는 linear estimator가 더 높았던건가 답을 알고 싶음 (작성중) - 기존 XAI approach들를 linear model 셋팅에서 분석 (section 2, 3) - XAI 방법론을 3가지 그룹으로 항목화 : functions, signals, attribution (section3) - PatternNet, PatternAttribution 제안: 현재 방법론이 부족한점들을 보완 (section 4, 5) Section 2. Understanding Linear Mode..

openreview.net/pdf?id=MyHwDabUHZm Boyuan Chen, Yu Li, Sunand Raghupathi, Hod Lipson , Columbia University, ICLR 2021 interesting하면서 정말 쉽고 , 하지만 왜그럴까에 대한 의문을 가져다주는 논문. 이론적인 증명, 증거 없음. open review 읽어봤는데 리뷰어들 반응은 좋았다. 아직 unexplored 영역이라고 하면서, 많은 future work가 나올수있을것같다고 함! 한줄요약: Classification task의 label에 대한 패러다임을 바꾸겟다. 우리가 지금 뉴럴넷에 가르쳐주고 있는 레이블이 정말 알맞는 form인것인가? 더 좋은게 있지 않겠는가