jin's blog

ICML 2017 논문 (https://arxiv.org/abs/1703.01365) Attribution이란 모델의 input과 output간의 관계를 파악하는 것을 의미하는데, 본 논문에서는 Attribution에 대한 주요성질을 정의하고 그것을 충족시키는 intergrated gradient라는 방법을 제안한다. 두 조건은 1) sensitivity baseline과 input과 차이나는 feature가 non-zero attribution값을 가지는 경우 sentivity 조건을 만족함 gradient로는 특정지점에서 0이 될수있기때문에 이 조건이 충족되지 않을수도있음. 2) implementation invariance 서로 다른 network구조이지만 같은 input -> output 관계를 ..

성별, 인종, 특정 패턴(줄무늬)같은 내가 생각한 컨셉이 실제 모델 예측에 있어서 얼마나 sensitivity를 주었는지 확인해볼수있는 방법으로, 검증하고자 하는 컨셉 C를 고르고 random data를 골라서 classifier를 학습시킨 후 -> 해당 classifier의 orthogonal vector를 CAV (weight vector) 라고 정의함. CAV를 이용해서 원본 image에서 컨셉벡터단위로 움직여보고 해당 특정 클래스에 대한 sensitivity값이 특정 값 이상으로 나오는지를 통해 모델 해석 설명하는 논문임 아래 내용은 https://beenkim.github.io/slides/TCAV_ICML_pdf.pdf 및 논문에서 가져와 재구성하여 만든 발표 자료로 컨텐츠 모두 beenkim..

Adversarial Examples Are Not Bugs, They Are Features 논문 (NeurIPS 2019) 을 읽고 discussion 6가지 정도가 distill에 소개되었음. 하나씩 포스팅해보기로 함 Learning from Incorrectly Labeled Data Ilyas et al. 연구[1]의 section 3.2 에서는 adversarial example에 대해서 모델을 훈련하더라도 모델이 일반화를 잘함을 보여주었고 이것은 데이터의 non-robust를 보고 배웠기 때문이다. 라고 말하면서 non robust도 충분히 일반화에 도움이 된다. 라고 말한다. 그러나 본 discussion에서는 이러한 실험이 error로부터 모델이 학습하는 특정 사례라고 반박하고 있음 먼저..

NeurIPS 2019에 spotlight으로 발표된 논문이다. Adversarial example은 non robust feature로 부터 발생되는 것임을 보이며, 즉 모델의 버그가 아니고 data의 내재적인 특성으로 인해 발생되는 현상이다 라고 주장하는 논문임 DNN이 adversarial example에 취약하다는 것은 잘 알려져있다. 이전 연구들은 이런 원인이 input space의 high-dims에서 오거나 train data의 통계적인 fluctuation으로부터 발생한다거나, 또는 우리가 사용하는 relu의 positive부분에서 local linearity가 발생해서 공격이 쉽게 당한다. 등 다양한 주장이 있었다. 또한 이러한 attack 을 방어하는 여러 전략들을 다뤄져왔다. 이 논문..

Robust Features (RFs), Non-Robust Features (NRFs) 한줄: Batch normalization (BN) 은 모델이 non-robust feature에 더 dependent하도록 shift 한다. 는 것에 대한 emprirical evidence를 제시 및 이걸 측정하기 위한 metric 제안하는 연구. 해당 연구가 BN과 robustness 관계에 대해 분석하는 첫 연구는 아니지만 기존 것들은 covariate shift 측면으로 중점을 두었었음. (BN statistics가 model robustness를 개선한다고). 그러나 이 연구는 non-robust feature 관점으로 adversarial robustness에 집중해서 분석함. BN이 improved a..

모델의 weight, input, output 으로 linear / non-linear 에서도 저자의 방법론으로 각각 signal을 구할 수 있음. 이 signal로 시각화를 하는게 더 좋다 아직도 의문인건 왜 conv에서는 linear estimator가 더 높았던건가 답을 알고 싶음 (작성중) - 기존 XAI approach들를 linear model 셋팅에서 분석 (section 2, 3) - XAI 방법론을 3가지 그룹으로 항목화 : functions, signals, attribution (section3) - PatternNet, PatternAttribution 제안: 현재 방법론이 부족한점들을 보완 (section 4, 5) Section 2. Understanding Linear Mode..

openreview.net/pdf?id=MyHwDabUHZm Boyuan Chen, Yu Li, Sunand Raghupathi, Hod Lipson , Columbia University, ICLR 2021 interesting하면서 정말 쉽고 , 하지만 왜그럴까에 대한 의문을 가져다주는 논문. 이론적인 증명, 증거 없음. open review 읽어봤는데 리뷰어들 반응은 좋았다. 아직 unexplored 영역이라고 하면서, 많은 future work가 나올수있을것같다고 함! 한줄요약: Classification task의 label에 대한 패러다임을 바꾸겟다. 우리가 지금 뉴럴넷에 가르쳐주고 있는 레이블이 정말 알맞는 form인것인가? 더 좋은게 있지 않겠는가

Open category Detection이란 train 에는 없었던, 이국적인(alien) test instance를 감지하는 문제이다. 많은 application에서, 확실히 alien을 감지하는것은 중요한데, test set 예측의 안전성/정확도를 보장하기 위해서 그렇다. 그러나 이론적으로 alien 감지하는 알고리즘은 없다. 더군다나 open category detection 관련 알고리즘의 있더라도 그것들은 alien detection rate를 보고하는 경험적인 결과일뿐이다. 따라서 이론과 경험의 상당한 gap이 open category detection에 존재한다. 이 논문의 셋팅에서는, clean train 이랑 contaminated(오염된) train 을 alpha비율 섞어서 셋팅했다...

The use of larger and more complex inputs in deep learning magnifies the difficulty of distinguishing between anomalous and in-distribution examples. At the same time, diverse image and text data are available in enormous quantities. We propose leveraging these data to improve deep anomaly detection by training anomaly detectors against an auxiliary dataset of outliers, an approach we call Outli..