XAI 2

[XAI] SmoothGrad: removing noise by adding noise

https://arxiv.org/pdf/1706.03825.pdf 입력이미지에 대한 class score의 gradient를 계산하는 과정에서, 입력에 noise를 주어 생성된 여러개의 saliency map을 average해서 smoothing 효과를 주는것. 이렇게 하면 오히려 주요하게 봐야하는 입력의 pixel은 더 강조가 되고 noise 같아 보이는 부분은 줄어들게 되었다고 말함 그럼 Noise 효과에 대해 생각해보자 단순하게 생각해보면 중요한 attribution을 가져야 하는부분이 계속 중요하게 나와서 그렇다고 생각할수있겠지만 다른 방면으로 생각해보면 이전에 integrated gradeint 연구에서 언급했던 axiom중에 sensitivity에서 non-zero attribution값을 가..

카테고리 없음 2022.01.09

[XAI] Interpretability Beyond Feature Attribution:Quantitative Testing with Concept Activation Vectors (TCAV)

성별, 인종, 특정 패턴(줄무늬)같은 내가 생각한 컨셉이 실제 모델 예측에 있어서 얼마나 sensitivity를 주었는지 확인해볼수있는 방법으로, 검증하고자 하는 컨셉 C를 고르고 random data를 골라서 classifier를 학습시킨 후 -> 해당 classifier의 orthogonal vector를 CAV (weight vector) 라고 정의함. CAV를 이용해서 원본 image에서 컨셉벡터단위로 움직여보고 해당 특정 클래스에 대한 sensitivity값이 특정 값 이상으로 나오는지를 통해 모델 해석 설명하는 논문임 아래 내용은 https://beenkim.github.io/slides/TCAV_ICML_pdf.pdf 및 논문에서 가져와 재구성하여 만든 발표 자료로 컨텐츠 모두 beenkim..

IT/Paper 2022.01.05