<Introduction>
The use of larger and more complex inputs in deep learning magnifies the difficulty of distinguishing between anomalous and in-distribution examples. At the same time, diverse image and text data are available in enormous quantities. We propose leveraging these data to improve deep anomaly detection by training anomaly detectors against an auxiliary dataset of outliers, an approach we call Outlier Exposure (OE).
outlier들에 대항해서 anomaly한거 찾겟다. unseen anomalies 찾겟다.
이 논문에서는, 모델링 되지 않은 data를 감지하기 위한 완전한 방법을 이 input이 unmodeled 인지 아닌지 신호를 배움으로써 제안한다. 모든 data distribution을 모델링하는것은 어려우니, 우리는 모델을 OOD example에 노출시킴으로써 ood input을 감지하는, 따라서 inlier에 대해 좀더 보수적이게 배우면서, novel 형태를 갖는 아노말리 detection은 가능하게 하는 효과적인 휴리스틱 방법을 배울수있다.
We propose leveraging diverse, realistic datasets for this purpose, with a method we call Outlier Exposure (OE). OE provides a simple and effective way to consistently improve existing methods for OOD detection.
-> 다양하고 현실적인 데이터를 활용하는 것을 제안하는데, OE 라고 부르겟다. OE는 기존에 존재하는 OOD detection 보다 더 지속적인 개선이 가능하다.
Finally, we demonstrate that Outlier Exposure improves the calibration of neural network classifiers in the realistic setting where a fraction of the data is OOD.
-> Data가 OOD인 상황속에서도 뉴럴넷이 calibration 을 잘하도록 개선하겠다.
# magnify 확대하다 auxiliary 보조의,예비의 enormous 거대한 막대한 mitigate 완화,경감시키다
<Related Work>
-OOD 감지
-보조 데이터 이용 : OE는 anomaly detection을 위해, network가 더 나은 representation을 배우도록 하기 위해 보조 데이터 셋을 사용한다. 2015년에 adversarial example을 학습에 사용한 예도 있고 등등.. 좀 상관없는걸로 학습에 포함시켜도 좋다 그런뜻일듯
<Notation>
 |
in distribution이라 불리는 sample |
 |
out of distribution이라 불리는 sample |
 |
given OOD detector에서의 OE dataset 이면서 test set이랑은 disjoint된 sample |
 |
ood인 test set |
 |
모델 |
<Method>
Anomaly detector는 전형적으로 보조 task로부터 representation배우는 것을 잘 활용하는데, classification이나 density estimation과 같은 것들이 있다.
Given model f와 objective L 이 있을 때, Loss를 줄이는 방향으로 Outlier Expousre를 위와 같이 f의 파라미터에 대해 formalize할수있다.
여기서 L_OE 는 design choice인데, 예를 들면 cross entropy from f(x')가 uniform distribtuion에 대한.
그러니 loss를 두개로 두어서 하겠다는 거구만 좋구만 간단하구먼ㅎㅎ
In distribtuion인지 아닌지 구분해서 이상한 label을 걸러내는거를 해볼수있겟군
<Experiment>
OE 없이 OOD Detector 하는거랑, 있이 하는 거랑 비교했다.
4.1 EVALUATING OUT-OF-DISTRIBUTION DETECTION METHODS
OOD example은 positive class로 취급
metric은 3가지: AUROC (area under the receiver operating characteristic curve), AUPR (area under the precision-recall curve), FPRN (false positive rate at N% true positive rate) 로 쓰였음
AUROC랑 AUPR은 detection에 대한 전체적인 성능을 요약하기 위한 것임. FPRN은 하나의 strict한 threshold의 성능을 나타내기 위한것임
-> AUROC: 아노말라스 example이 D_in 인 상황일때보다 더 높은 OOD score를 받는 확률로 생각할수있음. AUROC가 높을수록 좋은것이고 정보가 없는 detector는 AUROC 50%를 가짐.
-> AUPR: 아노말라스 example이 별로없을때 유용한데, 기본적인 아노말리들 비율을 고려하기 때문임.
-> FPRN: 낮을수록 좋으건데, D_out이 감지되면서 그 안에 D_in이 아노말리라고 잘못 감지될 확률임
얘네는 test set의 out/in setting을 1:5 정도로 했음
4.2 DataSet
4.2.1 IN-DISTRIBUTION DATASETS
SVHN, CIFAR, Tiny ImageNet, Places365, TREC, SST
4.2.2 OUTLIER EXPOSURE DATASETS ({D_{OUT}}^{OE} 에 쓰인 것들
80 Million Tiny Images: 32*32 web에서 스크랩한 걍 이미지. 이걸 out 셋팅에 넣고, in 셋팅에 SVHN, CIFAR 등을 넣었다. 그리고 80 Tiny에 등장한 CIFAR는 모두 지웠다. successful한 OE를 위해 이 dataset이 어느정도 필요하다고 section5에서 다시 언급할거다
Imagenet-22K
WitiText: Penn Treebank 라는걸 in, Witki Test2를 out에 넣어서 했다고 함.
그리고 Synthetic Outlier를 만들어 넣엇나?
Kimin Lee, Honglak Lee, Kibok Lee, and Jinwoo Shin. Training confidence-calibrated classifiers for detecting out-of-distribution samples. International Conference on Learning Representations, 2018.