f

1. Soongsil Univ. DSAI Lab.
Confidence Regularizers for Robust Models
Stutz et al. (Max Planck Institute), Confidence-Calibrated
Adversarial Training: Generalizing to Unseen Attacks, ICML 2020
Qin et al. (Google Research) Improving Calibration through the Rel
ationship with Adversarial Robustness, NIPS 2021
1
지승현 발표
22.12.26.

2. Soongsil Univ. DSAI Lab.
목차
1. Importance of Model calibration?
2. Confidence-Calibrated Adversarial Training
3. Label smoothing using Adversarial Robustness
4. Conclusion & Opinion
5. Reference
2

3. Soongsil Univ. DSAI Lab.
1. Importance of Model Calibration?
– What is Model calibration?
– 사람은 어떤 추론과 결정을 할 때 그것에 대한 불확실성을 잘 조절함
– 머신러닝은 추론해낸 확률을 argmax를 취하여 one-hot vector로 결정
– 이 과정에서, 사람이 가지는 Uncertainty를 머신러닝도 동일하게 가지는지 확인할 필요가 있음.
– 모델이 overconfident (불확실한 결정을 확실하게 내리는 경우) 할 때 이를 교정할 수 있으며, 이를
Model calibration이라 지칭
– 특히 의료 관련 결정 등에서, 결정에 확실한 confidence가 필요한 경우 활용될 수 있음
– 제일 간단한 교정 방법은 로짓값에 분수를 취하여 출력을 부드럽게 만드는 것
3

4. Soongsil Univ. DSAI Lab.
1. Importance of Model Calibration?
– Simple metric
– Expected calibration error를 활용할 수 있음
– Model output confidence interval을 M개 구간으로 설정하고 각 구간이 B_m이라 하자.
– 즉, 모델이 0~0.1로 출력한 경우, 0.1~0.2로 출력한 경우를 count 한다.
– 이 때 정확도와 confidence의 차이를 구한다.
– 모델이 0~0.1로 출력한 경우의 정확도가 0~0.1 사이라면 차이는 0
– 해당 차이를 모든 B_m에 대해 구하여, 0에 가까우면 모델은 well calibrated
4

5. Soongsil Univ. DSAI Lab.
1. Importance of Model Calibration?
– Model calibration과 Robust model의 연관성은 미지의 영역
– 그간 Model calibration의 중요성에 대해서는 잘 알려지지 않음
– 특히, uncertainty를 부여하는 것과 모델이 uncertainty를 인지하는 것(Calibration)은
다른 영역이므로, 이것이 잘 연결되는 연구가 없었다.
– 그러나 최근 calibration과 confidence를 활용하여 실제로 model robustness / performance
를 향상시킨 연구가 등장
– 이하 슬라이드는 두 논문의 motivation, method, experiments를 설명
5

6. Soongsil Univ. DSAI Lab.
2. Confidence calibrated adversarial training
– Adversarial training (Madry et al., 2018)
– ERM을 통해서 Loss function의 Expectation을 minimize한다고 할 때 (좌),
– 입력 데이터 x에 어떤 𝝐 크기 범위 내 𝜹라는 perturbation(데이터 조작)이 있다고 한다면,
– 즉, loss를 최대화하는 𝜹를 찾고, 이 perturbation이 적용된 데이터에 대해 loss를 최소화한다.
– 이 기법은 adversarial attack (사람이 보기에 동일한 데이터이지만, 모델의 추론이 뒤바뀌게끔
데이터를 약간 조작하는 방법) 등에 robust한 모델을 학습시킨다.
– adversarial attack defense를 위한 학습은 대부분 모델 정확도를 하락시키나, 이는 상승시킴.
6

7. Soongsil Univ. DSAI Lab.
2. Confidence calibrated adversarial training
– Problems of adversarial training
– Adversarial training은 perturbed example에 대해 ERM을 수행하는 방법
– perturbed / interpolated data에 대해 overconfident한 모델을 만든다.
– 특히, 사람이 보기에 애매한 데이터더라도 이에 대해 overconfident하다(아래)
– 이런 경향은 unseen attack (defense하지 못한 adversarial example)에 대해 취약한
모습을 보인다.
7

8. Soongsil Univ. DSAI Lab.
2. Confidence calibrated adversarial training
– Proposed method
– 제안 방법은 perturbed example에 대해 label smoothing(기존은 상단)을 취하는 것
– K가 레이블 총 개수일 때,
– 𝝀(𝜹)가 기존의 [1,0]과 같은 레이블을 [1-a, a]로 스무딩한다.
– 이 때 스무딩은 𝜹의 norm을 사용하여, perturbed된 정도를 활용한다.
– 즉 많이 변형되었을 수록 레이블을 더 강하게 스무딩하여 target confidence를 lower한다.
8

9. Soongsil Univ. DSAI Lab.
2. Confidence calibrated adversarial training
– Proposed method (continue)
– perturbed x가 지칭하게 되는, 어떤 overconfident한 레이블에 대해서 𝜹를 탐색 (좌)
– (𝒇𝒌 는 출력 벡터에서 레이블 k에 대한 값을 의미)
– perturbed된 x가 특정 레이블의 데이터와 비슷하게 보일것 같으면, 이런 경향을 더 강화하는
adversarial example을 찾도록 한다.
– 2에 perturbation을 주었더니 8과 비슷하게 보일것 같으면, 이 경향을 더 강화하는
perturbation을 찾을 수 있다 (우)
– 본 제안 방법은 confidence를 낮추는 방법이므로, 이와 같이 overconfident하게 만드는
example을 탐색하는 방법이 학습에 효과적으로 작용한다.
9

10. Soongsil Univ. DSAI Lab.
2. Confidence calibrated adversarial training
– Experiments
– 제안 방법은 MNIST, SVHN, CIFAR10과 같은 image 데이터에 대해
– Adversarial attack을 기존보다 더 잘 defense, calibrated
– 일부 경우에는 vanila model보다 정확도가 향상
10

11. Soongsil Univ. DSAI Lab.
3. Label smoothing using Adversarial Robustness
– What is Adversarial Robustness?
– Adversarial attack 성공률을 낮추는 것을 의미.
– 즉, 데이터에 약간의 변형을 주더라도 모델이 이에 대해 robust한 정도
– adversarial robustness가 낮다는 것은, 데이터가 representation space 상에서 약간만 이동
해도 모델이 잘못 분류한다는 것이며, decision boundary를 너무 tight하게 설정했을 수 있거나,
데이터 자체가 분포에서 상당히 벗어난 경우를 의미.
– 이를 잘 갖추기 위해서는 좋은 generalization 능력이 있어야 한다.
– Arguments of paper
– 그간 calibration과 robustness / adversarial robustness는 그 연관성을 밝히기 어려웠다.
– 본 제안 방법에서 adversarial robustness가 낮은 데이터에 대해 uncertainty를 부여하자,
모델이 자연스럽게 calibrate 되었다.
11

12. Soongsil Univ. DSAI Lab.
3. Label smoothing using Adversarial Robustness
– Proposed method
– 아주 간단하게, r에 따른 smoothing strength를 𝝐𝒓이라고 한다면
– 기존 Label smoothing(좌)을 변형하여 (우)와 같이 smoothed label 𝒑를 만든다.
(Z는 레이블 총 개수)
– 이 때 smoothed strength를 manually 설정하는 것보다는, dataset을 adversarial
robustness에 따라 subset으로 나눈 뒤, 이에 대해 각각의 strength를 설정한다.
– model이 miss-calibrated 되었다면 confidence와 accuracy간의 차이가 크므로, 매 학습 스텝
t마다 soft label 𝒑에 반영하여 soften strength를 조정한다.
12

13. Soongsil Univ. DSAI Lab.
3. Label smoothing using Adversarial Robustness
– Wrap-up
– 저자는 모델은 adversarial attacked 데이터셋에 대해 less confident 해야 한다고 주장
– 이를 위해 smoothing strength를, dataset subset의 각 adversarial robustness에 맞게
조절하고, (subset에 따라 perturbed strength, difficulty가 다를 것이므로) model의
calibrated 정도에 따라 strength를 점점 낮춘다.
13

14. Soongsil Univ. DSAI Lab.
3. Label smoothing using Adversarial Robustness
– Experiments
– 모델이 잘못된 출력을 내기 위해 데이터를 perturb해야하는 크기(Adversarial robustness level)
에 따라 ECE와 accuracy를 측정한 결과, 제안 방법은 이를 잘 보정함
– 또한 이런 보정 효과에 더불어 정확도도 크게 감소하지 않는 모습을 보여줌. (일반적으론 감소)
14

15. Soongsil Univ. DSAI Lab.
4. Conclusion & Opinion
– Summary
– 기존에는 Robust한 모델이 calibrated 되었다는 연구만이 있을 뿐, model calibration
(Confidence Regularization) 이 robust한 모델과 연결되는지에 대한 연구는 없었음
– 본 제안 방법들은 dataset의 특징 혹은 task difficulty에 따라 calibration strength를 조절하고,
이를 통해 attack에 대해 robust / generalization robust한 모델을 만듦
– Opinion
– 졸업논문은 text length가 짧을수록 context information이 작아지고 이로 인해 uncertainty가
상승하므로, regularizing strength도 높혀야 한다고 주장하는 논문
– 본 발표의 논문을 관련연구로 삼아 short text의 uncertainty를 다룬 논문들을 관련연구로 삼을 수
있을 것으로 사료. 혹은 adversarial robustness를 측정해도 좋을 것으로 사료.
– Task difficulty에 따라 regularization strength등을 조절하는 Active learning method와도
연결점이 있을 것으로 사료
15

16. Soongsil Univ. DSAI Lab.
Reference
– Chuan Guo, Geoff Pleiss, Yu Sun, Kilian Q. Weinberger Proceedings of the 34th International Conference
on Machine Learning, PMLR 70:1321-1330, 2017.
– Madry, A., Makelov, A., Schmidt, L., Tsipras, D., and Vladu, A. Towards deep learning models resistant to
adversarial attacks. ICLR, 2018
16