Recomendados
Recomendados
Más contenido relacionado
Similar a Self-evolving vision transformer for CXR through knowledge distillation
Similar a Self-evolving vision transformer for CXR through knowledge distillation (20)
Último
Último (20)
Self-evolving vision transformer for CXR through knowledge distillation
- 2. /77 2 Distillation with no label2 Self-training with noisy student1 C o n t e n t s : S e l f - e v o l v i n g V i s i o n Tr a n s f o r m e r f o r C h e s t X - r a y D i a g n o s i s t h r o u g h K n o w l e d g e D i s t i l l a t i o n
- 3. /77 3 Model architecture Pneudolabel for distillation Loss functions Momentum update C o n t e n t s : S e l f - e v o l v i n g V i s i o n Tr a n s f o r m e r f o r C h e s t X - r a y D i a g n o s i s t h r o u g h K n o w l e d g e D i s t i l l a t i o n
- 4. /77 4 C o n t e n t s : S e l f - e v o l v i n g V i s i o n Tr a n s f o r m e r f o r C h e s t X - r a y D i a g n o s i s t h r o u g h K n o w l e d g e D i s t i l l a t i o n
- 5. /77 Practical simulation of increasing data over time 5 C o n t e n t s : S e l f - e v o l v i n g V i s i o n Tr a n s f o r m e r f o r C h e s t X - r a y D i a g n o s i s t h r o u g h K n o w l e d g e D i s t i l l a t i o n
- 6. /77 6 C o n t e n t s : S e l f - e v o l v i n g V i s i o n Tr a n s f o r m e r f o r C h e s t X - r a y D i a g n o s i s t h r o u g h K n o w l e d g e D i s t i l l a t i o n
- 7. /77 7 C o n t e n t s : S e l f - e v o l v i n g V i s i o n Tr a n s f o r m e r f o r C h e s t X - r a y D i a g n o s i s t h r o u g h K n o w l e d g e D i s t i l l a t i o n
- 8. /77 8 C o n t e n t s : S e l f - e v o l v i n g V i s i o n Tr a n s f o r m e r f o r C h e s t X - r a y D i a g n o s i s t h r o u g h K n o w l e d g e D i s t i l l a t i o n
- 9. /77 9 Comparison Models Dice STD ViT model 0.622 ±0.168 CNN model 0.373 ±0.259 C o n t e n t s : S e l f - e v o l v i n g V i s i o n Tr a n s f o r m e r f o r C h e s t X - r a y D i a g n o s i s t h r o u g h K n o w l e d g e D i s t i l l a t i o n
- 10. /77 10 C o n t e n t s : S e l f - e v o l v i n g V i s i o n Tr a n s f o r m e r f o r C h e s t X - r a y D i a g n o s i s t h r o u g h K n o w l e d g e D i s t i l l a t i o n
- 11. /77 11 C o n t e n t s : S e l f - e v o l v i n g V i s i o n Tr a n s f o r m e r f o r C h e s t X - r a y D i a g n o s i s t h r o u g h K n o w l e d g e D i s t i l l a t i o n
- 12. /77 12 C o n t e n t s : S e l f - e v o l v i n g V i s i o n Tr a n s f o r m e r f o r C h e s t X - r a y D i a g n o s i s t h r o u g h K n o w l e d g e D i s t i l l a t i o n Self-evolving Vision Transformer for Chest X-ray Diagnosis through Knowledge Distillation By exploiting the merits of self-supervision and self-training under the common ground of knowledge distillation, the performances of the ViT model can be stably increased with increasing amount of unlabeled data. Conclusion
Notas del editor
- 이 연구에서 영감을 받은 것은 self-training with noisy student 라는 semi-supervised learning 과 Distillation with no label 이라는 self-supervised learning 연구입니다. 위 두 연구는 구체적인 방법론에서는 차이가 있으나, teacher-student knowledge distillation 이라는 공통점을 가지고 있습니다. 구체적으로 말씀드리면, self-training with noisy student 에서는 student model 이 noisy 한 image 를 가지고 teacher 의 pseudo-label을 estimate 하도록 해서 consistency 를 유지하게 하는 과정에서 보다 robust 한 모델이 학습되도록 합니다. DINO 방식에서는 student model 이 더 작은 영역에 대해서 crop 된, information 이 적은 local view 를 가지고 teacher 의 global view 의 feature 를 mimic 하도록 하는 방식으로 두 이미지가 같은 이미지라는 것을 배워 semantic feature 들을 학습할 수 있도록 합니다. [1] Xie, Qizhe, et al. "Self-training with noisy student improves imagenet classification." Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2020. [2] Caron, Mathilde, et al. "Emerging properties in self-supervised vision transformers." Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021.
- 우리는 이 두 방식의 공통점을 활용하여, semi- 그리고 self-supervised learning 방식의 장점을 효과적으로 융합하는 distillation for self-supervised and self-train learning (DISTL) framework 라는 새로운 방식을 제안하였습니다. 구체적으로 말씀드리면, 같은 model architecture 를 공유하는 student 와 teacher 모델이 있고, teacher 는 이미지 대부분 영역을 포함하는 global crop 을 이용하여 pseudo label과 semantic feature 의 결과를 내놓습니다. Pseuo-label은 진단에 실제로 활용되는 task-specific head head, h^cls 를 통하여 얻고, semantic feature 는 task-agnostic 한 projection head, h^ss 를 통하여 얻습니다. Self-training loss 는 다음과 같이 cross entropy loss 로 student 의 prediction 이 teacher 의 pseudolabel 을 estimate 하도록 하고, self-supervising loss 마찬가지로 CE loss 를 사용하되, student 의 feature prediction 이 teacher 의 semantic feature 를 mimic 하도록 합니다. 이 두 loss를 모두 활용하여 전체 optimization 과정을 진행하고, 이 과정에서 teacher 는 student 로 부터 exponential moving averaging 방식으로 천천히 update 됩니다. 또한, teacher 가 내놓는 prediction 이 잘못되었을 경우 모델 퍼포먼스가 악화되는 것을 방지하기 위해, 특정 step 마다 초기 labeled data 를 활용하여 student model 을 바로잡아주는 correction step 을 추가하였습니다. 이렇게 학습이 끝나면, 다음 세대에서는 학습이 끝난 student 가 새로운 teacher 역할을 수행하게 되는데 이는 self-training with noisy student 방식과 유사합니다.
- DISTL framework 가 실제로 늘어나는 unlabeled data 를 활용하여 안정적으로 성능을 향상시킬 수 있는지를 검증하기 위하여 다음과 같이, 초기 labeled data 는 소수만을 준비하고, 이후 unlabeled data 가 점점 쌓여나가는 임상 상황을 simulation 하여 그 과정에서 모델이 스스로 성능을 향상시킬 수 있는지를 평가하였습니다.
- 이를 위하여 다음과 같은 3가지 task, tuberculosis diagnosis, pneumothorax diagnosis, COVID-19 diagnosis 에 대하여 실험을 수행하였습니다. 각 task 에서 labeled data 는 전체의 10% 만을 활용하였고, 나머지 90% 는 unlabeled data 로 활용하여 시간이 지남에 따라 데이터가 늘어나는 상황을 상정하기 위하여 T = 1, 2, 3 으로 늘어남에 따라 unlabeled data 를 30% 씩 추가해주었습니다. 모델의 평가는 다음과 같이 3개 기관의 외부 검증 데이터세트에서 수행하였습니다. 이 3가지 task 중, 임상적 demand 가 높은 tuberculosis diagnosis 를 main task 로 설정하고, 이 작업에 대하여 비교 실험, ablation study 등을 추가적으로 수행하였습니다.
- 결과는 다음과 같습니다. Unlabeled data 가 늘어남에 따라, DISTL 을 활용하여 학습된 모델은 점차적으로 성능을 향상시켜 나갔고, 이는 같은 양의 데이터를 모두 라벨이 있다고 가정하여 지도 학습 방식으로 학습시킨 모델보다도 우수한 성능이었습니다. 특히, 지도학습 방식으로 학습된 모델은 데이터가 많아지고 학습을 반복할 수록 학습데이터에 overfitting 되는 경향성을 보였는데 DISTL 로 학습된 모델에서는 이와 같은 문제점이 발견되지 않았습니다. 또한, 모델 성능 자체 뿐만 아니라, attention 을 visualization 해 보았을 때도, unlabeled data 가 쌓이고 DISTL 을 이용한 학습을 반복해 나감에 따라 lesion 부분에 attention 이 점차적으로 더 well-localized 되는 것을 확인할 수 있었습니다.
- 이와 같은 성능 향상은 CNN model 들에 비하여 ViT 모델에서 뚜렷하게 나타났고, 기존의 semi- 혹은 self-supervised learning 방식으로는 얻을 수 없는 결과였습니다.
- 또한, 추가 실험으로서 저희는 real-world data accumulation 및 label corruption 상황에서 DISTL framework 의 안정성을 평가하였습니다. 저희가 지금까지 수행한 실험은 매우 ideal 한 setting, 즉 normal 과 tuberculosis 이렇게 두 class 만이 존재하는 상황에서 실험을 하였는데, 실제 임상에서 unlabeled data 를 모은다면 이 두가지 class 이외에도 nodule, bacterial pneumonia, interstitial lung disease, trauma 등 다양한 class 의 영상들이 모이게 될 것입니다. 이런 환경에서도 안정적으로 성능을 증가시킬 수 있는지를 평가하기 위하여, nodule, effusion, ILD, bacterial infection 이렇게 4개 class 데이터들을 마찬가지 방식으로 점차 늘려나가는 식으로 unlabeled data 에 포함하여 학습시켜보았습니다. 결과는 왼쪽과 같이, 이런 unseen class 가 추가되더라도 성능에 영향을 받지 않고 안정적으로 성능이 향상되는 결과를 보였습니다. 또한, 실제 임상에서 labeling 을 수행한다면 practitioner 의 실수 등으로 잘못 labeling 된 데이터가 섞여들어갈 수 있습니다. 이렇게 label corruption 이 있는 상황에서 모델 성능을 평가해보면, supervised model 은 label corruption 으로 성능이 유의하게 감소하는데 반해, DISTL 모델은 안정적으로 성능을 유지할 수 있었습니다.
- Model attention visualization 을 통하여 정성적으로 CNN model 과 비교해 보았을 때도, CNN model에 비하여 우수한 lesion localization capability 를 보였습니다.
- 또한, pneumothorax diagnosis 와 COVID-19 diagnosis task 들에 같은 실험을 수행하였을 때도 유사한 결과를 얻었습니다.
- DISTL 모델의 학습이 어떻게 이루어지는지를 영상의학과 의사의 학습 과정과 비교해보면 흥미로운 analogy 를 발견할 수 있는데요, DISTL framework에서는 teacher model 이 distortion 이 적은 global view, 즉 more informative 한 view 로 내놓는 결과를 student 모델이 less informative 한 view 를 가지고 estimate 하는 방식으로 학습이 됩니다. 이와 같은 일련의 과정은, radiologist 학습과정에서 junior reader 가 senior reader 로 부터 배우고, more informative 한 CT 등을 통하여 얻은 결과를 참고하여 less information 한 plain X-ray 에서의 판독을 배우는 구조와 유사합니다. 또한, DISTL 모델은 특정 step 마다 initial labeled data 를 활용하여 correction 하는 step 이 들어가는데, 이 또한 실제 radiologist 의 학습 과정에서 수가 많지는 않지만 typical 한 text book 의 케이스를 참고해가며 배움으로써 atypical 한 real case 로부터 bias 가 되지 않도록 correction 하는 것과 유사하다고 할 수 있습니다.
- 결론입니다. 저희는 knowledge distillation 이라는 공통점을 가진 Self-training 및 self-supervised learning 방식을 효과적으로 융합하여, 쌓이는 unlabeled data 만으로 스스로 성능을 향상시켜 나갈 수 있는 DISTL framework 를 제안하였고, simulation 을 통하여 DISTL method 의 안정성을 확인하였습니다.