잠시만 기다려 주세요. 로딩중입니다.

딥러닝 기반 컴퓨터 보조진단의 취약성: 폐 결절 검출 모델에 대한 실험적 적대적 공격

Vulnerability of Deep Learning based Computer-Aided Diagnosis: Experimental Adversarial Attack Against CT Lung Nodule Detection Model

대한의학영상정보학회지 2018년 24권 1호 p.1 ~ 10
이재원, 김종효,
소속 상세정보
이재원 ( Lee Jae-Won ) - Seoul National University Graduate School of Convergence Science and Technology Department of Transdisciplinary Studies
김종효 ( Kim Jong-Hyo ) - Seoul National University Graduate School of Convergence Science and Technology Department of Transdisciplinary Studies

Abstract

최근 딥러닝 기법의 발전은 예전에 비해 월등한 성능을 보이면서 의료영상 전문가들의 주목을 받았고, 컴퓨터 보조진단(Computer-Aided Diagnosis, CAD)의 미래 기술로서 각광을 받고 있다. 그러나 딥러닝은 내재적인 불확실성에 대한 우려가 제기되고 있으며, 따라서 임상에 적용하기 전에 세밀하게 조사할 필요가 있다. 적대적 공격은 이러한 딥러닝 모델의 불확실성을 조사하는데 이용한 기법으로서 의도적으로 교란 신호가 부가된 적대적 예제를 만들어 딥러닝에 노출시키고 그 성능 저하를 평가하는 조사 방법이다. 이 연구는 초보적인 사물 분류 및 CT 폐 결절 검출용 딥러닝 모델을 대상으로 적대적 공격을 통해 취약성을 조사한다. 우리는 각 MNIST, CIFAR-10, LIDC-IDRI 데이터세트로 훈련된 세 가지 딥러닝 모델의 취약성을 평가했다. 앞의 두 가지 딥러닝 모델을 교란하는 적대적 예제를 생성하기 위해 네 가지 최신 적대적 공격 알고리즘을 사용했으며, 이를 통해 CT 폐 결절 검출용 딥러닝 모델의 취약성 평가 실험에 사용하기에 적합한 공격 알고리즘을 선택하였다. 실험 결과, MNIST 데이터세트로 훈련시킨 딥러닝 모델의 분류 성능은 네 가지 다른 알고리즘의 적대적 공격 각각 0.98에서 0.70, 0.78, 0.01, 0.02로 하락했다. CIFAR-10 데이터세트로 훈련시킨 딥러닝 모델의 성능 또한 공격 전 0.73에서 공격 후 각각 0.11, 0.16, 0.13, 0.02로 하락했다. CT 폐 결절 검출 모델의 성능은 교란 신호의 크기에 따라 점진적으로 감소했다: ROC 곡선 하방 면적(AUROC)이 공격 전 0.95에서 공격 후 0.915, 0.903, 0.890으로 하락했고, 민감도가 공격 전 0.877에서 공격 후 0.854, 0.807, 0.717로 하락했다. 딥러닝 모델은 미약한 교란 신호가 부가된 적대적 사례에 취약하며, 여러 가지 공격에 대해 다양한 수준의 성능 저하를 보였다. 교란 신호와 적대적 공격에 대한 취약성 측면에서 CAD 시스템을 위한 딥러닝 모델을 검증할 필요가 있다.

Background: Recent developments of deep learning technique have drawn attention from medical imaging community with outstanding performance and appear to give promise for future applications in computer-aided diagnosis. However, there still exist concerns about inherent uncertainty of the behavior of deep learning models, which needs to be thoroughly investigated before clinical translation. Adversarial attack is a useful technique for testing deep learning models by exposing them to a set of intentionally perturbed examples and evaluating the performance degradation. This study investigates the vulnerability of deep learning models for basic object classification and CT nodule detection tasks.
Materials and Methods: We evaluated the vulnerability of three deep learning models each trained with MNIST, CIFAR-10, and LIDC-IDRI dataset. Four latest adversarial attack algorithms were employed to generate adversarial examples for perturbing the first two deep learning models, and selected an appropriate attack algorithm for use in the test of the deep learning model for CT lung nodule detection.

Results: The classification performance of MNIST-trained deep learning model degraded from 0.98 before attack to 0.70, 0.78, 0.01, and 0.02 after attack by four different algorithms. The performances of CIFAR-10-trained model also degraded from 0.73 before attack to 0.11, 0.16, 0.13, and 0.02 after attacks. Performance of the CT lung nodule detection model showed gradual degradation according to the increasing degree of perturbation: AUROC was 0.95 before attack, and decreased to 0.915, 0.903, 0.890 after attack; sensitivity was 0.877 before attack, and decreased to 0.854, 0.807, 0.717 after attack.

Conclusion: Deep learning models possessed vulnerability to perturbed input, and showed varying degree of performance degradation to different attacks. Deep learning models for CAD system needs to be verified with respect to their vulnerability to perturbation and adversarial attacks.

키워드

Deep Learning; Computer-Aided Detection and Diagnosis (CAD); Threats; Vulnerability; Adversarial Attack

원문 및 링크아웃 정보

등재저널 정보