[MICCAI 2023] Is a PET all you need? A multi-modal study for Alzheimer’s disease using 3D CNNs 논문 리뷰

논문 링크 : https://link.springer.com/epdf/10.1007/978-3-031-16431-6_7?sharing_token=7cUeevO0wZQdc7MmJTRXEPe4RwlQNchNByi7wbcMAY7ZlzAyNldSVTx86qNGeZBPTXWLvhyBFjUTTTpx_kJHqMahZBjcuY2BcXG1eAdG_UlWzpMLdPr5C8xzl4B2M8Z__2gJXDqqRq0Z6AHINqsO8O5KnWqfLMgdTDuHD-qA9I4%3D 

 

Abstract : 

Alzheimer's Disease (AD)은 가장 흔한 형태의 치매로, 다양한 원인으로 인해 진단에 어려움을 겪고 있는데, 최근 Deep Neural Networks (DNNs)를 활용한 뇌 영상 기반 연구에서 Structural Magnetic Resonance Images (sMRI)와 Fluorodeoxyglucose Positron Emission Tomography (FDG-PET)를 통합하는 것이 Healthy Control (HC) 과 AD 환자를 대상으로 높은 정확성을 보인다는 결과가 나왔습니다. 그러나 이 결과는 FDG-PET이 sMRI보다 AD 특이적인 병변을 더 잘 포착한다는 임상적 지식과 충돌합니다. 따라서 우리는 멀티 모달 DNNs의 체계적 평가를 위한 프레임워크를 제안하고, FDG-PET 및 sMRI을 기반으로 한 싱글 및 멀티 모달 DNNs를 건강 대 AD 이진 분류 및 건강/경도인지 장애/AD 삼중 분류에 대해 비판적으로 재평가합니다. 실험 결과, FDG-PET을 사용한 단일 모달 네트워크가 MRI보다 더 우수한 성능을 보이며(정확도 0.91 대 0.87), 두 가지를 결합하더라도 성능의 개선은 없었습니다. 이는 AD 바이오마커에 대한 임상적인 지식과 일치하지만, 멀티 모달 DNNs의 실제 이점에 대해 의문을 제기합니다. 우리는 앞으로 멀티 모달 퓨전에 대한 연구가 우리가 제안한 평가 프레임워크를 따라 개별 모달리티의 기여를 체계적으로 평가해야 한다고 주장합니다. 마지막으로, 우리는 건강 대 AD 분류를 넘어서 치매의 차별적 진단에 초점을 맞추고, 멀티모달 영상 정보를 퓨전하는 것이 임상적 필요에 부합한다고 주장합니다.

 

논문에서는 멀티모달 결과보다 FDG-PET 단일 모델이 가장 좋다고 나왔는데, 멀티모달을 Fusion하는 다양한 방법을 적용해서 리뷰합니다.

 

 

Fusion Strategies

멀티모달 데이터를 fusion하기 위해 세 가지 방법을 사용합니다. 

 

Early Fusion. raw modality 데이터를 직접 결합해 사용하는 방식입니다. Voxel-Based Morphometry (VBM)를 통해 gray matter map을 얻고 FDG-PET intensity를 구분하는데에 사용합니다. 

 

Late Fusion. Late Fusion은 멀티 모달 데이터를 퓨전하는 가장 직관적인 접근 방식입니다. 이미지를 Fusion하는 대신, 두 개의 독립적인 3D ResNet 브랜치를 훈련시켜서 MRI와 FDG-PET 각각에 대한 잠재적 표현을 Fusion합니다. 각 브랜치에서 global average pooling 후 얻은 특징은 이후 Multi-layer Perceptron (MLP) [128, 64, 클래스 개수]을 통해 concatenated되어 얻어진 로그 확률로, 두 가지 정보 소스를 모두 고려합니다.

 

Middle Fusion. Early Fusion과 Late Fusion은 멀티 모달 분석에서 일반적이지만, 우리는 modality별 네트워크의 중간 표현을 Fusion하는 방법도 탐구합니다. 이 접근 방식에서는 modality별 정보를 서로 다른 modality의 하위 네트워크 간에 동적으로 교환하여 Fusion합니다. 이러한 양방향 정보 교환은 BN scaling factor의 크기에 따라 개별 채널의 중요성을 고려하여 self-guided됩니다. 이러한 과정은 모든 채널을 교환하는 것에 불이익을 주는 ℓ1 정규화를 포함합니다. 정보 공유를 더 장려하기 위해 합성곱 필터 가중치가 modality 간에 공유됩니다. 기억하기를, BN 레이어는 개별 모드별 채널 중요성을 결정하기 위해 공유되지 않습니다. 논문에서는 이전까지 AD 예측을 위한 멀티모달 Fusion전에 채널 교환은 이전에 적용된 적이 없다고 합니다.

여기서 Middle Fusion에 사용된 방법은 Deep Multimodal Fusion by Channel Exchanging 논문( https://proceedings.neurips.cc/paper_files/paper/2020/file/339a18def9898dd60a634b2ad8fbbd58-Paper.pdf)

에 소개된 Fusion 방법을 사용한다.