近日，中國科學(xué)院深圳先進(jìn)技術(shù)研究院·勞特伯生物醫(yī)學(xué)成像研究中心胡戰(zhàn)利研究員團(tuán)隊(duì)與中山大學(xué)附屬腫瘤醫(yī)院樊衛(wèi)主任團(tuán)隊(duì)以及上海聯(lián)影醫(yī)療公司的“產(chǎn)研醫(yī)合作成果”，以O(shè)IF-Net: An Optical Flow Registration-Based PET/MR Cross-Modal Interactive Fusion Network for Low-Count Brain PET Image Denoising為題發(fā)表在醫(yī)學(xué)成像領(lǐng)域頂刊IEEE Transactions on Medical Imaging（IF=10.6）上。

　　PET/MR是PET和MRI有機(jī)結(jié)合形成的一體化大型功能代謝與分子影像診斷設(shè)備，同時具備PET和MRI的檢查功能。為了降低PET輻射劑量、縮短掃描時間，研究團(tuán)隊(duì)引入磁共振解剖信息以輔助PET成像?？紤]到PET和MR兩種模態(tài)可能存在的位置配準(zhǔn)問題，團(tuán)隊(duì)提出了利用光流網(wǎng)絡(luò)將兩者對齊，并且將光流網(wǎng)絡(luò)嵌入到“端對端”網(wǎng)絡(luò)模型中，無需額外標(biāo)簽進(jìn)行監(jiān)督學(xué)習(xí)（如圖1）。 

　　由于PET/MR兩種模態(tài)在紋理上存在顯著性差異，直接通過卷積學(xué)習(xí)這兩種模態(tài)之間的對齊映射關(guān)系非常困難。由此，團(tuán)隊(duì)首先使用傳統(tǒng)的圖像腐蝕和膨脹技術(shù)來計(jì)算PET和MR圖像的主要輪廓，然后再基于這些輪廓信息來構(gòu)建光流的偏移量?；谳喞獙W(xué)習(xí)的方法不僅簡單有效，而且使得水平和垂直方向偏移量的學(xué)習(xí)也更加精準(zhǔn)。 

　　為了增強(qiáng)PET/MR圖像特征提取和融合效果，團(tuán)隊(duì)還設(shè)計(jì)了一個“空間-通道”特征增強(qiáng)模塊（SC-FEM），考慮了多模態(tài)之間的交互影響并在空間和通道維度上提供了額外的信息靈活性；此外，團(tuán)隊(duì)提出的跨模態(tài)特征融合模塊（CM-FFM）在多個特征層級上采用了交叉注意力機(jī)制，進(jìn)一步增強(qiáng)了兩種模態(tài)的特征融合過程。圖2可視化了所提出SC-FEM和CM-FFM在去噪過程中的作用。 

　　中國科學(xué)院深圳先進(jìn)技術(shù)研究院客座學(xué)生付明翰為論文第一作者，胡戰(zhàn)利研究員為論文通訊作者。該研究得到了國自然優(yōu)青項(xiàng)目/數(shù)學(xué)天元重點(diǎn)專項(xiàng)/面上項(xiàng)目、國家重點(diǎn)研發(fā)計(jì)劃重大科學(xué)儀器項(xiàng)目、深圳醫(yī)科院原創(chuàng)探索項(xiàng)目、深圳市杰青項(xiàng)目/重點(diǎn)項(xiàng)目的資助。  

圖1 提出的基于光流配準(zhǔn)的PET/MR成像技術(shù)，（a）提出的OIF-Net整體結(jié)構(gòu)，包含的兩個分支分別處理PET/MR兩種模態(tài)輸入和特征融合，（b）空間-通道特征增強(qiáng)模塊，（c）光流配準(zhǔn)模塊，（d）跨模態(tài)特征融合模塊 

圖2 基于光流配準(zhǔn)的輪廓學(xué)習(xí)技術(shù)，（a）原始輸入的MR 圖像，紅色曲線代表 MR圖像的輪廓，（b）配準(zhǔn)模塊校正后的 MR 圖像，藍(lán)色曲線表示配準(zhǔn)MR圖像的輪廓，（c）配置變換前后的MR圖像之間的像素強(qiáng)度差異，（d）稀疏光流場，顯示配準(zhǔn)預(yù)測網(wǎng)絡(luò)的水平和垂直方向偏移量