本發(fā)明涉及醫(yī)學影像處理，尤其涉及一種基于unet改進的sam模型實現(xiàn)的腫瘤標注方法。

背景技術：

1、segement?anything?model（sam）允許用戶通過交互為特定感興趣區(qū)域生成掩模標注。sam模型包含：圖像編碼器、提示編碼器和掩碼解碼器。圖像編碼器利用視覺transformer模型vit處理圖像，并逐步降采樣生成原始圖像1/16大小的特征圖。提示編碼器接受稀疏和密集的提示，所述提示包括點狀、框狀或掩碼，將提示轉(zhuǎn)換為提示嵌入。然后，掩碼解碼器使用交叉注意力機制整合來自特征圖和提示編碼器的提示嵌入，根據(jù)不同的提示為圖像生成不同的掩碼。在醫(yī)療領域，一些感興趣區(qū)域（腫瘤病灶）與背景（腫瘤病灶所處的器官、身體組織）之間的邊界情況復雜，且多為難以分辨明確的弱邊界、復雜邊緣和多變形狀。segement?anything?model直接應用于醫(yī)學圖像標注效果較差。

技術實現(xiàn)思路

1、為了解決上述技術問題或者至少部分地解決上述技術問題，本發(fā)明提供一種基于unet改進的sam模型實現(xiàn)的腫瘤標注方法。

2、第一方面，本發(fā)明提供一種基于unet改進的sam模型實現(xiàn)的腫瘤標注方法，包括：

3、獲取待標注的腫瘤圖像；

4、針對腫瘤圖像的感興趣區(qū)域給定相應的標注提示，所述標注提示采用點狀、框狀或者掩碼提示中的任意一種；

5、將標注提示和腫瘤圖像提供給基于unet改進的sam模型，所述基于unet改進的sam模型根據(jù)標注提示來形成感興趣區(qū)域的標注掩碼；其中，所述基于unet改進的sam模型包括：sam模型的原始圖像編碼器、原始提示編碼器和原始掩碼解碼器；以及額外新增的對應原始圖像編碼器各個階段的級聯(lián)的上采樣解碼模塊，新增的設置于上采樣解碼模塊和原始圖像編碼器之間的多個邊緣強化注意力。

6、更進一步的，在所述基于unet改進的sam模型中，將原始圖像編碼器按unet架構(gòu)進行了改進，包括：

7、配置對應原始圖像編碼器各個編碼階段的上采樣解碼模塊，各個上采樣解碼模塊級聯(lián)，級聯(lián)的上采樣解碼模塊形成四個解碼階段：第一個解碼階段的上采樣解碼模塊解碼原始圖像編碼器最后一解碼階段輸出的腫瘤圖像編碼特征圖；第二到第四個解碼階段中，任意解碼階段的上采樣解碼模塊將其上一級解碼階段的上采樣解碼模塊輸出的腫瘤圖像解碼特征圖和其對應解碼階段的邊緣強化腫瘤圖像特征圖的逐點相加結(jié)果進行上采樣，得到多尺度邊緣強化的腫瘤圖像解碼特征圖，多尺度邊緣強化的腫瘤圖像解碼特征圖經(jīng)上采樣解碼模塊逐級融合后，為最終的標注掩碼生成提供高邊緣質(zhì)量的數(shù)據(jù)。

8、更進一步的，解碼階段用到的所述邊緣強化腫瘤圖像特征圖來自于所述邊緣強化注意力；三個所述邊緣強化注意力分別接收原始圖像編碼器第一編碼階段到第三編碼階段輸出的腫瘤圖像編碼特征圖，分別接收腫瘤圖像的相應尺度的邊緣特征圖，和分別接收相應的上一級上采樣解碼模塊的輸出，通過注意力的方式結(jié)合三者進行邊緣強化生成邊緣強化腫瘤圖像特征圖。

9、更進一步的，對于編碼階段輸出的腫瘤圖像編碼特征圖，所述邊緣強化注意力通過卷積層處理得到通道降維的腫瘤圖像編碼特征圖；

10、對于腫瘤圖像的拉普拉斯金字塔中邊緣特征圖，所述邊緣強化注意力通過卷積和非線性激活函數(shù)將其轉(zhuǎn)換成邊緣特征注意力；邊緣特征注意力與相應的通道降維的腫瘤圖像編碼特征圖逐點相乘；

11、對于上一級上采樣解碼模塊輸出的腫瘤圖像解碼特征圖，通過1×1的卷積層和激活函數(shù)處理得到的腫瘤圖像解碼特征圖注意力，所述邊緣強化注意力將腫瘤圖像解碼特征圖注意力轉(zhuǎn)換成腫瘤圖像解碼特征圖反注意力，腫瘤圖像解碼特征圖反注意力與相應的通道降維的腫瘤圖像編碼特征圖逐點相乘；所述邊緣強化注意力利用高斯濾波、降采樣和上采樣操作處理腫瘤圖像解碼特征圖注意力，腫瘤圖像解碼特征圖注意力減去高斯濾波、降采樣和上采樣的處理結(jié)果得到腫瘤圖像解碼特征圖邊緣注意力，將腫瘤圖像解碼特征圖邊緣注意力與相應的通道降維的腫瘤圖像編碼特征圖逐點相乘；

12、將通道降維的腫瘤圖像編碼特征圖基于三種注意力得到的結(jié)果拼接后通過殘差卷積和門控注意力處理，得到綜合邊緣強化注意力特征圖；通道降維的腫瘤圖像編碼特征圖與綜合邊緣強化注意力特征圖逐點相乘后，再通過卷積注意力模塊生成邊緣強化腫瘤圖像特征圖。

13、更進一步的，所述拉普拉斯金字塔的計算過程如下：

14、對腫瘤圖像迭代的進行高斯濾波和下采樣得到由大到小的多層高斯金字塔，對于高斯金字塔任意相鄰兩層，由上一層減去下一層的上采樣結(jié)果得到拉普拉斯金字塔的一層。

15、更進一步的，所述卷積注意力模塊包含通道注意力和空間注意力。

16、更進一步的，sam的原始掩碼解碼器使用雙路注意力機制整合來自1/16大小的腫瘤圖像編碼特征圖和提示編碼器的提示嵌入，通過sam上采樣解碼得到原始腫瘤圖像編碼特征圖的解碼結(jié)果，將解碼結(jié)果和邊緣強化的腫瘤圖像解碼特征圖經(jīng)過逐點相加融合，將逐點相加的融合結(jié)果與原始掩碼解碼器的多層感知機基于雙路注意力輸出而生成的輸出相乘得到感興趣區(qū)域的標注掩碼。

17、更進一步的，對基于unet改進的sam模型進行訓練，訓練凍結(jié)原始sam模型的參數(shù)，訓練的損失函數(shù)采用真實標注掩碼和預測標注掩碼之間交叉熵損失和dice損失的組合。

18、第二方面，本發(fā)明提供一種基于unet改進的sam模型實現(xiàn)的腫瘤標注裝置，包括：至少一處理單元，所述處理單元通過總線單元連接存儲單元，所述存儲單元存儲計算機程序，所述處理單元通過運行存儲在存儲單元中的計算機程序，實現(xiàn)所述的基于unet改進的sam模型實現(xiàn)的腫瘤標注方法。

19、第三方面，本發(fā)明提供一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)存儲計算機程序，所述計算機程序被執(zhí)行時，實現(xiàn)所述的基于unet改進的sam模型實現(xiàn)的腫瘤標注方法。

20、本發(fā)明實施例提供的上述技術方案與現(xiàn)有技術相比具有如下優(yōu)點：

21、本發(fā)明增設的新解碼器中，第二到第四個解碼階段中，任意解碼階段的上采樣解碼模塊將其上一級解碼階段的上采樣解碼模塊輸出的腫瘤圖像解碼特征圖和其對應解碼階段的邊緣強化腫瘤圖像特征圖的逐點相加結(jié)果進行上采樣，得到多尺度邊緣強化的腫瘤圖像解碼特征圖，多尺度邊緣強化的腫瘤圖像解碼特征圖經(jīng)上采樣解碼模塊逐級融合后，為最終的標注掩碼生成提供高邊緣質(zhì)量的數(shù)據(jù)，能夠改善標注的質(zhì)量。

22、對于腫瘤圖像的拉普拉斯金字塔中邊緣特征圖，所述邊緣強化注意力通過卷積和非線性激活函數(shù)將其轉(zhuǎn)換成邊緣特征注意力，邊緣特征注意力與相應的通道降維的腫瘤圖像編碼特征圖逐點相乘，利用邊緣特征圖中的邊緣信息增強腫瘤圖像編碼特征圖中的邊緣信息。對于上一級上采樣解碼模塊輸出的腫瘤圖像解碼特征圖，通過1×1的卷積層和激活函數(shù)處理得到的腫瘤圖像解碼特征圖注意力，所述邊緣強化注意力將腫瘤圖像解碼特征圖注意力轉(zhuǎn)換成腫瘤圖像解碼特征圖反注意力，腫瘤圖像解碼特征圖反注意力與相應的通道降維的腫瘤圖像編碼特征圖逐點相乘。上一級的解碼階段的腫瘤圖像解碼特征圖中語義置信度相對高，但分辨率較低、邊緣相對粗略，通過反注意力從每層的腫瘤圖像解碼特征圖中刪除當前預測的關注區(qū)域得到非關注區(qū)域，將非關注區(qū)域提供到下一層，利用邊緣強化特征進一步的對非關注區(qū)域進行關注分析，從而引導整個上采樣解碼模塊從非關注區(qū)域中依次發(fā)現(xiàn)補充應當屬于關注區(qū)域的細節(jié)。所述邊緣強化注意力利用高斯濾波、降采樣和上采樣操作處理腫瘤圖像解碼特征圖注意力，腫瘤圖像解碼特征圖注意力減去高斯濾波、降采樣和上采樣的處理結(jié)果得到腫瘤圖像解碼特征圖邊緣注意力，將腫瘤圖像解碼特征圖邊緣注意力與相應的通道降維的腫瘤圖像編碼特征圖逐點相乘，將腫瘤圖像解碼特征圖和腫瘤圖像編碼特征圖共有的邊緣信息增強。