本發(fā)明涉及鼻咽癌檢測(cè)領(lǐng)域，更具體地，涉及一種移動(dòng)端目標(biāo)檢測(cè)鼻咽癌的構(gòu)建及自動(dòng)化輔助診斷方法。

背景技術(shù)：

1、當(dāng)前鼻咽癌的篩查與診斷工作主要依賴于專業(yè)醫(yī)生，這不僅加重了醫(yī)生的負(fù)擔(dān)，而且耗時(shí)耗力。對(duì)于在醫(yī)療資源相對(duì)匱乏的地區(qū)，由于診斷水平的限制，鼻咽癌的誤診率相對(duì)較高。為解決這一問題，近年來(lái)，研究者們嘗試?yán)蒙疃葘W(xué)習(xí)技術(shù)，從鼻腔內(nèi)鏡圖像、病理切片到磁共振圖像，通過使用深度學(xué)習(xí)技術(shù)，得到有較高的準(zhǔn)確率的模型。最近幾年關(guān)于影像學(xué)mri圖像診斷鼻咽癌模型構(gòu)建的文章中，2020年ke等人的文章中利用3d?densenet深度學(xué)習(xí)網(wǎng)絡(luò)建立了準(zhǔn)確率高達(dá)97.77％的神經(jīng)網(wǎng)絡(luò)模型。wong等人在2021年通過對(duì)412位鼻咽癌患者建立auc分?jǐn)?shù)達(dá)到了0.96的模型。然而，現(xiàn)有的研究多基于3d影像數(shù)據(jù)，導(dǎo)致模型體積龐大，難以部署到實(shí)際工業(yè)環(huán)境中。此外，由于3d結(jié)構(gòu)的復(fù)雜性，模型的學(xué)習(xí)過程往往缺乏可解釋性，難以判斷鼻咽癌的具體發(fā)病區(qū)域。并且現(xiàn)有技術(shù)中還存在對(duì)于拍照磁共振圖像檢測(cè)不到的問題和鼻咽癌診斷模型可視化grad-cam技術(shù)顯示模型所學(xué)到的特征時(shí)發(fā)現(xiàn)模型關(guān)注的區(qū)域不一定都在鼻咽癌區(qū)域，而且性能不穩(wěn)定且可解釋性不強(qiáng)，還沒有相關(guān)在移動(dòng)端對(duì)鼻咽癌進(jìn)行檢測(cè)并輔助診斷的相關(guān)研究。

2、針對(duì)上述問題，本發(fā)明提出一種基于目標(biāo)檢測(cè)的鼻咽癌診斷方法，并結(jié)合ncnn構(gòu)建了輕量級(jí)鼻咽癌診斷模型，有助于部署到邊緣設(shè)備，使其更為方便快捷，省時(shí)省力的篩查診斷疾病，在本發(fā)明中利用深度學(xué)習(xí)建立鼻咽癌診斷模型并且將其部署到移動(dòng)端，這種模型不僅有助于在邊緣設(shè)備上快速部署，還能提高篩查診斷的便捷性和效率。此外，考慮到智能手機(jī)在醫(yī)療診斷領(lǐng)域的廣泛應(yīng)用，本發(fā)明還致力于將鼻咽癌診斷模型部署到移動(dòng)端，使患者和醫(yī)生能夠利用移動(dòng)設(shè)備進(jìn)行便捷的鼻咽癌篩查和輔助診斷。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明旨在克服上述現(xiàn)有技術(shù)的至少一種缺陷(不足)，提供一種移動(dòng)端目標(biāo)檢測(cè)鼻咽癌的構(gòu)建及自動(dòng)化輔助診斷方法，用于實(shí)現(xiàn)高效、準(zhǔn)確地進(jìn)行鼻咽癌診斷，并通過移動(dòng)端的應(yīng)用實(shí)現(xiàn)便捷的輔助診斷功能。

2、本發(fā)明采取的技術(shù)方案是，一種移動(dòng)端目標(biāo)檢測(cè)鼻咽癌的構(gòu)建方法，包括：

3、s1：采集多角度拍攝的鼻咽癌mri數(shù)據(jù)，構(gòu)建鼻咽癌mri數(shù)據(jù)集，并對(duì)所述鼻咽癌mri數(shù)據(jù)集進(jìn)行劃分，得到內(nèi)部數(shù)據(jù)集和外部測(cè)試數(shù)據(jù)集；

4、s2：在yolov8模型中加入sge注意力機(jī)制對(duì)模型進(jìn)行改進(jìn)，構(gòu)建出多標(biāo)準(zhǔn)鼻咽癌目標(biāo)檢測(cè)模型；

5、s3：利用內(nèi)部數(shù)據(jù)集對(duì)改進(jìn)后的多標(biāo)準(zhǔn)鼻咽癌目標(biāo)檢測(cè)模型進(jìn)行訓(xùn)練，并利用外部測(cè)試數(shù)據(jù)集來(lái)對(duì)訓(xùn)練好的模型進(jìn)行測(cè)試；

6、s4：將測(cè)試好的多標(biāo)準(zhǔn)鼻咽癌目標(biāo)檢測(cè)模型部署到移動(dòng)端中，得到鼻咽癌檢測(cè)app。

7、在本發(fā)明中充分利用卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)，建立高效、準(zhǔn)確的鼻咽癌診斷模型，并且通過對(duì)網(wǎng)絡(luò)模型進(jìn)行改進(jìn)來(lái)提高模型的識(shí)別準(zhǔn)確率得到輕量化網(wǎng)絡(luò)模型，同時(shí)還將改進(jìn)后的多標(biāo)準(zhǔn)鼻咽癌目標(biāo)檢測(cè)模型部署到移動(dòng)端中進(jìn)行使用，從而利用移動(dòng)端便捷的優(yōu)勢(shì)提高診斷效率、降低診斷成本，并減輕醫(yī)生的工作壓力，為患者提供更好的診斷和治療體驗(yàn)。

8、優(yōu)選地，在所述步驟s2中，所述的在yolov8模型中加入sge注意力機(jī)制對(duì)模型進(jìn)行改進(jìn)，利用sge注意力機(jī)制提出c2f-sge模塊并利用該模塊替換掉yolov8模型中的c2f模塊，包括以下步驟：

9、s21：sge注意力機(jī)制先將特征進(jìn)行分組，并對(duì)每一組特征在空間上進(jìn)行全局池化；

10、s22：全局池化后的每組特征和非池化的特征一起進(jìn)行點(diǎn)積運(yùn)算，得到原始的注意力掩碼圖；

11、s23：對(duì)注意力掩碼進(jìn)行標(biāo)準(zhǔn)化處理，并同時(shí)每個(gè)組學(xué)習(xí)兩個(gè)縮放偏差參數(shù)使得標(biāo)準(zhǔn)化操作可以被還原；

12、s24：經(jīng)過激活函數(shù)得到最終注意力掩碼并對(duì)原始特征圖組中的每個(gè)位置的特征進(jìn)行重新分配占比，得到c2f-sge模塊。

13、sge(spatial?group-wise?enhance)注意力機(jī)制作為一種空間組增強(qiáng)技術(shù)，旨在優(yōu)化神經(jīng)網(wǎng)絡(luò)的特征提取和注意力分配，通過在特征提取階段對(duì)特征圖進(jìn)行分組，然后在每個(gè)組內(nèi)引入注意力機(jī)制或增強(qiáng)操作，以提高模型對(duì)特征區(qū)域或者特征局部細(xì)節(jié)的感知和重視程度，在本方案中通過利用sge注意力機(jī)制提出c2f-sge模塊，并利用該模塊替換掉yolov8模型中的c2f模塊，從而實(shí)現(xiàn)能夠在不增加參數(shù)量和計(jì)算量的情況下的同時(shí)能夠讓檢測(cè)性能得到較強(qiáng)的增益，提升網(wǎng)絡(luò)模型的處理效率和精度，使得后續(xù)模型可以更加容易被輕量化部署到移動(dòng)端。

14、優(yōu)選地，所述的在yolov8模型中加入sge注意力機(jī)制對(duì)模型進(jìn)行改進(jìn)，還包括使用余弦退火策略來(lái)動(dòng)態(tài)改變學(xué)習(xí)率，并使用dropout策略來(lái)防止過擬合。

15、除了利用sge注意力機(jī)制對(duì)模型進(jìn)行優(yōu)化改進(jìn)外，在本發(fā)明中還使用了余弦退火策略來(lái)進(jìn)行優(yōu)化，通過模擬余弦函數(shù)的形式來(lái)動(dòng)態(tài)調(diào)整學(xué)習(xí)率，以提高深度學(xué)習(xí)模型的訓(xùn)練效率和性能，這種策略在訓(xùn)練初期使用較大的學(xué)習(xí)率以快速接近全局最小值，隨著訓(xùn)練的進(jìn)行，學(xué)習(xí)率逐漸減小，從而更加精細(xì)地調(diào)整模型參數(shù)，避免在訓(xùn)練后期由于學(xué)習(xí)率過大而導(dǎo)致的模型不穩(wěn)定。具體來(lái)說，余弦退火策略的學(xué)習(xí)率先從最大值開始，然后逐漸減小到最小值，這個(gè)過程遵循余弦函數(shù)的形狀，這種下降模式可以更平滑地調(diào)整學(xué)習(xí)率，有助于避免訓(xùn)練過程中的震蕩或者局部最優(yōu)問題，可以有效地幫助模型在訓(xùn)練的早期階段快速收斂，同時(shí)在訓(xùn)練的后期階段進(jìn)行微調(diào)，以提高模型的穩(wěn)定性和泛化能力。

16、此外，還利用dropout策略來(lái)減少模型的過擬合風(fēng)險(xiǎn)，提高模型的泛化能力，在網(wǎng)絡(luò)的訓(xùn)練過程中隨機(jī)丟棄(即忽略)部分神經(jīng)元，從而減少神經(jīng)網(wǎng)絡(luò)對(duì)特定神經(jīng)元的依賴性，促使網(wǎng)絡(luò)學(xué)習(xí)更加魯棒和泛化能力更強(qiáng)的特征。

17、優(yōu)選地，在所述步驟s4中，所述將測(cè)試好的多標(biāo)準(zhǔn)鼻咽癌目標(biāo)檢測(cè)模型部署到移動(dòng)端，包括：

18、s41：獲取多標(biāo)準(zhǔn)鼻咽癌目標(biāo)檢測(cè)模型的參數(shù)pt文件；

19、s42：利用pytorch庫(kù)將pt文件轉(zhuǎn)化為onnx計(jì)算圖的形式；

20、s43：通過計(jì)算圖優(yōu)化對(duì)難以部署轉(zhuǎn)化的算子進(jìn)行優(yōu)化；

21、s45：利用ncnn將優(yōu)化后的計(jì)算圖轉(zhuǎn)化為可以調(diào)用的c++調(diào)用模型文件，并將其部署到移動(dòng)端。

22、通過將多標(biāo)準(zhǔn)鼻咽癌目標(biāo)檢測(cè)模型的pt文件轉(zhuǎn)化為可以調(diào)用的c++調(diào)用模型文件，可以減少部署時(shí)的依賴項(xiàng)，實(shí)現(xiàn)跨平臺(tái)部署，只需要將必要的c++庫(kù)和模型文件打包到應(yīng)用中，減少了運(yùn)行時(shí)的外部依賴和文件大小，有助于簡(jiǎn)化部署流程和減少應(yīng)用的安裝包大小，同時(shí)還能夠最大程度地利用設(shè)備的計(jì)算資源，提高推理速度和效率，利用移動(dòng)端的便捷性，對(duì)于一些醫(yī)療資源不平衡、醫(yī)療水平不發(fā)達(dá)的落后區(qū)域以及臨床經(jīng)驗(yàn)不足的低年資醫(yī)生，也可以利用移動(dòng)端來(lái)調(diào)用多標(biāo)準(zhǔn)鼻咽癌目標(biāo)檢測(cè)模型進(jìn)行鼻咽癌診斷，降低誤診的概率，還能提高醫(yī)生對(duì)于鼻咽癌診斷的診斷效率，減輕醫(yī)生的工作壓力。

23、優(yōu)選地，在所述步驟s1中還包括了對(duì)鼻咽癌和非鼻咽癌真實(shí)mri圖像數(shù)據(jù)進(jìn)行預(yù)處理，包括：

24、s11：將得到的數(shù)據(jù)集t2序列鼻咽部位的橫斷面mri格式圖像，利用simpleitk庫(kù)將其轉(zhuǎn)化為標(biāo)準(zhǔn)的nifti格式并進(jìn)行水平面的切片，切為2d圖像；

25、s12：對(duì)得到的2d圖像數(shù)據(jù)進(jìn)行數(shù)據(jù)格式統(tǒng)一；

26、s13：對(duì)2d圖像數(shù)據(jù)進(jìn)行再次篩選去除掉質(zhì)量不好的圖像得到內(nèi)部數(shù)據(jù)集，并將其按照7：2：1的比例劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。

27、為了得到準(zhǔn)確率高的多標(biāo)準(zhǔn)鼻咽癌目標(biāo)檢測(cè)模型，在對(duì)模型進(jìn)行訓(xùn)練前還需要對(duì)所獲取到的圖像數(shù)據(jù)進(jìn)行預(yù)處理，將橫斷面mri格式圖像轉(zhuǎn)化為標(biāo)準(zhǔn)的nifti格式后，進(jìn)行水平面的切片，將其切為2d圖像，以便后續(xù)讀取和處理，并且為了能夠?qū)⑦@些圖像數(shù)據(jù)輸入到神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，還對(duì)圖像數(shù)據(jù)進(jìn)行了格式大小的統(tǒng)一；此外，由于所獲得的數(shù)據(jù)中通常還包括了很多無(wú)用的信息，還需要對(duì)其進(jìn)行再次篩選，選出鼻咽癌病灶所在的圖像切面層次和需要與其鑒別疾病圖像所在的圖像切面層次的圖像，得到質(zhì)量高的內(nèi)部數(shù)據(jù)集。

28、優(yōu)選地，在所述步驟s1中還包括了利用目標(biāo)區(qū)域提取模型來(lái)對(duì)鼻咽癌和非鼻咽癌真實(shí)mri圖像的拍照?qǐng)D像數(shù)據(jù)進(jìn)行篩選處理，去除掉圖像中多余的元素，提取出所關(guān)注的鼻咽部位的mri圖像區(qū)域，包括：

29、s101：對(duì)鼻咽癌和非鼻咽癌真實(shí)的mri圖像進(jìn)行拍照得到若干拍照?qǐng)D像；

30、s102：對(duì)所述若干拍照?qǐng)D像進(jìn)行標(biāo)注得到目標(biāo)區(qū)域提取模型數(shù)據(jù)集；

31、s103：將目標(biāo)區(qū)域提取模型數(shù)據(jù)集輸入到y(tǒng)olov8x模型中進(jìn)行訓(xùn)練，得到目標(biāo)區(qū)域提取模型；

32、s104：利用目標(biāo)區(qū)域提取模型對(duì)鼻咽癌和非鼻咽癌真實(shí)mri圖像的拍照?qǐng)D像進(jìn)行目標(biāo)區(qū)域提取，并進(jìn)行裁剪后篩選出若干鼻咽癌和非鼻咽癌真實(shí)mri圖像的拍照?qǐng)D像；

33、s105：將篩選后的若干鼻咽癌和非鼻咽癌真實(shí)mri圖像的拍照?qǐng)D像按照7：2：1的比例分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，并將其分別與步驟s13中的訓(xùn)練集、驗(yàn)證集和測(cè)試集合并在一起，得到最終的內(nèi)部數(shù)據(jù)集。

34、由于真實(shí)的mri圖像和拍照的mri圖像時(shí)存在較大的差異的，并且僅僅使用mri原始圖像所訓(xùn)練得到的yolov8模型進(jìn)行測(cè)試時(shí)，模型檢測(cè)不到拍攝的mri圖像中的鼻咽部位所在區(qū)域，因此，為了解決如何通過拍照mri圖像進(jìn)行診斷這一問題，在本發(fā)明中，提出了目標(biāo)區(qū)域提取模型來(lái)對(duì)拍照mri圖像進(jìn)行圖像處理，去除掉照片中多余的元素，提取出拍照mri圖像中的mri區(qū)域，然后再將其與真實(shí)的mri圖像一同作為內(nèi)部數(shù)據(jù)集進(jìn)行多標(biāo)準(zhǔn)鼻咽癌目標(biāo)檢測(cè)模型訓(xùn)練，從而解決了真實(shí)mri圖像和拍照mri圖像差異過大的問題。

35、優(yōu)選地，在所述外部測(cè)試數(shù)據(jù)集中，所采集的鼻咽癌圖像選取鼻咽部位切片，腺樣體增生及其他圖像選取整個(gè)切片。

36、在訓(xùn)練好多標(biāo)準(zhǔn)鼻咽癌目標(biāo)檢測(cè)模型后，在本發(fā)明中還另外設(shè)置了外部測(cè)試數(shù)據(jù)集來(lái)測(cè)試模型的精確度，針對(duì)于外部測(cè)試數(shù)據(jù)集，在本發(fā)明中沒有篩選出鼻咽部層次的切面，而是將整個(gè)切片納入外部測(cè)試數(shù)據(jù)集，一方面可以用來(lái)測(cè)試模型的魯棒性，另一方面還可以看模型是否有能力能夠篩選出鼻咽部層次的切面。

37、另一方面，在本發(fā)明中還提供了一種移動(dòng)端目標(biāo)檢測(cè)鼻咽癌的自動(dòng)化輔助診斷方法，

38、打開利用上述構(gòu)建方法得到的鼻咽癌檢測(cè)app，通過xml顯示前端界面并選擇多標(biāo)準(zhǔn)鼻咽癌目標(biāo)檢測(cè)模型，利用移動(dòng)端來(lái)拍攝圖像，app讀取所拍攝的圖像并進(jìn)行格式轉(zhuǎn)換，將轉(zhuǎn)換后的圖像輸入到所調(diào)用的多標(biāo)準(zhǔn)鼻咽癌目標(biāo)檢測(cè)模型中進(jìn)行檢測(cè)，返回檢測(cè)結(jié)果，并重新進(jìn)行格式轉(zhuǎn)換，傳出并在app頁(yè)面顯示診斷結(jié)果圖像。

39、通過使用移動(dòng)端app直接拍照來(lái)對(duì)mri圖像進(jìn)行輔助診斷，有效地提高了診斷效率，減輕醫(yī)生的工作壓力，為患者提供更加優(yōu)質(zhì)的服務(wù)，并且還可以降低誤診的概率，降低診斷成本。

40、優(yōu)選地，在所述診斷方法中通過jni進(jìn)行數(shù)據(jù)格式轉(zhuǎn)換，從而實(shí)現(xiàn)java與本地c++代碼數(shù)據(jù)之間的相互調(diào)用。

41、優(yōu)選地，在顯示診斷結(jié)果圖像中，若檢測(cè)到鼻咽癌，則將鼻咽癌區(qū)域標(biāo)記為紅框并顯示概率值；若鼻咽部位檢測(cè)到腺樣體增生或未檢測(cè)到其他異常情況，則將鼻咽區(qū)域標(biāo)記為綠框并顯示概率值。

42、通過使用不同的顏色的標(biāo)注框來(lái)標(biāo)注是否患有鼻咽癌，使得用戶可以直觀地查看檢測(cè)結(jié)果，不僅如此，還可以直觀地查看患者是否患有鼻咽癌或者鼻咽部位檢測(cè)到腺樣體增生或未檢測(cè)到其他異常的概率情況，從而有效地輔助醫(yī)生對(duì)患者進(jìn)行診斷。

43、第三方面，本方案還提供一種鼻咽癌自動(dòng)化輔助診斷系統(tǒng)，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如上述任一種所述移動(dòng)端目標(biāo)檢測(cè)鼻咽癌的自動(dòng)化輔助診斷方法。

44、本方案還提供一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述任一種所述移動(dòng)端目標(biāo)檢測(cè)鼻咽癌的自動(dòng)化輔助診斷方法。

45、本方案還提供一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述任一種所述移動(dòng)端目標(biāo)檢測(cè)鼻咽癌的自動(dòng)化輔助診斷方法。

46、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果為：

47、1、利用目標(biāo)區(qū)域提取模型來(lái)對(duì)拍照mri圖像進(jìn)行圖像處理，去除掉照片中多余的元素，提取出拍照mri圖像中的mri區(qū)域，然后再將其與真實(shí)的mri圖像一同作為內(nèi)部數(shù)據(jù)集進(jìn)行多標(biāo)準(zhǔn)鼻咽癌目標(biāo)檢測(cè)模型訓(xùn)練，從而解決了真實(shí)mri圖像和拍照mri圖像差異過大的問題。

48、2、在yolov8模型中加入sge注意力機(jī)制對(duì)模型進(jìn)行改進(jìn)，使用c2f-sge模塊來(lái)代替yolov8模型中的c2f模塊，從而實(shí)現(xiàn)在不增加參數(shù)量和計(jì)算量的情況下的同時(shí)能夠讓檢測(cè)性能得到較強(qiáng)的增益，有效地提升網(wǎng)絡(luò)模型的處理效率和精度，使得后續(xù)模型可以更加容易被輕量化部署到移動(dòng)端。

49、3、將多標(biāo)準(zhǔn)鼻咽癌目標(biāo)檢測(cè)模型部署到了移動(dòng)端，使得用戶可以通過使用移動(dòng)端app直接拍照來(lái)對(duì)mri圖像進(jìn)行輔助診斷，有效地提高了診斷效率，減輕醫(yī)生的工作壓力，為患者提供更加優(yōu)質(zhì)的服務(wù)，并且還可以降低誤診的概率，降低診斷成本。