本發(fā)明方法屬于醫(yī)學(xué)圖像智能處理及深度學(xué)習(xí)領(lǐng)域，尤其涉及一種基于hat-mixnet實(shí)現(xiàn)尿沉渣有形成分智能識別方法。

背景技術(shù)：

1、近年來，隨著人工智能、大數(shù)據(jù)等技術(shù)的快速發(fā)展及醫(yī)療保健需求的不斷提高，醫(yī)療儀器正不斷向著智能化方向發(fā)展和完善。目前醫(yī)療儀器已經(jīng)被廣泛應(yīng)用于諸多領(lǐng)域，如生化檢測系統(tǒng)、健康監(jiān)測、醫(yī)學(xué)化驗(yàn)等，是許多醫(yī)療機(jī)構(gòu)的必備之選。智能醫(yī)療檢驗(yàn)儀器將在現(xiàn)有檢測性能基礎(chǔ)上向著更智能、更高端的方向發(fā)展，實(shí)現(xiàn)更加準(zhǔn)確高效的診療服務(wù)，輔助醫(yī)生更好地理解疾病的產(chǎn)生、發(fā)展及愈后治療方案設(shè)計(jì)。

2、尿液有形成分檢測是指對尿液中的細(xì)胞、管型及結(jié)晶等組成成分的分析，從而明確相關(guān)疾病的診斷，是醫(yī)學(xué)檢驗(yàn)中非常重要的一項(xiàng)內(nèi)容，它可以幫助醫(yī)生診斷泌尿系統(tǒng)疾病、評估疾病嚴(yán)重程度、監(jiān)測治療效果等。尿液有形成分包括細(xì)胞、管型、結(jié)晶等；細(xì)胞包括白細(xì)胞、紅細(xì)胞、上皮細(xì)胞等。對紅細(xì)胞分析，可用于鑒別引起各種血尿的原因，對白細(xì)胞分析可用于診斷泌尿系統(tǒng)感染；對管型進(jìn)行分析可用于診斷腎小球損傷、腎小管損傷、泌尿系統(tǒng)感染及腎功能損害等疾??；對結(jié)晶進(jìn)行分析有助于診斷泌尿系統(tǒng)結(jié)石、泌尿系統(tǒng)感染、肝臟疾病等；總之，對尿液中不同的有形成分進(jìn)行分析，有助于對臨床診斷泌尿系統(tǒng)疾病、腎臟疾病等提供參考和指導(dǎo)。

3、然而傳統(tǒng)的醫(yī)學(xué)圖像識別技術(shù)主要依賴于圖像處理和特征提取方法，通過對醫(yī)學(xué)圖像進(jìn)行預(yù)處理、分割和特征提取等步驟，提取出圖像中的關(guān)鍵信息，進(jìn)而實(shí)現(xiàn)圖像的識別。當(dāng)前醫(yī)療儀器在檢查過程中采集獲取的醫(yī)學(xué)圖像數(shù)量巨大，且樣本中雜質(zhì)較多（占總樣本量的近60%），部分類別細(xì)胞的特征極其相似，少數(shù)類別樣本能夠獲取到的樣本數(shù)量有限，且不同類別樣本尺寸差異性較大。因此，開發(fā)一種準(zhǔn)確、高效的尿沉渣有形成分識別新方法是當(dāng)前醫(yī)療檢驗(yàn)儀器研發(fā)工作的迫切需求。

4、近年來，深度學(xué)習(xí)技術(shù)的快速發(fā)展及醫(yī)療檢驗(yàn)儀器的智能化需求使得智能網(wǎng)絡(luò)被逐步應(yīng)用于醫(yī)學(xué)細(xì)胞分析與識別領(lǐng)域，為該領(lǐng)域帶來了全新的發(fā)展契機(jī)。它以數(shù)據(jù)驅(qū)動(dòng)方式分析任務(wù)，能自動(dòng)地從特定問題的大規(guī)模數(shù)據(jù)集中學(xué)習(xí)相關(guān)模型特征和數(shù)據(jù)特性，從而實(shí)現(xiàn)高精度的樣本識別。與傳統(tǒng)的圖像處理方法相比，深度學(xué)習(xí)技術(shù)可以直接從數(shù)據(jù)樣本中隱式地自動(dòng)學(xué)習(xí)數(shù)據(jù)的高級抽象特征，從而在檢測新數(shù)據(jù)時(shí)做出正確的決策，達(dá)到較高的準(zhǔn)確率，具有更強(qiáng)的特征表達(dá)能力和泛化能力。

5、然而尿沉渣有形成分仍存在很多值得深入研究和解決的難題。首先，醫(yī)學(xué)圖像數(shù)據(jù)集往往存在標(biāo)注困難、數(shù)據(jù)不平衡等問題，直接影響深度網(wǎng)絡(luò)模型的訓(xùn)練效果和泛化能力。其次，尿有形樣本的多樣性和復(fù)雜性使得模型的設(shè)計(jì)和訓(xùn)練變得更加困難，因此目前尿液檢驗(yàn)儀器中有形成分樣本識別存在準(zhǔn)確性不足及工作效率低下的問題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供一種基于hat-mixnet實(shí)現(xiàn)尿沉渣有形成分智能識別方法，以解決目前尿液檢驗(yàn)儀器中有形成分樣本識別存在準(zhǔn)確性不足及工作效率低下的問題。

2、本發(fā)明采取的技術(shù)方案是，包括下列步驟：

3、（1）、所使用的細(xì)胞樣本包括紅細(xì)胞、白細(xì)胞、粘液絲、管型、假菌絲酵母菌、孢子、鹽、結(jié)晶、精子、雜質(zhì)十大類；

4、（2）、對所有灰度醫(yī)療細(xì)胞樣本進(jìn)行數(shù)據(jù)增強(qiáng)，用mixup技術(shù)后得到數(shù)據(jù)增強(qiáng)后的灰度醫(yī)療細(xì)胞樣本作為實(shí)驗(yàn)所用的數(shù)據(jù)集樣本，將數(shù)據(jù)集分為訓(xùn)練集和驗(yàn)證集；

5、（3）、將增強(qiáng)后的灰度醫(yī)療細(xì)胞樣本導(dǎo)入hat-mixnet網(wǎng)絡(luò)中進(jìn)行訓(xùn)練；

6、（4）、經(jīng)hat-mixnet網(wǎng)絡(luò)訓(xùn)練完的灰度醫(yī)療細(xì)胞樣本通過heatmap熱力圖技術(shù)變?yōu)樘卣骺梢暬臒崃D，最終對細(xì)胞樣本種類的識別準(zhǔn)確無誤后，得到訓(xùn)練好的hat-mixnet模型；

7、（5）、得到訓(xùn)練好的hat-mixnet模型后，將一幅灰度醫(yī)療細(xì)胞樣本圖片輸入到模型中便可自動(dòng)識別出細(xì)胞的種類。

8、本發(fā)明所述步驟（2）中將數(shù)據(jù)集按比例9:1分為訓(xùn)練集和驗(yàn)證集，batch?size設(shè)為4，訓(xùn)練輪數(shù)epoch設(shè)為70，學(xué)習(xí)率取值范圍設(shè)為0至0.001，實(shí)驗(yàn)衰減系數(shù)設(shè)置為0.0001到0.001之間。

9、本發(fā)明所述步驟（3）中灰度醫(yī)療細(xì)胞樣本圖片在經(jīng)過hat-mixnet網(wǎng)絡(luò)時(shí)的訓(xùn)練過程如下：

10、1）讀入一幅灰度醫(yī)療細(xì)胞樣本；

11、2）需要將讀入細(xì)胞樣本的尺寸設(shè)為224×224特征通道數(shù)設(shè)為3；

12、3）之后到設(shè)有4×4的卷積核k4、步長為4的hat2d卷積層模塊，再經(jīng)過一次層歸一化layer?norm后輸出尺寸為56×56、特征通道數(shù)設(shè)為96的細(xì)胞樣本特征圖片；

13、4）接著經(jīng)過3次hat-mixnet?block處理模塊后完成第一個(gè)階段的特征處理，完成第一階段后細(xì)胞樣本仍為尺寸為56×56、特征通道數(shù)設(shè)為96的特征圖片；

14、5）上述特征圖片再經(jīng)過一個(gè)下采樣層downsample后通過一個(gè)特征通道數(shù)為192的hat-mixnet?block處理模塊，3次重復(fù)處理后完成第二個(gè)階段的特征處理，此時(shí)輸出尺寸為28×28、特征通道數(shù)設(shè)為192的特征圖片；

15、6）將得到的特征圖片放入下采樣層downsample后通過特征通道數(shù)為384的hat-mixnet?block處理模塊，9次重復(fù)處理后完成第三個(gè)階段的特征處理，此時(shí)輸出尺寸為14×14、特征通道數(shù)設(shè)為384的特征圖片；

16、7）再特征圖放入下采樣層downsample后通過特征通道數(shù)為768的hat-mixnetblock處理模塊，3次重復(fù)處理后完成第四個(gè)階段的特征處理，輸出尺寸為7×7、特征通道數(shù)為768的特征圖；

17、8）將所得特征圖經(jīng)過全局平均池化global?avg?pooling和歸一化層layer?norm，再調(diào)用pytorch1.13.1+cu117庫中的linear層將輸出的特征圖轉(zhuǎn)化成1000個(gè)輸出的特征。

18、本發(fā)明所述hat-mixnet網(wǎng)絡(luò)中下采樣層downsample組成部分由一個(gè)歸一化層layer?norm和一個(gè)有卷積核大小為2×2、步長為2的hat2d卷積層模塊構(gòu)成。

19、本發(fā)明所述hat-mixnet網(wǎng)絡(luò)中hat-mixnet?block處理模塊的處理過程是：

20、a.應(yīng)用一個(gè)depthwise?hat2d卷積，初始通道數(shù)設(shè)置成96，depthwise?hat2d卷積中設(shè)置三個(gè)7×7卷積核、步長設(shè)為1，經(jīng)過depthwise?hat2d卷積后進(jìn)行一個(gè)層歸一化layernorm，

21、b.通過一個(gè)卷積核大小為1×1步長為1的hat2d卷積層模塊，之后經(jīng)過一個(gè)gelu激活函數(shù)；

22、c.通過一個(gè)卷積核大小為1×1步長為1的hat2d卷積層模塊后，經(jīng)過縮放層layerscale和正則化處理drop?path；

23、d.再將輸出特征圖片和輸入特征圖片相疊加作為新的輸出特征圖片。

24、本發(fā)明的優(yōu)點(diǎn)是：

25、1.數(shù)據(jù)增強(qiáng)實(shí)現(xiàn)尿沉渣有形成分樣本集構(gòu)建

26、實(shí)際臨床檢驗(yàn)樣本包括紅細(xì)胞、白細(xì)胞、粘液絲、管型、假菌絲酵母菌等十大類，且每個(gè)大類里面又分為3個(gè)到5個(gè)小類不等，一共50種不同類型的尿沉渣有形成分，個(gè)別類別數(shù)據(jù)量非常少，無法達(dá)到網(wǎng)絡(luò)訓(xùn)練要求，同時(shí)還會(huì)影響網(wǎng)絡(luò)識別的準(zhǔn)確性。因此本發(fā)明提出的hat-mixnet采用了pytorch庫中的mixup數(shù)據(jù)增強(qiáng)技術(shù)解決樣本不平衡問題。mixup技術(shù)可以隨機(jī)地將兩個(gè)或多個(gè)不同的樣本按照一定的比例進(jìn)行線性組合，生成新的訓(xùn)練樣本，實(shí)現(xiàn)對樣本容量的有效擴(kuò)充，增加數(shù)據(jù)集的多樣性，使模型在訓(xùn)練過程中接觸到更多不同情況的數(shù)據(jù)，并有效防止過擬合現(xiàn)象的出現(xiàn)。通過不同樣本間的相互融合，模型能夠更好地學(xué)習(xí)到數(shù)據(jù)的內(nèi)在規(guī)律和特征，而不是僅僅適用于訓(xùn)練集中的特定樣本，從而降低模型方差，避免樣本特征差異造成的準(zhǔn)確性不足問題，提高模型的魯棒性和泛化能力。

27、2.設(shè)計(jì)hat-mixnet網(wǎng)絡(luò)框架實(shí)現(xiàn)有效特征精準(zhǔn)提取

28、當(dāng)輸入細(xì)胞圖像依次經(jīng)過各個(gè)階段處理時(shí)，特征圖的尺寸不斷減少，通道數(shù)增加，特征圖中的特征感受野不斷擴(kuò)大。根據(jù)四個(gè)階段的重復(fù)次數(shù)可以將卷積模塊總結(jié)為（3，3，9，3）4個(gè)堆疊維度，卷積模塊堆疊維度（3，3，9，3）的4個(gè)階段中，除了第一個(gè)階段由hat-mixnet?block處理模塊組成，其他三個(gè)階段都由下采樣層downsample和hat-mixnet?block處理模塊組成，即除了第一階段之外，圖像的特征圖都經(jīng)過下采樣downsample輸入到hat-mixnet?block處理模塊中。

29、對比resnet網(wǎng)絡(luò)框架，hat-mixnet網(wǎng)絡(luò)框架選用gelu作為激活函數(shù)，采用depthwise?hat2d卷積，最后減少歸一化層（layer?norm）的使用，將batch?norm（bn）全部替換成了歸一化層layer?norm（ln），并且下采樣層(downsample)由一個(gè)層歸一化（layernorm）和一個(gè)卷積核大小為2×2，步長為2的hat2d卷積層構(gòu)成，整個(gè)hat-mixnet模型設(shè)計(jì)充分考慮了尿沉渣有形成分顯微圖像特征的有效提取及網(wǎng)絡(luò)效率問題。

30、3.heatmap特征可視化輔助訓(xùn)練策略

31、?hat-mixnet利用特征可視化將網(wǎng)絡(luò)層的輸出映射到顏色編碼的heatmap上，從而了解網(wǎng)絡(luò)模型對輸入樣本數(shù)據(jù)不同區(qū)域特征的關(guān)注程度，明確網(wǎng)絡(luò)是通過圖像中的哪些特征實(shí)現(xiàn)顯微圖像準(zhǔn)確識別的，可以直觀地觀察到神經(jīng)網(wǎng)絡(luò)在不同層級上的響應(yīng)情況，以此來判斷網(wǎng)絡(luò)是否正確地關(guān)注到了圖像的有效特征，調(diào)整輔助訓(xùn)練策略，優(yōu)化網(wǎng)絡(luò)性能。同時(shí)heatmap可視化策略還可以幫助發(fā)現(xiàn)網(wǎng)絡(luò)模型在訓(xùn)練過程中出現(xiàn)的異常，了解網(wǎng)絡(luò)模型對不同類別有形成分顯微圖像預(yù)測概率的分布情況，發(fā)現(xiàn)網(wǎng)絡(luò)模型在哪些情況下可能出現(xiàn)錯(cuò)誤和不準(zhǔn)確的預(yù)測，有助于針對性地調(diào)整網(wǎng)絡(luò)模型訓(xùn)練，提高網(wǎng)絡(luò)模型的準(zhǔn)確性和魯棒性。

32、本發(fā)明應(yīng)用于多種復(fù)雜細(xì)胞與雜質(zhì)等多種醫(yī)學(xué)圖像的識別與分類，為醫(yī)學(xué)圖像處理問題提供技術(shù)支撐，能夠根據(jù)圖像樣本自適應(yīng)地提取有形成分特征，實(shí)現(xiàn)大量形態(tài)特征復(fù)雜的尿沉渣有形成分準(zhǔn)確識別，提供更精準(zhǔn)客觀的識別結(jié)果來輔助醫(yī)學(xué)人員做進(jìn)一步臨床診斷，從而提高現(xiàn)有尿液分析和婦科分泌物分析檢驗(yàn)準(zhǔn)確性及醫(yī)療診斷工作的效率，對促進(jìn)智能醫(yī)療儀器研發(fā)、提高醫(yī)療儀器檢測性能具有重要的實(shí)際研究價(jià)值。