本技術涉及機器學習領域，尤其涉及模態(tài)分類模型的訓練、應用方法及模型、設備、介質。

背景技術：

1、乳腺結節(jié)是乳腺病變的一種常見形式，通常通過超聲圖像進行檢測和評估。超聲圖像由于其無創(chuàng)性、實時性和良好的軟組織分辨率，成為乳腺結節(jié)篩查的重要工具。乳腺結節(jié)的診斷過程需要對超聲圖像進行詳細的分析，以區(qū)分不同類型的結節(jié)。在乳腺結節(jié)的檢測和評估過程中，醫(yī)生通常會綜合考慮不同模態(tài)的超聲圖像信息(例如：血管造影(ceus)、血液(doppler)、彈性成像(elastography)、常規(guī)成像(b-mode)以及其他類型的干擾圖像(artifacts)等)，以提高診斷的準確性和效率。而不同模態(tài)的超聲圖像的特征有著非常大的區(qū)別，如果不加以區(qū)分統(tǒng)一進行采集和訓練，則會降低準確性。因此，準確并高效地對不同模態(tài)的超聲圖像進行分類，有助于提高醫(yī)生對乳腺結節(jié)的類型診斷的準確率和工作效率。

2、隨著機器學習的發(fā)展，有研究人員通過訓練神經網絡來實現(xiàn)對不同模態(tài)的超聲圖像進行分類，以更好地輔助醫(yī)生對乳腺結節(jié)進行診斷，但是訓練的數(shù)據集是直接依賴于經驗豐富的醫(yī)生手動標記，這不僅費時費力，還容易受人為因素影響，即大量的人力工作導致醫(yī)生過于疲憊，使得標注的超聲圖像的模態(tài)準確性和一致性無法保證，從而導致利用標注不準確的不同模態(tài)超聲圖像訓練得到的模型性能較差。

技術實現(xiàn)思路

1、本技術提供一種模態(tài)分類模型的訓練、應用方法及模態(tài)分類模型，以解決現(xiàn)有的利用標注不準確的不同模態(tài)超聲圖像訓練模型導致得到的模型性能較差的問題。

2、本技術提供一種模態(tài)分類模型的訓練方法，所述模態(tài)分類模型用于對超聲圖像進行模態(tài)分類，所述方法包括：

3、獲取第一超聲圖像數(shù)據集和第二超聲圖像數(shù)據集，其中，所述第一超聲圖像數(shù)據集中包括多個已標注模態(tài)類別的超聲圖像，所述第二超聲圖像數(shù)據集中包括多個未標注模態(tài)類別的超聲圖像；

4、初始化教師模態(tài)分類模型和學生模態(tài)分類模型；

5、利用所述第一超聲圖像數(shù)據集對所述教師模態(tài)分類模型進行多次迭代訓練至收斂；

6、利用收斂后的所述教師模態(tài)分類模型對所述第二超聲圖像數(shù)據集中每個超聲圖像進行標注，并將標注后的結果作為每個超聲圖像對應的標簽，以及將所述第二超聲圖像數(shù)據集中每個超聲圖像及其對應的標簽構成第二超聲圖像標注數(shù)據集；

7、將所述第一超聲圖像數(shù)據集和所述第二超聲圖像標注數(shù)據集構成目標超聲圖像數(shù)據集，并利用所述目標超聲圖像數(shù)據集對所述學生模態(tài)分類模型進行多次迭代訓練至收斂，以及將收斂后的所述學生模態(tài)分類模型作為所述模態(tài)分類模型。

8、在本技術的一些實施例中，所述第一超聲圖像數(shù)據集和所述第二超聲圖像數(shù)據集中的超聲圖像是按照病人id劃分方式對已有的多個超聲圖像進行劃分得到。

9、在本技術的一些實施例中，所述第一超聲圖像數(shù)據集中的超聲圖像采用如下方式進行標注：

10、獲取多個超聲圖像；

11、利用人工標注的方式對部分所述超聲圖像的模態(tài)類別進行標注，并基于標注后的結果構建數(shù)據集；

12、利用所述數(shù)據集對深度學習模型進行多次迭代訓練至收斂，并利用收斂后的所述深度學習模型對剩余部分超聲圖像的模態(tài)類別進行標注，再采用人工標注的方式對所述深度學習模型標注的每個超聲圖像的模態(tài)類別進行核查，以完成剩余部分超聲圖像的標注。

13、在本技術的一些實施例中，所述學生模態(tài)分類模型包括：

14、數(shù)據分割模塊，用于對所述目標超聲圖像數(shù)據集中每個超聲圖像進行分割處理，并將分割處理后的結果進行線性變換，得到每個超聲圖像對應的特征向量；

15、多個自注意力機制模塊，用于對每個超聲圖像對應的特征向量進行自注意力計算，以得到每個超聲圖像對應的注意力特征，其中，上一個自注意力機制模塊的輸出為下一個自注意力機制模塊的輸入，且每個自注意力機制模塊用于按照16x16的窗口大小對自身的輸入進行自注意力計算；

16、特征變換模塊，用于對最后一個所述自注意力機制模塊輸出的每個超聲圖像對應的注意力特征進行池化操作，以得到每個超聲圖像對應的中間特征；

17、模態(tài)分類模塊，用于基于每個超聲圖像對應的中間特征，得到每個超聲圖像對應的模態(tài)類別。

18、在本技術的一些實施例中，采用獨熱編碼方式對所述第一超聲圖像數(shù)據集和第二超聲圖像數(shù)據集中的每個超聲圖像的模態(tài)類別進行編碼，以完成標注。

19、在本技術的一些實施例中，在每次迭代訓練過程中按照交叉熵損失更新所述學生模態(tài)分類模型參數(shù)，且所述交叉熵損失為：

20、

21、其中，c為模態(tài)類別數(shù)，yi表示所述第二超聲圖像數(shù)據集中第i個超聲圖像對應的標簽中第i位二進制數(shù)，表示所述第二超聲圖像數(shù)據集中第i個超聲圖像對應的模態(tài)類別預測值。

22、本技術的第二方面提供了一種模態(tài)分類模型，所述模態(tài)分類模型用于對超聲圖像進行模態(tài)分類，所述模型包括：

23、數(shù)據分割模塊，用于對超聲圖像進行分割處理，并將分割處理后的結果進行線性變換，得到超聲圖像對應的特征向量；

24、多個自注意力機制模塊，用于對超聲圖像對應的特征向量進行自注意力計算，以得到超聲圖像對應的注意力特征，其中，上一個自注意力機制模塊的輸出為下一個自注意力機制模塊的輸入，且每個自注意力機制模塊用于按照16x16的窗口大小對自身的輸入進行自注意力計算；

25、特征變換模塊，用于對最后一個所述自注意力機制模塊輸出的超聲圖像對應的注意力特征進行池化操作，以得到超聲圖像對應的中間特征；

26、模態(tài)分類模塊，用于基于超聲圖像對應的中間特征，得到超聲圖像對應的模態(tài)類別。

27、本技術的第三方面提供了一種模態(tài)分類模型的應用方法，所述方法包括：

28、獲取乳腺結節(jié)超聲圖像；

29、利用上述實施例中所述的模態(tài)分類模型訓練基于所述乳腺結節(jié)超聲圖像，得到所述乳腺結節(jié)超聲圖像對應的模態(tài)類別。

30、本技術的第四方面提供了一種電子設備，包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運行的計算機程序，所述處理器執(zhí)行所述計算機程序時實現(xiàn)上述實施例中第一方面、第三方面任一項所述方法的步驟。

31、本技術的第五方面提供了一種計算機可讀存儲介質，其上存儲有程序指令，所述程序指令被處理器執(zhí)行時實現(xiàn)上述實施例中第一方面、第三方面任一項所述方法。

32、本技術有以下有益效果：本技術的模態(tài)分類模型的訓練方案通過利用少量標注的不同模態(tài)的超聲圖像對教師模態(tài)分類模型進行訓練，并利用訓練好的教師模態(tài)分類模型對大量的不同模態(tài)的超聲圖像進行標注，再將訓練教師模態(tài)分類模型的已標注的超聲圖像和教師模態(tài)分類模型標注的超聲圖像構成數(shù)據集對學生模態(tài)分類模型進行訓練。相比于現(xiàn)有的采用人工標注的方式對大量的不同模態(tài)的超聲圖像進行標注，本技術利用教師模態(tài)分類模型對大量不同模態(tài)超聲圖像的標注的方式提高了超聲圖像模態(tài)準確性，且利用教師模態(tài)分類模型標注的不同模態(tài)的超聲圖像對學生模態(tài)分類模型進行訓練，這種訓練方式將教師模態(tài)分類模型所學到的模式和知識通過偽標簽的形式傳遞給了學生模態(tài)分類模型，使得學生模態(tài)分類模型不需要從頭開始學習所有的模式，而是直接基于教師模態(tài)分類模型針對學習不同模態(tài)的超聲圖像給出的指導來進行更精準地學習，這使得學生模型可以更快地訓練的同時提高了模型的性能。