本發(fā)明涉及人工智能，尤其涉及基于記憶及檢索增強(qiáng)的患者大模型分類方法及系統(tǒng)。

背景技術(shù)：

1、在病人管理領(lǐng)域，對病人進(jìn)行精確分類的主要目標(biāo)是基于給定的病人信息(包括病情描述、檢查結(jié)果等)，自動將病人分配到適當(dāng)?shù)闹委熁蚬芾砺窂?。然而，目前使用的方法未能充分利用現(xiàn)有的知識資源，并且單一的分類模型在處理復(fù)雜病情時缺乏多維度的信息參考。

技術(shù)實現(xiàn)思路

1、基于背景技術(shù)存在的技術(shù)問題，本發(fā)明提出了基于記憶及檢索增強(qiáng)的患者大模型分類方法及系統(tǒng)，能夠根據(jù)病人的具體病情動態(tài)調(diào)整所使用的知識實例，從而顯著提高了病人分類的準(zhǔn)確性。

2、本發(fā)明提出的基于記憶及檢索增強(qiáng)的患者大模型分類方法，將當(dāng)前患者信息輸入到訓(xùn)練完成后的醫(yī)療大模型中，以輸出患者信息的分類結(jié)果；

3、所述醫(yī)療大模型的訓(xùn)練過程如下：

4、步驟一、獲取不同患者信息以構(gòu)建訓(xùn)練數(shù)據(jù)集，對訓(xùn)練數(shù)據(jù)集中的第i個數(shù)據(jù)通過檢索模塊檢索得到對應(yīng)的知識實例sn；

5、步驟二、將每個知識實例sn通過編碼器編碼得到知識實例的潛在表示，通過鍵矩陣和值矩陣將知識實例的潛在表示映射到鍵表示和值表示，以第i個數(shù)據(jù)的潛在表示作為查詢，基于鍵表示、值表示以及查詢之間的內(nèi)積計算第i個數(shù)據(jù)對應(yīng)知識實例的權(quán)重，并將知識實例的權(quán)重應(yīng)用到值表示上，得到第i個數(shù)據(jù)對應(yīng)的知識實例表示；

6、步驟三、將第i個數(shù)據(jù)輸入到大語言模型中，利用門控機(jī)制將第i個數(shù)據(jù)對應(yīng)的知識實例表示納入大語言模型的信息流中，從而輸出第i個數(shù)據(jù)的分類結(jié)果；基于所有數(shù)據(jù)的分類結(jié)果構(gòu)建損失函數(shù)，以調(diào)整醫(yī)療大模型中的可訓(xùn)練參數(shù)。

7、進(jìn)一步地，在步驟二中，第i個數(shù)據(jù)對應(yīng)的知識實例表示ai,s計算如下：

8、

9、

10、其中，pi,{n}表示第i個數(shù)據(jù)對應(yīng)知識實例的權(quán)重，表示第i個數(shù)據(jù)對應(yīng)的鍵表示，表示第i個數(shù)據(jù)對應(yīng)的值表示，hi,{x}表示第i個數(shù)據(jù)的潛在表示，*表示向量內(nèi)積操作，sn表示檢索到的知識實例。

11、進(jìn)一步地，在步驟三中，利用門控機(jī)制將第i個數(shù)據(jù)對應(yīng)的知識實例表示納入大語言模型的信息流中，具體為：

12、第i個數(shù)據(jù)通過大語言模型中的transformer層進(jìn)行編碼；

13、利用門控機(jī)制將知識實例表示納入標(biāo)準(zhǔn)transformer解碼過程中，基于門控機(jī)制的重置門平衡大語言模型中的信息和所納入的知識實例表示，最后一層transformer的輸出依次通過全連接層以及softmax分類器，輸出分類結(jié)果；

14、其中，在解碼過程中，對于第l層和第l+1層transformer之間的門控機(jī)制通過以下公式計算重置門：

15、

16、其中，表示第i個數(shù)據(jù)對應(yīng)的第l層重置門，sigma表示sigmoid函數(shù)，表示第l層transformer的輸出，和是第l層transformer的可訓(xùn)練參數(shù)，ai,s表示第i個數(shù)據(jù)對應(yīng)的知識實例表示。

17、進(jìn)一步地，基于門控機(jī)制的重置門平衡大語言模型中的信息和所納入的知識實例表示，具體為：

18、

19、其中，是第l層transformer的輸出；1是一個與重置門具有相同維度的矩陣，且所有值均為1，表示第l+1層transformer的輸入。

20、基于記憶及檢索增強(qiáng)的患者大模型分類系統(tǒng)，將當(dāng)前患者信息輸入到訓(xùn)練完成后的醫(yī)療大模型中，以輸出患者信息的分類結(jié)果；

21、所述醫(yī)療大模型的訓(xùn)練過程如下：

22、步驟一、獲取不同患者信息以構(gòu)建訓(xùn)練數(shù)據(jù)集，對訓(xùn)練數(shù)據(jù)集中的第i個數(shù)據(jù)通過檢索模塊檢索得到對應(yīng)的知識實例；

23、步驟二、將每個知識實例通過編碼器編碼得到知識實例的潛在表示，通過鍵矩陣和值矩陣將知識實例的潛在表示映射到鍵表示和值表示，以第i個數(shù)據(jù)的潛在表示作為查詢，基于鍵表示、值表示以及查詢之間的內(nèi)積計算第i個數(shù)據(jù)對應(yīng)知識實例的權(quán)重，并將知識實例的權(quán)重應(yīng)用到值表示上，得到第i個數(shù)據(jù)對應(yīng)的知識實例表示；

24、步驟三、將第i個數(shù)據(jù)輸入到大語言模型中，利用門控機(jī)制將第i個數(shù)據(jù)對應(yīng)的知識實例表示納入大語言模型的信息流中，從而輸出第i個數(shù)據(jù)的分類結(jié)果；基于所有數(shù)據(jù)的分類結(jié)果構(gòu)建損失函數(shù)，以調(diào)整醫(yī)療大模型中的可訓(xùn)練參數(shù)。

25、進(jìn)一步地，在步驟三中，利用門控機(jī)制將第i個數(shù)據(jù)對應(yīng)的知識實例表示納入大語言模型的信息流中，具體為：

26、第i個數(shù)據(jù)通過大語言模型中的transformer層進(jìn)行編碼；

27、利用門控機(jī)制將知識實例表示納入標(biāo)準(zhǔn)transformer解碼過程中，基于門控機(jī)制的重置門平衡大語言模型中的信息和所納入的知識實例表示，最后一層transformer的輸出依次通過全連接層以及softmax分類器，輸出分類結(jié)果；

28、其中，在解碼過程中，對于第l層和第l+1層transformer之間的門控機(jī)制通過以下公式計算重置門：

29、

30、其中，表示第l層重置門，sigma表示sigmoid函數(shù)，表示第l層transformer的輸出，和是第l層transformer的可訓(xùn)練參數(shù)，ai,s表示第i個數(shù)據(jù)對應(yīng)的知識實例表示；

31、進(jìn)一步地，基于門控機(jī)制的重置門平衡大語言模型中的信息和所納入的知識實例表示，具體為：

32、

33、其中，是第l層transformer的輸出，同時是l+1層transformer的輸入；1是一個與重置門具有相同維度的矩陣，且所有值均為1。

34、本發(fā)明提供的基于記憶及檢索增強(qiáng)的患者大模型分類方法及系統(tǒng)的優(yōu)點(diǎn)在于：本發(fā)明結(jié)構(gòu)中提供的基于記憶及檢索增強(qiáng)的患者大模型分類方法及系統(tǒng)，(1)提高病人分類的準(zhǔn)確性：本實施例通過使用記憶插件從知識庫中提取相關(guān)的知識實例，并結(jié)合對比學(xué)習(xí)優(yōu)化記憶插件的知識編碼和建模過程，使得llm能夠更好地利用新知識。與傳統(tǒng)的單一分類模型相比，本實施例能夠根據(jù)病人的具體病情動態(tài)調(diào)整所使用的知識實例，從而顯著提高了病人分類的準(zhǔn)確性；(2)提供個性化的治療建議：本發(fā)明在llm中引入了門控機(jī)制，使其能夠綜合加權(quán)后的知識實例生成分類結(jié)果。這不僅提高了醫(yī)療大模型的性能，還使其能夠根據(jù)病人的特定情況提供更加個性化的治療建議。相比于傳統(tǒng)方法，本實施例能夠更好地利用多維度的信息參考，從而在處理復(fù)雜病情時，提供更為有效和準(zhǔn)確的治療方案。

技術(shù)特征：

1.基于記憶及檢索增強(qiáng)的患者大模型分類方法，其特征在于，將當(dāng)前患者信息輸入到訓(xùn)練完成后的醫(yī)療大模型中，以輸出患者信息的分類結(jié)果；

2.根據(jù)權(quán)利要求1所述的基于記憶及檢索增強(qiáng)的患者大模型分類方法，其特征在于，在步驟二中，第i個數(shù)據(jù)對應(yīng)的知識實例表示ai,s計算如下：

3.根據(jù)權(quán)利要求1所述的基于記憶及檢索增強(qiáng)的患者大模型分類方法，其特征在于，在步驟三中，利用門控機(jī)制將第i個數(shù)據(jù)對應(yīng)的知識實例表示納入大語言模型的信息流中，具體為：

4.根據(jù)權(quán)利要求3所述的基于記憶及檢索增強(qiáng)的患者大模型分類方法，其特征在于，基于門控機(jī)制的重置門平衡大語言模型中的信息和所納入的知識實例表示，具體為：

5.基于記憶及檢索增強(qiáng)的患者大模型分類系統(tǒng)，其特征在于，將當(dāng)前患者信息輸入到訓(xùn)練完成后的醫(yī)療大模型中，以輸出患者信息的分類結(jié)果；

6.根據(jù)權(quán)利要求5所述的基于記憶及檢索增強(qiáng)的患者大模型分類系統(tǒng)，其特征在于，在步驟三中，利用門控機(jī)制將第i個數(shù)據(jù)對應(yīng)的知識實例表示納入大語言模型的信息流中，具體為：

7.根據(jù)權(quán)利要求6所述的基于記憶及檢索增強(qiáng)的患者大模型分類系統(tǒng)，其特征在于，基于門控機(jī)制的重置門平衡大語言模型中的信息和所納入的知識實例表示，具體為：

技術(shù)總結(jié)
本發(fā)明公開了基于記憶及檢索增強(qiáng)的患者大模型分類方法及系統(tǒng)，涉及人工智能技術(shù)領(lǐng)域，將當(dāng)前患者信息輸入到訓(xùn)練完成后的醫(yī)療大模型中，以輸出患者信息的分類結(jié)果；醫(yī)療大模型的訓(xùn)練過程如下：步驟一、獲取不同患者信息以構(gòu)建訓(xùn)練數(shù)據(jù)集，對訓(xùn)練數(shù)據(jù)集中的第i個數(shù)據(jù)通過檢索模塊檢索得到對應(yīng)的知識實例；步驟二、將每個知識實例通過記憶插件得到知識實例表示；步驟三、將第i個數(shù)據(jù)輸入到大語言模型中，利用門控機(jī)制將第i個數(shù)據(jù)對應(yīng)的知識實例表示納入大語言模型的信息流中，從而輸出第i個數(shù)據(jù)的分類結(jié)果；該患者大模型分類方法及系統(tǒng)，能夠根據(jù)病人的具體病情動態(tài)調(diào)整所使用的知識實例，從而顯著提高了病人分類的準(zhǔn)確性。

技術(shù)研發(fā)人員：唐朝亮,宋彥,田元賀
受保護(hù)的技術(shù)使用者：安徽省立醫(yī)院（中國科學(xué)技術(shù)大學(xué)附屬第一醫(yī)院）
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19