本申請(qǐng)涉及醫(yī)藥問(wèn)答領(lǐng)域，特別是涉及一種基于大語(yǔ)言模型的中藥問(wèn)答方法、裝置、設(shè)備及介質(zhì)。

背景技術(shù)：

1、大語(yǔ)言模型（large?language?models，llms）是一種采用大量文本數(shù)據(jù)進(jìn)行訓(xùn)練的深度學(xué)習(xí)模型，旨在理解和生成自然語(yǔ)言文本。這些模型通?；趖ransformer架構(gòu)，能夠捕捉語(yǔ)言的復(fù)雜性和多樣性，在生物醫(yī)藥領(lǐng)域的應(yīng)用日益廣泛，特別是在中藥領(lǐng)域，這些模型通過(guò)理解和生成自然語(yǔ)言文本，為中藥的研究、應(yīng)用和傳播帶來(lái)了諸多創(chuàng)新。目前，最常規(guī)的應(yīng)用是利用大模型來(lái)分析海量的中藥文獻(xiàn)、古籍、現(xiàn)代研究論文等文本數(shù)據(jù)，從中提取中藥的名稱(chēng)、性味歸經(jīng)、功效主治、用法用量、配伍禁忌等關(guān)鍵信息，構(gòu)建中藥知識(shí)庫(kù)。近期，一些研究人員開(kāi)發(fā)了名為cmlm-zhongjing的大模型用于中醫(yī)藥知識(shí)問(wèn)答和輔助診療。該大模型基于中醫(yī)婦科方藥表格數(shù)據(jù)，通過(guò)設(shè)置特定的prompt模板來(lái)生成15個(gè)場(chǎng)景的指令數(shù)據(jù)，最后通過(guò)大模型微調(diào)得到。然而，訓(xùn)練數(shù)據(jù)通常依賴(lài)于chatgpt?api（聊天應(yīng)用程序?qū)W習(xí)平臺(tái)）收集來(lái)構(gòu)建對(duì)齊數(shù)據(jù)集。依賴(lài)chatgpt?api可能會(huì)引入非專(zhuān)業(yè)或不準(zhǔn)確的信息，影響模型的性能和可靠性。此外，中藥大模型現(xiàn)有的評(píng)價(jià)指標(biāo)過(guò)于單一，大部分以主觀(guān)評(píng)價(jià)作為驗(yàn)證方式，嚴(yán)重限制了中藥大模型的評(píng)價(jià)準(zhǔn)確率。

技術(shù)實(shí)現(xiàn)思路

1、本申請(qǐng)的目的是提供一種基于大語(yǔ)言模型的中藥問(wèn)答方法、裝置、設(shè)備及介質(zhì)，可提高中藥問(wèn)答的準(zhǔn)確性和可靠性。

2、為實(shí)現(xiàn)上述目的，本申請(qǐng)?zhí)峁┝巳缦路桨福?/p>

3、第一方面，本申請(qǐng)?zhí)峁┝艘环N基于大語(yǔ)言模型的中藥問(wèn)答方法，所述基于大語(yǔ)言模型的中藥問(wèn)答方法包括：

4、構(gòu)建中藥知識(shí)數(shù)據(jù)庫(kù)；所述中藥知識(shí)數(shù)據(jù)庫(kù)包括從書(shū)籍文獻(xiàn)、網(wǎng)絡(luò)平臺(tái)及中藥數(shù)據(jù)集中獲取的多源中藥知識(shí)數(shù)據(jù)；

5、根據(jù)所述中藥知識(shí)數(shù)據(jù)庫(kù)生成無(wú)監(jiān)督數(shù)據(jù)和指令數(shù)據(jù)；所述指令數(shù)據(jù)的適用場(chǎng)景包括中藥知識(shí)庫(kù)、選擇題、閱讀理解、實(shí)體提取、醫(yī)案診斷及中藥或方劑推薦；

6、構(gòu)建baichuan2-7b-chat模型；所述baichuan2-7b-chat模型通過(guò)對(duì)transformer解碼器進(jìn)行改進(jìn)獲得，改進(jìn)方式包括：將transformer解碼器中的layernorm層替換為rmsnorm層，將transformer解碼器中的絕對(duì)位置編碼層替換為旋轉(zhuǎn)位置編碼層，將transformer解碼器中的relu激活函數(shù)替換為swiglu激活函數(shù)；

7、利用無(wú)監(jiān)督數(shù)據(jù)對(duì)baichuan2-7b-chat模型進(jìn)行無(wú)監(jiān)督的預(yù)訓(xùn)練，獲得預(yù)訓(xùn)練后的baichuan2-7b-chat模型；

8、利用無(wú)監(jiān)督數(shù)據(jù)和指令數(shù)據(jù)對(duì)預(yù)訓(xùn)練后的baichuan2-7b-chat模型進(jìn)行有監(jiān)督的訓(xùn)練，獲得訓(xùn)練好的baichuan2-7b-chat模型；

9、針對(duì)不同的適用場(chǎng)景設(shè)置驗(yàn)證指標(biāo)，采用驗(yàn)證指標(biāo)對(duì)訓(xùn)練好的baichuan2-7b-chat模型進(jìn)行驗(yàn)證；

10、利用驗(yàn)證通過(guò)的baichuan2-7b-chat模型進(jìn)行中藥問(wèn)答。

11、第二方面，本申請(qǐng)?zhí)峁┮环N基于大語(yǔ)言模型的中藥問(wèn)答裝置，所述中藥問(wèn)答裝置包括后端和前端；

12、所述前端用于與客戶(hù)交互；

13、所述后端用于采用上述的基于大語(yǔ)言模型的中藥問(wèn)答方法進(jìn)行問(wèn)答。

14、第三方面，一種計(jì)算機(jī)設(shè)備，包括：存儲(chǔ)器、處理器以及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序以實(shí)現(xiàn)上述的基于大語(yǔ)言模型的中藥問(wèn)答方法。

15、第四方面，一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述的基于大語(yǔ)言模型的中藥問(wèn)答方法。

16、第五方面，一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述的基于大語(yǔ)言模型的中藥問(wèn)答方法。

17、根據(jù)本申請(qǐng)?zhí)峁┑木唧w實(shí)施例，本申請(qǐng)公開(kāi)了以下技術(shù)效果：

18、本申請(qǐng)?zhí)峁┝艘环N基于大語(yǔ)言模型的中藥問(wèn)答方法、裝置、設(shè)備及介質(zhì)。本申請(qǐng)從書(shū)籍文獻(xiàn)、網(wǎng)絡(luò)平臺(tái)及中藥數(shù)據(jù)集中獲取多源中藥知識(shí)數(shù)據(jù)，構(gòu)建了適用不同場(chǎng)景的多元化的指令數(shù)據(jù)，克服了直接通過(guò)chatgpt?api（大模型）收集可能引入非專(zhuān)業(yè)或不準(zhǔn)確的信息，影響模型的性能和可靠性的缺陷，基于baichuan2-7b-chat（百川7b參數(shù)的基模型）進(jìn)行訓(xùn)練，得到用于中藥問(wèn)答的模型，實(shí)現(xiàn)了從預(yù)訓(xùn)練到指令微調(diào)的流程，根據(jù)不同的適用場(chǎng)景設(shè)置不同的驗(yàn)證指標(biāo)，對(duì)模型進(jìn)行驗(yàn)證，克服了單一的或主觀(guān)的評(píng)價(jià)指標(biāo)限制模型的評(píng)價(jià)準(zhǔn)確率的缺陷，本申請(qǐng)?zhí)岣吡酥兴巻?wèn)答的準(zhǔn)確性和可靠性。

技術(shù)特征：

1.一種基于大語(yǔ)言模型的中藥問(wèn)答方法，其特征在于，所述基于大語(yǔ)言模型的中藥問(wèn)答方法包括：

2.根據(jù)權(quán)利要求1所述的基于大語(yǔ)言模型的中藥問(wèn)答方法，其特征在于，利用無(wú)監(jiān)督數(shù)據(jù)對(duì)baichuan2-7b-chat模型進(jìn)行無(wú)監(jiān)督的預(yù)訓(xùn)練的過(guò)程中及利用無(wú)監(jiān)督數(shù)據(jù)和指令數(shù)據(jù)對(duì)預(yù)訓(xùn)練后的baichuan2-7b-chat模型進(jìn)行有監(jiān)督的訓(xùn)練的過(guò)程中使用的損失函數(shù)為：

3.根據(jù)權(quán)利要求1所述的基于大語(yǔ)言模型的中藥問(wèn)答方法，其特征在于，利用無(wú)監(jiān)督數(shù)據(jù)對(duì)baichuan2-7b-chat模型進(jìn)行無(wú)監(jiān)督的預(yù)訓(xùn)練的過(guò)程及利用無(wú)監(jiān)督數(shù)據(jù)和指令數(shù)據(jù)對(duì)預(yù)訓(xùn)練后的baichuan2-7b-chat模型進(jìn)行有監(jiān)督的訓(xùn)練的過(guò)程均采用基于deepspeed的分布式訓(xùn)練方式。

4.根據(jù)權(quán)利要求1所述的基于大語(yǔ)言模型的中藥問(wèn)答方法，其特征在于，在選擇題適用場(chǎng)景中，所述驗(yàn)證指標(biāo)為選擇答案的準(zhǔn)確率；

5.根據(jù)權(quán)利要求4所述的基于大語(yǔ)言模型的中藥問(wèn)答方法，其特征在于，選擇答案的準(zhǔn)確率的計(jì)算公式為：

6.根據(jù)權(quán)利要求4所述的基于大語(yǔ)言模型的中藥問(wèn)答方法，其特征在于，雙語(yǔ)評(píng)估指標(biāo)的計(jì)算公式為：

7.根據(jù)權(quán)利要求4所述的基于大語(yǔ)言模型的中藥問(wèn)答方法，其特征在于，

8.一種基于大語(yǔ)言模型的中藥問(wèn)答裝置，其特征在于，所述中藥問(wèn)答裝置包括后端和前端；

9.一種計(jì)算機(jī)設(shè)備，包括：存儲(chǔ)器、處理器以及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計(jì)算機(jī)程序以實(shí)現(xiàn)權(quán)利要求1-7中任一項(xiàng)所述的基于大語(yǔ)言模型的中藥問(wèn)答方法。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1-7中任一項(xiàng)所述的基于大語(yǔ)言模型的中藥問(wèn)答方法。

技術(shù)總結(jié)
本申請(qǐng)公開(kāi)了一種基于大語(yǔ)言模型的中藥問(wèn)答方法、裝置、設(shè)備及介質(zhì)，涉及醫(yī)藥問(wèn)答領(lǐng)域。該方法從書(shū)籍文獻(xiàn)、網(wǎng)絡(luò)平臺(tái)及中藥數(shù)據(jù)集中獲取多源中藥知識(shí)數(shù)據(jù)，構(gòu)建了適用不同場(chǎng)景的多元化的指令數(shù)據(jù)，克服了通過(guò)ChatGPT?API收集，可能會(huì)引入非專(zhuān)業(yè)或不準(zhǔn)確的信息，影響模型的性能和可靠性的缺陷，基于Baichuan2?7B?Chat模型進(jìn)行訓(xùn)練，得到用于中藥問(wèn)答的模型，實(shí)現(xiàn)了從PT到SFT的流程，根據(jù)不同的適用場(chǎng)景設(shè)置不同的驗(yàn)證指標(biāo)，對(duì)模型進(jìn)行驗(yàn)證，克服了單一的或主觀(guān)的評(píng)價(jià)指標(biāo)，限制模型評(píng)價(jià)準(zhǔn)確率的缺陷，本申請(qǐng)?zhí)岣吡酥兴巻?wèn)答的準(zhǔn)確性和可靠性。

技術(shù)研發(fā)人員：范驍輝,邵鑫,戴億鄭,張金露
受保護(hù)的技術(shù)使用者：浙江大學(xué)長(zhǎng)三角智慧綠洲創(chuàng)新中心
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/10