本發(fā)明涉及問答模型，具體涉及一種基于小樣本學(xué)習(xí)的執(zhí)醫(yī)考試輔導(dǎo)大模型精調(diào)方法及系統(tǒng)。

背景技術(shù)：

1、口腔執(zhí)業(yè)醫(yī)師考試，作為醫(yī)學(xué)領(lǐng)域的一項(xiàng)重要考核，其目的在于全面、客觀地評(píng)價(jià)申請(qǐng)口腔醫(yī)師資格者是否真正具備從事口腔醫(yī)學(xué)工作所必需的專業(yè)知識(shí)與技能?？谇粓?zhí)業(yè)醫(yī)師考試涵蓋了口腔醫(yī)學(xué)的多個(gè)方面，包括口腔疾病的診斷、治療、預(yù)防以及口腔頜面外科、口腔修復(fù)學(xué)、口腔正畸學(xué)等多個(gè)專業(yè)領(lǐng)域的知識(shí)?？忌枰到y(tǒng)掌握這些專業(yè)知識(shí)，并能夠熟練運(yùn)用到臨床實(shí)踐中，為患者提供高質(zhì)量的口腔醫(yī)療服務(wù)。

2、在口腔執(zhí)業(yè)醫(yī)師考試的筆試環(huán)節(jié)，共有600道選擇題需要考生在兩個(gè)半小時(shí)內(nèi)完成做答。這些題目涵蓋以下三方面內(nèi)容：(1)口腔醫(yī)學(xué)基礎(chǔ)理論知識(shí)：包括口腔解剖學(xué)、口腔生理學(xué)、口腔病理學(xué)等基礎(chǔ)知識(shí)。(2)口腔臨床知識(shí)：包括口腔內(nèi)科、口腔頜面外科、口腔修復(fù)科、口腔正畸科等臨床科目的診斷和治療知識(shí)。(3)醫(yī)學(xué)綜合知識(shí)：包括醫(yī)學(xué)微生物學(xué)、醫(yī)學(xué)免疫學(xué)、藥理學(xué)、醫(yī)學(xué)心理學(xué)、醫(yī)學(xué)倫理學(xué)、衛(wèi)生法規(guī)等。這些考試覆蓋的科目多、跨度大知識(shí)點(diǎn)細(xì)碎，而且考試時(shí)間短，因而通過該項(xiàng)考試難度極大。

3、為了通過筆試環(huán)節(jié)，考生大多通過參加線下輔導(dǎo)班或者做大量習(xí)題以提高分?jǐn)?shù)。但這種方式存在以下缺點(diǎn)，首先是參加線下輔導(dǎo)班或做大量習(xí)題需要考生投入大量的時(shí)間和精力。這種高強(qiáng)度的學(xué)習(xí)方式容易使考生感到疲憊，導(dǎo)致學(xué)習(xí)效率不高。其次，線下輔導(dǎo)班和習(xí)題集往往面向廣大考生，內(nèi)容設(shè)計(jì)較為寬泛，難以針對(duì)每個(gè)考生的具體情況進(jìn)行個(gè)性化教學(xué)。因此，考生難免會(huì)花費(fèi)大量時(shí)間在已掌握的內(nèi)容上，而忽略了自己未掌握薄弱環(huán)節(jié)。

4、近年來，大語言模型在各個(gè)領(lǐng)域都展現(xiàn)出強(qiáng)大的潛力，特別是在教育領(lǐng)域，能夠支持個(gè)性化教學(xué)模型已經(jīng)初露端倪。具體來說，通過現(xiàn)有大模型訓(xùn)練技術(shù)容易通過大量口腔專業(yè)書籍資料作為輸入數(shù)據(jù)，構(gòu)建出一個(gè)具備口腔知識(shí)的大預(yù)言模型。但該模型并不能很好的回答試題內(nèi)容。例如：讓模型在四個(gè)選項(xiàng)中進(jìn)行選擇，模型會(huì)給出錯(cuò)誤答案，但讓它進(jìn)一步分析試題時(shí)，它卻能給出正確分析。即現(xiàn)有模型雖然具備口腔知識(shí)，卻無法很好地應(yīng)用這些知識(shí)實(shí)現(xiàn)輔導(dǎo)。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)現(xiàn)有技術(shù)中的上述不足，本發(fā)明提供的基于小樣本學(xué)習(xí)的執(zhí)醫(yī)考試輔導(dǎo)大模型精調(diào)方法及系統(tǒng)解決了現(xiàn)有具備口腔知識(shí)的大預(yù)言模型回答問題準(zhǔn)確率低的問題。

2、為了達(dá)到上述發(fā)明目的，本發(fā)明采用的技術(shù)方案為：

3、第一方面，提供一種基于小樣本學(xué)習(xí)的執(zhí)醫(yī)考試輔導(dǎo)大模型精調(diào)方法，其包括步驟：

4、s1、獲取口腔知識(shí)考試試題，并采用詞嵌入將考試試題轉(zhuǎn)換為詞嵌入向量；

5、s2、對(duì)詞嵌入向量進(jìn)行聚類，并計(jì)算每個(gè)詞嵌入向量與聚類中心的注意力得分，選取注意力得分滿足預(yù)設(shè)條件的詞嵌入向量作為數(shù)據(jù)集；

6、s3、采用數(shù)據(jù)集對(duì)執(zhí)醫(yī)考試輔導(dǎo)大模型進(jìn)行訓(xùn)練，并存儲(chǔ)訓(xùn)練過程中適配器的權(quán)重，所述執(zhí)醫(yī)考試輔導(dǎo)大模型由嵌入適配器的transformer層組成；

7、s4、根據(jù)權(quán)重的重要性指標(biāo)和剪枝閾值，對(duì)適配器的權(quán)重進(jìn)行剪枝操作，之后對(duì)剪枝前后的執(zhí)醫(yī)考試輔導(dǎo)大模型進(jìn)行推理測(cè)試，得到剪枝前后的推理時(shí)間和測(cè)試得分；

8、s5、根據(jù)剪枝前后的推理時(shí)間和測(cè)試得分，計(jì)算剪枝前后執(zhí)醫(yī)考試輔導(dǎo)大模型的準(zhǔn)確率下降指標(biāo)和加速性能指標(biāo)；

9、s6、判斷準(zhǔn)確率下降指標(biāo)和加速性能指標(biāo)或者剪枝次數(shù)是否滿足對(duì)應(yīng)的預(yù)設(shè)條件，若是，得到精調(diào)后的執(zhí)醫(yī)考試輔導(dǎo)大模型，否則進(jìn)入步驟s7；

10、s7、根據(jù)準(zhǔn)確率下降指標(biāo)和加速性能指標(biāo)更新剪枝閾值，之后返回步驟s4。

11、進(jìn)一步地，對(duì)適配器的權(quán)重進(jìn)行剪枝操作的表達(dá)式為：

12、

13、

14、其中，ws為剪枝后的權(quán)重矩陣；m為稀疏矩陣；w為剪枝前的權(quán)重矩陣；m和n分別為適配器的權(quán)重矩陣的總行數(shù)和總列數(shù)；wde為適配器的權(quán)重矩陣中第d行e列的權(quán)重參數(shù)；wde_matic為wde的重要性指標(biāo)；therholdinit為剪枝閾值；wd為適配器的權(quán)重矩陣中第d行的權(quán)重參數(shù)；wde_f為在第f個(gè)詞嵌入向量時(shí)權(quán)重參數(shù)的值；f為數(shù)據(jù)集中詞嵌入向量的總個(gè)數(shù)。

15、進(jìn)一步地，計(jì)算準(zhǔn)確率下降指標(biāo)和加速性能指標(biāo)的表達(dá)式為：

16、

17、

18、其中，為準(zhǔn)確率下降指標(biāo)；和分別為執(zhí)醫(yī)考試輔導(dǎo)大模型剪枝前和剪枝后的測(cè)試分?jǐn)?shù)；和分別為執(zhí)醫(yī)考試輔導(dǎo)大模型剪枝前和剪枝后的推理時(shí)間；為加速性能指標(biāo)。

19、進(jìn)一步地，更新剪枝閾值的表達(dá)式為：

20、

21、其中，thersholdupdate和thersholdinit分別為更新后和更新前的剪枝閾值；a和b均為權(quán)重系數(shù)。

22、進(jìn)一步地，所述transformer層包括依次連接的嵌入層、多頭注意力、前饋層和適配器及依次連接的層歸一化、2個(gè)前饋層、適配器和歸一化層，所述嵌入層的輸出和與其鄰近的適配器的輸出疊加后輸入層歸一化；所述適配器與隱藏層之間設(shè)置有dropout層；

23、所述適配器包括輸入層和輸出層，所述輸入層和輸出層之間設(shè)置有若干隱藏層，所述隱藏層通過若干線性變換和非線性激活函數(shù)將輸入特征映射到高維度的表示空間，并產(chǎn)生最終的輸出。

24、進(jìn)一步地，多頭注意力對(duì)嵌入層的輸出進(jìn)行處理的表達(dá)式為：

25、

26、其中，z為嵌入層的輸出；wq、wk、wv、wo均為transformer層權(quán)重矩陣；dh為wk的維度；gm為掩碼矩陣；softmax(.)為softmax函數(shù)；q為多頭注意力的第q個(gè)頭；t為轉(zhuǎn)置；

27、前饋層對(duì)輸入其的特征向量進(jìn)行處理的表達(dá)式為：

28、fnn(o)＝wdrelu(wuo)

29、其中，o為輸入前饋層的特征向量；wuo為o通過線性變換得到的中間表示；wu為輸入層到隱藏層的權(quán)重矩陣；relu為修正線性單元；fnn(o)為經(jīng)過relu激活函數(shù)后的中間表示通過線性變換得到的最終輸出；wd為隱藏層到輸出層的權(quán)重矩陣；

30、層歸一化對(duì)輸入其的特征向量進(jìn)行處理的表達(dá)式為：

31、

32、其中，layernorm(p)為層歸一化的輸出；p為輸入層歸一化的特征向量；μ和σ分別為p的均值和標(biāo)準(zhǔn)差；γ和β分別為可學(xué)習(xí)的縮放因子和偏置項(xiàng)；

33、適配器對(duì)輸入其的特征向量進(jìn)行處理的表達(dá)式為：

34、adapter(t)＝dropout(w2·(relu(w1·t)))

35、其中，adapter(t)為適配器的輸出；t為輸入適配器的特征向量；w1和w2分別為適配器的兩個(gè)線性變換的權(quán)重矩陣；dropout為dropout操作。

36、進(jìn)一步地，采用數(shù)據(jù)集對(duì)執(zhí)醫(yī)考試輔導(dǎo)大模型進(jìn)行訓(xùn)練前，需凍結(jié)transformer層中非適配器部分的權(quán)重信息，訓(xùn)練過程中僅更新適配器的權(quán)重。

37、進(jìn)一步地，對(duì)詞嵌入向量進(jìn)行聚類的方法包括：

38、a1、在所有詞嵌入向量中隨機(jī)選取k個(gè)聚類中心，并進(jìn)行k-means聚類：

39、

40、其中，μj為k-means選擇的第j個(gè)聚類中心；ci為詞嵌入向量xi到簇的索引；||xi-μj||2為詞嵌入向量xi到μj的歐氏距離的平方；

41、a2、計(jì)算每個(gè)簇內(nèi)所有詞嵌入向量的均值作為新的聚類中心：

42、

43、其中，\cj\為簇cj的數(shù)據(jù)點(diǎn)數(shù)量；為新的聚類中心；

44、a3、判斷當(dāng)前每個(gè)簇的聚類中心與其上一次聚類時(shí)的聚類中心的變化是否小于預(yù)設(shè)閾值，若是，完成聚類，否則，更新并返回步驟a1。

45、計(jì)算每個(gè)詞嵌入向量與聚類中心的注意力得分的方法包括：

46、b1、計(jì)算每個(gè)詞嵌入向量和聚類中心的余弦相似度：

47、

48、其中，sji為詞嵌入向量xi和簇cj的聚類中心μj的余弦相似度；||·||為向量的歐幾里得范數(shù)；

49、b2、根據(jù)余弦相似度，計(jì)算每個(gè)詞嵌入向量的注意力得分：

50、

51、其中，aij為xi相對(duì)于聚類中心μj的注意力得分；ski為xi與聚類中心μk的余弦相似度，k為變量，1≤k≤k，exp(.)為自然指數(shù)函數(shù)。

52、進(jìn)一步地，選取注意力得分滿足預(yù)設(shè)條件的詞嵌入向量作為數(shù)據(jù)集的方法包括：

53、c1、對(duì)每個(gè)簇中的詞嵌入向量按照其注意力等分進(jìn)行降序排序，選取每個(gè)簇中注意力得分最高的詞嵌入向量；

54、c2、對(duì)選取的所有詞嵌入向量按照其注意力得分進(jìn)行降序排序，選取預(yù)設(shè)數(shù)量注意力得分最高的詞嵌入向量構(gòu)成數(shù)據(jù)集。

55、第二方面，提供一種基于小樣本學(xué)習(xí)的執(zhí)醫(yī)考試輔導(dǎo)大模型精調(diào)系統(tǒng)，其包括依次連接的詞嵌入模塊、口腔試題小樣本抽取組件和輕量化模型微調(diào)組件，所述輕量化模型微調(diào)組件包括依次連接的大模型訓(xùn)練模塊、剪枝及推理測(cè)試模塊、指標(biāo)計(jì)算模塊、判斷模塊和閾值更新模塊；

56、詞嵌入模塊用于獲取口腔知識(shí)考試試題，并采用詞嵌入將考試試題轉(zhuǎn)換為詞嵌入向量；

57、口腔試題小樣本抽取組件用于對(duì)詞嵌入向量進(jìn)行聚類，并計(jì)算每個(gè)詞嵌入向量與聚類中心的注意力得分，選取注意力得分滿足預(yù)設(shè)條件的詞嵌入向量作為數(shù)據(jù)集；

58、大模型訓(xùn)練模塊用于采用數(shù)據(jù)集對(duì)執(zhí)醫(yī)考試輔導(dǎo)大模型進(jìn)行訓(xùn)練，并存儲(chǔ)訓(xùn)練過程中適配器的權(quán)重，所述執(zhí)醫(yī)考試輔導(dǎo)大模型由嵌入適配器的transformer層組成；

59、剪枝及推理測(cè)試模塊用于根據(jù)權(quán)重的重要性指標(biāo)和剪枝閾值，對(duì)適配器的權(quán)重進(jìn)行剪枝操作，之后對(duì)剪枝前后的執(zhí)醫(yī)考試輔導(dǎo)大模型進(jìn)行推理測(cè)試，得到剪枝前后的推理時(shí)間和測(cè)試得分；

60、指標(biāo)計(jì)算模塊用于根據(jù)剪枝前后的推理時(shí)間和測(cè)試得分，計(jì)算剪枝前后執(zhí)醫(yī)考試輔導(dǎo)大模型的準(zhǔn)確率下降指標(biāo)和加速性能指標(biāo)；

61、判斷模塊用于判斷準(zhǔn)確率下降指標(biāo)和加速性能指標(biāo)或者剪枝次數(shù)是否滿足對(duì)應(yīng)的預(yù)設(shè)條件，若是，得到精調(diào)后的執(zhí)醫(yī)考試輔導(dǎo)大模型，否則進(jìn)入閾值更新模塊；

62、閾值更新模塊用于根據(jù)準(zhǔn)確率下降指標(biāo)和加速性能指標(biāo)更新剪枝閾值，之后返回剪枝及推理測(cè)試模塊。

63、本發(fā)明的有益效果為：本方案在進(jìn)行小樣本提取時(shí)，基于聚類和注意力得分的應(yīng)用，不僅從海量數(shù)據(jù)中找出了最具代表性的樣本數(shù)據(jù)，同時(shí)，運(yùn)用注意力機(jī)制關(guān)注到了每一類樣本中的關(guān)鍵信息，利用這些關(guān)鍵信息更好地選出代表性的樣本，大大降低了樣本抽取的標(biāo)注成本。樣本抽取時(shí)，抽取出具有代表性的少量口腔試題進(jìn)行后續(xù)的微調(diào)，這不僅大大減少了人力篩選試題的成本，同時(shí)提高了模型對(duì)不同數(shù)據(jù)的泛化能力和訓(xùn)練效率。

64、本方案在對(duì)模型進(jìn)行精調(diào)時(shí)，通過輕量化操作(剪枝操作)降低了模型的參數(shù)量，提高了數(shù)據(jù)和模型的效率，同時(shí)具有廣泛的適用性，使得模型更加輕便，便于部署和應(yīng)用。此外，在剪枝過程通過多次循環(huán)迭代，持續(xù)更新剪枝閾值，能夠找到兼顧準(zhǔn)確率和推理速度的優(yōu)異模型。