本發(fā)明涉及人工智能，具體涉及一種基于大模型的命題考題難度評(píng)估方法及系統(tǒng)。

背景技術(shù)：

1、在人才考試測(cè)評(píng)體系中，基于大模型的命題考題難度評(píng)估方法引起了廣泛關(guān)注。通過(guò)應(yīng)用先進(jìn)的機(jī)器學(xué)習(xí)技術(shù)，尤其是大規(guī)模預(yù)訓(xùn)練模型（如gpt等），自動(dòng)評(píng)估考題難度成為可能。這種方法的核心在于利用大量已標(biāo)記的試題數(shù)據(jù)進(jìn)行模型訓(xùn)練，使其能夠識(shí)別并學(xué)習(xí)與考題難度相關(guān)的特征，從而對(duì)新試題進(jìn)行預(yù)測(cè)。

2、然而，該方法在實(shí)際應(yīng)用中面臨以下幾個(gè)關(guān)鍵問(wèn)題：多因素難度影響：試題難度不僅取決于知識(shí)點(diǎn)的復(fù)雜性，還與解題技巧的要求、試題的邏輯結(jié)構(gòu)、語(yǔ)言表述的清晰度等多種因素密切相關(guān)，這些因素往往在大模型的訓(xùn)練數(shù)據(jù)中并未充分量化和表達(dá)，導(dǎo)致模型在評(píng)估復(fù)雜性較高的考題時(shí)，可能無(wú)法準(zhǔn)確捕捉這些細(xì)微差異；數(shù)據(jù)標(biāo)注的一致性和代表性：模型訓(xùn)練依賴(lài)于大量已標(biāo)記的試題數(shù)據(jù)，這些數(shù)據(jù)的質(zhì)量和一致性對(duì)模型的評(píng)估能力至關(guān)重要。

3、現(xiàn)實(shí)中標(biāo)記難度等級(jí)的過(guò)程往往存在主觀性和不一致性，特別是在不同文化背景下，難度的定義可能存在差異，這可能導(dǎo)致模型評(píng)估結(jié)果的不穩(wěn)定性和代表性不足；雖然大模型在處理常見(jiàn)試題類(lèi)型時(shí)表現(xiàn)優(yōu)異，但面對(duì)具有創(chuàng)新性或非常規(guī)結(jié)構(gòu)的考題時(shí)，其評(píng)估能力可能受到限制。模型能否在不同領(lǐng)域或?qū)W科的試題中保持一致的評(píng)估效果，是當(dāng)前研究的一大挑戰(zhàn)；大規(guī)模預(yù)訓(xùn)練模型通常需要高昂的計(jì)算資源來(lái)進(jìn)行訓(xùn)練和推理。對(duì)于大規(guī)模試題庫(kù)的實(shí)時(shí)難度評(píng)估，這可能會(huì)帶來(lái)性能和成本方面的瓶頸。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于提供一種基于大模型的命題考題難度評(píng)估方法及系統(tǒng)，解決現(xiàn)有技術(shù)主要因?yàn)樵囶}的難度受到多種因素的影響，包括但不限于知識(shí)點(diǎn)的復(fù)雜度、解題技巧的要求以及語(yǔ)言表述的清晰度等，而這些因素在現(xiàn)有的大模型中可能難以被精確捕捉和量化，因此不能準(zhǔn)確地利用大模型對(duì)命題考題的難度進(jìn)行評(píng)估的問(wèn)題。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：一種基于大模型的命題考題難度評(píng)估方法，所述方法包括如下步驟：

3、s1：獲取命題考題及其對(duì)應(yīng)的參考答案；

4、s2：基于預(yù)訓(xùn)練的大語(yǔ)言模型對(duì)命題考題進(jìn)行解析并生成解析結(jié)果；

5、s3：比較解析結(jié)果與參考答案的一致性程度,確定命題考題的難度等級(jí)；

6、其中，所述步驟s3包括：

7、解析結(jié)果和參考答案進(jìn)行分詞處理，并分別將解析結(jié)果和參考答案轉(zhuǎn)化為序列；

8、通過(guò)對(duì)比兩個(gè)序列中的元素，計(jì)算兩個(gè)序列的距離矩陣，距離矩陣的計(jì)算公式為：

9、，

10、其中，表示從解析結(jié)果序列中的第i個(gè)詞匯到參考答案序列中第j個(gè)詞匯的累計(jì)最小對(duì)齊距離，表示解析結(jié)果序列中的第i個(gè)詞匯和參考答案序列中第j個(gè)詞匯之間的距離，i,j分別表示解析結(jié)果序列和參考答案序列的索引；

11、通過(guò)上述計(jì)算，可以獲得從矩陣左上角d(1,1)到右下角d(m,n)的最小對(duì)齊路徑，其中，m和n分別表示解析結(jié)果序列和參考答案序列的長(zhǎng)度；

12、根據(jù)距離d(m,n)的大小，劃分命題考題難度。

13、優(yōu)選的，所述步驟s1中獲取命題考題及其對(duì)應(yīng)的參考答案具體包括：

14、s11：從數(shù)據(jù)庫(kù)中檢索命題考題；

15、s12：基于命題考題的標(biāo)識(shí)符提取對(duì)應(yīng)的參考答案；

16、s13：對(duì)命題考題進(jìn)行格式化處理以確保其符合大語(yǔ)言模型輸入的要求；

17、s14：將格式化后的命題考題及其對(duì)應(yīng)的參考答案存儲(chǔ)至臨時(shí)緩存區(qū)。

18、優(yōu)選的，所述步驟s12基于命題考題的標(biāo)識(shí)符提取對(duì)應(yīng)的參考答案具體包括：

19、構(gòu)建命題考題標(biāo)識(shí)符與參考答案之間的映射關(guān)系表；

20、基于命題考題的標(biāo)識(shí)符查詢(xún)映射關(guān)系表以獲得對(duì)應(yīng)的參考答案；

21、如果查詢(xún)結(jié)果為空，則認(rèn)為該命題考題沒(méi)有對(duì)應(yīng)的參考答案；

22、如果查詢(xún)結(jié)果不為空，則將查詢(xún)到的參考答案作為后續(xù)處理的對(duì)象；

23、其中，所述構(gòu)建命題考題標(biāo)識(shí)符與參考答案之間的映射關(guān)系表包括：

24、收集命題考題及其對(duì)應(yīng)的參考答案，并為每個(gè)命題考題分配唯一的標(biāo)識(shí)符；

25、基于命題考題的唯一標(biāo)識(shí)符建立與參考答案的關(guān)聯(lián)；

26、判斷命題考題的唯一標(biāo)識(shí)符是否已經(jīng)存在于映射關(guān)系表中，如果不存在，則添加該映射關(guān)系；

27、如果存在，則更新該映射關(guān)系表中的參考答案。

28、優(yōu)選的，所述判斷命題考題的唯一標(biāo)識(shí)符是否已經(jīng)存在于映射關(guān)系表中具體包括：

29、遍歷映射關(guān)系表中的所有記錄；

30、如果發(fā)現(xiàn)與當(dāng)前命題考題的唯一標(biāo)識(shí)符相同的記錄，則認(rèn)為該標(biāo)識(shí)符已存在；

31、如果遍歷結(jié)束后未發(fā)現(xiàn)相同的記錄，則認(rèn)為該標(biāo)識(shí)符不存在；

32、如果標(biāo)識(shí)符不存在，則執(zhí)行添加操作；如果標(biāo)識(shí)符存在，則執(zhí)行更新操作；

33、其中，所述執(zhí)行添加操作具體包括：

34、創(chuàng)建一個(gè)新的記錄，包含命題考題的唯一標(biāo)識(shí)符和對(duì)應(yīng)的參考答案；

35、將新創(chuàng)建的記錄添加到映射關(guān)系表中；

36、更新映射關(guān)系表的版本號(hào)以反映最新的更改；

37、執(zhí)行一致性檢查以確保添加操作成功。

38、優(yōu)選的，所述s2中基于預(yù)訓(xùn)練的大語(yǔ)言模型對(duì)所述命題考題進(jìn)行解析并生成解析結(jié)果的具體步驟包括：

39、s21：將所述命題考題輸入至預(yù)訓(xùn)練的大語(yǔ)言模型中；

40、s22：基于所述大語(yǔ)言模型的內(nèi)部語(yǔ)言結(jié)構(gòu)分析機(jī)制，提取命題考題的關(guān)鍵信息；

41、s23：利用公式化的方法計(jì)算關(guān)鍵信息的相關(guān)性得分，其中相關(guān)性得分r由命題考題中關(guān)鍵詞出現(xiàn)的頻率f和位置權(quán)重w決定，即r=f×w；

42、s24：根據(jù)所述關(guān)鍵信息生成初步解析結(jié)果。

43、優(yōu)選的，所述基于所述大語(yǔ)言模型的內(nèi)部語(yǔ)言結(jié)構(gòu)分析機(jī)制，提取命題考題的關(guān)鍵信息的步驟包括：

44、對(duì)命題考題進(jìn)行分詞處理，得到命題考題的基本詞匯單元；

45、基于所述大語(yǔ)言模型的語(yǔ)義理解能力，識(shí)別命題考題中的實(shí)體和概念；

46、利用公式化的方法判斷實(shí)體或概念的重要性，其中重要性i由實(shí)體或概念在領(lǐng)域知識(shí)庫(kù)中的出現(xiàn)頻率f和命題考題中的位置p決定，即i=f+p；

47、篩選出命題考題中的關(guān)鍵實(shí)體和概念。

48、優(yōu)選的，所述利用公式化的方法判斷實(shí)體或概念的重要性，其中重要性i由實(shí)體或概念在領(lǐng)域知識(shí)庫(kù)中的出現(xiàn)頻率f和命題考題中的位置p決定，即i?=f+p具體包括：

49、查詢(xún)領(lǐng)域知識(shí)庫(kù)以獲取實(shí)體或概念的出現(xiàn)頻率f；

50、根據(jù)命題考題中實(shí)體或概念的位置，賦予不同的位置權(quán)重p；

51、基于所述出現(xiàn)頻率f和位置權(quán)重p計(jì)算重要性i；

52、如果重要性i大于預(yù)定閾值t，則認(rèn)為該實(shí)體或概念是關(guān)鍵信息。

53、優(yōu)選的，所述如果重要性i大于預(yù)定閾值t，則認(rèn)為該實(shí)體或概念是關(guān)鍵信息具體包括：

54、比較計(jì)算出的重要性i與預(yù)定閾值t；

55、如果i>t，則將該實(shí)體或概念標(biāo)記為關(guān)鍵信息；

56、如果i≤t，則忽略該實(shí)體或概念；

57、收集所有被標(biāo)記為關(guān)鍵信息的實(shí)體或概念；

58、其中，所述收集所有被標(biāo)記為關(guān)鍵信息的實(shí)體或概念具體包括：

59、對(duì)所有被標(biāo)記為關(guān)鍵信息的實(shí)體或概念進(jìn)行匯總；

60、利用公式化的方法統(tǒng)計(jì)關(guān)鍵信息的數(shù)量n；

61、如果數(shù)量n超過(guò)預(yù)設(shè)的基準(zhǔn)數(shù)量b，則增加命題考題的難度等級(jí)；

62、如果數(shù)量n不超過(guò)預(yù)設(shè)的基準(zhǔn)數(shù)量b，則保持命題考題的難度等級(jí)不變。

63、優(yōu)選的，所述步驟s3具體包括：

64、對(duì)于獲取的命題考題和參考答案，首先使用預(yù)訓(xùn)練的大語(yǔ)言模型生成每個(gè)命題考題和參考答案的語(yǔ)義向量表示，設(shè)定命題考題為q，對(duì)應(yīng)的參考答案為a，解析結(jié)果為r，則生成的語(yǔ)義向量分別表示為向量vq、va和vr；

65、基于生成的語(yǔ)義向量，計(jì)算解析結(jié)果r與參考答案a之間的相似度，使用余弦相似度公式進(jìn)行計(jì)算。余弦相似度的計(jì)算公式為：

66、，

67、其中表示向量vr和va的點(diǎn)積，和分別為向量vr和va的模；

68、評(píng)估解析結(jié)果與參考答案在多個(gè)維度上的一致性，結(jié)合上述多個(gè)維度，使用加權(quán)平均法或其他綜合評(píng)分方法計(jì)算綜合一致性得分，綜合一致性得分st的計(jì)算公式為：

69、st=ws×ss+wg×sg+wl×sl+wc×sc，其中，ss為語(yǔ)義相似度得分，sg為語(yǔ)義一致性得分，sl為邏輯一致性得分，sc為內(nèi)容一致性得分，ws、wg、wl和wc為各個(gè)維度得分的權(quán)重系數(shù)，滿(mǎn)足ws+wg+wl+wc=1；

70、最后，基于綜合一致性得分st，對(duì)命題考題進(jìn)行難度等級(jí)的評(píng)估，設(shè)置難度等級(jí)，“簡(jiǎn)單”、“中等”、“困難”，并為每個(gè)等級(jí)設(shè)定相應(yīng)的得分范圍，

71、如果st≥0.85，則評(píng)估命題考題為“簡(jiǎn)單”；

72、如果0.70≤st<0.85，則評(píng)估為“中等”；

73、如果st<0.70，則評(píng)估為“困難”。

74、一種基于大模型的命題考題難度評(píng)估系統(tǒng)，采用所述的基于大模型的命題考題難度評(píng)估方法，所述系統(tǒng)包括：

75、輸入模塊，該輸入模塊用于獲取命題考題及其對(duì)應(yīng)的參考答案；

76、大語(yǔ)言模型解析模塊，該大語(yǔ)言模型解析模塊用于基于預(yù)訓(xùn)練的大語(yǔ)言模型對(duì)命題考題進(jìn)行解析并生成解析結(jié)果；

77、比較模塊，該比較模塊用于比較解析結(jié)果與參考答案的一致性程度，確定命題考題的難度等級(jí)。

78、由上述技術(shù)方案可知，本發(fā)明具有如下有益效果：

79、該基于大模型的命題考題難度評(píng)估方法及系統(tǒng)，通過(guò)獲取命題考題及其對(duì)應(yīng)的參考答案，基于預(yù)訓(xùn)練的大語(yǔ)言模型對(duì)命題考題進(jìn)行解析并生成解析結(jié)果，比較解析結(jié)果與參考答案的一致性程度,確定命題考題的難度等級(jí)，能夠更加準(zhǔn)確地捕捉試題中的多種難度影響因素，提升評(píng)估的準(zhǔn)確性和適用性，通過(guò)優(yōu)化模型的訓(xùn)練數(shù)據(jù)標(biāo)注、增強(qiáng)對(duì)多維度難度特征的學(xué)習(xí)能力，以及提高模型的泛化能力，在自動(dòng)化、精確性和實(shí)用性之間取得平衡，實(shí)現(xiàn)對(duì)各類(lèi)考題的高效難度評(píng)估，解決了現(xiàn)有技術(shù)主要因?yàn)樵囶}的難度受到多種因素的影響，包括但不限于知識(shí)點(diǎn)的復(fù)雜度、解題技巧的要求以及語(yǔ)言表述的清晰度等，而這些因素在現(xiàn)有的大模型中可能難以被精確捕捉和量化，因此不能準(zhǔn)確地利用大模型對(duì)命題考題的難度進(jìn)行評(píng)估的問(wèn)題。