本發(fā)明涉及深度學(xué)習(xí)?，尤其涉及一種基于視覺(jué)語(yǔ)言模型的電路習(xí)題分類方法、裝置及電子設(shè)備。

背景技術(shù)：

1、在教育領(lǐng)域，特別是在教師教學(xué)和學(xué)生學(xué)習(xí)的過(guò)程中，電路習(xí)題的知識(shí)點(diǎn)分類是非常重要的，然而，由于電路知識(shí)的高度專業(yè)性和電路題目的復(fù)雜性，識(shí)別和分類電路習(xí)題的知識(shí)點(diǎn)成為一項(xiàng)繁瑣且費(fèi)時(shí)的任務(wù)。

2、受限于訓(xùn)練數(shù)據(jù)，國(guó)際最強(qiáng)的通用多模態(tài)模型gpt4v、claude3均無(wú)法針對(duì)電路學(xué)科的圖像進(jìn)行知識(shí)點(diǎn)的分類。

3、因此，如何解決現(xiàn)有技術(shù)無(wú)法針對(duì)電路習(xí)題進(jìn)行快速且準(zhǔn)確的分類問(wèn)題，是深度學(xué)習(xí)領(lǐng)域亟待解決的重要課題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供一種基于視覺(jué)語(yǔ)言模型的電路習(xí)題分類方法、裝置及電子設(shè)備，用以克服現(xiàn)有技術(shù)無(wú)法針對(duì)電路習(xí)題進(jìn)行快速且準(zhǔn)確的分類的缺陷，實(shí)現(xiàn)電路習(xí)題的快速、準(zhǔn)確分類。

2、一方面，本發(fā)明提供基于視覺(jué)語(yǔ)言模型的電路習(xí)題分類方法，包括：獲取待進(jìn)行分類的電路習(xí)題；基于預(yù)先訓(xùn)練的視覺(jué)語(yǔ)言模型，預(yù)測(cè)得到所述電路習(xí)題對(duì)應(yīng)的知識(shí)點(diǎn)類別；其中，所述視覺(jué)語(yǔ)言模型基于預(yù)訓(xùn)練模型根據(jù)題圖及其對(duì)應(yīng)的知識(shí)點(diǎn)標(biāo)簽構(gòu)成的訓(xùn)練樣本數(shù)據(jù)集進(jìn)行微調(diào)得到。

3、進(jìn)一步地，微調(diào)所述視覺(jué)語(yǔ)言模型，具體包括：收集來(lái)自不同分布域的原始習(xí)題集；對(duì)所述原始習(xí)題集進(jìn)行預(yù)處理，得到訓(xùn)練樣本數(shù)據(jù)集，所述訓(xùn)練樣本數(shù)據(jù)集中每一個(gè)訓(xùn)練樣本均包括題圖及其對(duì)應(yīng)的知識(shí)點(diǎn)標(biāo)簽，所述題圖包括題干和配圖；將所述訓(xùn)練樣本數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集；根據(jù)所述訓(xùn)練集、驗(yàn)證集和測(cè)試集，分別對(duì)所述預(yù)訓(xùn)練模型進(jìn)行微調(diào)和測(cè)試，得到預(yù)先訓(xùn)練的視覺(jué)語(yǔ)言模型。

4、進(jìn)一步地，所述對(duì)所述原始習(xí)題集進(jìn)行預(yù)處理，得到訓(xùn)練樣本數(shù)據(jù)集，包括：將所述原始習(xí)題集轉(zhuǎn)換為可編輯文本，并從所述可編輯文本中提取出電路原理習(xí)題；根據(jù)所述電路原理習(xí)題，從預(yù)存知識(shí)點(diǎn)庫(kù)中匹配對(duì)應(yīng)的知識(shí)點(diǎn)標(biāo)簽，以得到所述訓(xùn)練樣本數(shù)據(jù)集。

5、進(jìn)一步地，所述預(yù)存知識(shí)點(diǎn)庫(kù)至少包括二級(jí)知識(shí)點(diǎn)和三級(jí)知識(shí)點(diǎn)；其中，所述二級(jí)知識(shí)點(diǎn)下包含多個(gè)三級(jí)知識(shí)點(diǎn)。

6、進(jìn)一步地，根據(jù)所述驗(yàn)證集對(duì)所述預(yù)訓(xùn)練模型進(jìn)行微調(diào)的步驟，具體包括：監(jiān)測(cè)所述預(yù)訓(xùn)練模型在驗(yàn)證集上的性能指標(biāo)；在所述性能指標(biāo)不再提高或開(kāi)始下降時(shí)提前終止訓(xùn)練。

7、進(jìn)一步地，微調(diào)所述視覺(jué)語(yǔ)言模型，具體包括：收集來(lái)自不同分布域的原始習(xí)題集；對(duì)所述原始習(xí)題集進(jìn)行預(yù)處理，得到訓(xùn)練樣本數(shù)據(jù)集，所述訓(xùn)練樣本數(shù)據(jù)集中每一個(gè)訓(xùn)練樣本均包括題圖及其對(duì)應(yīng)的知識(shí)點(diǎn)標(biāo)簽，所述題圖包括題干、配圖以及配圖文本描述；將所述訓(xùn)練樣本數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集；根據(jù)所述訓(xùn)練集、驗(yàn)證集和測(cè)試集，分別對(duì)所述預(yù)訓(xùn)練模型進(jìn)行微調(diào)和測(cè)試，得到預(yù)先訓(xùn)練的視覺(jué)語(yǔ)言模型。

8、第二方面，本發(fā)明還提供一種基于視覺(jué)語(yǔ)言模型的電路習(xí)題分類裝置，包括：電路習(xí)題獲取模塊，用于獲取待進(jìn)行分類的電路習(xí)題；電路習(xí)題分類模塊，用于基于預(yù)先訓(xùn)練的視覺(jué)語(yǔ)言模型，預(yù)測(cè)得到所述電路習(xí)題對(duì)應(yīng)的知識(shí)點(diǎn)類別；其中，所述視覺(jué)語(yǔ)言模型基于預(yù)訓(xùn)練模型根據(jù)題圖及其對(duì)應(yīng)的知識(shí)點(diǎn)標(biāo)簽構(gòu)成的訓(xùn)練樣本數(shù)據(jù)集進(jìn)行微調(diào)得到。

9、第三方面，本發(fā)明還提供一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如上述任一種所述的基于視覺(jué)語(yǔ)言模型的電路習(xí)題分類方法。

10、第四方面，本發(fā)明還提供一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述任一種所述的基于視覺(jué)語(yǔ)言模型的電路習(xí)題分類方法。

11、第五方面，本發(fā)明還提供一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述任一種所述的基于視覺(jué)語(yǔ)言模型的電路習(xí)題分類方法。

12、本發(fā)明提供的基于視覺(jué)語(yǔ)言模型的電路習(xí)題分類方法，通過(guò)獲取待進(jìn)行分類的電路習(xí)題，并基于預(yù)先訓(xùn)練的視覺(jué)語(yǔ)言模型，預(yù)測(cè)得到電路習(xí)題對(duì)應(yīng)的知識(shí)點(diǎn)類別；其中，視覺(jué)語(yǔ)言模型基于預(yù)訓(xùn)練模型根據(jù)題圖及其對(duì)應(yīng)的知識(shí)點(diǎn)標(biāo)簽構(gòu)成的訓(xùn)練樣本數(shù)據(jù)集進(jìn)行微調(diào)得到。該方法通過(guò)視覺(jué)和文字兩種類型輸入的方式，以此辨識(shí)電路圖中的各類元件和拓?fù)浣Y(jié)構(gòu)，同時(shí)提取電路習(xí)題的題干中的關(guān)鍵信息，進(jìn)而實(shí)現(xiàn)對(duì)電路習(xí)題的快速、準(zhǔn)確分類。

技術(shù)特征：

1.一種基于視覺(jué)語(yǔ)言模型的電路習(xí)題分類方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的基于視覺(jué)語(yǔ)言模型的電路習(xí)題分類方法，其特征在于，微調(diào)所述視覺(jué)語(yǔ)言模型，具體包括：

3.根據(jù)權(quán)利要求2所述的基于視覺(jué)語(yǔ)言模型的電路習(xí)題分類方法，其特征在于，所述對(duì)所述原始習(xí)題集進(jìn)行預(yù)處理，得到訓(xùn)練樣本數(shù)據(jù)集，包括：

4.根據(jù)權(quán)利要求3所述的基于視覺(jué)語(yǔ)言模型的電路習(xí)題分類方法，其特征在于，所述預(yù)存知識(shí)點(diǎn)庫(kù)至少包括二級(jí)知識(shí)點(diǎn)和三級(jí)知識(shí)點(diǎn)；其中，所述二級(jí)知識(shí)點(diǎn)下包含多個(gè)三級(jí)知識(shí)點(diǎn)。

5.根據(jù)權(quán)利要求2所述的基于視覺(jué)語(yǔ)言模型的電路習(xí)題分類方法，其特征在于，根據(jù)所述驗(yàn)證集對(duì)所述預(yù)訓(xùn)練模型進(jìn)行微調(diào)的步驟，具體包括：

6.根據(jù)權(quán)利要求1所述的基于視覺(jué)語(yǔ)言模型的電路習(xí)題分類方法，其特征在于，微調(diào)所述視覺(jué)語(yǔ)言模型，具體包括：

7.一種基于視覺(jué)語(yǔ)言模型的電路習(xí)題分類裝置，其特征在于，包括：

8.一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如權(quán)利要求1至6中任一項(xiàng)所述的基于視覺(jué)語(yǔ)言模型的電路習(xí)題分類方法。

9.一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至6中任一項(xiàng)所述的基于視覺(jué)語(yǔ)言模型的電路習(xí)題分類方法。

10.一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至6中任一項(xiàng)所述的基于視覺(jué)語(yǔ)言模型的電路習(xí)題分類方法。

技術(shù)總結(jié)
本發(fā)明提供一種基于視覺(jué)語(yǔ)言模型的電路習(xí)題分類方法、裝置及電子設(shè)備，其中的方法包括：獲取待進(jìn)行分類的電路習(xí)題；基于預(yù)先訓(xùn)練的視覺(jué)語(yǔ)言模型，預(yù)測(cè)得到電路習(xí)題對(duì)應(yīng)的知識(shí)點(diǎn)類別；其中，視覺(jué)語(yǔ)言模型基于預(yù)訓(xùn)練模型根據(jù)題圖及其對(duì)應(yīng)的知識(shí)點(diǎn)標(biāo)簽構(gòu)成的訓(xùn)練樣本數(shù)據(jù)集進(jìn)行微調(diào)得到。該方法通過(guò)視覺(jué)和文字兩種類型輸入的方式，以此辨識(shí)電路圖中的各類元件和拓?fù)浣Y(jié)構(gòu)，同時(shí)提取電路習(xí)題的題干中的關(guān)鍵信息，進(jìn)而實(shí)現(xiàn)對(duì)電路習(xí)題的快速、準(zhǔn)確分類。

技術(shù)研發(fā)人員：祝爾樂(lè),張哲,劉雅迪,周晉,王宏寧,張鵬,黃民烈
受保護(hù)的技術(shù)使用者：清華大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/23