本申請(qǐng)涉及人工智能領(lǐng)域，尤其涉及一種模型驗(yàn)證方法、裝置、電子設(shè)備、存儲(chǔ)介質(zhì)及程序產(chǎn)品。

背景技術(shù)：

1、隨著電子技術(shù)的發(fā)展，nlp(natural?language?processing，自然語(yǔ)言處理)技術(shù)的應(yīng)用越來(lái)越廣泛。語(yǔ)言模型是處理nlp任務(wù)常用的工具之一。

2、一部分語(yǔ)言模型具有文本生成能力，可以對(duì)輸入模型的文本進(jìn)行應(yīng)答。該應(yīng)答的實(shí)質(zhì)可以理解為，在模型訓(xùn)練階段積累了一些知識(shí)儲(chǔ)備，在進(jìn)行應(yīng)答的過(guò)程中利用積累的知識(shí)儲(chǔ)備對(duì)輸入模型的文本進(jìn)行文本補(bǔ)全處理，而不是根據(jù)輸入模型的文本執(zhí)行數(shù)據(jù)查詢操作并基于查詢結(jié)果對(duì)輸入模型的文本進(jìn)行應(yīng)答處理。

技術(shù)實(shí)現(xiàn)思路

1、本申請(qǐng)實(shí)施例提供了一種模型驗(yàn)證方法、裝置、電子設(shè)備、存儲(chǔ)介質(zhì)及程序產(chǎn)品，可以高效地驗(yàn)證第一文本生成模型是否可靠。

2、第一方面，本申請(qǐng)實(shí)施例提供了一種模型驗(yàn)證方法，包括：

3、將第一文本輸入第一文本生成模型進(jìn)行文本生成，得到所述第一文本的第一應(yīng)答文本；

4、根據(jù)所述第一應(yīng)答文本或所述第一文本，生成第二文本；

5、將所述第二文本輸入所述第一文本生成模型進(jìn)行文本生成，得到所述第二文本的第二應(yīng)答文本；

6、根據(jù)所述第一應(yīng)答文本和所述第二應(yīng)答文本，確定所述第一文本生成模型的驗(yàn)證結(jié)果。

7、第二方面，本申請(qǐng)實(shí)施例提供了一種模型驗(yàn)證裝置，包括：

8、生成單元，用于將第一文本輸入第一文本生成模型進(jìn)行文本生成處理，得到所述第一文本的第一應(yīng)答文本；

9、所述生成單元，還用于根據(jù)所述第一應(yīng)答文本或所述第一文本，生成第二文本；

10、所述生成單元，還用于將所述第二文本輸入所述第一文本生成模型進(jìn)行文本生成處理，得到所述第二文本的第二應(yīng)答文本；

11、確定單元，用于根據(jù)所述第一應(yīng)答文本和所述第二應(yīng)答文本，確定所述第一文本生成模型的驗(yàn)證結(jié)果。

12、第三方面，本申請(qǐng)實(shí)施例提供了一種電子設(shè)備，包括：處理器；以及，被配置為存儲(chǔ)計(jì)算機(jī)可執(zhí)行指令的存儲(chǔ)器，所述計(jì)算機(jī)可執(zhí)行指令在被執(zhí)行時(shí)使所述處理器執(zhí)行如第一方面所述的模型驗(yàn)證方法。

13、第四方面，本申請(qǐng)實(shí)施例提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，用于存儲(chǔ)計(jì)算機(jī)可執(zhí)行指令，所述計(jì)算機(jī)可執(zhí)行指令在被處理器執(zhí)行時(shí)實(shí)現(xiàn)如第一方面所述的模型驗(yàn)證方法。

14、第五方面，本申請(qǐng)實(shí)施例提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如第一方面所述的模型驗(yàn)證方法。

15、可以看出，在本申請(qǐng)實(shí)施例中，首先，將第一文本輸入第一文本生成模型進(jìn)行文本生成，得到第一文本的第一應(yīng)答文本；然后，根據(jù)第一應(yīng)答文本或第一文本，生成第二文本；接著，將第二文本輸入第一文本生成模型進(jìn)行文本生成，得到第二文本的第二應(yīng)答文本；最后，根據(jù)第一應(yīng)答文本和第二應(yīng)答文本，確定第一文本生成模型的驗(yàn)證結(jié)果。以此，考慮到第一文本生成模型的文本生成的實(shí)質(zhì)是對(duì)輸入的文本進(jìn)行文本補(bǔ)全，而不是數(shù)據(jù)查詢，因此，第一文本生成模型根據(jù)輸入的第一文本進(jìn)行文本生成所得到的第一應(yīng)答文本的文本內(nèi)容可能是真實(shí)可靠的，也可能是第一文本生成模型編造的，通過(guò)將根據(jù)第一應(yīng)答文本或第一文本生成的第二文本輸入第一文本生成模型進(jìn)行文本生成所得到的第二應(yīng)答文本，進(jìn)而，第一應(yīng)答文本和第二應(yīng)答文本可以相互驗(yàn)證對(duì)方文本內(nèi)容的真實(shí)性。針對(duì)任意一個(gè)文本生成模型，該模型輸出錯(cuò)誤內(nèi)容越頻繁，其準(zhǔn)確性越低，模型越不可靠，該模型輸出錯(cuò)誤內(nèi)容越稀有，其準(zhǔn)確性越高，模型越可靠。因此，通過(guò)第一應(yīng)答文本和第二應(yīng)答文本相互驗(yàn)證對(duì)方文本內(nèi)容的真實(shí)性，可以驗(yàn)證第一文本生成模型是否可靠。另外，在整個(gè)驗(yàn)證過(guò)程中，第二文本不是人工編寫的，而是根據(jù)第一應(yīng)答文本或第一文本所生成的，減少了人工參與，提高了對(duì)話效率，從而間接提高了模型驗(yàn)證效率。因此，本申請(qǐng)實(shí)施例提供的模型驗(yàn)證方法可以高效地驗(yàn)證第一文本生成模型是否可靠。

技術(shù)特征：

1.一種模型驗(yàn)證方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述第二文本包括第一子文本；根據(jù)所述第一應(yīng)答文本，生成所述第二文本，包括：

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述第二文本包括第二子文本；根據(jù)所述第一文本，生成所述第二文本，包括：

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將第一文本輸入第一文本生成模型進(jìn)行文本生成，得到所述第一文本的第一應(yīng)答文本之前，所述方法還包括：

5.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述第一應(yīng)答文本和所述第二應(yīng)答文本，確定所述第一文本生成模型的驗(yàn)證結(jié)果，包括：

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述根據(jù)所述第三文本與所述目標(biāo)信息源的比對(duì)結(jié)果，確定所述第一文本生成模型的驗(yàn)證結(jié)果，包括：

7.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述第一應(yīng)答文本和所述第二應(yīng)答文本，確定所述第一文本生成模型的驗(yàn)證結(jié)果，包括：

8.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

9.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述第一文本生成模型的驗(yàn)證結(jié)果包括所述第一文本生成模型的驗(yàn)證分?jǐn)?shù)；所述第一文本生成模型的數(shù)量為多個(gè)；所述方法還包括：

10.一種模型驗(yàn)證裝置，其特征在于，包括：

11.一種電子設(shè)備，其特征在于，包括：

12.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)用于存儲(chǔ)計(jì)算機(jī)可執(zhí)行指令，所述計(jì)算機(jī)可執(zhí)行指令在被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至9中任一項(xiàng)所述的模型驗(yàn)證方法。

13.一種計(jì)算機(jī)程序產(chǎn)品，其特征在于，包括計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至9任一項(xiàng)所述的模型驗(yàn)證方法。

技術(shù)總結(jié)
本申請(qǐng)實(shí)施例提供了模型驗(yàn)證方法、裝置、電子設(shè)備、存儲(chǔ)介質(zhì)及程序產(chǎn)品，該方法包括：將第一文本輸入第一文本生成模型進(jìn)行文本生成，得到第一文本的第一應(yīng)答文本；根據(jù)第一應(yīng)答文本或第一文本，生成第二文本；將第二文本輸入第一文本生成模型進(jìn)行文本生成，得到第二文本的第二應(yīng)答文本；根據(jù)第一應(yīng)答文本和第二應(yīng)答文本，確定第一文本生成模型的驗(yàn)證結(jié)果。以此，可以高效地驗(yàn)證第一文本生成模型是否可靠。

技術(shù)研發(fā)人員：白安琪
受保護(hù)的技術(shù)使用者：馬上消費(fèi)金融股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19