本發(fā)明涉及文本處理，尤其涉及一種多層級(jí)標(biāo)簽生成模型的訓(xùn)練、文本分類(lèi)方法及裝置。

背景技術(shù)：

1、文本分類(lèi)任務(wù)是指根據(jù)文本內(nèi)容為其分配一個(gè)或多個(gè)預(yù)先定義好的類(lèi)別標(biāo)簽。隨著網(wǎng)絡(luò)信息豐富性和復(fù)雜性的不斷加深，文本分類(lèi)任務(wù)已經(jīng)逐漸由普通的單層級(jí)標(biāo)簽分類(lèi)任務(wù)逐步轉(zhuǎn)向多層級(jí)標(biāo)簽分類(lèi)任務(wù)。

2、其中，多層級(jí)標(biāo)簽分類(lèi)任務(wù)可以理解為將文本在具有層次結(jié)構(gòu)的標(biāo)簽空間中進(jìn)行分類(lèi)，其難度和應(yīng)用場(chǎng)景相對(duì)復(fù)雜。其中，在圖1中示出了一種三層級(jí)的標(biāo)簽空間的示意圖。如圖1所示，文本分類(lèi)標(biāo)簽是多層級(jí)的，一級(jí)標(biāo)簽中包含一個(gè)或者多個(gè)二級(jí)標(biāo)簽，二級(jí)標(biāo)簽中包含一個(gè)或者多個(gè)三級(jí)標(biāo)簽，針對(duì)一個(gè)文本完成多層級(jí)標(biāo)簽分類(lèi)后，可以得到形如：“(一級(jí)標(biāo)簽：科教文旅)-(二級(jí)標(biāo)簽：科技生活)-(三級(jí)標(biāo)簽：其他科技信息)”的多層級(jí)標(biāo)簽。

3、然而，現(xiàn)有的多層級(jí)標(biāo)簽分類(lèi)技術(shù)往往存在分類(lèi)準(zhǔn)確性低，分類(lèi)結(jié)果不符合標(biāo)簽層級(jí)架構(gòu)要求等問(wèn)題，因此，如何能夠提供一種高效、準(zhǔn)確的多層級(jí)標(biāo)簽分類(lèi)方法是目前有待解決的一項(xiàng)重要問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明實(shí)施例提供了一種多層級(jí)標(biāo)簽生成模型的訓(xùn)練、文本分類(lèi)方法及裝置，以實(shí)現(xiàn)對(duì)文本進(jìn)行高效、準(zhǔn)確的多層級(jí)標(biāo)簽的預(yù)測(cè)。

2、根據(jù)本發(fā)明實(shí)施例的一方面，提供了一種多層級(jí)標(biāo)簽生成模型的訓(xùn)練方法，該方法包括：

3、獲取多個(gè)訓(xùn)練樣本，訓(xùn)練樣本包括標(biāo)準(zhǔn)文本，標(biāo)準(zhǔn)文本的多層級(jí)標(biāo)注標(biāo)簽和標(biāo)準(zhǔn)文本的無(wú)層級(jí)標(biāo)注標(biāo)簽；

4、將各訓(xùn)練樣本輸入至原始模型中，其中，原始模型包括序列到序列模型和多標(biāo)簽分類(lèi)器，多標(biāo)簽分類(lèi)器的輸入為序列到序列模型中編碼器的輸出；

5、根據(jù)多標(biāo)簽分類(lèi)器輸出的各標(biāo)準(zhǔn)文本的無(wú)層級(jí)預(yù)測(cè)標(biāo)簽與匹配的無(wú)層級(jí)標(biāo)注標(biāo)簽之間的差異，以及序列到序列模型輸出的各標(biāo)準(zhǔn)文本的多層級(jí)預(yù)測(cè)標(biāo)簽與匹配的多層級(jí)標(biāo)注標(biāo)簽之間的差異，訓(xùn)練得到多層級(jí)標(biāo)簽生成模型；

6、其中，多層級(jí)標(biāo)簽生成模型的輸出為完成訓(xùn)練的序列到序列模型中譯碼器的輸出。

7、根據(jù)本發(fā)明的另一方面，提供了一種文本分類(lèi)方法，該方法包括：

8、獲取待分類(lèi)的目標(biāo)文本；

9、將所述目標(biāo)文本輸入至預(yù)先訓(xùn)練的多層級(jí)標(biāo)簽生成模型中，獲取目標(biāo)文本的多層級(jí)預(yù)測(cè)標(biāo)簽；其中，所述多層級(jí)標(biāo)簽生成模型通過(guò)如本發(fā)明實(shí)施例任一項(xiàng)所述的多層級(jí)標(biāo)簽生成模型的訓(xùn)練方法訓(xùn)練得到；

10、將所述目標(biāo)文本分類(lèi)至與所述多層級(jí)預(yù)測(cè)標(biāo)簽匹配的文本集合中。

11、根據(jù)本發(fā)明實(shí)施例的另一方面，還提供了一種多層級(jí)標(biāo)簽生成模型的訓(xùn)練裝置，該裝置，包括：

12、訓(xùn)練樣本獲取模塊，用于獲取多個(gè)訓(xùn)練樣本，訓(xùn)練樣本包括標(biāo)準(zhǔn)文本，標(biāo)準(zhǔn)文本的多層級(jí)標(biāo)注標(biāo)簽和標(biāo)準(zhǔn)文本的無(wú)層級(jí)標(biāo)注標(biāo)簽；

13、訓(xùn)練樣本輸入模塊，用于將各訓(xùn)練樣本輸入至原始模型中，其中，原始模型包括序列到序列模型和多標(biāo)簽分類(lèi)器，多標(biāo)簽分類(lèi)器的輸入為序列到序列模型中編碼器的輸出；

14、模型訓(xùn)練模塊，用于根據(jù)多標(biāo)簽分類(lèi)器輸出的各標(biāo)準(zhǔn)文本的無(wú)層級(jí)預(yù)測(cè)標(biāo)簽與匹配的無(wú)層級(jí)標(biāo)注標(biāo)簽之間的差異，以及序列到序列模型輸出的各標(biāo)準(zhǔn)文本的多層級(jí)預(yù)測(cè)標(biāo)簽與匹配的多層級(jí)標(biāo)注標(biāo)簽之間的差異，訓(xùn)練得到多層級(jí)標(biāo)簽生成模型；

15、其中，多層級(jí)標(biāo)簽生成模型的輸出為完成訓(xùn)練的序列到序列模型中譯碼器的輸出。

16、根據(jù)本發(fā)明實(shí)施例的另一方面，還提供了一種文本分類(lèi)裝置，該裝置包括：

17、目標(biāo)文本獲取模塊，用于獲取待分類(lèi)的目標(biāo)文本；

18、多層級(jí)預(yù)測(cè)標(biāo)簽獲取模塊，用于將所述目標(biāo)文本輸入至預(yù)先訓(xùn)練的多層級(jí)標(biāo)簽生成模型中，獲取目標(biāo)文本的多層級(jí)預(yù)測(cè)標(biāo)簽；其中，所述多層級(jí)標(biāo)簽生成模型通過(guò)如本發(fā)明實(shí)施例任一項(xiàng)所述的多層級(jí)標(biāo)簽生成模型的訓(xùn)練方法訓(xùn)練得到；

19、目標(biāo)文本分類(lèi)模塊，用于將所述目標(biāo)文本分類(lèi)至與所述多層級(jí)預(yù)測(cè)標(biāo)簽匹配的文本集合中。

20、根據(jù)本發(fā)明的另一方面，還提供了一種電子設(shè)備，所述電子設(shè)備包括：

21、至少一個(gè)處理器；以及

22、與所述至少一個(gè)處理器通信連接的存儲(chǔ)器；其中，

23、所述存儲(chǔ)器存儲(chǔ)有可被所述至少一個(gè)處理器執(zhí)行的計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被所述至少一個(gè)處理器執(zhí)行，以使所述至少一個(gè)處理器能夠執(zhí)行如本發(fā)明任一實(shí)施例所述的多層級(jí)標(biāo)簽生成模型的訓(xùn)練方法，或者，執(zhí)行如本發(fā)明任一實(shí)施例所述的文本分類(lèi)方法。

24、根據(jù)本發(fā)明的另一方面，還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)指令，所述計(jì)算機(jī)指令用于使處理器執(zhí)行時(shí)實(shí)現(xiàn)如本發(fā)明任一實(shí)施例所述的多層級(jí)標(biāo)簽生成模型的訓(xùn)練方法，或者，實(shí)現(xiàn)如本發(fā)明任一實(shí)施例所述的文本分類(lèi)方法。

25、本發(fā)明實(shí)施例的技術(shù)方案，通過(guò)獲取多個(gè)訓(xùn)練樣本輸入至原始模型中，根據(jù)原始模型中多標(biāo)簽分類(lèi)器輸出的各標(biāo)準(zhǔn)文本的無(wú)層級(jí)預(yù)測(cè)標(biāo)簽與匹配的無(wú)層級(jí)標(biāo)注標(biāo)簽之間的差異，以及原始模型中序列到序列模型輸出的各標(biāo)準(zhǔn)文本的多層級(jí)預(yù)測(cè)標(biāo)簽與匹配的多層級(jí)標(biāo)注標(biāo)簽之間的差異，訓(xùn)練得到多層級(jí)標(biāo)簽生成模型，并基于該多層級(jí)標(biāo)簽生成模型對(duì)目標(biāo)文本進(jìn)行多層級(jí)標(biāo)簽預(yù)測(cè)的技術(shù)手段，在序列到序列模型的結(jié)構(gòu)基礎(chǔ)上，融入了多標(biāo)簽分類(lèi)任務(wù)的學(xué)習(xí)，在充分利用序列到序列模型中豐富的語(yǔ)義信息和理解能力的基礎(chǔ)上，最大程度的挖掘出文本與所屬標(biāo)簽之間的潛在關(guān)系，可以進(jìn)一步提升多層級(jí)標(biāo)簽的預(yù)測(cè)準(zhǔn)確性。

26、應(yīng)當(dāng)理解，本部分所描述的內(nèi)容并非旨在標(biāo)識(shí)本發(fā)明的實(shí)施例的關(guān)鍵或重要特征，也不用于限制本發(fā)明的范圍。本發(fā)明的其它特征將通過(guò)以下的說(shuō)明書(shū)而變得容易理解。

技術(shù)特征：

1.一種多層級(jí)標(biāo)簽生成模型的訓(xùn)練方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，獲取多個(gè)訓(xùn)練樣本，包括：

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)多標(biāo)簽分類(lèi)器輸出的各標(biāo)準(zhǔn)文本的無(wú)層級(jí)預(yù)測(cè)標(biāo)簽與匹配的無(wú)層級(jí)標(biāo)注標(biāo)簽之間的差異，以及序列到序列模型輸出的各標(biāo)準(zhǔn)文本的多層級(jí)預(yù)測(cè)標(biāo)簽與匹配的多層級(jí)標(biāo)注標(biāo)簽之間的差異，訓(xùn)練得到多層級(jí)標(biāo)簽生成模型，包括：

4.根據(jù)權(quán)利要求1-3任一項(xiàng)所述的方法，其特征在于，所述序列到序列模型為預(yù)訓(xùn)練的文本到文本模型，所述文本到文本模型的輸出為以設(shè)定分隔符作為層級(jí)標(biāo)識(shí)的標(biāo)簽序列；

5.一種文本分類(lèi)方法，其特征在于，包括：

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，將所述目標(biāo)文本輸入至預(yù)先訓(xùn)練的多層級(jí)標(biāo)簽生成模型中，獲取目標(biāo)文本的多層級(jí)預(yù)測(cè)標(biāo)簽，包括：

7.一種多層級(jí)標(biāo)簽生成模型的訓(xùn)練裝置，其特征在于，包括：

8.一種文本分類(lèi)裝置，其特征在于，包括：

9.一種電子設(shè)備，其特征在于，所述電子設(shè)備包括：

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)指令，所述計(jì)算機(jī)指令用于使處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-4中任一項(xiàng)所述的多層級(jí)標(biāo)簽生成模型的訓(xùn)練方法，或者，實(shí)現(xiàn)如權(quán)利要求5-6中任一項(xiàng)所述的文本分類(lèi)方法。

技術(shù)總結(jié)
本發(fā)明公開(kāi)了一種多層級(jí)標(biāo)簽生成模型的訓(xùn)練、文本分類(lèi)方法及裝置。該多層級(jí)標(biāo)簽生成模型的訓(xùn)練方法包括：獲取多個(gè)訓(xùn)練樣本；將各訓(xùn)練樣本輸入至原始模型中，其中，原始模型包括序列到序列模型和多標(biāo)簽分類(lèi)器，多標(biāo)簽分類(lèi)器的輸入為序列到序列模型中編碼器的輸出；根據(jù)多標(biāo)簽分類(lèi)器輸出的各標(biāo)準(zhǔn)文本的無(wú)層級(jí)預(yù)測(cè)標(biāo)簽與匹配的無(wú)層級(jí)標(biāo)注標(biāo)簽之間的差異，以及序列到序列模型輸出的各標(biāo)準(zhǔn)文本的多層級(jí)預(yù)測(cè)標(biāo)簽與匹配的多層級(jí)標(biāo)注標(biāo)簽之間的差異，訓(xùn)練得到多層級(jí)標(biāo)簽生成模型。本發(fā)明實(shí)施例的技術(shù)方案最大程度的挖掘出文本與所屬標(biāo)簽之間的潛在關(guān)系，可以進(jìn)一步提升多層級(jí)標(biāo)簽的預(yù)測(cè)準(zhǔn)確性。

技術(shù)研發(fā)人員：劉東華
受保護(hù)的技術(shù)使用者：上海智臻智能網(wǎng)絡(luò)科技股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19