本技術(shù)涉及人工智能和大數(shù)據(jù),尤其涉及一種產(chǎn)品推薦的測試集生成方法、裝置、計算機(jī)設(shè)備及介質(zhì)。
背景技術(shù):
1、隨著科學(xué)技術(shù)的發(fā)展,獲取數(shù)據(jù)并利用數(shù)據(jù)建模以解決相應(yīng)的問題,已是非常常見的技術(shù)手段。例如,各電商平臺會收集用戶的商品瀏覽記錄等數(shù)據(jù),并根據(jù)收集的數(shù)據(jù)構(gòu)建產(chǎn)品推薦模型,以向用戶推薦產(chǎn)品。對于一個智能推薦、智能搜索等系統(tǒng),產(chǎn)品推薦質(zhì)量直接影響用戶使用及體驗(yàn),而用戶提問千人千面,如何在上線前,提升算法模型測試質(zhì)量,保證算法推薦效果,成為一項(xiàng)技術(shù)難點(diǎn)。
2、現(xiàn)有的算法模型測試方法,往往通過從數(shù)據(jù)集中劃分出來的測試集作為測試案例,驗(yàn)證算法模型效果。在整個數(shù)據(jù)集中,測試集往往占比較小,同時若劃分不均勻,測試數(shù)據(jù)本身有限,可能存在測試集測試覆蓋不全面的情況,上線后不能根據(jù)用戶提問推薦出準(zhǔn)確的產(chǎn)品。
3、每個產(chǎn)品一般具有各自的特征,產(chǎn)品推薦模型往往根據(jù)這些特征推薦產(chǎn)品。如果產(chǎn)品數(shù)量較大且特征值較多,人工完全覆蓋難度較大且時間成本較高。
技術(shù)實(shí)現(xiàn)思路
1、本技術(shù)實(shí)施例的目的在于提出一種產(chǎn)品推薦的測試集生成、產(chǎn)品推薦的測試方法及設(shè)備,其主要目的是自動生成測試集,以擴(kuò)充測試集的覆蓋范圍。
2、為了解決上述技術(shù)問題,本技術(shù)實(shí)施例提供一種產(chǎn)品推薦的測試集生成方法,采用了如下的技術(shù)方案:
3、一種產(chǎn)品推薦的測試集生成方法,包括下述步驟:
4、獲取產(chǎn)品的產(chǎn)品描述;
5、劃分產(chǎn)品描述所屬的特征類別,并生成有關(guān)所述產(chǎn)品描述和所述特征類別的產(chǎn)品類別對應(yīng)關(guān)系;
6、基于所述特征類別,從所述產(chǎn)品描述中提取特征關(guān)鍵詞,生成有關(guān)所述特征類別和所述特征關(guān)鍵詞的類別特征對應(yīng)關(guān)系;
7、對至少部分所述特征關(guān)鍵詞進(jìn)行泛化處理,得到泛化后的特征關(guān)鍵詞,基于所述泛化后的特征關(guān)鍵詞更新所述類別特征對應(yīng)關(guān)系;
8、基于所述產(chǎn)品類別對應(yīng)關(guān)系和更新后的所述類別特征對應(yīng)關(guān)系,生成有關(guān)所述產(chǎn)品和所述特征關(guān)鍵詞的產(chǎn)品特征關(guān)系矩陣;
9、結(jié)合預(yù)設(shè)規(guī)則,基于所述產(chǎn)品特征關(guān)系矩陣生成測試集。
10、進(jìn)一步的,所述對所述特征關(guān)鍵詞進(jìn)行泛化處理包括下述步驟:
11、獲取預(yù)設(shè)的泛化閾值參數(shù);
12、基于泛化閾值參數(shù)對特征關(guān)鍵詞進(jìn)行泛化處理。
13、進(jìn)一步的,所述基于所述產(chǎn)品類別對應(yīng)關(guān)系和更新后的所述類別特征對應(yīng)關(guān)系,生成產(chǎn)品特征關(guān)系矩陣包括下述步驟:
14、基于所述產(chǎn)品類別對應(yīng)關(guān)系和更新后的所述類別特征對應(yīng)關(guān)系生成單特征的產(chǎn)品特征關(guān)系矩陣;
15、獲取預(yù)設(shè)的特征組合的數(shù)量參數(shù);
16、基于所述數(shù)量參數(shù)進(jìn)行特征關(guān)鍵詞組合,得到多特征關(guān)鍵詞;
17、基于所述多特征關(guān)鍵詞,將單特征的產(chǎn)品特征關(guān)系矩陣轉(zhuǎn)換為多特征的產(chǎn)品特征關(guān)系矩陣;
18、結(jié)合所述單特征的產(chǎn)品特征關(guān)系矩陣和所述多特征的產(chǎn)品特征關(guān)系矩陣,得到所述產(chǎn)品特征關(guān)系矩陣。
19、進(jìn)一步的,所述基于所述產(chǎn)品類別對應(yīng)關(guān)系和更新后的所述類別特征對應(yīng)關(guān)系,生成產(chǎn)品特征關(guān)系矩陣包括下述步驟:
20、基于所述產(chǎn)品類別對應(yīng)關(guān)系,提取每個所述產(chǎn)品對應(yīng)的至少一個所述特征類別;
21、基于所述更新后的特征類別對應(yīng)關(guān)系,提取每個所述特征類別對應(yīng)的至少一個所述泛化后的特征關(guān)鍵詞;
22、基于所述特征類別,構(gòu)建每個所述泛化后的特征關(guān)鍵詞與至少一個所述產(chǎn)品對應(yīng)的所述單特征的產(chǎn)品特征關(guān)系矩陣;
23、以所述單特征的產(chǎn)品特征關(guān)系矩陣作為所述產(chǎn)品特征關(guān)系矩陣。
24、進(jìn)一步的,當(dāng)所述特征類別為描述類特征,所述基于所述特征類別從所述產(chǎn)品描述中提取特征關(guān)鍵詞包括下述步驟:
25、識別所述特征類別;
26、在識別到所述特征類別為描述類特征時,對所述產(chǎn)品描述進(jìn)行分詞提取,得到分詞列表;去掉所述分詞列表中與產(chǎn)品無關(guān)的分詞,得到特征關(guān)鍵詞;
27、在識別到所述特征類別為枚舉類特征時,從所述產(chǎn)品描述中提取枚舉值作為所述特征關(guān)鍵詞;
28、在識別到所述特征類別為范圍類特征時,匯總所述產(chǎn)品描述對應(yīng)的所有特征區(qū)域,得到所述特征關(guān)鍵詞。
29、為了解決上述技術(shù)問題,本技術(shù)實(shí)施例還提供一種基于上面所述的產(chǎn)品推薦的測試集生成方法生成的測試集進(jìn)行產(chǎn)品推薦模型的測試方法,采用了如下的技術(shù)方案:
30、進(jìn)一步的,在所述結(jié)合預(yù)設(shè)規(guī)則,基于所述產(chǎn)品特征關(guān)系矩陣生成測試集的步驟之后,所述方法包括:
31、獲取所述測試集中的當(dāng)前測試樣本;
32、以所述當(dāng)前測試樣本作為產(chǎn)品推薦模型的輸入,輸出當(dāng)前推薦產(chǎn)品;
33、遍歷所述產(chǎn)品特征關(guān)系矩陣,判斷所述當(dāng)前推薦產(chǎn)品是否滿足所述產(chǎn)品特征關(guān)系矩陣;
34、若不滿足,對當(dāng)前測試進(jìn)行標(biāo)記。
35、進(jìn)一步的,所述對當(dāng)前測試進(jìn)行標(biāo)記之后,所述方法還包括下述步驟:
36、基于被標(biāo)記的所述當(dāng)前測試,更新泛化處理的規(guī)則;
37、以更新后的泛化處理規(guī)則重復(fù)執(zhí)行所述對至少部分所述特征關(guān)鍵詞進(jìn)行泛化處理,得到泛化后的特征關(guān)鍵詞;基于所述泛化后的特征關(guān)鍵詞更新所述類別特征對應(yīng)關(guān)系;基于所述產(chǎn)品類別對應(yīng)關(guān)系和更新后的所述類別特征對應(yīng)關(guān)系,并重新生成新的產(chǎn)品特征關(guān)系矩陣;結(jié)合預(yù)設(shè)規(guī)則,基于所述產(chǎn)品特征關(guān)系矩陣生成測試集的方法步驟,得到更新后的測試集。
38、為了解決上述技術(shù)問題,本技術(shù)實(shí)施例還提供一種產(chǎn)品推薦的測試集生成裝置,采用了如下的技術(shù)方案:
39、一種產(chǎn)品推薦的測試集生成裝置,包括:
40、描述獲取模塊,用于獲取產(chǎn)品的產(chǎn)品描述;
41、類別劃分模塊,用于劃分產(chǎn)品描述所屬的特征類別,并生成有所述關(guān)產(chǎn)品描述和所述特征類別的產(chǎn)品類別對應(yīng)關(guān)系;
42、特征提取模塊,用于基于所述特征類別從所述產(chǎn)品描述中提取特征關(guān)鍵詞,生成有關(guān)所述特征類別和所述特征關(guān)鍵詞的類別特征對應(yīng)關(guān)系;
43、泛化處理模塊,用于對至少部分所述特征關(guān)鍵詞進(jìn)行泛化處理,得到泛化后的特征關(guān)鍵詞,基于所述泛化后的特征關(guān)鍵詞更新所述類別特征對應(yīng)關(guān)系;
44、矩陣生成模塊,用于基于所述產(chǎn)品類別對應(yīng)關(guān)系和更新后的所述類別特征對應(yīng)關(guān)系,生成有關(guān)所述產(chǎn)品和更新后的所述特征關(guān)鍵詞的產(chǎn)品特征關(guān)系矩陣;
45、樣本生成模塊,用于結(jié)合預(yù)設(shè)規(guī)則,基于所述產(chǎn)品特征關(guān)系矩陣生成測試集。
46、為了解決上述技術(shù)問題,本技術(shù)實(shí)施例還提供一種基于上面任一項(xiàng)所述的產(chǎn)品推薦的測試集生成方法生成的測試集進(jìn)行產(chǎn)品推薦模型的測試裝置,所述裝置,采用了如下的技術(shù)方案:
47、一種基于上面任一項(xiàng)所述的產(chǎn)品推薦的測試集生成方法生成的測試集進(jìn)行產(chǎn)品推薦模型的測試裝置,所述裝置包括:
48、樣本獲取模塊,用于獲取所述測試集中的當(dāng)前測試樣本;
49、產(chǎn)品推薦模塊,用于以所述當(dāng)前測試樣本作為所述產(chǎn)品推薦模型的輸入,輸出當(dāng)前推薦產(chǎn)品;
50、關(guān)系判斷模塊,用于遍歷所述產(chǎn)品特征關(guān)系矩陣,判斷所述當(dāng)前推薦產(chǎn)品是否滿足所述產(chǎn)品特征關(guān)系矩陣;
51、測試標(biāo)記模塊,用于若不滿足,對當(dāng)前測試進(jìn)行標(biāo)記。
52、為了解決上述技術(shù)問題,本技術(shù)實(shí)施例還提供一種計算機(jī)設(shè)備,采用了如下的技術(shù)方案:
53、一種計算機(jī)設(shè)備,包括存儲器和處理器,存儲器中存儲有計算機(jī)可讀指令,處理器執(zhí)行計算機(jī)可讀指令時實(shí)現(xiàn)上面任一項(xiàng)的產(chǎn)品推薦的測試集生成方法的步驟。
54、為了解決上述技術(shù)問題,本技術(shù)實(shí)施例還提供一種計算機(jī)可讀存儲介質(zhì),采用了如下的技術(shù)方案:
55、一種計算機(jī)可讀存儲介質(zhì),計算機(jī)可讀存儲介質(zhì)上存儲有計算機(jī)可讀指令,計算機(jī)可讀指令被處理器執(zhí)行時實(shí)現(xiàn)上面任一項(xiàng)的產(chǎn)品推薦的測試集生成方法的步驟。
56、與現(xiàn)有技術(shù)相比,本技術(shù)實(shí)施例主要有以下有益效果:
57、本技術(shù)實(shí)施例通過對產(chǎn)品描述劃分特征類別,基于特征類別從產(chǎn)品描述提取特征關(guān)鍵詞,再對特征關(guān)鍵詞進(jìn)行泛化,得到有關(guān)產(chǎn)品和泛化后的特征關(guān)鍵詞的產(chǎn)品特征關(guān)系矩陣,基于該關(guān)系矩陣,結(jié)合預(yù)設(shè)規(guī)則自動生成測試集,降低人工成本;另外,基于泛化后的特征關(guān)鍵詞的產(chǎn)品特征關(guān)系矩陣生成測試集可以擴(kuò)大測試集覆蓋范圍,提升測試案例多樣性,有利于增強(qiáng)基于此測試集測試得到的產(chǎn)品推薦模型的推薦質(zhì)量,提高推薦效果。