本公開涉及數(shù)據(jù)處理領(lǐng)域，特別是涉及一種廣告植入信息處理方法、相關(guān)裝置和介質(zhì)。

背景技術(shù)：

1、在視頻網(wǎng)站，經(jīng)常需要進行廣告植入。例如，在某視頻中，出現(xiàn)女主人公涂抹護膚品的畫面。此時，在畫面中出現(xiàn)浮層，顯示潤膚液a的廣告?，F(xiàn)有技術(shù)中，進行廣告植入處理時，往往是從目標視頻中提取視頻特征和音頻特征，利用深度學(xué)習(xí)模型對視頻特征和音頻特征進行元素識別，例如目標檢測、人臉識別、行為識別、場所識別等。將識別出的物體、人物、行為、場所等元素進行標簽化，形成標簽。然后，將廣告需求信息與標簽進行對比。如果出現(xiàn)與廣告需求信息匹配的標簽，則植入廣告信息。

2、這種方案的缺點是靈活性不足和準確性差。靈活性不足體現(xiàn)在難以覆蓋靈活多變的廣告需求。一旦存在現(xiàn)有的標簽體系無法覆蓋的廣告需求（例如現(xiàn)有的標簽體系有成百種食品，但廣告需求針對“零食”），則難以找到視頻中的廣告植入位置。準確性差體現(xiàn)在有時視頻中雖然出現(xiàn)了某種標簽，但出現(xiàn)該標簽的位置未必適合植入廣告信息，造成廣告植入效果不好。

技術(shù)實現(xiàn)思路

1、本公開實施例提供了一種廣告植入信息處理方法、相關(guān)裝置和介質(zhì)，它能夠提高廣告植入信息處理的靈活性和準確性。

2、根據(jù)本公開的一方面，提供了一種廣告植入信息處理方法，包括：

3、將目標視頻中屬于同一分鏡的視頻幀，聚合成分鏡片段，其中，所述目標視頻是待植入目標廣告信息的視頻；

4、將所述目標視頻中屬于同一劇情的所述分鏡片段，聚合成劇情片段；

5、將所述劇情片段輸入到片段表示預(yù)測模型，得到表示所述劇情片段的第一表示；

6、獲取廣告需求信息；

7、確定所述廣告需求信息與各個所述劇情片段的所述第一表示的第一匹配度，并基于所述第一匹配度，在多個所述劇情片段中確定目標片段；

8、在所述目標片段中植入所述目標廣告信息。

9、根據(jù)本公開的一方面，提供了一種廣告植入信息處理裝置，所述裝置包括：

10、分鏡片段獲取單元，用于將目標視頻中屬于同一分鏡的視頻幀，聚合成分鏡片段，其中，所述目標視頻是待植入目標廣告信息的視頻；

11、劇情片段獲取單元，用于將所述目標視頻中屬于同一劇情的所述分鏡片段，聚合成劇情片段；

12、片段表示預(yù)測單元，用于將所述劇情片段輸入到片段表示預(yù)測模型，得到表示所述劇情片段的第一表示；

13、廣告需求獲取單元，用于獲取廣告需求信息；

14、目標片段匹配單元，用于確定所述廣告需求信息與各個所述劇情片段的所述第一表示的第一匹配度，并基于所述第一匹配度，在多個所述劇情片段中確定目標片段；

15、目標廣告植入單元，用于在所述目標片段中植入所述目標廣告信息。

16、可選地，所述片段表示預(yù)測單元具體用于：

17、從所述目標視頻中，獲取所述劇情片段對應(yīng)的文本信息；

18、將所述劇情片段和所述文本信息共同輸入所述片段表示預(yù)測模型，得到表示所述劇情片段的所述第一表示。

19、可選地，所述片段表示預(yù)測單元具體用于：

20、利用字幕識別模型和語音識別模型，從所述劇情片段中識別出臺詞信息；

21、利用人臉識別模型，從所述劇情片段中識別出所述臺詞信息對應(yīng)的人物信息；

22、將所述臺詞信息、和所述臺詞信息對應(yīng)的所述人物信息整合成所述文本信息。

23、可選地，所述片段表示預(yù)測單元具體用于：

24、利用所述字幕識別模型，在所述劇情片段中進行字幕識別，得到多個候選臺詞信息分別對應(yīng)的第一概率；

25、利用所述語音識別模型，在所述劇情片段中進行語音識別，得到多個候選臺詞信息分別對應(yīng)的第二概率；

26、基于各個所述候選臺詞信息分別對應(yīng)的所述第一概率和所述第二概率，在多個所述候選臺詞信息中確定所述臺詞信息。

27、可選地，所述片段表示預(yù)測單元具體用于：

28、獲取所述字幕識別模型的第一權(quán)重和所述語音識別模型的第二權(quán)重；

29、基于所述第一權(quán)重和所述第二權(quán)重，確定所述第一概率和所述第二概率的加權(quán)和；

30、基于所述加權(quán)和，在多個所述候選臺詞信息中確定所述臺詞信息。

31、可選地，所述片段表示預(yù)測模型是多模態(tài)大模型；

32、所述片段表示預(yù)測單元具體用于：

33、將所述文本信息結(jié)合到第一提示語中，得到第一結(jié)合文本；

34、將所述劇情片段和所述第一結(jié)合文本共同輸入所述多模態(tài)大模型，得到表示所述劇情片段的所述第一表示。

35、可選地，所述片段表示預(yù)測單元具體用于：

36、將所述劇情片段中提取多個第一代表幀，并基于所述第一代表幀生成第一代表幀向量；

37、將多個所述第一代表幀向量轉(zhuǎn)換成適于輸入到所述多模態(tài)大模型的第一特征；

38、基于所述第一結(jié)合文本，生成適于輸入到所述多模態(tài)大模型的第二特征；

39、將所述第一特征和所述第二特征共同輸入所述多模態(tài)大模型，得到表示所述劇情片段的所述第一表示。

40、可選地，所述第一表示為所述劇情片段的第一文本描述；

41、所述目標片段匹配單元具體用于：

42、從所述廣告需求信息中提取多個第一關(guān)鍵詞；

43、針對每個所述第一關(guān)鍵詞，確定所述第一關(guān)鍵詞與所述第一文本描述的第一相似度；

44、基于各個所述第一關(guān)鍵詞與所述第一文本描述的所述第一相似度，確定所述廣告需求信息與所述第一文本描述的所述第一匹配度。

45、可選地，所述目標片段匹配單元具體用于：

46、對所述廣告需求信息進行分詞；

47、在分出的詞中識別停用詞，并去除所述停用詞；

48、在去除所述停用詞之后的詞中，去除非實體詞，得到所述多個第一關(guān)鍵詞。

49、可選地，所述目標片段匹配單元具體用于：

50、針對每個所述第一關(guān)鍵詞，確定所述第一關(guān)鍵詞在所述第一文本描述中出現(xiàn)的第一詞頻；

51、確定所述第一關(guān)鍵詞在多個所述第一文本描述中出現(xiàn)的第一逆文檔頻率；

52、基于所述第一詞頻和所述第一逆文檔頻率，確定所述第一相似度。

53、可選地，所述目標片段匹配單元具體用于：

54、針對每個所述第一關(guān)鍵詞，確定所述第一關(guān)鍵詞在所述第一文本描述中出現(xiàn)的第一次數(shù)；

55、從所述第一文本描述中提取第二關(guān)鍵詞，并確定所述第二關(guān)鍵詞的第二關(guān)鍵詞數(shù)目；

56、基于所述第一次數(shù)和所述第二關(guān)鍵詞數(shù)目，確定所述第一詞頻。

57、可選地，所述目標片段匹配單元具體用于：

58、確定包含所述第一關(guān)鍵詞的所述第一文本描述的第一數(shù)目；

59、獲取第一文本描述總數(shù)目；

60、基于所述第一數(shù)目和所述第一文本描述總數(shù)目，確定所述第一逆文檔頻率。

61、可選地，所述目標片段匹配單元具體用于：

62、從各個所述第一文本描述中提取第二關(guān)鍵詞；

63、以提取出的每個所述第二關(guān)鍵詞作為第一索引，將所述第一索引與包含所述第二關(guān)鍵詞的各個所述第一文本描述的第一文本描述標識對應(yīng)存儲成第一索引對照表；

64、以所述第一關(guān)鍵詞作為所述第一索引，查找所述第一索引對照表，得到與所述第一索引對應(yīng)存儲的所述第一文本描述標識，從而確定包含所述第一關(guān)鍵詞的所述第一文本描述的所述第一數(shù)目。

65、可選地，所述第一表示為所述劇情片段的第一抽象特征；

66、所述目標片段匹配單元具體用于：

67、將所述廣告需求信息輸入所述片段表示預(yù)測模型，得到所述廣告需求信息的第二抽象特征；

68、基于所述第二抽象特征、與各個所述劇情片段的所述第一抽象特征，計算所述第一匹配度。

69、可選地，所述片段表示預(yù)測單元具體用于：

70、將所述分鏡片段輸入到所述片段表示預(yù)測模型，得到表示所述分鏡片段的第二表示；

71、所述目標片段匹配單元具體用于：

72、確定所述廣告需求信息與各個所述分鏡片段的所述第二表示的第二匹配度；

73、基于所述第一匹配度和所述第二匹配度，在多個所述劇情片段和多個所述分鏡片段中確定所述目標片段。

74、可選地，所述目標片段匹配單元具體用于：

75、將所述第一匹配度按照第一權(quán)值進行加權(quán)，得到第一加權(quán)匹配度，并將所述第二匹配度按照第二權(quán)值進行加權(quán)，得到第二加權(quán)匹配度；

76、將所述第一加權(quán)匹配度或所述第二加權(quán)匹配度確定為待考察匹配度；

77、將所述待考察匹配度滿足第一條件的所述劇情片段或所述分鏡片段，確定為所述目標片段。

78、可選地，所述目標片段匹配單元具體用于：

79、將所述第一匹配度滿足第二條件的所述劇情片段，確定為目標劇情片段；

80、將所述目標劇情片段中所述第二匹配度滿足第三條件的所述分鏡片段，確定為所述目標片段。

81、可選地，所述片段表示預(yù)測模型是多模態(tài)大模型；

82、所述片段表示預(yù)測單元具體用于：

83、將所述分鏡片段和第二提示語共同輸入到所述片段表示預(yù)測模型，得到表示所述分鏡片段的第二表示。

84、可選地，所述片段表示預(yù)測模型具體用于：

85、將所述分鏡片段中提取多個第二代表幀，并基于所述第二代表幀生成第二代表幀向量；

86、將多個所述第二代表幀向量轉(zhuǎn)換成適于輸入到所述多模態(tài)大模型的第三特征；

87、基于所述第二提示語，生成適于輸入到所述多模態(tài)大模型的第四特征；

88、將所述第三特征和所述第四特征共同輸入所述多模態(tài)大模型，得到表示所述分鏡片段的所述第二表示。

89、可選地，所述第二表示為所述分鏡片段的第二文本描述；

90、所述目標片段匹配單元具體用于：

91、從所述廣告需求信息中提取多個第一關(guān)鍵詞；

92、針對每個所述第一關(guān)鍵詞，確定所述第一關(guān)鍵詞與所述第二文本描述的第二相似度；

93、基于各個所述第一關(guān)鍵詞與所述第二文本描述的所述第二相似度，確定所述廣告需求信息與所述第二文本描述的所述第二匹配度。

94、可選地，所述目標片段匹配單元具體用于：

95、對所述廣告需求信息進行分詞；

96、在分出的詞中識別停用詞，并去除所述停用詞；

97、在去除所述停用詞之后的詞中，去除非實體詞，得到所述多個第一關(guān)鍵詞。

98、可選地，所述目標片段匹配單元具體用于：

99、針對每個所述第一關(guān)鍵詞，確定所述第一關(guān)鍵詞在所述第二文本描述中出現(xiàn)的第二詞頻；

100、確定所述第一關(guān)鍵詞在多個所述第二文本描述中出現(xiàn)的第二逆文檔頻率；

101、基于所述第二詞頻和所述第二逆文檔頻率，確定所述第二相似度。

102、可選地，所述目標片段匹配單元具體用于：

103、針對每個所述第一關(guān)鍵詞，確定所述第一關(guān)鍵詞在所述第二文本描述中出現(xiàn)的第二次數(shù)；

104、從所述第二文本描述中提取第三關(guān)鍵詞，并確定所述第三關(guān)鍵詞的第三關(guān)鍵詞數(shù)目；

105、基于所述第二次數(shù)和所述第三關(guān)鍵詞數(shù)目，確定所述第二詞頻。

106、可選地，所述目標片段匹配單元具體用于：

107、確定包含所述第一關(guān)鍵詞的所述第二文本描述的第二數(shù)目；

108、獲取第二文本描述總數(shù)目；

109、基于所述第二數(shù)目和所述第二文本描述總數(shù)目，確定所述第二逆文檔頻率。

110、可選地，所述目標片段匹配單元具體用于：

111、從各個所述第二文本描述中提取第三關(guān)鍵詞；

112、以提取出的每個所述第三關(guān)鍵詞作為第二索引，將所述第二索引與包含所述第三關(guān)鍵詞的各個所述第二文本描述的第二文本描述標識對應(yīng)存儲成第二索引對照表；

113、以所述第一關(guān)鍵詞作為所述第二索引，查找所述第二索引對照表，得到與所述第二索引對應(yīng)存儲的所述第二文本描述標識，從而確定包含所述第一關(guān)鍵詞的所述第二文本描述的所述第二數(shù)目。

114、可選地，所述第二表示為所述分鏡片段的第三抽象特征；

115、所述目標片段匹配單元具體用于：

116、將所述廣告需求信息輸入所述片段表示預(yù)測模型，得到所述廣告需求信息的第二抽象特征；

117、基于所述第二抽象特征、與各個所述分鏡片段的所述第三抽象特征，計算所述第二匹配度。

118、可選地，所述片段表示預(yù)測單元具體用于：

119、從所述目標視頻中，識別所述劇情片段中的公眾人物；

120、獲取所述公眾人物的公眾人物信息；

121、將所述劇情片段和所述公眾人物信息共同輸入所述片段表示預(yù)測模型，得到表示所述劇情片段的所述第一表示。

122、可選地，所述片段表示預(yù)測模型是多模態(tài)大模型；

123、所述片段表示預(yù)測單元具體用于：

124、將所述公眾人物信息結(jié)合到第二提示語中，得到第二結(jié)合文本；

125、將所述劇情片段和所述第二結(jié)合文本共同輸入所述多模態(tài)大模型，得到表示所述劇情片段的所述第一表示。

126、根據(jù)本公開的一方面，提供了一種電子設(shè)備，包括存儲器和處理器，所述存儲器存儲有計算機程序，所述處理器執(zhí)行所述計算機程序時實現(xiàn)如上所述的廣告植入信息處理方法。

127、根據(jù)本公開的一方面，提供了一種計算機可讀存儲介質(zhì)，所述存儲介質(zhì)存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)如上所述的廣告植入信息處理方法。

128、根據(jù)本公開的一方面，提供了一種計算機程序產(chǎn)品，該計算機程序產(chǎn)品包括計算機程序，所述計算機程序被計算機設(shè)備的處理器讀取并執(zhí)行，使得該計算機設(shè)備執(zhí)行如上所述的廣告植入信息處理方法。

129、本公開實施例中，將待植入廣告信息的目標視頻中屬于同一分鏡的視頻幀，聚合成分鏡片段，再將目標視頻中屬于同一劇情的所述分鏡片段，聚合成劇情片段。這樣的劇情片段由于屬于同一劇情，能夠具有共同的完整語義。將劇情片段輸入到片段表示預(yù)測模型，得到表示所述劇情片段的第一表示。這個第一表示就表達出了該劇情片段的完整的語義。將廣告需求信息與各個劇情片段的第一表示進行比對，就得到了廣告需求信息與各個劇情片段的第一表示的第一匹配度。這個匹配度代表的是整個廣告需求信息的語義與各個劇情片段的語義的精確匹配程度，通過該匹配度來確定植入廣告信息的視頻片段，由于具有深度語義分析，與現(xiàn)有技術(shù)的簡單標簽比對，具有更高的準確性。同時，由于本公開實施例是靠深度的語義分析和匹配來識別廣告植入位置，不依賴于固定的標簽體系，緩解了固定的標簽體系帶來的靈活性差的缺點，具有更高的廣告植入處理靈活性。

130、本公開的其他特征和優(yōu)點將在隨后的說明書中闡述，并且，部分地從說明書中變得顯而易見，或者通過實施本公開而了解。本公開的目的和其他優(yōu)點可通過在說明書、權(quán)利要求書以及附圖中所特別指出的結(jié)構(gòu)來實現(xiàn)和獲得。