本發(fā)明實(shí)施例涉及人工智能技術(shù)領(lǐng)域，尤其涉及一種視頻圖像的處理方法、裝置和終端設(shè)備。

背景技術(shù)：

隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，人們?cè)絹碓蕉嗟厥褂没ヂ?lián)網(wǎng)觀看視頻，由此，互聯(lián)網(wǎng)視頻為許多新的業(yè)務(wù)提供了商機(jī)。因?yàn)榛ヂ?lián)網(wǎng)視頻可以成為重要的業(yè)務(wù)流量入口，因而被認(rèn)為是廣告植入的優(yōu)質(zhì)資源。

現(xiàn)有視頻廣告主要通過植入的方式，一種常見的植入方式是在視頻播放的區(qū)域及其周邊區(qū)域的任意位置放置廣告。

但是，這種方式植入的廣告會(huì)遮擋視頻，打擾觀眾的正常視頻觀看體驗(yàn)，引起觀眾反感，不能達(dá)到預(yù)想的廣告效果。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明實(shí)施例提供了視頻圖像的處理技術(shù)方案。

根據(jù)本發(fā)明實(shí)施例的一個(gè)方面，提供了一種視頻圖像的處理方法，包括：獲取待處理的視頻圖像和待展示的業(yè)務(wù)對(duì)象；確定所述視頻圖像的背景區(qū)域；采用計(jì)算機(jī)繪圖方式在所述視頻圖像的背景區(qū)域繪制所述業(yè)務(wù)對(duì)象。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種視頻圖像的處理方法，其中，所述采用計(jì)算機(jī)繪圖方式在所述視頻圖像的背景區(qū)域繪制所述業(yè)務(wù)對(duì)象包括：確定所述業(yè)務(wù)對(duì)象在所述視頻圖像中的展示位置和所述視頻圖像的前景區(qū)域；根據(jù)所述展示位置判斷所述業(yè)務(wù)對(duì)象與所述視頻圖像的前景區(qū)域是否存在重疊部分；若存在，則采用計(jì)算機(jī)繪圖方式，在所述背景區(qū)域繪制所述業(yè)務(wù)對(duì)象中除所述重疊部分之外的部分。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種視頻圖像的處理方法，其中，所述確定所述視頻圖像的背景區(qū)域包括：通過預(yù)先訓(xùn)練的第一卷積神經(jīng)網(wǎng)絡(luò)模型確定所述視頻圖像的背景區(qū)域。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種視頻圖像的處理方法，其中，所述對(duì)所述第一卷積神經(jīng)網(wǎng)絡(luò)模型的預(yù)先訓(xùn)練包括：獲取第一樣本圖像的第一特征向量，其中，所述第一樣本圖像為包含有前景標(biāo)注信息和背景標(biāo)注信息的樣本圖像；對(duì)所述第一特征向量進(jìn)行卷積處理，獲取第一特征向量卷積結(jié)果；對(duì)所述第一特征向量卷積結(jié)果進(jìn)行放大處理；判斷放大后的所述第一特征向量卷積結(jié)果是否滿足卷積收斂條件；若滿足，則完成對(duì)所述第一卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練；若不滿足，則根據(jù)放大后的所述第一特征向量卷積結(jié)果調(diào)整所述第一卷積神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)并根據(jù)調(diào)整后的所述第一卷積神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)對(duì)所述第一卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行迭代訓(xùn)練，直至迭代訓(xùn)練后的所述第一特征向量卷積結(jié)果滿足所述卷積收斂條件。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種視頻圖像的處理方法，其中，所述確定所述業(yè)務(wù)對(duì)象在所述視頻圖像中的展示位置包括：按照設(shè)定規(guī)則確定所述業(yè)務(wù)對(duì)象在所述視頻圖像中的展示位置；其中，所述設(shè)定規(guī)則包括：預(yù)先設(shè)定的所述業(yè)務(wù)對(duì)象在所述視頻圖像的設(shè)定展示位置，或者，根據(jù)所述前景區(qū)域中的目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)，確定所述業(yè)務(wù)對(duì)象在所述視頻圖像中的展示位置。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種視頻圖像的處理方法，其中，所述根據(jù)所述前景區(qū)域中的目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)，確定所述業(yè)務(wù)對(duì)象在所述視頻圖像中的展示位置包括：根據(jù)所述前景區(qū)域中的目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)，通過預(yù)先訓(xùn)練的、第二卷積神經(jīng)網(wǎng)絡(luò)模型確定所述業(yè)務(wù)對(duì)象在所述視頻圖像中的展示位置。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種視頻圖像的處理方法，其中，所述對(duì)所述第二卷積神經(jīng)網(wǎng)絡(luò)模型的預(yù)先訓(xùn)練包括：獲取第二樣本圖像的第一特征向量，其中，所述第二特征向量中包含有所述第二樣本圖像中的業(yè)務(wù)對(duì)象的位置信息和/或置信度信息，以及所述第二樣本圖像中目標(biāo)對(duì)象的目標(biāo)對(duì)象特征向量；對(duì)所述第二特征向量進(jìn)行卷積處理，獲取第二特征向量卷積結(jié)果；判斷所述第二特征向量卷積結(jié)果中對(duì)應(yīng)的業(yè)務(wù)對(duì)象的位置信息和/或置信度信息是否滿足業(yè)務(wù)對(duì)象收斂條件，并判斷所述第二特征向量卷積結(jié)果中的目標(biāo)對(duì)象特征向量是否滿足目標(biāo)對(duì)象收斂條件；若均滿足，則完成對(duì)所述第二卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練；否則，調(diào)整所述第二卷積神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)并根據(jù)調(diào)整后的所述第二卷積神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)對(duì)所述第二卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行迭代訓(xùn)練，直至迭代訓(xùn)練后的業(yè)務(wù)對(duì)象的位置信息和/或置信度信息和目標(biāo)對(duì)象特征向量均滿足相應(yīng)的收斂條件。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種視頻圖像的處理方法，其中，所述根據(jù)所述前景區(qū)域中的目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)，確定所述業(yè)務(wù)對(duì)象在所述視頻圖像中的展示位置包括：根據(jù)所述前景區(qū)域中的目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)和所述業(yè)務(wù)對(duì)象的類型，確定所述業(yè)務(wù)對(duì)象在所述視頻圖像中的展示位置。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種視頻圖像的處理方法，其中，所述根據(jù)所述前景區(qū)域中的目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)和所述業(yè)務(wù)對(duì)象的類型，確定所述業(yè)務(wù)對(duì)象在所述視頻圖像中的展示位置包括：根據(jù)所述前景區(qū)域中的目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)和所述業(yè)務(wù)對(duì)象的類型，獲得所述業(yè)務(wù)對(duì)象在所述視頻圖像中的多個(gè)展示位置；從所述多個(gè)展示位置中選擇至少一個(gè)展示位置。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種視頻圖像的處理方法，其中，所述根據(jù)所述前景區(qū)域中的目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)，確定所述業(yè)務(wù)對(duì)象在所述視頻圖像中的展示位置包括：判斷所述前景區(qū)域中的目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)與預(yù)先設(shè)定的動(dòng)作數(shù)據(jù)是否匹配；若匹配，則從預(yù)先存儲(chǔ)的動(dòng)作數(shù)據(jù)與展示位置的對(duì)應(yīng)關(guān)系中，獲取所述預(yù)先設(shè)定的動(dòng)作數(shù)據(jù)對(duì)應(yīng)的目標(biāo)展示位置作為所述業(yè)務(wù)對(duì)象在所述視頻圖像中的展示位置。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種視頻圖像的處理方法，其中，所述業(yè)務(wù)對(duì)象包括包含有語義信息的特效；所述視頻圖像為直播類視頻圖像。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種視頻圖像的處理方法，其中，所述業(yè)務(wù)對(duì)象包括包含廣告信息的以下至少一種形式的特效：二維貼紙?zhí)匦А⑷S特效、粒子特效。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種視頻圖像的處理方法，其中，所述直播類視頻圖像的前景區(qū)域?yàn)槿宋锼诘膮^(qū)域。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種視頻圖像的處理方法，其中，所述直播類視頻圖像的背景區(qū)域?yàn)槌巳宋锼诘膮^(qū)域之外的至少局部區(qū)域。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種視頻圖像的處理方法，其中，所述目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)包括以下至少之一：眨眼數(shù)據(jù)、張嘴數(shù)據(jù)、點(diǎn)頭數(shù)據(jù)、搖頭數(shù)據(jù)、親吻數(shù)據(jù)、微笑數(shù)據(jù)、揮手?jǐn)?shù)據(jù)、剪刀手?jǐn)?shù)據(jù)、握拳數(shù)據(jù)、托手?jǐn)?shù)據(jù)、大拇指數(shù)據(jù)、手槍姿勢(shì)數(shù)據(jù)、ok手?jǐn)?shù)據(jù)。

根據(jù)本發(fā)明實(shí)施例的另一方面，還提供了一種視頻圖像的處理裝置，包括：獲取模塊，用于獲取待處理的視頻圖像和待展示的業(yè)務(wù)對(duì)象；背景區(qū)域確定模塊，用于確定所述視頻圖像的背景區(qū)域；繪制模塊，用于采用計(jì)算機(jī)繪圖方式在所述視頻圖像的背景區(qū)域繪制所述業(yè)務(wù)對(duì)象。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種視頻圖像的處理裝置，其中，所述繪制模塊包括：展示位置確定模塊，用于確定所述業(yè)務(wù)對(duì)象在所述視頻圖像中的展示位置；前景區(qū)域確定模塊，用于確定所述視頻圖像的前景區(qū)域；判斷模塊，用于根據(jù)所述展示位置判斷所述業(yè)務(wù)對(duì)象與所述前景區(qū)域是否存在重疊部分；展示模塊，用于若所述業(yè)務(wù)對(duì)象與所述前景區(qū)域存在重疊部分，則采用計(jì)算機(jī)繪圖方式，在所述背景區(qū)域繪制所述業(yè)務(wù)對(duì)象中除所述重疊部分之外的部分。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種視頻圖像的處理裝置，其中，所述背景區(qū)域確定模塊，用于通過預(yù)先訓(xùn)練的第一卷積神經(jīng)網(wǎng)絡(luò)模型確定所述視頻圖像的背景區(qū)域。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種視頻圖像的處理裝置，其中，所述裝置還包括：第一訓(xùn)練模塊，用于對(duì)所述第一卷積神經(jīng)網(wǎng)絡(luò)模型的預(yù)先訓(xùn)練；所述第一訓(xùn)練模塊包括：第一特征向量獲取模塊，用于獲取第一樣本圖像的第一特征向量，其中，所述第一樣本圖像為包含有前景標(biāo)注信息和背景標(biāo)注信息的樣本圖像；第一卷積處理模塊，用于對(duì)所述第一特征向量進(jìn)行卷積處理，獲取第一特征向量卷積結(jié)果；放大處理模塊，用于對(duì)所述第一特征向量卷積結(jié)果進(jìn)行放大處理；第一條件判斷模塊，用于判斷放大后的所述第一特征向量卷積結(jié)果是否滿足卷積收斂條件；第一執(zhí)行模塊，用于若放大后的所述第一特征向量卷積結(jié)果滿足卷積收斂條件，則完成對(duì)所述第一卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練；若放大后的所述第一特征向量卷積結(jié)果不滿足卷積收斂條件，則根據(jù)放大后的所述第一特征向量卷積結(jié)果調(diào)整所述第一卷積神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)并根據(jù)調(diào)整后的所述第一卷積神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)對(duì)所述第一卷積網(wǎng)絡(luò)模型進(jìn)行迭代訓(xùn)練，直至迭代訓(xùn)練后的所述第一特征向量卷積結(jié)果滿足所述卷積收斂條件。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種視頻圖像的處理裝置，其中，所述展示位置確定模塊，用于按照設(shè)定規(guī)則確定所述業(yè)務(wù)對(duì)象在所述視頻圖像中的展示位置；其中，所述設(shè)定規(guī)則包括：預(yù)先設(shè)定的所述業(yè)務(wù)對(duì)象在所述視頻圖像的設(shè)定展示位置，或者，所述展示位置確定模塊根據(jù)所述前景區(qū)域中的目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)，確定所述業(yè)務(wù)對(duì)象在所述視頻圖像中的展示位置。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種視頻圖像的處理裝置，其中，所述展示位置確定模塊，用于根據(jù)所述前景區(qū)域中的目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)，通過預(yù)先訓(xùn)練的第二卷積神經(jīng)網(wǎng)絡(luò)模型確定所述業(yè)務(wù)對(duì)象在所述視頻圖像中的展示位置。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種視頻圖像的處理裝置，其中，所述裝置還包括：第二訓(xùn)練模塊，用于對(duì)所述第二卷積神經(jīng)網(wǎng)絡(luò)模型預(yù)先訓(xùn)練；所述第二訓(xùn)練模塊包括：第二特征向量獲取模塊，用于獲取第二樣本圖像的第一特征向量，其中，所述第二特征向量中包含有所述第二樣本圖像中的業(yè)務(wù)對(duì)象的位置信息和/或置信度信息，以及所述第二樣本圖像中目標(biāo)對(duì)象的目標(biāo)對(duì)象特征向量；第二卷積處理模塊，用于對(duì)所述第二特征向量進(jìn)行卷積處理，獲取第二特征向量卷積結(jié)果；第二條件判斷模塊，用于判斷所述第二特征向量卷積結(jié)果中對(duì)應(yīng)的業(yè)務(wù)對(duì)象的位置信息和/或置信度信息是否滿足業(yè)務(wù)對(duì)象收斂條件，并判斷所述第二特征向量卷積結(jié)果中的目標(biāo)對(duì)象特征向量是否滿足目標(biāo)對(duì)象收斂條件；第二執(zhí)行模塊，用于若所述第二特征向量卷積結(jié)果中對(duì)應(yīng)的業(yè)務(wù)對(duì)象的位置信息和/或置信度信息滿足業(yè)務(wù)對(duì)象收斂條件，且所述第二特征向量卷積結(jié)果中的目標(biāo)對(duì)象特征向量滿足目標(biāo)對(duì)象收斂條件，則完成對(duì)所述第二卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練；否則，調(diào)整所述第二卷積神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)并根據(jù)調(diào)整后的所述第二卷積神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)對(duì)所述第二卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行迭代訓(xùn)練，直至迭代訓(xùn)練后的業(yè)務(wù)對(duì)象的位置信息和/或置信度信息和目標(biāo)對(duì)象特征向量均滿足相應(yīng)的收斂條件。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種視頻圖像的處理裝置，其中，所述展示位置確定模塊，用于根據(jù)所述前景區(qū)域中的目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)和所述業(yè)務(wù)對(duì)象的類型，確定所述業(yè)務(wù)對(duì)象在所述視頻圖像中的展示位置。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種視頻圖像的處理裝置，其中，所述展示位置確定模塊包括：展示位置獲得模塊，用于根據(jù)所述前景區(qū)域中的目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)和所述業(yè)務(wù)對(duì)象的類型，獲得所述業(yè)務(wù)對(duì)象在所述視頻圖像中的多個(gè)展示位置；展示位置選擇模塊，用于從所述多個(gè)展示位置中選擇至少一個(gè)展示位置。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種視頻圖像的處理裝置，其中，所述展示位置確定模塊包括：數(shù)據(jù)判斷模塊，用于判斷所述前景區(qū)域中的目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)與預(yù)先設(shè)定的動(dòng)作數(shù)據(jù)是否匹配；位置獲取模塊，用于若所述前景區(qū)域中的目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)與預(yù)先設(shè)定的動(dòng)作數(shù)據(jù)匹配，則從預(yù)先存儲(chǔ)的動(dòng)作數(shù)據(jù)與展示位置的對(duì)應(yīng)關(guān)系中，獲取所述預(yù)先設(shè)定的動(dòng)作數(shù)據(jù)對(duì)應(yīng)的目標(biāo)展示位置作為所述業(yè)務(wù)對(duì)象在所述視頻圖像中的展示位置。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種視頻圖像的處理裝置，其中，所述業(yè)務(wù)對(duì)象包括包含有語義信息的特效；所述視頻圖像為直播類視頻圖像。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種視頻圖像的處理裝置，其中，所述業(yè)務(wù)對(duì)象包括包含廣告信息的以下至少一種形式的特效：二維貼紙?zhí)匦А⑷S特效、粒子特效。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種視頻圖像的處理裝置，其中，所述直播類視頻圖像的前景區(qū)域?yàn)槿宋锼诘膮^(qū)域。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種視頻圖像的處理裝置，其中，所述直播類視頻圖像的背景區(qū)域?yàn)槌巳宋锼诘膮^(qū)域之外的至少局部區(qū)域。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種視頻圖像的處理裝置，其中，所述目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)包括以下至少之一：眨眼數(shù)據(jù)、張嘴數(shù)據(jù)、點(diǎn)頭數(shù)據(jù)、搖頭數(shù)據(jù)、親吻數(shù)據(jù)、微笑數(shù)據(jù)、揮手?jǐn)?shù)據(jù)、剪刀手?jǐn)?shù)據(jù)、握拳數(shù)據(jù)、托手?jǐn)?shù)據(jù)、大拇指數(shù)據(jù)、手槍姿勢(shì)數(shù)據(jù)、ok手?jǐn)?shù)據(jù)。

根據(jù)本發(fā)明實(shí)施例的再一方面，還提供了一種終端設(shè)備，包括：處理器、存儲(chǔ)器、通信接口和通信總線，所述處理器、所述存儲(chǔ)器和所述通信接口通過所述通信總線完成相互間的通信；所述存儲(chǔ)器用于存放至少一可執(zhí)行指令，所述可執(zhí)行指令使所述處理器執(zhí)行前述任一所述的視頻圖像的處理方法對(duì)應(yīng)的操作。

根據(jù)本發(fā)明實(shí)施例的又一方面，還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有：用于獲取待處理的視頻圖像和待展示的業(yè)務(wù)對(duì)象的可執(zhí)行指令；用于確定所述視頻圖像的背景區(qū)域的可執(zhí)行指令；用于采用計(jì)算機(jī)繪圖方式在所述視頻圖像的背景區(qū)域繪制所述業(yè)務(wù)對(duì)象的可執(zhí)行指令。

根據(jù)本發(fā)明實(shí)施例提供的技術(shù)方案，獲取待處理的視頻圖像和待展示的業(yè)務(wù)對(duì)象，確定待處理的視頻圖像的背景區(qū)域，然后采用計(jì)算機(jī)繪圖方式在視頻圖像的背景區(qū)域繪制業(yè)務(wù)對(duì)象，實(shí)現(xiàn)業(yè)務(wù)對(duì)象在視頻圖像的背景區(qū)域展示，避免業(yè)務(wù)對(duì)象遮擋前景區(qū)域，不影響觀眾的正常視頻觀看體驗(yàn)，不易引起觀眾反感，可以有效實(shí)現(xiàn)預(yù)想的效果。

附圖說明

圖1是根據(jù)本發(fā)明實(shí)施例一的一種視頻圖像的處理方法的步驟流程圖；

圖2是根據(jù)本發(fā)明實(shí)施例二的一種視頻圖像的處理方法的步驟流程圖；

圖3是根據(jù)本發(fā)明實(shí)施例三的一種視頻圖像的處理方法的步驟流程圖；

圖4是根據(jù)本發(fā)明實(shí)施例四的一種視頻圖像的處理方法的步驟流程圖；

圖5是根據(jù)本發(fā)明實(shí)施例五的一種視頻圖像的處理裝置的結(jié)構(gòu)框圖；

圖6是根據(jù)本發(fā)明實(shí)施例六的一種視頻圖像的處理裝置的結(jié)構(gòu)框圖；

圖7是根據(jù)本發(fā)明實(shí)施例七的一種終端設(shè)備的結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面結(jié)合附圖(若干附圖中相同的標(biāo)號(hào)表示相同的元素)和實(shí)施例，對(duì)本發(fā)明實(shí)施例的具體實(shí)施方式作進(jìn)一步詳細(xì)說明。以下實(shí)施例用于說明本發(fā)明，但不用來限制本發(fā)明的范圍。

本領(lǐng)域技術(shù)人員可以理解，本發(fā)明實(shí)施例中的“第一”、“第二”等術(shù)語僅用于區(qū)別不同步驟、設(shè)備或模塊等，既不代表任何特定技術(shù)含義，也不表示它們之間的必然邏輯順序。

實(shí)施例一

參照?qǐng)D1，示出了根據(jù)本發(fā)明實(shí)施例一的一種視頻圖像的處理方法的步驟流程圖。

本實(shí)施例的視頻圖像的處理方法包括以下步驟：

步驟s100：獲取待處理的視頻圖像和待展示的業(yè)務(wù)對(duì)象。

例如，在直播場(chǎng)景中，獲取當(dāng)前正在顯示的視頻圖像(即直播類視頻圖像)；再例如，在視頻錄制場(chǎng)景中，獲取當(dāng)前正在錄制的視頻圖像；又例如，在錄制完成的視頻中，獲取當(dāng)前播放的視頻圖像等。其中，本實(shí)施例對(duì)視頻圖像的獲取方式和具體獲取手段不作限制。

另外，本實(shí)施例中以對(duì)一張視頻圖像的處理為例，但本領(lǐng)域技術(shù)人員應(yīng)當(dāng)明了，對(duì)于多張視頻圖像或視頻流中的視頻圖像序列均可參照本實(shí)施例進(jìn)行視頻圖像的處理。

待展示的業(yè)務(wù)對(duì)象用于在視頻圖像中展示。需要說明的是，對(duì)待展示的業(yè)務(wù)對(duì)象的獲取過程可以與待處理的視頻圖像的獲取過程同時(shí)執(zhí)行，也可以在待處理的視頻圖像的獲取過程之后或者之前執(zhí)行，本實(shí)施例對(duì)待展示的業(yè)務(wù)對(duì)象的獲取過程在本實(shí)施例中的執(zhí)行順序不做限制。

步驟s102：確定視頻圖像的背景區(qū)域。

其中，確定視頻圖像的背景區(qū)域，可以從視頻圖像中檢測(cè)視頻圖像的前景區(qū)域和背景區(qū)域；或者，可以從視頻圖像中直接檢測(cè)視頻圖像的背景區(qū)域；或者可以從視頻圖像中檢測(cè)視頻圖像的前景區(qū)域，然后將視頻圖像的前景區(qū)域以外的區(qū)域確定為視頻圖像的背景區(qū)域。本實(shí)施例對(duì)確定視頻圖像的前景區(qū)域的技術(shù)手段不做限制。

步驟s104：采用計(jì)算機(jī)繪圖方式在視頻圖像的背景區(qū)域繪制業(yè)務(wù)對(duì)象。

在確定了視頻圖像的背景區(qū)域以后，采用計(jì)算機(jī)繪圖方式將業(yè)務(wù)對(duì)象繪制在視頻圖像的背景區(qū)域。需要說明的是，采用計(jì)算機(jī)繪圖方式將業(yè)務(wù)對(duì)象繪制在視頻圖像的背景區(qū)域即采用計(jì)算機(jī)繪圖方式將業(yè)務(wù)對(duì)象繪制在視頻圖像的整個(gè)背景區(qū)域或者部分背景區(qū)域。

其中，采用計(jì)算機(jī)繪圖方式在確定出的背景區(qū)域繪制業(yè)務(wù)對(duì)象可以通過適當(dāng)?shù)挠?jì)算機(jī)圖形圖像繪制或渲染等方式實(shí)現(xiàn)，包括但不限于：基于opengl圖形繪制引擎進(jìn)行繪制等。opengl定義了一個(gè)跨編程語言、跨平臺(tái)的編程接口規(guī)格的專業(yè)的圖形程序接口，其與硬件無關(guān)，可以方便地進(jìn)行2d或3d圖形圖像的繪制。通過opengl，不僅可以實(shí)現(xiàn)2d效果如2d貼紙的繪制，還可以實(shí)現(xiàn)3d特效的繪制及粒子特效的繪制等等。但不限于opengl，其它方式，如unity或opencl等也同樣適用。

通過本實(shí)施例提供的視頻圖像的處理方法，獲取待處理的視頻圖像和待展示的業(yè)務(wù)對(duì)象，確定待處理的視頻圖像的背景區(qū)域，然后采用計(jì)算機(jī)繪圖方式在視頻圖像的背景區(qū)域繪制業(yè)務(wù)對(duì)象，實(shí)現(xiàn)業(yè)務(wù)對(duì)象在視頻圖像的背景區(qū)域展示，避免業(yè)務(wù)對(duì)象遮擋前景區(qū)域，不影響觀眾的正常視頻觀看體驗(yàn)，不易引起觀眾反感，可以有效實(shí)現(xiàn)預(yù)想的效果。

實(shí)施例二

參照?qǐng)D2，示出了根據(jù)本發(fā)明實(shí)施例二的一種視頻圖像的處理方法的步驟流程圖。

本實(shí)施例的視頻圖像的處理方法包括以下步驟：

步驟s200：獲取待處理的視頻圖像和待展示的業(yè)務(wù)對(duì)象。

例如，在直播場(chǎng)景中，獲取當(dāng)前正在顯示的視頻圖像(即直播類視頻圖像)；再例如，在視頻錄制場(chǎng)景中，獲取當(dāng)前正在錄制的視頻圖像；又例如，在錄制完成的視頻中，獲取當(dāng)前播放的視頻圖像等。其中，本實(shí)施例對(duì)視頻圖像的獲取方式和具體獲取手段不作限制。

另外，本實(shí)施例中以對(duì)一張視頻圖像的處理為例，但本領(lǐng)域技術(shù)人員應(yīng)當(dāng)明了，對(duì)于多張視頻圖像或視頻流中的視頻圖像序列均可參照本實(shí)施例進(jìn)行視頻圖像的處理。

待展示的業(yè)務(wù)對(duì)象用于在視頻圖像中展示。需要說明的是，對(duì)待展示的業(yè)務(wù)對(duì)象的獲取過程可以與待處理的視頻圖像的獲取過程同時(shí)執(zhí)行，也可以在待處理的視頻圖像的獲取過程之后或者之前執(zhí)行，本實(shí)施例對(duì)待展示的業(yè)務(wù)對(duì)象的獲取過程在本實(shí)施例中的執(zhí)行順序不做限制。

步驟s202：確定視頻圖像的前景區(qū)域和背景區(qū)域，以及業(yè)務(wù)對(duì)象在視頻圖像中的展示位置。

其中，確定視頻圖像的前景區(qū)域，可以從視頻圖像中檢測(cè)視頻圖像的前景區(qū)域和背景區(qū)域；或者，可以從視頻圖像中直接檢測(cè)視頻圖像的前景區(qū)域；或者可以從視頻圖像中檢測(cè)視頻圖像的背景區(qū)域，然后將視頻圖像的背景區(qū)域以外的區(qū)域確定為視頻圖像的前景區(qū)域。本實(shí)施例對(duì)確定視頻圖像的前景區(qū)域的技術(shù)手段不做限制。同理，確定視頻圖像的背景區(qū)域可以參照上述確定視頻圖像的前景區(qū)域的內(nèi)容，在此不再贅述。

業(yè)務(wù)對(duì)象是根據(jù)一定的業(yè)務(wù)需求而創(chuàng)建的對(duì)象，例如廣告等。展示位置可以是視頻圖像中指定區(qū)域的中心位置，或者可以是上述指定區(qū)域中多個(gè)邊緣位置的坐標(biāo)等。

步驟s204：根據(jù)展示位置判斷業(yè)務(wù)對(duì)象與前景區(qū)域是否存在重疊部分，若存在，則執(zhí)行步驟s206；若不存在，則執(zhí)行步驟s208。

本步驟中，判斷業(yè)務(wù)對(duì)象與前景區(qū)域是否存在重疊部分的目的是判斷業(yè)務(wù)對(duì)象是否對(duì)視頻圖像的前景區(qū)域造成遮擋。若存在重疊部分，則表示業(yè)務(wù)對(duì)象對(duì)視頻圖像的前景區(qū)域造成遮擋；若不存在重疊部分，則表示業(yè)務(wù)對(duì)象對(duì)視頻圖像的前景區(qū)域未造成遮擋。

步驟s206：采用計(jì)算機(jī)繪圖方式，在背景區(qū)域繪制業(yè)務(wù)對(duì)象中除重疊部分之外的部分。

一種可行的方式中，例如，業(yè)務(wù)對(duì)象y與視頻圖像s的前景區(qū)域q存在重疊部分c，在視頻圖像s的背景區(qū)域b繪制業(yè)務(wù)對(duì)象y中除重疊部分c之外的部分w，其中，重疊部分c和部分w共同組成業(yè)務(wù)對(duì)象y，前景區(qū)域q和背景區(qū)域b共同組成業(yè)務(wù)對(duì)象y。

另一種可行的方式中，若業(yè)務(wù)對(duì)象對(duì)視頻圖像的前景區(qū)域造成遮擋，則可以采用調(diào)整前景區(qū)域的顯示圖層的方式將前景區(qū)域置于業(yè)務(wù)對(duì)象之上展示，或者還可以采用調(diào)整業(yè)務(wù)對(duì)象的顯示圖層的方式將業(yè)務(wù)對(duì)象置于前景區(qū)域之下展示。本實(shí)施例對(duì)將前景區(qū)域置于業(yè)務(wù)對(duì)象之上展示的技術(shù)手段不做具體限制。

步驟s208：采用計(jì)算機(jī)繪圖方式，在背景區(qū)域繪制整個(gè)業(yè)務(wù)對(duì)象。

通過本實(shí)施例提供的視頻圖像的處理方法，獲取待處理的視頻圖像和待展示的業(yè)務(wù)對(duì)象，確定待處理的視頻圖像的前景區(qū)域和背景區(qū)域，以及業(yè)務(wù)對(duì)象在視頻圖像中的展示位置，然后根據(jù)業(yè)務(wù)對(duì)象在視頻圖像中的展示位置判斷業(yè)務(wù)對(duì)象與視頻圖像的前景區(qū)域是否存在重疊部分，若存在重疊部分，表示部分或全部業(yè)務(wù)對(duì)象位于前景區(qū)域內(nèi)，則對(duì)于該重疊部分，將前景區(qū)域置于業(yè)務(wù)對(duì)象之上展示，避免業(yè)務(wù)對(duì)象遮擋前景區(qū)域，不影響觀眾的正常視頻觀看體驗(yàn)，不易引起觀眾反感，可以有效實(shí)現(xiàn)預(yù)想的效果。

實(shí)施例三

參照?qǐng)D3，示出了根據(jù)本發(fā)明實(shí)施例三的一種視頻圖像的處理方法的步驟流程圖。

本實(shí)施例的視頻圖像的處理方法可以由任意具有數(shù)據(jù)采集、處理和傳輸功能的設(shè)備執(zhí)行，包括但不限于移動(dòng)終端和pc等。本實(shí)施例以移動(dòng)終端為例，對(duì)本發(fā)明實(shí)施例提供的視頻圖像的處理方法進(jìn)行說明，其它設(shè)備可參照本實(shí)施例執(zhí)行。

本實(shí)施例重點(diǎn)強(qiáng)調(diào)與上述實(shí)施例的不同之處，相同之處可以參照上述實(shí)施例的介紹和說明，在此不再贅述。

本實(shí)施例的視頻圖像的處理方法包括以下步驟：

步驟s300：獲取待處理的視頻圖像和待展示的業(yè)務(wù)對(duì)象。

例如，在直播場(chǎng)景中，獲取當(dāng)前正在顯示的視頻圖像；再例如，在視頻錄制場(chǎng)景中，獲取當(dāng)前正在錄制的視頻圖像；又例如，在錄制完成的視頻中，獲取當(dāng)前播放的視頻圖像等。本實(shí)施例中的視頻圖像為直播類視頻圖像，而且，本實(shí)施例對(duì)視頻圖像的獲取方式和具體獲取手段不作限制。

待展示的業(yè)務(wù)對(duì)象用于在視頻圖像中展示。本實(shí)施例中，待展示的業(yè)務(wù)對(duì)象包括包含有語義信息的特效，具體地，業(yè)務(wù)對(duì)象包括包含廣告信息的以下至少一種形式的特效：二維貼紙?zhí)匦?、三維特效、粒子特效。

需要說明的是，對(duì)待展示的業(yè)務(wù)對(duì)象的獲取過程可以與待處理的視頻圖像的獲取過程同時(shí)執(zhí)行，也可以在待處理的視頻圖像的獲取過程之后或者之前執(zhí)行，本實(shí)施例對(duì)待展示的業(yè)務(wù)對(duì)象的獲取過程在本實(shí)施例中的執(zhí)行順序不做限制。

步驟s302：通過預(yù)先訓(xùn)練的第一卷積神經(jīng)網(wǎng)絡(luò)模型確定視頻圖像的背景區(qū)域。

本實(shí)施例中，使用預(yù)先訓(xùn)練好的、用于分割視頻圖像中的前景區(qū)域和背景區(qū)域的第一卷積神經(jīng)網(wǎng)絡(luò)模型，對(duì)視頻圖像進(jìn)行檢測(cè)，確定其背景區(qū)域。用于分割視頻圖像中的前景區(qū)域和背景區(qū)域的第一卷積神經(jīng)網(wǎng)絡(luò)模型通過標(biāo)注有前景區(qū)域和背景區(qū)域的樣本圖像進(jìn)行訓(xùn)練后，能夠準(zhǔn)確且高效地確定視頻圖像中的前景區(qū)域和背景區(qū)域。

當(dāng)需要預(yù)先訓(xùn)練第一卷積神經(jīng)網(wǎng)絡(luò)模型時(shí)，一種可行的訓(xùn)練方式包括以下過程：

(1)獲取第一樣本圖像的第一特征向量。

其中，第一樣本圖像為包含有前景區(qū)域和背景區(qū)域標(biāo)記信息的樣本圖像，也即，第一樣本圖像為已標(biāo)記了前景區(qū)域和背景區(qū)域的樣本圖像。本實(shí)施例中，前景區(qū)域可以為圖像主體所在區(qū)域，例如人物所在區(qū)域；背景區(qū)域可以為除了主體所在區(qū)域外的其它區(qū)域，可以是其它區(qū)域中的全部或者部分。

在一種優(yōu)選的實(shí)施方式中，第一樣本圖像可以包括至少一個(gè)視頻流的多幀樣本圖像。因此，在此方式中，在獲取待第一樣本圖像的第一特征向量之前，還需要將包括多幀樣本圖像的視頻流輸入第一卷積神經(jīng)網(wǎng)絡(luò)模型。在實(shí)現(xiàn)時(shí)，一種可行方式包括：先確定視頻流的多個(gè)關(guān)鍵幀的圖像為樣本圖像，對(duì)這些樣本圖像進(jìn)行前景區(qū)域和背景區(qū)域的標(biāo)注；在此基礎(chǔ)上，將進(jìn)行了標(biāo)注的樣本圖像進(jìn)行組合，再將組合后的包括多幀進(jìn)行了標(biāo)注的樣本圖像的視頻流輸入第一卷積神經(jīng)網(wǎng)絡(luò)模型。其中，對(duì)視頻流抽取關(guān)鍵幀，并對(duì)抽取的關(guān)鍵幀進(jìn)行標(biāo)注均可以由本領(lǐng)域技術(shù)人員采用任意適當(dāng)?shù)姆绞綄?shí)現(xiàn)，如通過均勻采樣的方式抽取關(guān)鍵幀等。在抽取了關(guān)鍵幀后，可以結(jié)合視頻上下文對(duì)抽取的關(guān)鍵幀標(biāo)注區(qū)分前景和背景，得到精確的標(biāo)注邊界。將進(jìn)行了標(biāo)注后的樣本圖像作為第一樣本圖像，提取其第一特征向量。此外，本步驟中，對(duì)第一特征向量的提取可以采用相關(guān)技術(shù)中的適當(dāng)方式實(shí)現(xiàn)，本實(shí)施例在此不再贅述。

(2)對(duì)第一特征向量進(jìn)行卷積處理，獲取第一特征向量卷積結(jié)果。

獲取的第一特征向量卷積結(jié)果中包含有用于分辨視頻圖像的前景區(qū)域和背景區(qū)域的信息。

對(duì)第一特征向量的卷積處理次數(shù)可以根據(jù)實(shí)際需要進(jìn)行設(shè)定，也即，第一卷積神經(jīng)網(wǎng)絡(luò)模型中，卷積層的層數(shù)根據(jù)實(shí)際需要進(jìn)行設(shè)置。

第一特征向量卷積結(jié)果是對(duì)第一特征向量進(jìn)行了特征提取后的結(jié)果，該結(jié)果能夠有效表征視頻圖像中前景區(qū)域和背景區(qū)域的特征和分類。

(3)對(duì)第一特征向量卷積結(jié)果進(jìn)行放大處理。

一種可行方式中，對(duì)第一特征向量卷積結(jié)果的放大可以采用線性插值的方式，包括但不限于線性插值、雙線性插值、三線性插值等。其中，具體的線性插值公式可以由本領(lǐng)域技術(shù)人員根據(jù)實(shí)際需要采用適當(dāng)?shù)墓?，本?shí)施例對(duì)此不作限制。優(yōu)選地，可以通過對(duì)第一特征向量卷積結(jié)果進(jìn)行雙線性插值來放大第一特征向量卷積結(jié)果。通過對(duì)第一特征向量卷積結(jié)果進(jìn)行放大處理，可以得到與用于訓(xùn)練的原始圖像同樣大小的輸出圖像，獲得每一個(gè)像素點(diǎn)的特征信息，以更為精確地確定圖像的前景區(qū)域和背景區(qū)域。同時(shí)，通過對(duì)卷積處理后的第一特征向量的放大處理，第一卷積神經(jīng)網(wǎng)絡(luò)模型可以學(xué)習(xí)到一個(gè)較為準(zhǔn)確的放大系數(shù)，基于該放大系數(shù)和放大后的第一特征向量，可以減少第一卷積神經(jīng)網(wǎng)絡(luò)模型的參數(shù)調(diào)整和計(jì)算量，降低第一卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練成本，提高訓(xùn)練效率，縮短訓(xùn)練時(shí)間。

本實(shí)施例中，在獲得第一特征向量卷積結(jié)果后，通過線性插值層對(duì)第一特征向量卷積結(jié)果進(jìn)行雙線性插值，以放大卷積處理后的圖像特征，并得到的原始圖像同樣大小(圖像長(zhǎng)寬相同)的輸出。需要說明的是，本實(shí)施例中對(duì)雙線性插值的具體實(shí)現(xiàn)手段不作限制。

(4)判斷放大后的第一特征向量卷積結(jié)果是否滿足卷積收斂條件。

其中，卷積收斂條件可以由本領(lǐng)域技術(shù)人員根據(jù)實(shí)際需求適當(dāng)設(shè)定。當(dāng)放大后的第一特征向量卷積結(jié)果滿足卷積收斂條件時(shí)，可以認(rèn)為第一卷積神經(jīng)網(wǎng)絡(luò)模型中的網(wǎng)絡(luò)參數(shù)設(shè)置適當(dāng)；當(dāng)放大后的第一特征向量卷積結(jié)果不能滿足卷積收斂條件時(shí)，可以認(rèn)為第一卷積神經(jīng)網(wǎng)絡(luò)模型中的網(wǎng)絡(luò)參數(shù)設(shè)置不適當(dāng)，需要對(duì)其進(jìn)行調(diào)整，該調(diào)整是一個(gè)迭代的過程，直至使用調(diào)整后的網(wǎng)絡(luò)參數(shù)對(duì)第一特征向量進(jìn)行卷積處理的結(jié)果滿足卷積收斂條件。

本實(shí)施例中，在通過線性插值層對(duì)第一特征向量卷積結(jié)果進(jìn)行放大后，在損失層使用損失函數(shù)對(duì)其進(jìn)行計(jì)算，進(jìn)而根據(jù)計(jì)算結(jié)果確定是否滿足卷積收斂條件。也即，使用設(shè)定的損失函數(shù)計(jì)算放大后的第一特征向量卷積結(jié)果的損失值；根據(jù)損失值判斷放大后的第一特征向量卷積結(jié)果是否滿足卷積收斂條件。其中，損失層和損失函數(shù)可以根據(jù)實(shí)際情況由本領(lǐng)域技術(shù)人員適當(dāng)設(shè)定，如通過softmax函數(shù)或者logistic函數(shù)等。通過損失函數(shù)對(duì)第一特征向量卷積結(jié)果進(jìn)行計(jì)算，獲得損失值。在獲得損失值后，一種可行方式中，可以根據(jù)該損失值確定本次訓(xùn)練結(jié)果是否滿足卷積收斂條件，如該損失值是否小于或等于設(shè)定閾值；另一種可行方式中，可判斷對(duì)該損失值的計(jì)算是否已達(dá)到設(shè)定次數(shù)，也即，在本次訓(xùn)練中對(duì)第一卷積神經(jīng)網(wǎng)絡(luò)模型的迭代訓(xùn)練次數(shù)是否已達(dá)到設(shè)定次數(shù)，如達(dá)到則滿足卷積收斂條件。

需要說明的是，當(dāng)輸入的是視頻流中的多幀圖像時(shí)，損失層的損失函數(shù)也可以同時(shí)對(duì)該視頻流中的多幀圖像進(jìn)行損失值計(jì)算，同時(shí)輸出多幀的結(jié)果，使第一卷積神經(jīng)網(wǎng)絡(luò)模型在得到視頻上更加穩(wěn)定的結(jié)果的同時(shí)，通過多幀圖像的并行計(jì)算，提升計(jì)算效率。

(5)若滿足卷積收斂條件，則完成對(duì)第一卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練；若不滿足卷積收斂條件，則根據(jù)放大后的第一特征向量卷積結(jié)果調(diào)整第一卷積神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)并根據(jù)調(diào)整后的第一卷積神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)對(duì)第一卷積說明網(wǎng)絡(luò)模型進(jìn)行迭代訓(xùn)練，直至迭代訓(xùn)練后的第一特征向量卷積結(jié)果滿足卷積收斂條件。

通過對(duì)第一卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行上述訓(xùn)練，第一卷積神經(jīng)網(wǎng)絡(luò)模型可以對(duì)視頻圖像的圖像特征進(jìn)行特征提取和分類，從而具有確定視頻圖像中的前景區(qū)域和背景區(qū)域的功能。在實(shí)際應(yīng)用中，可以使用該第一卷積射精網(wǎng)絡(luò)模型識(shí)別出視頻圖像中的背景區(qū)域。

為了使訓(xùn)練的結(jié)果更為精準(zhǔn)，在一種優(yōu)選的實(shí)施方式中，可以通過測(cè)試樣本測(cè)試該訓(xùn)練出的第一卷積神經(jīng)網(wǎng)絡(luò)模型是否準(zhǔn)確，進(jìn)而根據(jù)測(cè)試結(jié)果決定使用該第一卷積神經(jīng)網(wǎng)絡(luò)模型還是對(duì)該第一卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行再訓(xùn)練。在此方式中，在完成了對(duì)第一卷積神經(jīng)網(wǎng)絡(luò)模型的初步訓(xùn)練后，還可以獲取測(cè)試樣本圖像，使用訓(xùn)練后的第一卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)測(cè)試樣本圖像進(jìn)行前背景區(qū)域的預(yù)測(cè)，其中，測(cè)試樣本圖像為未進(jìn)行任何標(biāo)注的樣本圖像；進(jìn)而，檢驗(yàn)預(yù)測(cè)的前背景區(qū)域是否正確；若不正確，則對(duì)第一卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行再次訓(xùn)練；若正確，則可以確定使用該第一卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行視頻圖像的前背景確定，或者，為了使第一卷積神經(jīng)網(wǎng)絡(luò)模型更為精準(zhǔn)，再獲取其它測(cè)試樣本圖像進(jìn)行測(cè)試；或者，使用與原訓(xùn)練樣本圖像不同的樣本圖像進(jìn)行再次訓(xùn)練。

當(dāng)通過測(cè)試樣本檢驗(yàn)到使用第一卷積神經(jīng)網(wǎng)絡(luò)模型預(yù)測(cè)的前背景區(qū)域不正確時(shí)，需要對(duì)該第一卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行再次訓(xùn)練。在一種再次訓(xùn)練方式中，可以僅使用從測(cè)試樣本圖像中獲取的前背景區(qū)域預(yù)測(cè)不正確的樣本圖像作為再次訓(xùn)練使用的樣本圖像；然后，使用這些預(yù)測(cè)不正確的樣本圖像對(duì)第一卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行再次訓(xùn)練。這些進(jìn)行再次訓(xùn)練的樣本在用于訓(xùn)練前，也需進(jìn)行前背景標(biāo)注。通過這種再訓(xùn)練方式，不僅使得訓(xùn)練更有針對(duì)性，也大大節(jié)約了訓(xùn)練成本。當(dāng)然，不限于此，在實(shí)際使用中，也可以使用其它進(jìn)行了前背景標(biāo)注的樣本圖像進(jìn)行訓(xùn)練。

在視頻直播場(chǎng)景中，直播類視頻圖像的前景區(qū)域?yàn)槿宋锼诘膮^(qū)域；直播類視頻圖像的背景區(qū)域?yàn)槌巳宋锼诘膮^(qū)域之外的至少局部區(qū)域。

步驟s304：確定業(yè)務(wù)對(duì)象在視頻圖像中的展示位置。

本步驟中，可以確定業(yè)務(wù)對(duì)象在視頻圖像中的一個(gè)或者多個(gè)展示位置，可行的實(shí)現(xiàn)方式包括：

方式一、從業(yè)務(wù)對(duì)象對(duì)應(yīng)的多幀展示圖像中，確定待展示的展示圖像；確定待展示的展示圖像在視頻圖像中的展示位置。方式二、按照設(shè)定規(guī)則確定業(yè)務(wù)對(duì)象在視頻圖像中的展示位置。

以下，分別對(duì)上述兩種方式進(jìn)行詳細(xì)說明。

方式一

從業(yè)務(wù)對(duì)象對(duì)應(yīng)的具有播放順序的多幀展示圖像中，選擇首幀未被播放過的展示圖像，將選擇的展示圖像確定為待展示的展示圖像。

其中，從業(yè)務(wù)對(duì)象對(duì)應(yīng)的具有播放順序的多幀展示圖像中，選擇首幀未被播放過的展示圖像，具體可以先從業(yè)務(wù)對(duì)象對(duì)應(yīng)的具有播放順序的多幀展示圖像中，確定播放狀態(tài)為未播放的展示圖像，再選擇播放狀態(tài)為未播放的展示圖像中的首幀展示圖像。在此情況下，在選擇的首幀未被播放過的展示圖像播放完畢之后，對(duì)具有播放順序的多幀展示圖像的播放狀態(tài)進(jìn)行更新。

需要說明的是，無論業(yè)務(wù)對(duì)象為動(dòng)態(tài)業(yè)務(wù)對(duì)象還是靜態(tài)業(yè)務(wù)對(duì)象，業(yè)務(wù)對(duì)象均由多幀圖像組成。視頻圖像中的每幀與業(yè)務(wù)對(duì)象的每幀保持時(shí)間對(duì)齊，在視頻圖像播放下一幀時(shí)，業(yè)務(wù)對(duì)象也可以同步展示對(duì)應(yīng)的下一幀。

方式二

按照設(shè)定規(guī)則確定業(yè)務(wù)對(duì)象在視頻圖像中的展示位置；其中，設(shè)定規(guī)則包括：設(shè)定規(guī)則1、預(yù)先設(shè)定的業(yè)務(wù)對(duì)象在視頻圖像的設(shè)定展示位置，或者，設(shè)定規(guī)則2、根據(jù)前景區(qū)域中的目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)，確定業(yè)務(wù)對(duì)象在視頻圖像中的展示位置。

設(shè)定規(guī)則1:預(yù)先設(shè)定的業(yè)務(wù)對(duì)象與其在視頻圖像中的展示位置存在對(duì)應(yīng)關(guān)系，若待展示的業(yè)務(wù)對(duì)象確定為預(yù)先設(shè)定的業(yè)務(wù)對(duì)象，則待展示的業(yè)務(wù)對(duì)象的展示位置相應(yīng)地確定為預(yù)先設(shè)定的業(yè)務(wù)對(duì)象在視頻圖像中的設(shè)定展示位置。

設(shè)定規(guī)則2：可以分別使用預(yù)先訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型和前景區(qū)域中的目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)，確定業(yè)務(wù)對(duì)象在視頻圖像中的展示位置；還可以根據(jù)業(yè)務(wù)對(duì)象的類型和前景區(qū)域中的目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)，確定業(yè)務(wù)對(duì)象在視頻圖像中的展示位置；或者可以根據(jù)預(yù)先設(shè)定的動(dòng)作數(shù)據(jù)和前景區(qū)域中的目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)確定業(yè)務(wù)對(duì)象在視頻圖像中的展示位置。以下對(duì)上述三種確定業(yè)務(wù)對(duì)象在視頻圖像中的展示位置的方式進(jìn)行詳細(xì)介紹。

1)使用預(yù)先訓(xùn)練的第二卷積神經(jīng)網(wǎng)絡(luò)模型和前景區(qū)域中的目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)，確定業(yè)務(wù)對(duì)象在視頻圖像中的展示位置。

其中，需要預(yù)先訓(xùn)練一個(gè)卷積神經(jīng)網(wǎng)絡(luò)模型(即第二卷積神經(jīng)網(wǎng)絡(luò)模型)，訓(xùn)練完成的第二卷積神經(jīng)網(wǎng)絡(luò)模型具有確定業(yè)務(wù)對(duì)象在視頻圖像中的展示位置的功能；或者，也可以直接使用第三方已訓(xùn)練完成的、具有確定業(yè)務(wù)對(duì)象在視頻圖像中的展示位置的功能的卷積神經(jīng)網(wǎng)絡(luò)模型。

當(dāng)需要預(yù)先訓(xùn)練第二卷積神經(jīng)網(wǎng)絡(luò)模型時(shí)，一種可行的訓(xùn)練方式包括以下過程：

(1)獲取第二樣本圖像的第二特征向量。

其中，第二特征向量中包含有第二樣本圖像中的業(yè)務(wù)對(duì)象的位置信息和/或置信度信息，以及第二樣本圖像中目標(biāo)對(duì)象的目標(biāo)對(duì)象特征向量。業(yè)務(wù)對(duì)象的置信度信息指示了業(yè)務(wù)對(duì)象展示在當(dāng)前位置時(shí)，能夠達(dá)到的效果(如被關(guān)注或被點(diǎn)擊或被觀看)的概率，該概率可以根據(jù)對(duì)歷史數(shù)據(jù)的統(tǒng)計(jì)分析結(jié)果設(shè)定，也可以根據(jù)仿真實(shí)驗(yàn)的結(jié)果設(shè)定，還可以根據(jù)人工經(jīng)驗(yàn)進(jìn)行設(shè)定。在實(shí)際應(yīng)用中，可以根據(jù)實(shí)際需要，僅對(duì)業(yè)務(wù)對(duì)象的位置信息進(jìn)行訓(xùn)練，也可以僅對(duì)業(yè)務(wù)對(duì)象的置信度信息進(jìn)行訓(xùn)練，還可以對(duì)二者均進(jìn)行訓(xùn)練。對(duì)二者均進(jìn)行訓(xùn)練，能夠使得訓(xùn)練后的第二卷積神經(jīng)網(wǎng)絡(luò)模型更為有效和精準(zhǔn)地確定業(yè)務(wù)對(duì)象的位置信息和置信度信息，以便為視頻圖像的處理提供依據(jù)。

第二卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)大量的第二樣本圖像進(jìn)行訓(xùn)練，本實(shí)施例中，需要使用包含有業(yè)務(wù)對(duì)象的第二樣本圖像對(duì)第二卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，本領(lǐng)域技術(shù)人員應(yīng)當(dāng)明了的是，用來訓(xùn)練的第二樣本圖像中，除了包含業(yè)務(wù)對(duì)象外，也應(yīng)當(dāng)包含目標(biāo)對(duì)象屬性的信息(即人臉的面部表情和/或動(dòng)作、人手的手勢(shì)和/或動(dòng)作等等)。此外，本實(shí)施例中的第二樣本圖像中的業(yè)務(wù)對(duì)象可以被預(yù)先標(biāo)注位置信息，或者置信度信息，或者二種信息都有。當(dāng)然，在實(shí)際應(yīng)用中，這些信息也可以通過其它途徑獲取。而通過預(yù)先在對(duì)業(yè)務(wù)對(duì)象進(jìn)行相應(yīng)信息的標(biāo)注，可以有效節(jié)約數(shù)據(jù)處理的數(shù)據(jù)和交互次數(shù)，提高數(shù)據(jù)處理效率。

將具有業(yè)務(wù)對(duì)象的位置信息和/或置信度信息，以及某種目標(biāo)對(duì)象屬性的第二樣本圖像作為訓(xùn)練樣本，對(duì)其進(jìn)行特征向量提取，獲得包含有業(yè)務(wù)對(duì)象的位置信息和/或置信度信息的業(yè)務(wù)對(duì)象特征向量，以及目標(biāo)對(duì)象屬性對(duì)應(yīng)的目標(biāo)對(duì)象特征向量。

可選地，可以使用第二卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)目標(biāo)對(duì)象和業(yè)務(wù)對(duì)象同時(shí)進(jìn)行訓(xùn)練，在此情況下，第二樣本圖像的第二特征向量中，也應(yīng)當(dāng)包含目標(biāo)對(duì)象的特征。

對(duì)第二特征向量的提取可以采用相關(guān)技術(shù)中的適當(dāng)方式實(shí)現(xiàn)，本實(shí)施例在此不再贅述。

(2)對(duì)第二特征向量進(jìn)行卷積處理，獲取第二特征向量卷積結(jié)果。

在實(shí)施中，獲取的第二特征向量卷積結(jié)果中包含有業(yè)務(wù)對(duì)象的位置信息和/或置信度信息，目標(biāo)對(duì)象屬性對(duì)應(yīng)的目標(biāo)對(duì)象特征向量對(duì)應(yīng)的特征向量卷積結(jié)果。在對(duì)目標(biāo)對(duì)象和業(yè)務(wù)對(duì)象進(jìn)行聯(lián)合訓(xùn)練的情況下，特征向量卷積結(jié)果中還包含目標(biāo)對(duì)象信息。

對(duì)第二特征向量的卷積處理次數(shù)可以根據(jù)實(shí)際需要進(jìn)行設(shè)定，也即，第二卷積神經(jīng)網(wǎng)絡(luò)模型中，卷積層的層數(shù)根據(jù)實(shí)際需要進(jìn)行設(shè)置，在此不再贅述。

第二特征向量卷積結(jié)果是對(duì)第二特征向量進(jìn)行了特征提取后的結(jié)果，該結(jié)果能夠有效表征視頻圖像中目標(biāo)對(duì)象的特征對(duì)應(yīng)的業(yè)務(wù)對(duì)象。

本實(shí)施例中，當(dāng)?shù)诙卣飨蛄恐屑劝瑯I(yè)務(wù)對(duì)象的位置信息，又包含業(yè)務(wù)對(duì)象的置信度信息時(shí)，也即，對(duì)業(yè)務(wù)對(duì)象的位置信息和置信度信息均進(jìn)行了訓(xùn)練的情況下，該第二特征向量卷積結(jié)果在后續(xù)分別進(jìn)行收斂條件判斷時(shí)共享，無須進(jìn)行重復(fù)處理和計(jì)算，減少了由數(shù)據(jù)處理引起的資源損耗，提高了數(shù)據(jù)處理速度和效率。

(3)判斷第二特征向量卷積結(jié)果中對(duì)應(yīng)的業(yè)務(wù)對(duì)象的位置信息和/或置信度信息是否滿足業(yè)務(wù)對(duì)象收斂條件，并判斷第二特征向量卷積結(jié)果中對(duì)應(yīng)的目標(biāo)對(duì)象特征向量是否滿足目標(biāo)對(duì)象收斂條件。

其中，業(yè)務(wù)對(duì)象收斂條件和目標(biāo)對(duì)象收斂條件可以由本領(lǐng)域技術(shù)人員根據(jù)實(shí)際需求適當(dāng)設(shè)定。當(dāng)位置信息和/或置信度信息滿足業(yè)務(wù)對(duì)象收斂條件，且目標(biāo)對(duì)象特征向量滿足目標(biāo)對(duì)象收斂條件時(shí)，可以認(rèn)為第二卷積神經(jīng)網(wǎng)絡(luò)模型中的網(wǎng)絡(luò)參數(shù)設(shè)置適當(dāng)；當(dāng)位置信息和/或置信度信息不滿足業(yè)務(wù)對(duì)象收斂條件，或目標(biāo)對(duì)象特征向量不滿足目標(biāo)對(duì)象收斂條件時(shí)，可以認(rèn)為第二卷積神經(jīng)網(wǎng)絡(luò)模型中的網(wǎng)絡(luò)參數(shù)設(shè)置不適當(dāng)，需要對(duì)其進(jìn)行調(diào)整，該調(diào)整是一個(gè)迭代的過程，直至使用調(diào)整后的網(wǎng)絡(luò)參數(shù)對(duì)第二特征向量進(jìn)行卷積處理的結(jié)果滿足收斂條件。

一種可行方式中，業(yè)務(wù)對(duì)象收斂條件可以根據(jù)預(yù)設(shè)的標(biāo)準(zhǔn)位置和/或預(yù)設(shè)的標(biāo)準(zhǔn)置信度進(jìn)行設(shè)定，如，將第二特征向量卷積結(jié)果中業(yè)務(wù)對(duì)象的位置信息指示的位置與預(yù)設(shè)的標(biāo)準(zhǔn)位置之間的距離是否滿足一定閾值作為業(yè)務(wù)對(duì)象的位置信息的收斂條件；將第二特征向量卷積結(jié)果中業(yè)務(wù)對(duì)象的置信度信息指示的置信度與預(yù)設(shè)的標(biāo)準(zhǔn)置信度之間的差別是否滿足一定閾值作為業(yè)務(wù)對(duì)象的置信度信息的收斂條件等。

其中，可選地，預(yù)設(shè)的標(biāo)準(zhǔn)位置可以是對(duì)待訓(xùn)練的第二樣本圖像中的業(yè)務(wù)對(duì)象的位置進(jìn)行平均處理后獲得的平均位置；預(yù)設(shè)的標(biāo)準(zhǔn)置信度可以是對(duì)待訓(xùn)練的第二樣本圖像中的業(yè)務(wù)對(duì)象的置信度進(jìn)行平均處理后獲取的平均置信度。因第二樣本圖像為待訓(xùn)練樣本且數(shù)據(jù)量龐大，可依據(jù)待訓(xùn)練的第二樣本圖像中的業(yè)務(wù)對(duì)象的位置和/或置信度設(shè)定標(biāo)準(zhǔn)位置和/或標(biāo)準(zhǔn)置信度，這樣設(shè)定的標(biāo)準(zhǔn)位置和標(biāo)準(zhǔn)置信度也更為客觀和精確。

在具體進(jìn)行第二特征向量卷積結(jié)果中對(duì)應(yīng)的業(yè)務(wù)對(duì)象的位置信息和/或置信度信息是否滿足業(yè)務(wù)對(duì)象收斂條件的判斷時(shí)，一種可行的方式包括：

獲取第二特征向量卷積結(jié)果中對(duì)應(yīng)的業(yè)務(wù)對(duì)象的位置信息，通過計(jì)算對(duì)應(yīng)的業(yè)務(wù)對(duì)象的位置信息指示的位置與預(yù)設(shè)的標(biāo)準(zhǔn)位置之間的歐式距離，得到對(duì)應(yīng)的業(yè)務(wù)對(duì)象的位置信息指示的位置與預(yù)設(shè)的標(biāo)準(zhǔn)位置之間的第一距離，根據(jù)第一距離判斷對(duì)應(yīng)的業(yè)務(wù)對(duì)象的位置信息是否滿足業(yè)務(wù)對(duì)象收斂條件；和/或，

獲取第二特征向量卷積結(jié)果中對(duì)應(yīng)的業(yè)務(wù)對(duì)象的置信度信息，計(jì)算對(duì)應(yīng)的業(yè)務(wù)對(duì)象的置信度信息指示的置信度與預(yù)設(shè)的標(biāo)準(zhǔn)置信度之間的歐式距離，得到對(duì)應(yīng)的業(yè)務(wù)對(duì)象的置信度信息指示的置信度與預(yù)設(shè)的標(biāo)準(zhǔn)置信度之間的第二距離，根據(jù)第二距離判斷對(duì)應(yīng)的業(yè)務(wù)對(duì)象的置信度信息是否滿足業(yè)務(wù)對(duì)象收斂條件。其中，采用歐式距離的方式，實(shí)現(xiàn)簡(jiǎn)單且能夠有效指示收斂條件是否被滿足。但不限于此，其它方式，如馬式距離，巴式距離等也同樣適用。

可選地，如前所述，預(yù)設(shè)的標(biāo)準(zhǔn)位置為對(duì)待訓(xùn)練的第二樣本圖像中的業(yè)務(wù)對(duì)象的位置進(jìn)行平均處理后獲得的平均位置；和/或，預(yù)設(shè)的標(biāo)準(zhǔn)置信度為對(duì)待訓(xùn)練的第二樣本圖像中的業(yè)務(wù)對(duì)象的置信度進(jìn)行平均處理后獲取的平均置信度。

當(dāng)?shù)诙卣飨蛄烤矸e結(jié)果中還包含目標(biāo)對(duì)象的信息時(shí)，對(duì)目標(biāo)對(duì)象的信息是否收斂的判斷可以參照相關(guān)使用第二卷積神經(jīng)網(wǎng)絡(luò)模型的收斂條件進(jìn)行判斷，在此不再贅述。若目標(biāo)對(duì)象的信息滿足收斂條件(即第二特征向量卷積結(jié)果中的目標(biāo)對(duì)象特征向量滿足目標(biāo)對(duì)象收斂條件)，則可對(duì)目標(biāo)對(duì)象進(jìn)行分類，明確目標(biāo)對(duì)象的所屬類別，以為后續(xù)業(yè)務(wù)對(duì)象的展示位置確定提供參考和依據(jù)。

(4)若滿足收斂條件(即位置信息和/或置信度信息滿足業(yè)務(wù)對(duì)象收斂條件，且目標(biāo)對(duì)象特征向量滿足目標(biāo)對(duì)象收斂條件)，則完成對(duì)第二卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練；若不滿足收斂條件(位置信息和/或置信度信息不滿足業(yè)務(wù)對(duì)象收斂條件，或目標(biāo)對(duì)象特征向量不滿足目標(biāo)對(duì)象收斂條件)，則根據(jù)第二特征向量卷積結(jié)果中對(duì)應(yīng)的業(yè)務(wù)對(duì)象的位置信息和/或置信度信息，和第二特征向量卷積結(jié)果中的目標(biāo)對(duì)象特征向量調(diào)整第二卷積神經(jīng)網(wǎng)絡(luò)模型的參數(shù)并根據(jù)調(diào)整后的第二卷積神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)對(duì)第二卷積睡覺覺網(wǎng)絡(luò)模型進(jìn)行迭代訓(xùn)練，直至迭代訓(xùn)練后的業(yè)務(wù)對(duì)象的位置信息和/或置信度信息滿足收斂條件，目標(biāo)對(duì)象特征向量滿足目標(biāo)對(duì)象收斂條件。

通過對(duì)第二卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行上述訓(xùn)練，第二卷積神經(jīng)網(wǎng)絡(luò)模型可以對(duì)基于業(yè)務(wù)對(duì)象的展示位置進(jìn)行特征提取和分類，從而具有確定業(yè)務(wù)對(duì)象在視頻圖像中的展示位置的功能。其中，當(dāng)展示位置包括多個(gè)時(shí)，通過上述業(yè)務(wù)對(duì)象置信度的訓(xùn)練，第二卷積神經(jīng)網(wǎng)絡(luò)模型還可以確定出多個(gè)展示位置中的展示效果的優(yōu)劣順序，從而確定最優(yōu)的展示位置。在后續(xù)應(yīng)用中，當(dāng)需要展示業(yè)務(wù)對(duì)象時(shí)，根據(jù)視頻圖像即可確定出有效的展示位置。

此外，在對(duì)第二卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行上述訓(xùn)練之前，還可以預(yù)先對(duì)第二樣本圖像進(jìn)行預(yù)處理，包括：獲取多個(gè)第二樣本圖像，其中，每個(gè)第二樣本圖像中包含有業(yè)務(wù)對(duì)象的標(biāo)注信息；根據(jù)標(biāo)注信息確定業(yè)務(wù)對(duì)象的位置，判斷確定的業(yè)務(wù)對(duì)象的位置與預(yù)設(shè)位置的距離是否小于或等于設(shè)定閾值；將小于或等于設(shè)定閾值的業(yè)務(wù)對(duì)象對(duì)應(yīng)的第二樣本圖像，確定為待訓(xùn)練的第二樣本圖像。其中，預(yù)設(shè)位置和設(shè)定閾值均可以由本領(lǐng)域技術(shù)人員采用任意適當(dāng)方式進(jìn)行適當(dāng)設(shè)置，如根據(jù)數(shù)據(jù)統(tǒng)計(jì)分析結(jié)果或者相關(guān)距離計(jì)算公式或者人工經(jīng)驗(yàn)等，本實(shí)施例對(duì)此不作限制。

在一種可行方式中，根據(jù)標(biāo)注信息確定的業(yè)務(wù)對(duì)象的位置可以是業(yè)務(wù)對(duì)象的中心位置。在根據(jù)標(biāo)注信息確定業(yè)務(wù)對(duì)象的位置，判斷確定的業(yè)務(wù)對(duì)象的位置與預(yù)設(shè)位置的距離是否小于或等于設(shè)定閾值時(shí)，可以根據(jù)標(biāo)注信息確定業(yè)務(wù)對(duì)象的中心位置；進(jìn)而判斷該中心位置與預(yù)設(shè)位置的方差是否小于或等于設(shè)定閾值。

通過預(yù)先對(duì)第二樣本圖像進(jìn)行預(yù)處理，可以過濾掉不符合條件的樣本圖像，以保證訓(xùn)練結(jié)果的準(zhǔn)確性。

通過上述過程實(shí)現(xiàn)了第二卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練，訓(xùn)練完成的第二卷積神經(jīng)網(wǎng)絡(luò)模型可以用來確定業(yè)務(wù)對(duì)象在視頻圖像中的展示位置。例如，在視頻直播過程中，若主播點(diǎn)擊業(yè)務(wù)對(duì)象指示進(jìn)行業(yè)務(wù)對(duì)象展示時(shí)，在第二卷積神經(jīng)網(wǎng)絡(luò)模型獲得了直播的視頻圖像中主播的面部特征點(diǎn)后，可以指示出展示業(yè)務(wù)對(duì)象的最優(yōu)位置如主播的額頭位置，進(jìn)而控制直播應(yīng)用在該位置展示業(yè)務(wù)對(duì)象；或者，在視頻直播過程中，若主播點(diǎn)擊業(yè)務(wù)對(duì)象指示進(jìn)行業(yè)務(wù)對(duì)象展示時(shí)，第二卷積神經(jīng)網(wǎng)絡(luò)模型可以直接根據(jù)直播的視頻圖像確定業(yè)務(wù)對(duì)象的展示位置。

2)根據(jù)業(yè)務(wù)對(duì)象的類型和前景區(qū)域中的目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)，確定業(yè)務(wù)對(duì)象在視頻圖像中的展示位置。

首先根據(jù)前景區(qū)域中的目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)和業(yè)務(wù)對(duì)象的類型，獲得業(yè)務(wù)對(duì)象在視頻圖像中的多個(gè)展示位置；然后從多個(gè)展示位置中選擇至少一個(gè)展示位置。其中，目標(biāo)對(duì)象的類型包括但不限于：人臉類型、手部類型和動(dòng)作類型。其中，人臉類型用于指示人臉在視頻圖像中占據(jù)主要部分，手部類型用于指示手部在視頻圖像中占據(jù)主要部分，而動(dòng)作類型則用于指示人物進(jìn)行了某種動(dòng)作。目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)包括以下至少之一：眨眼數(shù)據(jù)、張嘴數(shù)據(jù)、點(diǎn)頭數(shù)據(jù)、搖頭數(shù)據(jù)、親吻數(shù)據(jù)、微笑數(shù)據(jù)、揮手?jǐn)?shù)據(jù)、剪刀手?jǐn)?shù)據(jù)、握拳數(shù)據(jù)、托手?jǐn)?shù)據(jù)、大拇指數(shù)據(jù)、手槍姿勢(shì)數(shù)據(jù)、ok手?jǐn)?shù)據(jù)。

3)根據(jù)預(yù)先設(shè)定的動(dòng)作數(shù)據(jù)和前景區(qū)域中的目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)確定業(yè)務(wù)對(duì)象在視頻圖像中的展示位置。

判斷前景區(qū)域中的目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)與預(yù)先設(shè)定的動(dòng)作數(shù)據(jù)是否匹配；若匹配，則從預(yù)先存儲(chǔ)的動(dòng)作數(shù)據(jù)與展示位置的對(duì)應(yīng)關(guān)系中，獲取預(yù)先設(shè)定的動(dòng)作數(shù)據(jù)對(duì)應(yīng)的目標(biāo)展示位置作為業(yè)務(wù)對(duì)象在視頻圖像中的展示位置。

在實(shí)施中，可以預(yù)先設(shè)定多種不同的動(dòng)作數(shù)據(jù)，并對(duì)不同的動(dòng)作數(shù)據(jù)進(jìn)行相應(yīng)的標(biāo)記，如標(biāo)記為臉部的動(dòng)作或者手部的動(dòng)作等等。不同的動(dòng)作數(shù)據(jù)對(duì)應(yīng)著不同的展示位置。將前景區(qū)域中的目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)與預(yù)先設(shè)定的動(dòng)作數(shù)據(jù)進(jìn)行匹配，如果動(dòng)作檢測(cè)數(shù)據(jù)與動(dòng)作數(shù)據(jù)相同，則可以確定前景區(qū)域中的目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)與預(yù)先設(shè)定的動(dòng)作數(shù)據(jù)進(jìn)行匹配。

為了提高匹配的準(zhǔn)確度，可以通過計(jì)算的方式確定上述匹配結(jié)果，例如，可以設(shè)置匹配算法計(jì)算動(dòng)作檢測(cè)數(shù)據(jù)和動(dòng)作數(shù)據(jù)之間的匹配度，例如，可以使用動(dòng)作檢測(cè)數(shù)據(jù)和預(yù)先設(shè)定的動(dòng)作數(shù)據(jù)進(jìn)行匹配計(jì)算，得到兩者之間的匹配度數(shù)值，通過上述方式分別計(jì)算動(dòng)作檢測(cè)數(shù)據(jù)與預(yù)先設(shè)定的每一個(gè)動(dòng)作數(shù)據(jù)之間的匹配度數(shù)值，從得到的匹配度數(shù)值中選取最大的匹配度數(shù)值，如果該最大的匹配度數(shù)值超過預(yù)定的匹配閾值，則可以確定最大的匹配度數(shù)值對(duì)應(yīng)的預(yù)先設(shè)定的動(dòng)作數(shù)據(jù)與動(dòng)作檢測(cè)數(shù)據(jù)相匹配。如果該最大的匹配度數(shù)值未超過預(yù)定的匹配閾值，則匹配失敗。

需要說明的是，上述步驟s302和步驟s304可以同時(shí)執(zhí)行，也可以按照順序執(zhí)行，例如，先執(zhí)行步驟s302，后執(zhí)行步驟s304，或者先執(zhí)行步驟s304，后執(zhí)行步驟s302，本實(shí)施例對(duì)步驟s302和步驟s304的執(zhí)行順序不做具體限定。

步驟s306：根據(jù)展示位置判斷業(yè)務(wù)對(duì)象與前景區(qū)域是否存在重疊部分，若存在，則執(zhí)行步驟s308；若不存在，則執(zhí)行步驟s310。

本步驟中，判斷業(yè)務(wù)對(duì)象與前景區(qū)域是否存在重疊部分的目的是判斷業(yè)務(wù)對(duì)象是否對(duì)視頻圖像的前景區(qū)域造成遮擋。若存在重疊部分，則表示業(yè)務(wù)對(duì)象對(duì)視頻圖像的前景區(qū)域造成遮擋；若不存在重疊部分，則表示業(yè)務(wù)對(duì)象對(duì)視頻圖像的前景區(qū)域未造成遮擋。

步驟s308：采用計(jì)算機(jī)繪圖方式，在背景區(qū)域繪制業(yè)務(wù)對(duì)象中除重疊部分之外的部分。

一種可行的方式中，例如，業(yè)務(wù)對(duì)象y與視頻圖像s的前景區(qū)域q存在重疊部分c，在視頻圖像s的背景區(qū)域b繪制業(yè)務(wù)對(duì)象y中除重疊部分c之外的部分w，其中，重疊部分c和部分w共同組成業(yè)務(wù)對(duì)象y，前景區(qū)域q和背景區(qū)域b共同組成業(yè)務(wù)對(duì)象y。

另一種可行的方式中，若業(yè)務(wù)對(duì)象對(duì)視頻圖像的前景區(qū)域造成遮擋，則可以采用調(diào)整前景區(qū)域的顯示圖層的方式將前景區(qū)域置于業(yè)務(wù)對(duì)象之上展示，或者還可以采用調(diào)整業(yè)務(wù)對(duì)象的顯示圖層的方式將業(yè)務(wù)對(duì)象置于前景區(qū)域之下展示。本實(shí)施例對(duì)將前景區(qū)域置于業(yè)務(wù)對(duì)象之上展示的技術(shù)手段不做具體限制。

本實(shí)施例中，將前景區(qū)域置于業(yè)務(wù)對(duì)象之上展示，具體可以將重疊部分對(duì)應(yīng)的前景區(qū)域置于重疊部分對(duì)應(yīng)的業(yè)務(wù)對(duì)象之上展示。

步驟s310：采用計(jì)算機(jī)繪圖方式，在背景區(qū)域繪制整個(gè)業(yè)務(wù)對(duì)象。

通過本實(shí)施例提供的視頻圖像的處理方法，獲取待處理的視頻圖像和待展示的業(yè)務(wù)對(duì)象，確定待處理的視頻圖像的前景區(qū)域和背景區(qū)域，以及業(yè)務(wù)對(duì)象在視頻圖像中的展示位置，然后根據(jù)業(yè)務(wù)對(duì)象在視頻圖像中的展示位置判斷業(yè)務(wù)對(duì)象與視頻圖像的前景區(qū)域是否存在重疊部分，若存在重疊部分，表示部分或全部業(yè)務(wù)對(duì)象位于前景區(qū)域內(nèi)，則對(duì)于該重疊部分，將前景區(qū)域置于業(yè)務(wù)對(duì)象之上展示，避免業(yè)務(wù)對(duì)象遮擋前景區(qū)域，不影響觀眾的正常視頻觀看體驗(yàn)，不易引起觀眾反感，可以有效實(shí)現(xiàn)預(yù)想的效果。

實(shí)施例四

參照?qǐng)D4，示出了根據(jù)本發(fā)明實(shí)施例四的一種視頻圖像的處理方法的步驟流程圖。

業(yè)務(wù)對(duì)象包括包含有語義信息的特效，具體地，業(yè)務(wù)對(duì)象包括包含廣告信息的以下至少一種形式的特效：二維貼紙?zhí)匦?、三維特效、粒子特效。本實(shí)施例以業(yè)務(wù)對(duì)象為二維廣告貼紙?zhí)匦В曨l圖像為直播類視頻圖像為例，對(duì)本發(fā)明實(shí)施例的視頻圖像的處理方案進(jìn)行說明。

本實(shí)施例的視頻圖像的處理方法包括以下步驟：

步驟s400：獲取待處理的直播類視頻圖像和待展示的廣告貼紙?zhí)匦А?/p>

從直播類視頻應(yīng)用中獲取待處理的直播類視頻圖像。待展示的廣告貼紙?zhí)匦Э梢詾閺V告商定制的廣告貼紙?zhí)匦?，或者可以為主播選擇的廣告貼紙?zhí)匦А?/p>

步驟s402：確定直播類視頻圖像的主播區(qū)域，以及廣告貼紙?zhí)匦г谥辈ヮ愐曨l圖像中的展示位置。

直播類視頻圖像可以劃分為兩部分區(qū)域，分別為主播區(qū)域和背景區(qū)域。其中，主播區(qū)域?yàn)橹鞑ケ旧淼膮^(qū)域，背景區(qū)域?yàn)橹辈ヮ愐曨l圖像中，主播區(qū)域以外的區(qū)域。

本步驟確定主播區(qū)域以及展示位置的具體執(zhí)行過程可以按照上述實(shí)施例中的相關(guān)內(nèi)容，在此不再贅述。

步驟s404：根據(jù)展示位置判斷廣告貼紙?zhí)匦c主播區(qū)域是否存在重疊部分，若存在，則執(zhí)行步驟s406；若不存在，則執(zhí)行步驟s408。

步驟s406：將主播區(qū)域置于廣告貼紙?zhí)匦е险故尽?/p>

步驟s408：采用計(jì)算機(jī)繪圖方式，在背景區(qū)域繪制整個(gè)業(yè)務(wù)對(duì)象。

本實(shí)施例中，當(dāng)視頻圖像的主體為主播時(shí)，觀眾主要關(guān)注的區(qū)域?yàn)橹鞑サ哪槻繀^(qū)域和肢體動(dòng)作，為了能夠既讓觀眾注意到廣告貼紙?zhí)匦У膬?nèi)容，同時(shí)不會(huì)影響到主播，可以通過增強(qiáng)現(xiàn)實(shí)感效果，給視頻圖像相關(guān)區(qū)域加上有語義的虛擬物品如廣告貼紙?zhí)匦?。并通過虛擬物品上的展示效果和信息達(dá)到商業(yè)價(jià)值。通過這種方式，既保留了主播的主要形象和動(dòng)作，同時(shí)通過增強(qiáng)現(xiàn)實(shí)的特效為視頻圖像增加了趣味性，減少了觀眾對(duì)廣告投放引起的可能的反感，并能夠吸引到觀眾的注意力，形成商業(yè)的價(jià)值。例如，若廣告貼紙?zhí)匦橐粋€(gè)飛鳥貼紙?zhí)匦?，飛鳥貼紙?zhí)匦г谝曨l圖像中展示，當(dāng)飛鳥貼紙?zhí)匦У恼故疚恢门c主播區(qū)域存在重疊部分時(shí)，即飛鳥貼紙?zhí)匦д趽踔鞑^(qū)域時(shí)，將主播區(qū)域置于飛鳥貼紙?zhí)匦е险故尽＞唧w地，若飛鳥貼紙?zhí)匦c主播區(qū)域的重疊部分為飛鳥貼紙?zhí)匦У念^部，飛鳥貼紙?zhí)匦У钠溆嗖糠植慌c主播區(qū)域重疊，則將主播區(qū)域置于飛鳥貼紙?zhí)匦У念^部之上展示，展示效果為可見飛鳥貼紙?zhí)匦С^部以外的部分和主播區(qū)域。若飛鳥貼紙?zhí)匦c主播區(qū)域的重疊部分為整個(gè)飛鳥貼紙?zhí)匦?，則將主播區(qū)域置于整個(gè)飛鳥貼紙?zhí)匦е险故?，展示效果為不可見整個(gè)飛鳥貼紙?zhí)匦?，可見主播區(qū)域。

需要說明的是，上述廣告貼紙?zhí)匦?，以飛鳥貼紙?zhí)匦槔梢詾殪o態(tài)的廣告貼紙?zhí)匦?，也可以為?dòng)態(tài)的廣告貼紙?zhí)匦?。?dāng)廣告貼紙?zhí)匦閯?dòng)態(tài)的廣告貼紙?zhí)匦r(shí)，可以將動(dòng)態(tài)的廣告貼紙?zhí)匦У拿恳粠鳛橐粋€(gè)靜態(tài)的廣告貼紙?zhí)匦нM(jìn)行處理，具體處理過程可以參照上述實(shí)施例中的相關(guān)內(nèi)容，在此不再贅述。

隨著互聯(lián)網(wǎng)直播的興起，越來越多的視頻以直播的方式出現(xiàn)。這類視頻具有場(chǎng)景簡(jiǎn)單、實(shí)時(shí)、因觀眾主要在手機(jī)等移動(dòng)終端上觀看而視頻圖像尺寸較小等特點(diǎn)。在此情況下，對(duì)于某些業(yè)務(wù)對(duì)象的投放如廣告投放來說，由于移動(dòng)終端的屏幕展示區(qū)域有限，如果以傳統(tǒng)的固定位置放置廣告，則會(huì)占用主要的用戶體驗(yàn)區(qū)域，甚至?xí)趽踔鞑^(qū)域，不僅容易引起用戶反感，還可能導(dǎo)致直播的主播者丟失觀眾。而通過業(yè)務(wù)對(duì)象投放廣告，將廣告投放與視頻直播內(nèi)容有效融合，方式靈活，效果生動(dòng)，不僅不影響用戶的直播觀看體驗(yàn)，且提升了廣告的投放效果。對(duì)于使用較小的顯示屏幕進(jìn)行業(yè)務(wù)對(duì)象展示，廣告投放等場(chǎng)景尤其適用。

通過本實(shí)施例提供的視頻圖像的處理方法，獲取待處理的視頻圖像和待展示的業(yè)務(wù)對(duì)象，確定待處理的視頻圖像的前景區(qū)域，以及業(yè)務(wù)對(duì)象在視頻圖像中的展示位置，然后根據(jù)業(yè)務(wù)對(duì)象在視頻圖像中的展示位置判斷業(yè)務(wù)對(duì)象與視頻圖像的前景區(qū)域是否存在重疊部分，若存在重疊部分，表示部分或全部業(yè)務(wù)對(duì)象位于前景區(qū)域內(nèi)，則對(duì)于該重疊部分，將前景區(qū)域置于業(yè)務(wù)對(duì)象之上展示，避免業(yè)務(wù)對(duì)象遮擋前景區(qū)域，不影響觀眾的正常視頻觀看體驗(yàn)，不易引起觀眾反感，可以有效實(shí)現(xiàn)預(yù)想的效果。

此外，本實(shí)施例的視頻圖像處理方法可以在任意適當(dāng)?shù)木哂袛?shù)據(jù)采集、處理和傳輸功能的終端設(shè)備如移動(dòng)終端或pc上實(shí)現(xiàn)，本發(fā)明實(shí)施例對(duì)實(shí)現(xiàn)設(shè)備不作限制。

實(shí)施例五

參照?qǐng)D5，示出了根據(jù)本發(fā)明實(shí)施例五的一種視頻圖像的處理裝置的結(jié)構(gòu)框圖。

本實(shí)施例的視頻圖像的處理裝置包括：獲取模塊500，用于獲取待處理的視頻圖像和待展示的業(yè)務(wù)對(duì)象；背景區(qū)域確定模塊502，用于確定視頻圖像的背景區(qū)域；繪制模塊504，用于采用計(jì)算機(jī)繪圖方式在視頻圖像的背景區(qū)域繪制業(yè)務(wù)對(duì)象。

通過本實(shí)施例提供的視頻圖像的處理裝置，獲取待處理的視頻圖像和待展示的業(yè)務(wù)對(duì)象，確定待處理的視頻圖像的背景區(qū)域，然后采用計(jì)算機(jī)繪圖方式在視頻圖像的背景區(qū)域繪制業(yè)務(wù)對(duì)象，實(shí)現(xiàn)業(yè)務(wù)對(duì)象在視頻圖像的背景區(qū)域展示，避免業(yè)務(wù)對(duì)象遮擋前景區(qū)域，不影響觀眾的正常視頻觀看體驗(yàn)，不易引起觀眾反感，可以有效實(shí)現(xiàn)預(yù)想的效果。

實(shí)施例六

參照?qǐng)D6，示出了根據(jù)本發(fā)明實(shí)施例六的一種視頻圖像的處理裝置的結(jié)構(gòu)框圖。

本實(shí)施例的視頻圖像的處理裝置包括：獲取模塊600，用于獲取待處理的視頻圖像和待展示的業(yè)務(wù)對(duì)象；背景區(qū)域確定模塊602，用于確定視頻圖像的背景區(qū)域；繪制模塊604，用于采用計(jì)算機(jī)繪圖方式在視頻圖像的背景區(qū)域繪制業(yè)務(wù)對(duì)象。

可選地，繪制模塊604包括：展示位置確定模塊6040，用于確定業(yè)務(wù)對(duì)象在視頻圖像中的展示位置；前景區(qū)域確定模塊6042，用于確定視頻圖像的前景區(qū)域；判斷模塊6044，用于根據(jù)展示位置判斷業(yè)務(wù)對(duì)象與前景區(qū)域是否存在重疊部分；展示模塊6046，用于若業(yè)務(wù)對(duì)象與前景區(qū)域存在重疊部分，則采用計(jì)算機(jī)繪圖方式，在背景區(qū)域繪制業(yè)務(wù)對(duì)象中除重疊部分之外的部分。

可選地，背景區(qū)域確定模塊602，用于通過預(yù)先訓(xùn)練的第一卷積神經(jīng)網(wǎng)絡(luò)模型確定視頻圖像的背景區(qū)域。

可選地，本實(shí)施例的視頻圖像的處理裝置還包括：第一訓(xùn)練模塊606，用于對(duì)第一卷積神經(jīng)網(wǎng)絡(luò)模型的預(yù)先訓(xùn)練；第一訓(xùn)練模塊606包括：第一特征向量獲取模塊6060，用于獲取第一樣本圖像的第一特征向量，其中，第一樣本圖像為包含有前景標(biāo)注信息和背景標(biāo)注信息的樣本圖像；第一卷積處理模塊6062，用于對(duì)第一特征向量進(jìn)行卷積處理，獲取第一特征向量卷積結(jié)果；放大處理模塊6064，用于對(duì)第一特征向量卷積結(jié)果進(jìn)行放大處理；第一條件判斷模塊6066，用于判斷放大后的第一特征向量卷積結(jié)果是否滿足卷積收斂條件；第一執(zhí)行模塊6068，用于若放大后的第一特征向量卷積結(jié)果滿足卷積收斂條件，則完成對(duì)第一卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練；若放大后的第一特征向量卷積結(jié)果不滿足卷積收斂條件，則根據(jù)放大后的第一特征向量卷積結(jié)果調(diào)整第一卷積神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)并根據(jù)調(diào)整后的第一卷積神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)對(duì)第一卷積網(wǎng)絡(luò)模型進(jìn)行迭代訓(xùn)練，直至迭代訓(xùn)練后的第一特征向量卷積結(jié)果滿足卷積收斂條件。

可選地，展示位置確定模塊6040，用于按照設(shè)定規(guī)則確定業(yè)務(wù)對(duì)象在視頻圖像中的展示位置；其中，設(shè)定規(guī)則包括：預(yù)先設(shè)定的業(yè)務(wù)對(duì)象在視頻圖像的設(shè)定展示位置，或者，展示位置確定模塊6040根據(jù)前景區(qū)域中的目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)，確定業(yè)務(wù)對(duì)象在視頻圖像中的展示位置。

可選地，展示位置確定模塊6040，用于根據(jù)前景區(qū)域中的目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)，通過預(yù)先訓(xùn)練的第二卷積神經(jīng)網(wǎng)絡(luò)模型確定業(yè)務(wù)對(duì)象在視頻圖像中的展示位置。

可選地，本實(shí)施例的視頻圖像的處理裝置還包括：第二訓(xùn)練模塊608，用于對(duì)第二卷積神經(jīng)網(wǎng)絡(luò)模型預(yù)先訓(xùn)練；第二訓(xùn)練模塊608包括：第二特征向量獲取模塊6080，用于獲取第二樣本圖像的第一特征向量，其中，第二特征向量中包含有第二樣本圖像中的業(yè)務(wù)對(duì)象的位置信息和/或置信度信息，以及第二樣本圖像中目標(biāo)對(duì)象的目標(biāo)對(duì)象特征向量；第二卷積處理模塊6082，用于對(duì)第二特征向量進(jìn)行卷積處理，獲取第二特征向量卷積結(jié)果；第二條件判斷模塊6084，用于判斷第二特征向量卷積結(jié)果中對(duì)應(yīng)的業(yè)務(wù)對(duì)象的位置信息和/或置信度信息是否滿足業(yè)務(wù)對(duì)象收斂條件，并判斷第二特征向量卷積結(jié)果中的目標(biāo)對(duì)象特征向量是否滿足目標(biāo)對(duì)象收斂條件；第二執(zhí)行模塊6086，用于若第二特征向量卷積結(jié)果中對(duì)應(yīng)的業(yè)務(wù)對(duì)象的位置信息和/或置信度信息滿足業(yè)務(wù)對(duì)象收斂條件，且第二特征向量卷積結(jié)果中的目標(biāo)對(duì)象特征向量滿足目標(biāo)對(duì)象收斂條件，則完成對(duì)第二卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練；否則，調(diào)整第二卷積神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)并根據(jù)調(diào)整后的第二卷積神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)對(duì)第二卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行迭代訓(xùn)練，直至迭代訓(xùn)練后的業(yè)務(wù)對(duì)象的位置信息和/或置信度信息和目標(biāo)對(duì)象特征向量均滿足相應(yīng)的收斂條件。

可選地，展示位置確定模塊6040，用于根據(jù)前景區(qū)域中的目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)和業(yè)務(wù)對(duì)象的類型，確定業(yè)務(wù)對(duì)象在視頻圖像中的展示位置。

可選地，展示位置確定模塊6040包括：展示位置獲得模塊60400，用于根據(jù)前景區(qū)域中的目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)和業(yè)務(wù)對(duì)象的類型，獲得業(yè)務(wù)對(duì)象在視頻圖像中的多個(gè)展示位置；展示位置選擇模塊60402，用于從多個(gè)展示位置中選擇至少一個(gè)展示位置。

可選地，展示位置確定模塊6040包括：數(shù)據(jù)判斷模塊60404，用于判斷前景區(qū)域中的目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)與預(yù)先設(shè)定的動(dòng)作數(shù)據(jù)是否匹配；位置獲取模塊60406，用于若前景區(qū)域中的目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)與預(yù)先設(shè)定的動(dòng)作數(shù)據(jù)匹配，則從預(yù)先存儲(chǔ)的動(dòng)作數(shù)據(jù)與展示位置的對(duì)應(yīng)關(guān)系中，獲取預(yù)先設(shè)定的動(dòng)作數(shù)據(jù)對(duì)應(yīng)的目標(biāo)展示位置作為業(yè)務(wù)對(duì)象在視頻圖像中的展示位置。

可選地，業(yè)務(wù)對(duì)象包括包含有語義信息的特效；視頻圖像為直播類視頻圖像。

可選地，業(yè)務(wù)對(duì)象包括包含廣告信息的以下至少一種形式的特效：二維貼紙?zhí)匦А⑷S特效、粒子特效。

可選地，直播類視頻圖像的前景區(qū)域?yàn)槿宋锼诘膮^(qū)域。

可選地，直播類視頻圖像的背景區(qū)域?yàn)槌巳宋锼诘膮^(qū)域之外的至少局部區(qū)域。

可選地，目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)包括以下至少之一：眨眼數(shù)據(jù)、張嘴數(shù)據(jù)、點(diǎn)頭數(shù)據(jù)、搖頭數(shù)據(jù)、親吻數(shù)據(jù)、微笑數(shù)據(jù)、揮手?jǐn)?shù)據(jù)、剪刀手?jǐn)?shù)據(jù)、握拳數(shù)據(jù)、托手?jǐn)?shù)據(jù)、大拇指數(shù)據(jù)、手槍姿勢(shì)數(shù)據(jù)、ok手?jǐn)?shù)據(jù)。

本實(shí)施例視頻圖像的處理裝置用于實(shí)現(xiàn)前述多個(gè)方法實(shí)施例中相應(yīng)的視頻圖像的處理方法，并具有相應(yīng)的方法實(shí)施例的有益效果，在此不再贅述。

此外，本實(shí)施例的視頻圖像的處理裝置可以設(shè)置于適當(dāng)?shù)慕K端設(shè)備中，包括但不限于移動(dòng)終端、pc等。

實(shí)施例七

參照?qǐng)D7，示出了根據(jù)本發(fā)明實(shí)施例七的一種終端設(shè)備的結(jié)構(gòu)示意圖，本發(fā)明具體實(shí)施例并不對(duì)終端設(shè)備的具體實(shí)現(xiàn)做限定。

如圖7所示，該終端設(shè)備可以包括：處理器(processor)702、通信接口(communicationsinterface)704、存儲(chǔ)器(memory)706、以及通信總線708。

其中：處理器702、通信接口704、以及存儲(chǔ)器706通過通信總線708完成相互間的通信。

通信接口704，用于與其它設(shè)備比如其它客戶端或服務(wù)器等的網(wǎng)元通信。

處理器702，用于執(zhí)行程序710，具體可以執(zhí)行上述方法實(shí)施例中的相關(guān)步驟。

具體地，程序710可以包括程序代碼，該程序代碼包括計(jì)算機(jī)操作指令。

處理器710可能是中央處理器cpu，或者是特定集成電路asic(applicationspecificintegratedcircuit)，或者是被配置成實(shí)施本發(fā)明實(shí)施例的一個(gè)或多個(gè)集成電路，或者是圖形處理器gpu(graphicsprocessingunit)。終端設(shè)備包括的一個(gè)或多個(gè)處理器，可以是同一類型的處理器，如一個(gè)或多個(gè)cpu，或者，一個(gè)或多個(gè)gpu；也可以是不同類型的處理器，如一個(gè)或多個(gè)cpu以及一個(gè)或多個(gè)gpu。

存儲(chǔ)器706，用于存放程序710。存儲(chǔ)器706可能包含高速ram存儲(chǔ)器，也可能還包括非易失性存儲(chǔ)器(non-volatilememory)，例如至少一個(gè)磁盤存儲(chǔ)器。

程序710具體可以用于使得處理器702執(zhí)行以下操作：獲取待處理的視頻圖像和待展示的業(yè)務(wù)對(duì)象；確定視頻圖像的背景區(qū)域；采用計(jì)算機(jī)繪圖方式在視頻圖像的背景區(qū)域繪制業(yè)務(wù)對(duì)象。

在一種可選的實(shí)施方式中，程序710還用于使得處理器702在采用計(jì)算機(jī)繪圖方式在視頻圖像的背景區(qū)域繪制業(yè)務(wù)對(duì)象時(shí)，確定業(yè)務(wù)對(duì)象在視頻圖像中的展示位置和視頻圖像的前景區(qū)域；根據(jù)展示位置判斷業(yè)務(wù)對(duì)象與視頻圖像的前景區(qū)域是否存在重疊部分；若存在，則采用計(jì)算機(jī)繪圖方式，在背景區(qū)域繪制業(yè)務(wù)對(duì)象中除重疊部分之外的部分。

在一種可選的實(shí)施方式中，程序710還用于使得處理器702在確定視頻圖像的背景區(qū)域時(shí)，通過預(yù)先訓(xùn)練的第一卷積神經(jīng)網(wǎng)絡(luò)模型確定視頻圖像的背景區(qū)域。

在一種可選的實(shí)施方式中，程序710還用于使得處理器702在對(duì)第一卷積神經(jīng)網(wǎng)絡(luò)模型的預(yù)先訓(xùn)練時(shí)，獲取第一樣本圖像的第一特征向量，其中，第一樣本圖像為包含有前景標(biāo)注信息和背景標(biāo)注信息的樣本圖像；對(duì)第一特征向量進(jìn)行卷積處理，獲取第一特征向量卷積結(jié)果；對(duì)第一特征向量卷積結(jié)果進(jìn)行放大處理；判斷放大后的第一特征向量卷積結(jié)果是否滿足卷積收斂條件；若滿足，則完成對(duì)第一卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練；若不滿足，則根據(jù)放大后的第一特征向量卷積結(jié)果調(diào)整第一卷積神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)并根據(jù)調(diào)整后的第一卷積神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)對(duì)第一卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行迭代訓(xùn)練，直至迭代訓(xùn)練后的第一特征向量卷積結(jié)果滿足卷積收斂條件。

在一種可選的實(shí)施方式中，程序710還用于使得處理器702在確定業(yè)務(wù)對(duì)象在視頻圖像中的展示位置時(shí)，按照設(shè)定規(guī)則確定業(yè)務(wù)對(duì)象在視頻圖像中的展示位置；其中，設(shè)定規(guī)則包括：預(yù)先設(shè)定的業(yè)務(wù)對(duì)象在視頻圖像的設(shè)定展示位置，或者，根據(jù)前景區(qū)域中的目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)，確定業(yè)務(wù)對(duì)象在視頻圖像中的展示位置。

在一種可選的實(shí)施方式中，程序710還用于使得處理器702在根據(jù)前景區(qū)域中的目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)，確定業(yè)務(wù)對(duì)象在視頻圖像中的展示位置時(shí)，根據(jù)前景區(qū)域中的目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)，通過預(yù)先訓(xùn)練的、第二卷積神經(jīng)網(wǎng)絡(luò)模型確定業(yè)務(wù)對(duì)象在視頻圖像中的展示位置。

在一種可選的實(shí)施方式中，程序710還用于使得處理器702在對(duì)第二卷積神經(jīng)網(wǎng)絡(luò)模型的預(yù)先訓(xùn)練時(shí)，獲取第二樣本圖像的第一特征向量，其中，第二特征向量中包含有第二樣本圖像中的業(yè)務(wù)對(duì)象的位置信息和/或置信度信息，以及第二樣本圖像中目標(biāo)對(duì)象的目標(biāo)對(duì)象特征向量；對(duì)第二特征向量進(jìn)行卷積處理，獲取第二特征向量卷積結(jié)果；判斷第二特征向量卷積結(jié)果中對(duì)應(yīng)的業(yè)務(wù)對(duì)象的位置信息和/或置信度信息是否滿足業(yè)務(wù)對(duì)象收斂條件，并判斷第二特征向量卷積結(jié)果中的目標(biāo)對(duì)象特征向量是否滿足目標(biāo)對(duì)象收斂條件；若均滿足，則完成對(duì)第二卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練；否則，調(diào)整第二卷積神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)并根據(jù)調(diào)整后的第二卷積神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)對(duì)第二卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行迭代訓(xùn)練，直至迭代訓(xùn)練后的業(yè)務(wù)對(duì)象的位置信息和/或置信度信息和目標(biāo)對(duì)象特征向量均滿足相應(yīng)的收斂條件。

在一種可選的實(shí)施方式中，程序710還用于使得處理器702在根據(jù)前景區(qū)域中的目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)，確定業(yè)務(wù)對(duì)象在視頻圖像中的展示位置時(shí)，根據(jù)前景區(qū)域中的目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)和業(yè)務(wù)對(duì)象的類型，確定業(yè)務(wù)對(duì)象在視頻圖像中的展示位置。

在一種可選的實(shí)施方式中，程序710還用于使得處理器702在根據(jù)前景區(qū)域中的目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)和業(yè)務(wù)對(duì)象的類型，確定業(yè)務(wù)對(duì)象在視頻圖像中的展示位置時(shí)，根據(jù)前景區(qū)域中的目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)和業(yè)務(wù)對(duì)象的類型，獲得業(yè)務(wù)對(duì)象在視頻圖像中的多個(gè)展示位置；從多個(gè)展示位置中選擇至少一個(gè)展示位置。

在一種可選的實(shí)施方式中，程序710還用于使得處理器702在根據(jù)前景區(qū)域中的目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)，確定業(yè)務(wù)對(duì)象在視頻圖像中的展示位置時(shí)，判斷前景區(qū)域中的目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)與預(yù)先設(shè)定的動(dòng)作數(shù)據(jù)是否匹配；若匹配，則從預(yù)先存儲(chǔ)的動(dòng)作數(shù)據(jù)與展示位置的對(duì)應(yīng)關(guān)系中，獲取預(yù)先設(shè)定的動(dòng)作數(shù)據(jù)對(duì)應(yīng)的目標(biāo)展示位置作為業(yè)務(wù)對(duì)象在視頻圖像中的展示位置。

在一種可選的實(shí)施方式中，業(yè)務(wù)對(duì)象包括包含有語義信息的特效；視頻圖像為直播類視頻圖像。

在一種可選的實(shí)施方式中，業(yè)務(wù)對(duì)象包括包含廣告信息的以下至少一種形式的特效：二維貼紙?zhí)匦?、三維特效、粒子特效。

在一種可選的實(shí)施方式中，直播類視頻圖像的前景區(qū)域?yàn)槿宋锼诘膮^(qū)域。

在一種可選的實(shí)施方式中，直播類視頻圖像的背景區(qū)域?yàn)槌巳宋锼诘膮^(qū)域之外的至少局部區(qū)域。

在一種可選的實(shí)施方式中，目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)包括以下至少之一：眨眼數(shù)據(jù)、張嘴數(shù)據(jù)、點(diǎn)頭數(shù)據(jù)、搖頭數(shù)據(jù)、親吻數(shù)據(jù)、微笑數(shù)據(jù)、揮手?jǐn)?shù)據(jù)、剪刀手?jǐn)?shù)據(jù)、握拳數(shù)據(jù)、托手?jǐn)?shù)據(jù)、大拇指數(shù)據(jù)、手槍姿勢(shì)數(shù)據(jù)、ok手?jǐn)?shù)據(jù)。

程序710中各步驟的具體實(shí)現(xiàn)可以參見上述實(shí)施例中的相應(yīng)步驟和單元中對(duì)應(yīng)的描述，在此不贅述。所屬領(lǐng)域的技術(shù)人員可以清楚地了解到，為描述的方便和簡(jiǎn)潔，上述描述的設(shè)備和模塊的具體工作過程，可以參考前述方法實(shí)施例中的對(duì)應(yīng)過程描述，在此不再贅述。

通過本實(shí)施例提供的終端設(shè)備，獲取待處理的視頻圖像和待展示的業(yè)務(wù)對(duì)象，確定待處理的視頻圖像的前景區(qū)域和背景區(qū)域，以及業(yè)務(wù)對(duì)象在視頻圖像中的展示位置，然后根據(jù)業(yè)務(wù)對(duì)象在視頻圖像中的展示位置判斷業(yè)務(wù)對(duì)象與視頻圖像的前景區(qū)域是否存在重疊部分，若存在重疊部分，表示業(yè)務(wù)對(duì)象的展示位置的全部位置或者部分位置位于前景區(qū)域內(nèi)，則將前景區(qū)域置于業(yè)務(wù)對(duì)象之上展示，避免業(yè)務(wù)對(duì)象遮擋前景區(qū)域，不影響觀眾的正常視頻觀看體驗(yàn)，不易引起觀眾反感，可以有效實(shí)現(xiàn)預(yù)想的效果。

需要指出，根據(jù)實(shí)施的需要，可將本發(fā)明實(shí)施例中描述的各個(gè)部件/步驟拆分為更多部件/步驟，也可將兩個(gè)或多個(gè)部件/步驟或者部件/步驟的部分操作組合成新的部件/步驟，以實(shí)現(xiàn)本發(fā)明實(shí)施例的目的。

上述根據(jù)本發(fā)明實(shí)施例的方法可在硬件、固件中實(shí)現(xiàn)，或者被實(shí)現(xiàn)為可存儲(chǔ)在記錄介質(zhì)(諸如cdrom、ram、軟盤、硬盤或磁光盤)中的軟件或計(jì)算機(jī)代碼，或者被實(shí)現(xiàn)通過網(wǎng)絡(luò)下載的原始存儲(chǔ)在遠(yuǎn)程記錄介質(zhì)或非暫時(shí)機(jī)器可讀介質(zhì)中并將被存儲(chǔ)在本地記錄介質(zhì)中的計(jì)算機(jī)代碼，從而在此描述的方法可被存儲(chǔ)在使用通用計(jì)算機(jī)、專用處理器或者可編程或?qū)Ｓ糜布?諸如asic或fpga)的記錄介質(zhì)上的這樣的軟件處理?？梢岳斫猓?jì)算機(jī)、處理器、微處理器控制器或可編程硬件包括可存儲(chǔ)或接收軟件或計(jì)算機(jī)代碼的存儲(chǔ)組件(例如，ram、rom、閃存等)，當(dāng)所述軟件或計(jì)算機(jī)代碼被計(jì)算機(jī)、處理器或硬件訪問且執(zhí)行時(shí)，實(shí)現(xiàn)在此描述的處理方法。此外，當(dāng)通用計(jì)算機(jī)訪問用于實(shí)現(xiàn)在此示出的處理的代碼時(shí)，代碼的執(zhí)行將通用計(jì)算機(jī)轉(zhuǎn)換為用于執(zhí)行在此示出的處理的專用計(jì)算機(jī)。

本領(lǐng)域普通技術(shù)人員可以意識(shí)到，結(jié)合本文中所公開的實(shí)施例描述的各示例的單元及方法步驟，能夠以電子硬件、或者計(jì)算機(jī)軟件和電子硬件的結(jié)合來實(shí)現(xiàn)。這些功能究竟以硬件還是軟件方式來執(zhí)行，取決于技術(shù)方案的特定應(yīng)用和設(shè)計(jì)約束條件。專業(yè)技術(shù)人員可以對(duì)每個(gè)特定的應(yīng)用來使用不同方法來實(shí)現(xiàn)所描述的功能，但是這種實(shí)現(xiàn)不應(yīng)認(rèn)為超出本發(fā)明實(shí)施例的范圍。

以上實(shí)施方式僅用于說明本發(fā)明實(shí)施例，而并非對(duì)本發(fā)明實(shí)施例的限制，有關(guān)技術(shù)領(lǐng)域的普通技術(shù)人員，在不脫離本發(fā)明實(shí)施例的精神和范圍的情況下，還可以做出各種變化和變型，因此所有等同的技術(shù)方案也屬于本發(fā)明實(shí)施例的范疇，本發(fā)明實(shí)施例的專利保護(hù)范圍應(yīng)由權(quán)利要求限定。

本發(fā)明實(shí)施例提供了a1、一種視頻圖像的處理方法，包括：

獲取待處理的視頻圖像和待展示的業(yè)務(wù)對(duì)象；

確定所述視頻圖像的背景區(qū)域；

采用計(jì)算機(jī)繪圖方式在所述視頻圖像的背景區(qū)域繪制所述業(yè)務(wù)對(duì)象。

a2、根據(jù)a1所述的方法，其中，所述采用計(jì)算機(jī)繪圖方式在所述視頻圖像的背景區(qū)域繪制所述業(yè)務(wù)對(duì)象包括：

確定所述業(yè)務(wù)對(duì)象在所述視頻圖像中的展示位置和所述視頻圖像的前景區(qū)域；

根據(jù)所述展示位置判斷所述業(yè)務(wù)對(duì)象與所述視頻圖像的前景區(qū)域是否存在重疊部分；

若存在，則采用計(jì)算機(jī)繪圖方式，在所述背景區(qū)域繪制所述業(yè)務(wù)對(duì)象中除所述重疊部分之外的部分。

a3、根據(jù)a1或a2所述的方法，其中，所述確定所述視頻圖像的背景區(qū)域包括：

通過預(yù)先訓(xùn)練的第一卷積神經(jīng)網(wǎng)絡(luò)模型確定所述視頻圖像的背景區(qū)域。

a4、根據(jù)a3所述的方法，其中，所述對(duì)所述第一卷積神經(jīng)網(wǎng)絡(luò)模型的預(yù)先訓(xùn)練包括：

獲取第一樣本圖像的第一特征向量，其中，所述第一樣本圖像為包含有前景標(biāo)注信息和背景標(biāo)注信息的樣本圖像；

對(duì)所述第一特征向量進(jìn)行卷積處理，獲取第一特征向量卷積結(jié)果；

對(duì)所述第一特征向量卷積結(jié)果進(jìn)行放大處理；

判斷放大后的所述第一特征向量卷積結(jié)果是否滿足卷積收斂條件；

若滿足，則完成對(duì)所述第一卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練；

若不滿足，則根據(jù)放大后的所述第一特征向量卷積結(jié)果調(diào)整所述第一卷積神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)并根據(jù)調(diào)整后的所述第一卷積神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)對(duì)所述第一卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行迭代訓(xùn)練，直至迭代訓(xùn)練后的所述第一特征向量卷積結(jié)果滿足所述卷積收斂條件。

a5、根據(jù)a2-a4任一所述的方法，其中，所述確定所述業(yè)務(wù)對(duì)象在所述視頻圖像中的展示位置包括：

按照設(shè)定規(guī)則確定所述業(yè)務(wù)對(duì)象在所述視頻圖像中的展示位置；

其中，所述設(shè)定規(guī)則包括：預(yù)先設(shè)定的所述業(yè)務(wù)對(duì)象在所述視頻圖像的設(shè)定展示位置，或者，根據(jù)所述前景區(qū)域中的目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)，確定所述業(yè)務(wù)對(duì)象在所述視頻圖像中的展示位置。

a6、根據(jù)a5所述的方法，其中，所述根據(jù)所述前景區(qū)域中的目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)，確定所述業(yè)務(wù)對(duì)象在所述視頻圖像中的展示位置包括：

根據(jù)所述前景區(qū)域中的目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)，通過預(yù)先訓(xùn)練的、第二卷積神經(jīng)網(wǎng)絡(luò)模型確定所述業(yè)務(wù)對(duì)象在所述視頻圖像中的展示位置。

a7、根據(jù)a6所述的方法，其中，所述對(duì)所述第二卷積神經(jīng)網(wǎng)絡(luò)模型的預(yù)先訓(xùn)練包括：

獲取第二樣本圖像的第一特征向量，其中，所述第二特征向量中包含有所述第二樣本圖像中的業(yè)務(wù)對(duì)象的位置信息和/或置信度信息，以及所述第二樣本圖像中目標(biāo)對(duì)象的目標(biāo)對(duì)象特征向量；

對(duì)所述第二特征向量進(jìn)行卷積處理，獲取第二特征向量卷積結(jié)果；

判斷所述第二特征向量卷積結(jié)果中對(duì)應(yīng)的業(yè)務(wù)對(duì)象的位置信息和/或置信度信息是否滿足業(yè)務(wù)對(duì)象收斂條件，并判斷所述第二特征向量卷積結(jié)果中的目標(biāo)對(duì)象特征向量是否滿足目標(biāo)對(duì)象收斂條件；

若均滿足，則完成對(duì)所述第二卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練；

否則，調(diào)整所述第二卷積神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)并根據(jù)調(diào)整后的所述第二卷積神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)對(duì)所述第二卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行迭代訓(xùn)練，直至迭代訓(xùn)練后的業(yè)務(wù)對(duì)象的位置信息和/或置信度信息和目標(biāo)對(duì)象特征向量均滿足相應(yīng)的收斂條件。

a8、根據(jù)a5所述的方法，其中，所述根據(jù)所述前景區(qū)域中的目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)，確定所述業(yè)務(wù)對(duì)象在所述視頻圖像中的展示位置包括：

根據(jù)所述前景區(qū)域中的目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)和所述業(yè)務(wù)對(duì)象的類型，確定所述業(yè)務(wù)對(duì)象在所述視頻圖像中的展示位置。

a9、根據(jù)a8所述的方法，其中，所述根據(jù)所述前景區(qū)域中的目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)和所述業(yè)務(wù)對(duì)象的類型，確定所述業(yè)務(wù)對(duì)象在所述視頻圖像中的展示位置包括：

根據(jù)所述前景區(qū)域中的目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)和所述業(yè)務(wù)對(duì)象的類型，獲得所述業(yè)務(wù)對(duì)象在所述視頻圖像中的多個(gè)展示位置；

從所述多個(gè)展示位置中選擇至少一個(gè)展示位置。

a10、根據(jù)a5所述的方法，其中，所述根據(jù)所述前景區(qū)域中的目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)，確定所述業(yè)務(wù)對(duì)象在所述視頻圖像中的展示位置包括：

判斷所述前景區(qū)域中的目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)與預(yù)先設(shè)定的動(dòng)作數(shù)據(jù)是否匹配；

若匹配，則從預(yù)先存儲(chǔ)的動(dòng)作數(shù)據(jù)與展示位置的對(duì)應(yīng)關(guān)系中，獲取所述預(yù)先設(shè)定的動(dòng)作數(shù)據(jù)對(duì)應(yīng)的目標(biāo)展示位置作為所述業(yè)務(wù)對(duì)象在所述視頻圖像中的展示位置。

a11、根據(jù)a1-a10任一所述的方法，其中，所述業(yè)務(wù)對(duì)象包括包含有語義信息的特效；所述視頻圖像為直播類視頻圖像。

a12、根據(jù)a11所述的方法，其中，所述業(yè)務(wù)對(duì)象包括包含廣告信息的以下至少一種形式的特效：二維貼紙?zhí)匦?、三維特效、粒子特效。

a13、根據(jù)a12所述的方法，其中，所述直播類視頻圖像的前景區(qū)域?yàn)槿宋锼诘膮^(qū)域。

a14、根據(jù)a11-a13任一所述的方法，其中，所述直播類視頻圖像的背景區(qū)域?yàn)槌巳宋锼诘膮^(qū)域之外的至少局部區(qū)域。

a15、根據(jù)a5-a14任一所述的方法，其中，所述目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)包括以下至少之一：眨眼數(shù)據(jù)、張嘴數(shù)據(jù)、點(diǎn)頭數(shù)據(jù)、搖頭數(shù)據(jù)、親吻數(shù)據(jù)、微笑數(shù)據(jù)、揮手?jǐn)?shù)據(jù)、剪刀手?jǐn)?shù)據(jù)、握拳數(shù)據(jù)、托手?jǐn)?shù)據(jù)、大拇指數(shù)據(jù)、手槍姿勢(shì)數(shù)據(jù)、ok手?jǐn)?shù)據(jù)。

本發(fā)明實(shí)施例還提供了b16、一種視頻圖像的處理裝置，包括：

獲取模塊，用于獲取待處理的視頻圖像和待展示的業(yè)務(wù)對(duì)象；

背景區(qū)域確定模塊，用于確定所述視頻圖像的背景區(qū)域；

繪制模塊，用于采用計(jì)算機(jī)繪圖方式在所述視頻圖像的背景區(qū)域繪制所述業(yè)務(wù)對(duì)象。

b17、根據(jù)b16所述的裝置，其中，所述繪制模塊包括：

展示位置確定模塊，用于確定所述業(yè)務(wù)對(duì)象在所述視頻圖像中的展示位置；

前景區(qū)域確定模塊，用于確定所述視頻圖像的前景區(qū)域；

判斷模塊，用于根據(jù)所述展示位置判斷所述業(yè)務(wù)對(duì)象與所述前景區(qū)域是否存在重疊部分；

展示模塊，用于若所述業(yè)務(wù)對(duì)象與所述前景區(qū)域存在重疊部分，則采用計(jì)算機(jī)繪圖方式，在所述背景區(qū)域繪制所述業(yè)務(wù)對(duì)象中除所述重疊部分之外的部分。

b18、根據(jù)b16或b17所述的裝置，其中，所述背景區(qū)域確定模塊，用于通過預(yù)先訓(xùn)練的第一卷積神經(jīng)網(wǎng)絡(luò)模型確定所述視頻圖像的背景區(qū)域。

b19、根據(jù)b18所述的裝置，其中，所述裝置還包括：第一訓(xùn)練模塊，用于對(duì)所述第一卷積神經(jīng)網(wǎng)絡(luò)模型的預(yù)先訓(xùn)練；

所述第一訓(xùn)練模塊包括：

第一特征向量獲取模塊，用于獲取第一樣本圖像的第一特征向量，其中，所述第一樣本圖像為包含有前景標(biāo)注信息和背景標(biāo)注信息的樣本圖像；

第一卷積處理模塊，用于對(duì)所述第一特征向量進(jìn)行卷積處理，獲取第一特征向量卷積結(jié)果；

放大處理模塊，用于對(duì)所述第一特征向量卷積結(jié)果進(jìn)行放大處理；

第一條件判斷模塊，用于判斷放大后的所述第一特征向量卷積結(jié)果是否滿足卷積收斂條件；

第一執(zhí)行模塊，用于若放大后的所述第一特征向量卷積結(jié)果滿足卷積收斂條件，則完成對(duì)所述第一卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練；若放大后的所述第一特征向量卷積結(jié)果不滿足卷積收斂條件，則根據(jù)放大后的所述第一特征向量卷積結(jié)果調(diào)整所述第一卷積神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)并根據(jù)調(diào)整后的所述第一卷積神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)對(duì)所述第一卷積網(wǎng)絡(luò)模型進(jìn)行迭代訓(xùn)練，直至迭代訓(xùn)練后的所述第一特征向量卷積結(jié)果滿足所述卷積收斂條件。

b20、根據(jù)b17-b19任一所述的裝置，其中，所述展示位置確定模塊，用于按照設(shè)定規(guī)則確定所述業(yè)務(wù)對(duì)象在所述視頻圖像中的展示位置；

其中，所述設(shè)定規(guī)則包括：預(yù)先設(shè)定的所述業(yè)務(wù)對(duì)象在所述視頻圖像的設(shè)定展示位置，或者，所述展示位置確定模塊根據(jù)所述前景區(qū)域中的目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)，確定所述業(yè)務(wù)對(duì)象在所述視頻圖像中的展示位置。

b21、根據(jù)b20所述的裝置，其中，所述展示位置確定模塊，用于根據(jù)所述前景區(qū)域中的目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)，通過預(yù)先訓(xùn)練的第二卷積神經(jīng)網(wǎng)絡(luò)模型確定所述業(yè)務(wù)對(duì)象在所述視頻圖像中的展示位置。

b22、根據(jù)b21所述的裝置，其中，所述裝置還包括：

第二訓(xùn)練模塊，用于對(duì)所述第二卷積神經(jīng)網(wǎng)絡(luò)模型預(yù)先訓(xùn)練；

所述第二訓(xùn)練模塊包括：

第二特征向量獲取模塊，用于獲取第二樣本圖像的第一特征向量，其中，所述第二特征向量中包含有所述第二樣本圖像中的業(yè)務(wù)對(duì)象的位置信息和/或置信度信息，以及所述第二樣本圖像中目標(biāo)對(duì)象的目標(biāo)對(duì)象特征向量；

第二卷積處理模塊，用于對(duì)所述第二特征向量進(jìn)行卷積處理，獲取第二特征向量卷積結(jié)果；

第二條件判斷模塊，用于判斷所述第二特征向量卷積結(jié)果中對(duì)應(yīng)的業(yè)務(wù)對(duì)象的位置信息和/或置信度信息是否滿足業(yè)務(wù)對(duì)象收斂條件，并判斷所述第二特征向量卷積結(jié)果中的目標(biāo)對(duì)象特征向量是否滿足目標(biāo)對(duì)象收斂條件；

第二執(zhí)行模塊，用于若所述第二特征向量卷積結(jié)果中對(duì)應(yīng)的業(yè)務(wù)對(duì)象的位置信息和/或置信度信息滿足業(yè)務(wù)對(duì)象收斂條件，且所述第二特征向量卷積結(jié)果中的目標(biāo)對(duì)象特征向量滿足目標(biāo)對(duì)象收斂條件，則完成對(duì)所述第二卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練；否則，調(diào)整所述第二卷積神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)并根據(jù)調(diào)整后的所述第二卷積神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)對(duì)所述第二卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行迭代訓(xùn)練，直至迭代訓(xùn)練后的業(yè)務(wù)對(duì)象的位置信息和/或置信度信息和目標(biāo)對(duì)象特征向量均滿足相應(yīng)的收斂條件。

b23、根據(jù)b20所述的裝置，其中，所述展示位置確定模塊，用于根據(jù)所述前景區(qū)域中的目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)和所述業(yè)務(wù)對(duì)象的類型，確定所述業(yè)務(wù)對(duì)象在所述視頻圖像中的展示位置。

b24、根據(jù)b23所述的裝置，其中，所述展示位置確定模塊包括：

展示位置獲得模塊，用于根據(jù)所述前景區(qū)域中的目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)和所述業(yè)務(wù)對(duì)象的類型，獲得所述業(yè)務(wù)對(duì)象在所述視頻圖像中的多個(gè)展示位置；

展示位置選擇模塊，用于從所述多個(gè)展示位置中選擇至少一個(gè)展示位置。

b25、根據(jù)b20所述的裝置，其中，所述展示位置確定模塊包括：

數(shù)據(jù)判斷模塊，用于判斷所述前景區(qū)域中的目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)與預(yù)先設(shè)定的動(dòng)作數(shù)據(jù)是否匹配；

位置獲取模塊，用于若所述前景區(qū)域中的目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)與預(yù)先設(shè)定的動(dòng)作數(shù)據(jù)匹配，則從預(yù)先存儲(chǔ)的動(dòng)作數(shù)據(jù)與展示位置的對(duì)應(yīng)關(guān)系中，獲取所述預(yù)先設(shè)定的動(dòng)作數(shù)據(jù)對(duì)應(yīng)的目標(biāo)展示位置作為所述業(yè)務(wù)對(duì)象在所述視頻圖像中的展示位置。

b26、根據(jù)b16-b25任一所述的裝置，其中，所述業(yè)務(wù)對(duì)象包括包含有語義信息的特效；所述視頻圖像為直播類視頻圖像。

b27、根據(jù)b26所述的裝置，其中，所述業(yè)務(wù)對(duì)象包括包含廣告信息的以下至少一種形式的特效：二維貼紙?zhí)匦?、三維特效、粒子特效。

b28、根據(jù)b27所述的裝置，其中，所述直播類視頻圖像的前景區(qū)域?yàn)槿宋锼诘膮^(qū)域。

b29、根據(jù)b26-b28任一所述的裝置，其中，所述直播類視頻圖像的背景區(qū)域?yàn)槌巳宋锼诘膮^(qū)域之外的至少局部區(qū)域。

b30、根據(jù)b20-b29任一所述的裝置，其中，所述目標(biāo)對(duì)象的動(dòng)作檢測(cè)數(shù)據(jù)包括以下至少之一：眨眼數(shù)據(jù)、張嘴數(shù)據(jù)、點(diǎn)頭數(shù)據(jù)、搖頭數(shù)據(jù)、親吻數(shù)據(jù)、微笑數(shù)據(jù)、揮手?jǐn)?shù)據(jù)、剪刀手?jǐn)?shù)據(jù)、握拳數(shù)據(jù)、托手?jǐn)?shù)據(jù)、大拇指數(shù)據(jù)、手槍姿勢(shì)數(shù)據(jù)、ok手?jǐn)?shù)據(jù)。

本發(fā)明實(shí)施例還提供了c31、一種終端設(shè)備，包括：處理器、存儲(chǔ)器、通信接口和通信總線，所述處理器、所述存儲(chǔ)器和所述通信接口通過所述通信總線完成相互間的通信；

所述存儲(chǔ)器用于存放至少一可執(zhí)行指令，所述可執(zhí)行指令使所述處理器執(zhí)行如a1-a15任一所述的視頻圖像的處理方法對(duì)應(yīng)的操作。