視頻通信方法及裝置制造方法
【專利摘要】本發(fā)明涉及一種視頻通信方法及裝置，該視頻通信方法包括步驟：第一終端獲取第一終端的第一視頻畫面；第一終端對(duì)第一視頻畫面中的人臉位置進(jìn)行識(shí)別；第一終端生成第一渲染圖象，并根據(jù)第一渲染圖象和識(shí)別后的人臉位置對(duì)第一視頻畫面進(jìn)行渲染；以及第一終端發(fā)送渲染后的第一視頻畫面給第二終端進(jìn)行顯示。本發(fā)明還涉及一種視頻通信裝置。本發(fā)明的視頻通信方法及裝置通過(guò)人臉識(shí)別、表情識(shí)別、機(jī)器學(xué)習(xí)以及增強(qiáng)現(xiàn)實(shí)等技術(shù)實(shí)現(xiàn)了現(xiàn)實(shí)畫面和虛擬畫面的完美結(jié)合，豐富了視頻聊天的內(nèi)容。
【專利說(shuō)明】視頻通信方法及裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及網(wǎng)絡(luò)通信領(lǐng)域，特別是涉及一種視頻通信方法及視頻通信裝置。
【背景技術(shù)】
[0002]隨著科技的發(fā)展，人們?cè)诰W(wǎng)絡(luò)上相互聊天越來(lái)越方便。當(dāng)人們進(jìn)行文字聊天時(shí)，一般都會(huì)發(fā)送圖片來(lái)夸張表達(dá)自己的表情和動(dòng)作，這樣大大豐富了聊天的內(nèi)容，得到廣大用
戶的喜愛。
[0003]視頻聊天是將來(lái)人們溝通發(fā)展的必然趨勢(shì)，但是視頻聊天中無(wú)法用到虛擬的表情和動(dòng)作，視頻內(nèi)容僅為個(gè)人的頭像和靜態(tài)背景，單調(diào)乏味。即使現(xiàn)有部分視頻聊天平臺(tái)可以添加一些虛擬內(nèi)容到視頻畫面上，但添加的內(nèi)容一般也是靜態(tài)的或僅能進(jìn)行簡(jiǎn)單重復(fù)運(yùn)動(dòng)的動(dòng)態(tài)圖像，不能與當(dāng)前用戶進(jìn)行通信，即不能與背景進(jìn)行融合，因此造成整個(gè)畫面不真實(shí)，使得畫面缺少吸引力，大大制約了視頻聊天功能的推廣。
[0004]故，有必要提供一種視頻通信方法及視頻通信裝置，以解決現(xiàn)有技術(shù)所存在的問(wèn)題。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的目的在于提供一種可與背景進(jìn)行融合的視頻通信方法及視頻通信裝置，其可通過(guò)人臉識(shí)別、表情識(shí)別、機(jī)器學(xué)習(xí)以及增強(qiáng)現(xiàn)實(shí)等技術(shù)實(shí)現(xiàn)了現(xiàn)實(shí)畫面和虛擬畫面的完美結(jié)合，豐富了視頻聊天的內(nèi)容；以解決現(xiàn)有的視頻通信方法及視頻通信裝置的視頻聊天畫面不真實(shí)，內(nèi)容較空洞的技術(shù)問(wèn)題。
[0006]為解決上述問(wèn)題，本發(fā)明提供的技術(shù)方案如下:
[0007]本發(fā)明涉及一種視頻通信方法，其包括步驟:
[0008]第一終端獲取所述第一終端的第一視頻畫面；
[0009]所述第一終端對(duì)所述第一視頻畫面中的人臉位置進(jìn)行識(shí)別；
[0010]所述第一終端生成第一渲染圖象，并根據(jù)所述第一渲染圖象和識(shí)別后的人臉位置對(duì)所述第一視頻畫面進(jìn)行渲染；以及
[0011]所述第一終端發(fā)送渲染后的第一視頻畫面給第二終端進(jìn)行顯示。
[0012]本發(fā)明還涉及一種視頻通信裝置，其包括:
[0013]第一視頻畫面獲取模塊，用于第一終端獲取第一終端的第一視頻畫面；
[0014]第一人臉位置識(shí)別模塊，用于所述第一終端對(duì)所述第一視頻畫面中的人臉位置進(jìn)行識(shí)別；
[0015]第一渲染模塊，用于所述第一終端生成第一渲染圖像，并根據(jù)所述第一渲染圖像和識(shí)別后的人臉位置對(duì)所述第一視頻畫面進(jìn)行渲染；以及
[0016]第一畫面發(fā)送模塊，用于所述第一終端發(fā)送渲染后的第一視頻畫面給第二終端進(jìn)行顯示。
[0017]相較于現(xiàn)有技術(shù)的視頻通信方法及視頻通信裝置，本發(fā)明的視頻通信方法及視頻通信裝置通過(guò)人臉識(shí)別、表情識(shí)別、機(jī)器學(xué)習(xí)以及增強(qiáng)現(xiàn)實(shí)等技術(shù)實(shí)現(xiàn)了現(xiàn)實(shí)畫面和虛擬畫面的完美結(jié)合，豐富了視頻聊天的內(nèi)容。解決了現(xiàn)有的視頻通信方法及視頻通信裝置的視頻聊天畫面不真實(shí)，內(nèi)容較空洞的技術(shù)問(wèn)題。
【專利附圖】

【附圖說(shuō)明】
[0018]圖1為本發(fā)明的視頻通信方法的第一優(yōu)選實(shí)施例的流程圖；
[0019]圖2為本發(fā)明的視頻通信方法的第二優(yōu)選實(shí)施例的流程圖；
[0020]圖3為本發(fā)明的視頻通信方法的第三優(yōu)選實(shí)施例的流程圖；
[0021]圖4為本發(fā)明的視頻通信方法的第四優(yōu)選實(shí)施例的流程圖
[0022]圖5為本發(fā)明的視頻通信裝置的第一優(yōu)選實(shí)施例的結(jié)構(gòu)示意圖；
[0023]圖6為本發(fā)明的視頻通信裝置的第二優(yōu)選實(shí)施例的結(jié)構(gòu)示意圖；
[0024]圖7為本發(fā)明的視頻通信裝置的第三優(yōu)選實(shí)施例的結(jié)構(gòu)示意圖；
[0025]圖8為本發(fā)明的視頻通信裝置的第四優(yōu)選實(shí)施例的結(jié)構(gòu)示意圖；
[0026]圖9為本發(fā)明的視頻通信方法及裝置的具體實(shí)施例的工作原理圖。
【具體實(shí)施方式】
[0027]以下各實(shí)施例的說(shuō)明是參考附加的圖式，用以例示本發(fā)明可用以實(shí)施的特定實(shí)施例。
[0028]請(qǐng)參照?qǐng)D1，圖1為本發(fā)明的視頻通信方法的第一優(yōu)選實(shí)施例的流程圖。本優(yōu)選實(shí)施例的視頻通信方法包括:
[0029]步驟101，第一終端獲取第一終端的第一視頻畫面；
[0030]步驟102，第一終端對(duì)第一視頻畫面中的人臉位置進(jìn)行識(shí)別；
[0031]步驟103，第一終端生成第一渲染圖象，并根據(jù)第一渲染圖象和識(shí)別后的人臉位置對(duì)第一視頻畫面進(jìn)行渲染；
[0032]步驟104，第一終端發(fā)送渲染后的第一視頻畫面給第二終端進(jìn)行顯示；
[0033]本優(yōu)選實(shí)施例的視頻通信方法結(jié)束于步驟104。
[0034]下面詳細(xì)說(shuō)明本優(yōu)選實(shí)施例的視頻通信方法的各步驟的具體流程。
[0035]在步驟101中，第一終端獲取第一終端的第一視頻畫面，如本地客戶端獲取本地用戶的本地視頻畫面。
[0036]隨后來(lái)到步驟102。
[0037]在步驟102中，第一終端對(duì)第一視頻畫面中的人臉位置進(jìn)行識(shí)別，如讀取本地的具有人臉識(shí)別數(shù)據(jù)庫(kù)的人臉識(shí)別程序?qū)Ρ镜匾曨l畫面(第一視頻畫面)中的人臉位置進(jìn)行識(shí)別。
[0038]這里的人臉位置檢測(cè)是指對(duì)于任意一副給定的圖像，采用一定的策略如統(tǒng)計(jì)機(jī)器學(xué)習(xí)模型，對(duì)圖像進(jìn)行搜索以確定其中是否含有人臉圖像，如果有的話返回人臉的位置、大小以及表情。
[0039]統(tǒng)計(jì)機(jī)器學(xué)習(xí)模型原理具體為:基于已知人臉位置的圖像或視頻流，提取灰度梯度向量、運(yùn)動(dòng)特征、頻率特征等識(shí)別特征，運(yùn)用神經(jīng)網(wǎng)絡(luò)、聚類、支持向量機(jī)等模型分類方法在人臉識(shí)別數(shù)據(jù)庫(kù)中訓(xùn)練出成熟的識(shí)別模型。然后再使用該識(shí)別模型對(duì)未知人臉位置的圖像樣本進(jìn)行人臉位置的判斷?？刹捎没谔卣鞯娜四樜恢脵z測(cè)方法，如底層特征、組群特征以及變形特征；基于圖像的人臉位置檢測(cè)方法，如線性子空間、神經(jīng)網(wǎng)絡(luò)以及統(tǒng)計(jì)；或基于活動(dòng)輪廓的人臉位置檢測(cè)方法，如梯度向量以及chan-vese模型。
[0040]隨后來(lái)到步驟103。
[0041]在步驟103中，第一終端使用本地的具有表情識(shí)別數(shù)據(jù)庫(kù)的表情識(shí)別程序?qū)υ诓襟E102中進(jìn)行人臉位置識(shí)別后的本地視頻畫面進(jìn)行人臉的表情識(shí)別，并根據(jù)識(shí)別結(jié)果生成
第一渲染圖像。
[0042]這里的人臉表情檢測(cè)與上述的人臉位置檢測(cè)相似，對(duì)于任意一副給定的人臉位置的圖像，采用一定的策略如統(tǒng)計(jì)學(xué)習(xí)模型，對(duì)圖像進(jìn)行搜索以確定人臉的表情。這里表情識(shí)別的方法具體有整體識(shí)別法和局部識(shí)別法、形變提取法和運(yùn)動(dòng)提取法、幾何特征法和容貌特征法，在確定畫面中的人臉表情后，便可生成第一渲染圖像(如憤怒表情渲染圖像、高興表情渲染圖像或痛苦表情渲染圖像等)。
[0043]隨后根據(jù)第一渲染圖像，使用本地虛擬數(shù)據(jù)庫(kù)中的虛擬物品(相應(yīng)的憤怒表情、高興表情或痛苦表情)對(duì)本地視頻畫面的相應(yīng)人臉位置進(jìn)行表情渲染。這里優(yōu)選采用增強(qiáng)現(xiàn)實(shí)(AR, Augmented Reality)技術(shù)實(shí)現(xiàn)上述渲染操作。
[0044]這里的增強(qiáng)現(xiàn)實(shí)技術(shù)是指把原本在現(xiàn)實(shí)世界的一定時(shí)間空間范圍內(nèi)很難體驗(yàn)到的實(shí)體信息(視覺信息以及聲音信息等)，通過(guò)模擬仿真后疊加到現(xiàn)實(shí)世界被人類感官所感知，從而達(dá)到超越現(xiàn)實(shí)的感官體驗(yàn)。增強(qiáng)現(xiàn)實(shí)的過(guò)程一般包括以下4個(gè)步驟:(1)獲取現(xiàn)實(shí)場(chǎng)景信息；(2)對(duì)現(xiàn)實(shí)場(chǎng)景信息和相機(jī)位置信息進(jìn)行分析；(3)獲取虛擬數(shù)據(jù)庫(kù)中的虛擬物品；(4)合并視頻或直接顯示，即首先根據(jù)相機(jī)位置信息和真實(shí)場(chǎng)景信息中的定位標(biāo)記來(lái)計(jì)算虛擬物品坐標(biāo)到相機(jī)視平面的仿射變換，然后按照仿射變換矩陣在視平面上繪制虛擬物品，最后直接將虛擬物品與現(xiàn)實(shí)場(chǎng)景的視頻進(jìn)行合并，一起進(jìn)行顯示。同時(shí)虛擬數(shù)據(jù)庫(kù)中的虛擬物品可以是三維的表情，也可以是二維的圖片或動(dòng)畫，如閃電、下雨、飄雪花等。
[0045]使用增強(qiáng)現(xiàn)實(shí)技術(shù)完成上述表情渲染操作后來(lái)到步驟104。
[0046]在步驟104中，第一終端將渲染后的本地視頻畫面發(fā)送給異地視頻通信裝置(第二終端)進(jìn)行顯示，完成整個(gè)視頻通信過(guò)程。
[0047]本優(yōu)選實(shí)施例的視頻通信方法通過(guò)人臉識(shí)別、表情識(shí)別、機(jī)器學(xué)習(xí)以及增強(qiáng)現(xiàn)實(shí)等技術(shù)實(shí)現(xiàn)了本地客戶端上的現(xiàn)實(shí)畫面和虛擬畫面的完美結(jié)合，并可將該渲染后的畫面發(fā)送給任何異地視頻通信裝置(異地視頻通信裝置可不安裝相應(yīng)的人臉識(shí)別數(shù)據(jù)庫(kù)、表情識(shí)別數(shù)據(jù)庫(kù)以及虛擬物品數(shù)據(jù)庫(kù)等識(shí)別渲染用數(shù)據(jù)庫(kù))，豐富了視頻聊天的內(nèi)容。
[0048]請(qǐng)參照?qǐng)D2，圖2為本發(fā)明的視頻通信方法的第二優(yōu)選實(shí)施例的流程圖。本優(yōu)選實(shí)施例的視頻通信方法包括:
[0049]步驟201，第一終端獲取第二終端的第二視頻畫面；
[0050]步驟202，第一終端對(duì)第二視頻畫面中的人臉位置進(jìn)行識(shí)別；
[0051]步驟203，第一終端生成第二渲染圖象，并根據(jù)第二渲染圖象和識(shí)別后的人臉位置對(duì)第二視頻畫面進(jìn)行渲染；
[0052]步驟204，第一終端顯示渲染后的第二視頻畫面；
[0053]本優(yōu)選實(shí)施例的視頻通信方法結(jié)束于步驟204。
[0054]下面詳細(xì)說(shuō)明本優(yōu)選實(shí)施例的視頻通信方法的各步驟的具體流程。[0055]在步驟201中，第一終端獲取第二終端的第二視頻畫面，如本地客戶端接收對(duì)方用戶在異地視頻通信裝置的異地視頻畫面。
[0056]隨后來(lái)到步驟202。
[0057]在步驟202中，第一終端對(duì)第二視頻畫面中的人臉位置進(jìn)行識(shí)別，如讀取本地的具有人臉識(shí)別數(shù)據(jù)庫(kù)的人臉識(shí)別程序?qū)υ摦惖匾曨l畫面(第二視頻畫面)中的人臉位置進(jìn)行識(shí)別。本優(yōu)選實(shí)施例具體的人臉位置檢測(cè)過(guò)程與視頻通信方法的第一優(yōu)選實(shí)施例的步驟102的人臉位置檢測(cè)過(guò)程相同，可參見上述視頻通信方法的第一優(yōu)選實(shí)施例的步驟102中的相關(guān)描述。
[0058]隨后來(lái)到步驟203。
[0059]在步驟203中，第一終端使用本地的具有表情識(shí)別數(shù)據(jù)庫(kù)的表情識(shí)別程序?qū)υ诓襟E202中進(jìn)行人臉位置識(shí)別后的異地視頻畫面進(jìn)行人臉的表情識(shí)別，并根據(jù)識(shí)別結(jié)果生成
第二渲染圖像。
[0060]本優(yōu)選實(shí)施例具體的人臉表情識(shí)別過(guò)程與視頻通信方法的第一優(yōu)選實(shí)施例的步驟103的人臉表情識(shí)別過(guò)程相同，可參見上述視頻通信方法的第一優(yōu)選實(shí)施例的步驟103中的相關(guān)描述。
[0061]隨后根據(jù)第二渲染圖像，使用本地虛擬數(shù)據(jù)庫(kù)中的虛擬物品對(duì)異地視頻畫面的相應(yīng)的人臉位置進(jìn)行表情渲染。這里優(yōu)選采用增強(qiáng)現(xiàn)實(shí)技術(shù)實(shí)現(xiàn)上述渲染操作。
[0062]本優(yōu)選實(shí)施例具體的人臉表情渲染過(guò)程與視頻通信方法的第一優(yōu)選實(shí)施例的步驟103的人臉表情渲染過(guò)程相同，可參見上述視頻通信方法的第一優(yōu)選實(shí)施例的步驟103中的相關(guān)描述。
[0063]隨后來(lái)到步驟204。
[0064]在步驟204中，第一終端顯示渲染后的異地視頻畫面，完成整個(gè)視頻通信過(guò)程。
[0065]本優(yōu)選實(shí)施例的視頻通信方法通過(guò)人臉識(shí)別、表情識(shí)別、機(jī)器學(xué)習(xí)以及增強(qiáng)現(xiàn)實(shí)等技術(shù)實(shí)現(xiàn)了本地客戶端上的現(xiàn)實(shí)畫面和虛擬畫面的完美結(jié)合，并可將異地視頻畫面進(jìn)行渲染后在本地顯示，當(dāng)然這里也可將該渲染后的異地視頻畫面發(fā)送給任何異地視頻通信裝置(此時(shí)異地視頻通信裝置需要有接收該異地視頻畫面的設(shè)置才能實(shí)現(xiàn)渲染后的異地視頻畫面的共享)，豐富了視頻聊天的內(nèi)容。
[0066]請(qǐng)參照?qǐng)D3，圖3為本發(fā)明的視頻通信方法的第三優(yōu)選實(shí)施例的流程圖。本優(yōu)選實(shí)施例的視頻通信方法包括:
[0067]步驟301，第一終端發(fā)送第一視頻畫面給第二終端；
[0068]步驟302，第二終端對(duì)第一視頻畫面進(jìn)行渲染；
[0069]步驟303，第一終端接收并顯示渲染后的第一視頻畫面；
[0070]本優(yōu)選實(shí)施例的視頻通信方法結(jié)束于步驟303。
[0071]下面詳細(xì)說(shuō)明本優(yōu)選實(shí)施例的視頻通信方法的各步驟的具體流程。
[0072]在步驟301中，第一終端發(fā)送第一視頻畫面給第二終端，如發(fā)送本地視頻畫面(第一視頻畫面)至對(duì)方用戶(第二終端)，實(shí)現(xiàn)本地視頻通信裝置與異地通信裝置的視頻通信。這里的本地視頻畫面是沒有經(jīng)過(guò)本地渲染的本地視頻畫面。
[0073]隨后來(lái)到步驟302。
[0074]在步驟302中，對(duì)方用戶使用視頻通信方法的第二優(yōu)選實(shí)施例中的方法對(duì)視頻畫面進(jìn)行渲染。
[0075]隨后來(lái)到步驟303。
[0076]在步驟303中，本地的視頻通信裝置接收并顯示該渲染后的本地視頻畫面，實(shí)現(xiàn)渲染后的本地視頻畫面的共享，完成整個(gè)視頻通信過(guò)程。
[0077]本優(yōu)選實(shí)施例的視頻通信方法在本地設(shè)置接收異地客戶端發(fā)送的渲染后的本地視頻畫面(現(xiàn)有技術(shù)中的本地客戶端是不會(huì)接收本地視頻畫面)，并在本地視頻畫面的位置進(jìn)行播放，實(shí)現(xiàn)了渲染后的異地視頻畫面在視頻通信雙方的共享，增加了視頻聊天的可操作性，豐富了視頻聊天的內(nèi)容。
[0078]請(qǐng)參照?qǐng)D4，圖4為本發(fā)明的視頻通信方法的第三優(yōu)選實(shí)施例的流程圖。本優(yōu)選實(shí)施例的視頻通信方法包括:
[0079]步驟401，第一終端發(fā)送渲染后的第一視頻畫面給第二終端；
[0080]步驟402，第二終端對(duì)渲染后的第一視頻畫面進(jìn)行渲染；
[0081]步驟403，第一終端接收并顯示第二終端渲染后的渲染后的第一視頻畫面；
[0082]本優(yōu)選實(shí)施例的視頻通信方法結(jié)束于步驟403。
[0083]下面詳細(xì)說(shuō)明本優(yōu)選實(shí)施例的視頻通信方法的各步驟的具體流程。
[0084]在步驟401中，第一終端發(fā)送渲染后的第一視頻畫面給第二終端，如發(fā)送渲染后的本地視頻畫面至對(duì)方用戶，實(shí)現(xiàn)本地視頻通信裝置與異地通信裝置的視頻通信。這里本地視頻畫面是經(jīng)過(guò)本地渲染后的本地視頻畫面。
[0085]隨后來(lái)到步驟402。
[0086]在步驟402中，對(duì)方用戶使用視頻通信方法的第二優(yōu)選實(shí)施例中的方法對(duì)視頻畫面進(jìn)行再渲染。
[0087]隨后來(lái)到步驟403。
[0088]在步驟403中，本地的視頻通信裝置接收并顯示該第二終端再渲染的本地視頻畫面，實(shí)現(xiàn)渲染后的本地視頻畫面的共享，完成整個(gè)視頻通信過(guò)程。
[0089]本優(yōu)選實(shí)施例的視頻通信方法在本地設(shè)置接收異地客戶端發(fā)送的渲染后的本地視頻畫面(現(xiàn)有技術(shù)中的本地客戶端是不會(huì)接收本地視頻畫面)，并在本地視頻畫面的位置進(jìn)行播放，實(shí)現(xiàn)了渲染后的異地視頻畫面在視頻通信雙方的共享，增加了視頻聊天的可操作性，豐富了視頻聊天的內(nèi)容。
[0090]本發(fā)明還涉及一種視頻通信裝置，請(qǐng)參照?qǐng)D5，圖5為本發(fā)明的視頻通信裝置的第一優(yōu)選實(shí)施例的結(jié)構(gòu)示意圖。該視頻通信裝置包括第一視頻畫面獲取模塊51、第一人臉位置識(shí)別模塊52、第一渲染模塊53以及第一畫面發(fā)送模塊54。第一視頻畫面獲取模塊51用于第一終端獲取第一終端的第一視頻畫面；第一人臉位置識(shí)別模塊52用于第一終端對(duì)第一視頻畫面中的人臉位置進(jìn)行識(shí)別；第一渲染模塊53用于第一終端生成第一渲染圖像，并根據(jù)第一渲染圖像和識(shí)別后的人臉位置對(duì)第一視頻畫面進(jìn)行渲染；第一畫面發(fā)送模塊54用于第一終端發(fā)送渲染后的第一視頻畫面給第二終端進(jìn)行顯示。
[0091]第一視頻畫面獲取模塊51、第一人臉位置識(shí)別模塊52、第一渲染模塊53以及第一畫面發(fā)送模塊54均位于第一終端中。本優(yōu)選實(shí)施例的視頻通信裝置使用時(shí)，第一視頻畫面獲取模塊51獲取第一終端的第一視頻畫面，如獲取本地用戶的本地視頻畫面，同時(shí)第一人臉位置識(shí)別模塊52對(duì)第一視頻畫面中的人臉位置進(jìn)行識(shí)別，如讀取本地的具有人臉識(shí)別數(shù)據(jù)庫(kù)的人臉識(shí)別程序?qū)Ρ镜匾曨l畫面(第一視頻畫面)中的人臉位置進(jìn)行識(shí)別。隨后第一渲染模塊53使用本地的具有表情識(shí)別數(shù)據(jù)庫(kù)的表情識(shí)別程序?qū)Φ谝蝗四樜恢米R(shí)別模塊52生成的識(shí)別后的本地視頻畫面進(jìn)行人臉的表情識(shí)別，并根據(jù)識(shí)別結(jié)果生成第一渲染圖像；然后根據(jù)第一渲染圖像，使用本地虛擬數(shù)據(jù)庫(kù)中的虛擬物品對(duì)本地視頻畫面的相應(yīng)人臉位置進(jìn)行表情渲染，這里優(yōu)選采用增強(qiáng)現(xiàn)實(shí)技術(shù)實(shí)現(xiàn)上述渲染操作。最后第一畫面發(fā)送模塊54將渲染后的本地視頻畫面發(fā)送給異地視頻通信裝置進(jìn)行顯示，完成整個(gè)視頻通信過(guò)程。
[0092]本優(yōu)選實(shí)施例的視頻通信裝置的具體工作原理與上述的視頻通信方法的第一優(yōu)選實(shí)施例中的描述相同或相似，如均通過(guò)統(tǒng)計(jì)機(jī)器學(xué)習(xí)模型形成人臉識(shí)別數(shù)據(jù)庫(kù)和表情識(shí)別數(shù)據(jù)庫(kù)，具體請(qǐng)參見上述視頻通信方法的第一優(yōu)選實(shí)施例中的相關(guān)描述。
[0093]本優(yōu)選實(shí)施例的視頻通信裝置通過(guò)人臉識(shí)別、表情識(shí)別、機(jī)器學(xué)習(xí)以及增強(qiáng)現(xiàn)實(shí)等技術(shù)實(shí)現(xiàn)了本地客戶端上的現(xiàn)實(shí)畫面和虛擬畫面的完美結(jié)合，并可將該渲染后的畫面發(fā)送給任何異地視頻通信裝置(異地視頻通信裝置可不安裝相應(yīng)的人臉識(shí)別數(shù)據(jù)庫(kù)、表情識(shí)別數(shù)據(jù)庫(kù)以及虛擬物品數(shù)據(jù)庫(kù)等識(shí)別渲染用數(shù)據(jù)庫(kù))，豐富了視頻聊天的內(nèi)容。
[0094]請(qǐng)參照?qǐng)D6，圖6為本發(fā)明的視頻通信裝置的第二優(yōu)選實(shí)施例的結(jié)構(gòu)示意圖。該視頻通信裝置包括第二視頻畫面獲取模塊61、第二人臉位置識(shí)別模塊62、第二渲染模塊63以及第一畫面顯示模塊64。第二視頻畫面獲取模塊61用于第一終端獲取第二終端的第二視頻畫面；第二人臉位置識(shí)別模塊62用于第一終端對(duì)第二視頻畫面中的人臉位置進(jìn)行識(shí)別；第二渲染模塊63用于第一終端生成第二渲染圖象，并根據(jù)第二渲染圖象和識(shí)別后的人臉位置對(duì)第二視頻畫面進(jìn)行渲染；第一畫面顯示模塊64用于顯示渲染后的第二視頻畫面。
[0095]第二視頻畫面獲取模塊61、第二人臉位置識(shí)別模塊62、第二渲染模塊63以及第一畫面顯示模塊64均位于第一終端中。本優(yōu)選實(shí)施例的視頻通信裝置使用時(shí)，第二視頻畫面獲取模塊61獲取第二終端的第二視頻畫面，如接收對(duì)方用戶在異地視頻通信裝置的異地視頻畫面。同時(shí)第二人臉位置識(shí)別模塊62對(duì)第二視頻畫面中的人臉位置進(jìn)行識(shí)別，如讀取本地的具有人臉識(shí)別數(shù)據(jù)庫(kù)的人臉識(shí)別程序?qū)υ摦惖匾曨l畫面中的人臉位置進(jìn)行識(shí)別。隨后第二渲染模塊63使用本地的具有表情識(shí)別數(shù)據(jù)庫(kù)的表情識(shí)別程序?qū)Φ诙四樜恢米R(shí)別模塊62生成的識(shí)別后的異地視頻畫面進(jìn)行人臉的表情識(shí)別，并根據(jù)識(shí)別結(jié)果生成第二渲染圖像；然后根據(jù)第二渲染圖像，使用本地虛擬數(shù)據(jù)庫(kù)中的虛擬物品對(duì)異地視頻畫面的相應(yīng)的人臉位置進(jìn)行表情渲染。這里優(yōu)選采用增強(qiáng)現(xiàn)實(shí)技術(shù)實(shí)現(xiàn)上述渲染操作。最后第一畫面顯示模塊64將渲染后的異地視頻畫面進(jìn)行顯示，完成整個(gè)視頻通信過(guò)程。
[0096]本優(yōu)選實(shí)施例的視頻通信裝置的具體工作原理與上述的視頻通信方法的第二優(yōu)選實(shí)施例中的描述相同或相似，如均通過(guò)統(tǒng)計(jì)機(jī)器學(xué)習(xí)模型形成人臉識(shí)別數(shù)據(jù)庫(kù)和表情識(shí)別數(shù)據(jù)庫(kù)，具體請(qǐng)參見上述視頻通信方法的第二優(yōu)選實(shí)施例中的相關(guān)描述。
[0097]本優(yōu)選實(shí)施例的視頻通信裝置通過(guò)人臉識(shí)別、表情識(shí)別、機(jī)器學(xué)習(xí)以及增強(qiáng)現(xiàn)實(shí)等技術(shù)實(shí)現(xiàn)了本地客戶端上的現(xiàn)實(shí)畫面和虛擬畫面的完美結(jié)合，并可將異地視頻畫面進(jìn)行渲染后在本地顯示，當(dāng)然這里也可將該渲染后的異地視頻畫面發(fā)送給任何異地視頻通信裝置(此時(shí)異地視頻通信裝置需要有接收該異地視頻畫面的設(shè)置才能實(shí)現(xiàn)渲染后的異地視頻畫面的共享)，豐富了視頻聊天的內(nèi)容。
[0098]請(qǐng)參照?qǐng)D7，圖7為本發(fā)明的視頻通信裝置的第三優(yōu)選實(shí)施例的結(jié)構(gòu)示意圖。本優(yōu)選實(shí)施例的視頻通信裝置在第一優(yōu)選實(shí)施例的基礎(chǔ)上還包括第二畫面顯示模塊71。該第二畫面顯示模塊71用于第一終端接收并顯示渲染后的第一視頻畫面。
[0099]本優(yōu)選實(shí)施例的視頻通信裝置使用時(shí)，第一畫面發(fā)送模塊54將沒有經(jīng)過(guò)本地渲染的本地視頻畫面發(fā)送至對(duì)方用戶。對(duì)方用戶使用上述的視頻通信裝置的第二優(yōu)選實(shí)施例中的裝置對(duì)視頻畫面進(jìn)行渲染，隨后第二畫面顯示模塊71接收該渲染后的本地視頻畫面，將該渲染后的本地視頻畫面在本地進(jìn)行顯示，實(shí)現(xiàn)渲染后的本地視頻畫面的共享，完成整個(gè)視頻通信過(guò)程。
[0100]本優(yōu)選實(shí)施例的視頻通信裝置的具體工作原理與上述的視頻通信方法的第三優(yōu)選實(shí)施例中的描述相同或相似，具體請(qǐng)參見上述視頻通信方法的第三優(yōu)選實(shí)施例中的相關(guān)描述。
[0101]本優(yōu)選實(shí)施例的視頻通信裝置在本地設(shè)置接收異地客戶端發(fā)送的渲染后的本地視頻畫面(現(xiàn)有技術(shù)中的本地客戶端是不會(huì)接收本地視頻畫面)，并在本地視頻畫面的位置進(jìn)行播放，實(shí)現(xiàn)了渲染后的異地視頻畫面在視頻通信雙方的共享，增加了視頻聊天的可操作性，豐富了視頻聊天的內(nèi)容。
[0102]請(qǐng)參照?qǐng)D8，圖8為本發(fā)明的視頻通信裝置的第三優(yōu)選實(shí)施例的結(jié)構(gòu)示意圖。本優(yōu)選實(shí)施例的視頻通信裝置在第一優(yōu)選實(shí)施例的基礎(chǔ)上還包括第二畫面顯示模塊81。該第二畫面顯示模塊81用于第一終端接收并顯示第二終端渲染后的渲染后的第一視頻畫面。
[0103]本優(yōu)選實(shí)施例的視頻通信裝置使用時(shí)，第一畫面發(fā)送模塊54將經(jīng)過(guò)本地渲染的本地視頻畫面發(fā)送至對(duì)方用戶。對(duì)方用戶使用上述的視頻通信裝置的第二優(yōu)選實(shí)施例中的裝置對(duì)視頻畫面進(jìn)行再渲染，隨后第二畫面顯示模塊81接收該再渲染的本地視頻畫面，將該再渲染的本地視頻畫面在本地進(jìn)行顯示，實(shí)現(xiàn)渲染后的本地視頻畫面的共享，完成整個(gè)視頻通信過(guò)程。
[0104]本優(yōu)選實(shí)施例的視頻通信裝置的具體工作原理與上述的視頻通信方法的第四優(yōu)選實(shí)施例中的描述相同或相似，具體請(qǐng)參見上述視頻通信方法的第四優(yōu)選實(shí)施例中的相關(guān)描述。
[0105]本優(yōu)選實(shí)施例的視頻通信裝置在本地設(shè)置接收異地客戶端發(fā)送的渲染后的本地視頻畫面(現(xiàn)有技術(shù)中的本地客戶端是不會(huì)接收本地視頻畫面)，并在本地視頻畫面的位置進(jìn)行播放，實(shí)現(xiàn)了渲染后的異地視頻畫面在視頻通信雙方的共享，增加了視頻聊天的可操作性，豐富了視頻聊天的內(nèi)容。
[0106]請(qǐng)參照?qǐng)D9，圖9為本發(fā)明的視頻通信方法及裝置的具體實(shí)施例的工作原理圖。
[0107]其中圖9的通信雙方使用的均為本發(fā)明的視頻通信裝置。首先用戶A和用戶B在其使用的客戶端上均下載已經(jīng)過(guò)統(tǒng)計(jì)機(jī)器學(xué)習(xí)模型訓(xùn)練的人臉識(shí)別數(shù)據(jù)庫(kù)和表情識(shí)別數(shù)據(jù)庫(kù)。當(dāng)用戶B和用戶A進(jìn)行視頻通信時(shí)，通過(guò)用戶A或用戶B的觸發(fā)(如手勢(shì)識(shí)別或手動(dòng)選擇等)，用戶B的客戶端N將位于客戶端M的用戶A的視頻畫面在客戶端N上變?yōu)樾‰u畫面，并基于人臉位置識(shí)別技術(shù)，通過(guò)增強(qiáng)現(xiàn)實(shí)技術(shù)將該小雞的動(dòng)畫綁定到用戶A的視頻畫面上，并可實(shí)時(shí)根據(jù)人臉位置以及人臉表情對(duì)該小雞畫面進(jìn)行調(diào)整；隨后客戶端N將經(jīng)過(guò)上述渲染處理的小雞畫面通過(guò)網(wǎng)絡(luò)傳送到客戶端M上，這樣客戶端M的用戶A和客戶端N的用戶B均可看到渲染后的視頻圖像。當(dāng)然用戶A也可對(duì)自己和用戶B做相同的渲染操作。
[0108]本發(fā)明的視頻通信方法及視頻通信裝置通過(guò)人臉識(shí)別、表情識(shí)別、機(jī)器學(xué)習(xí)以及增強(qiáng)現(xiàn)實(shí)等技術(shù)實(shí)現(xiàn)了現(xiàn)實(shí)畫面和虛擬畫面的完美結(jié)合，豐富了視頻聊天的內(nèi)容。解決了現(xiàn)有的視頻通信方法及視頻通信裝置的視頻聊天畫面不真實(shí)，內(nèi)容較空洞的技術(shù)問(wèn)題。
[0109]綜上所述，雖然本發(fā)明已以優(yōu)選實(shí)施例揭露如上，但上述優(yōu)選實(shí)施例并非用以限制本發(fā)明，本領(lǐng)域的普通技術(shù)人員，在不脫離本發(fā)明的精神和范圍內(nèi)，均可作各種更動(dòng)與潤(rùn)飾，因此本發(fā)明的保護(hù)范圍以權(quán)利要求界定的范圍為準(zhǔn)。
【權(quán)利要求】
1.一種視頻通信方法，其特征在于，包括步驟: 第一終端獲取所述第一終端的第一視頻畫面； 所述第一終端對(duì)所述第一視頻畫面中的人臉位置進(jìn)行識(shí)別； 所述第一終端生成第一渲染圖象，并根據(jù)所述第一渲染圖象和識(shí)別后的人臉位置對(duì)所述第一視頻畫面進(jìn)行渲染；以及 所述第一終端發(fā)送渲染后的第一視頻畫面給第二終端進(jìn)行顯示。
2.根據(jù)權(quán)利要求1所述的視頻通信方法，其特征在于，所述視頻通信方法還包括步驟: 所述第一終端獲取所述第二終端的第二視頻畫面； 所述第一終端對(duì)所述第二視頻畫面中的人臉位置進(jìn)行識(shí)別； 所述第一終端生成第二渲染圖象，并根據(jù)所述第二渲染圖象和識(shí)別后的人臉位置對(duì)所述第二視頻畫面進(jìn)行渲染；以及 所述第一終端顯示渲染后的第二視頻畫面。
3.根據(jù)權(quán)利要求2所述的視頻通信方法，其特征在于，所述視頻通信方法還包括步驟: 所述第一終端發(fā)送所述第一視頻畫面給所述第二終端； 所述第二終端對(duì) 所述第一視頻畫面進(jìn)行渲染； 所述第一終端接收并顯示渲染后的第一視頻畫面。
4.根據(jù)權(quán)利要求2所述的視頻通信方法，其特征在于，所述視頻通信方法還包括步驟: 所述第一終端發(fā)送所述渲染后的第一視頻畫面給所述第二終端； 所述第二終端對(duì)所述渲染后的第一視頻畫面進(jìn)行渲染； 所述第一終端接收并顯示所述第二終端渲染后的所述渲染后的第一視頻畫面。
5.根據(jù)權(quán)利要求2-4中任一所述的視頻通信方法，其特征在于，所述視頻通信方法還包括步驟: 所述第一終端對(duì)所述第一和/或第二視頻畫面中的人臉表情進(jìn)行識(shí)別，并根據(jù)所述人臉表情的識(shí)別結(jié)果生成所述第一和/或第二渲染圖象。
6.一種視頻通信裝置，其特征在于，包括: 第一視頻畫面獲取模塊，用于第一終端獲取第一終端的第一視頻畫面； 第一人臉位置識(shí)別模塊，用于所述第一終端對(duì)所述第一視頻畫面中的人臉位置進(jìn)行識(shí)別； 第一渲染模塊，用于所述第一終端生成第一渲染圖像，并根據(jù)所述第一渲染圖像和識(shí)別后的人臉位置對(duì)所述第一視頻畫面進(jìn)行渲染；以及 第一畫面發(fā)送模塊，用于所述第一終端發(fā)送渲染后的第一視頻畫面給第二終端進(jìn)行顯/Jn ο
7.根據(jù)權(quán)利要求6所述的視頻通信裝置，其特征在于，所述視頻通信裝置還包括: 第二視頻畫面獲取模塊，用于所述第一終端獲取所述第二終端的第二視頻畫面； 第二人臉位置識(shí)別模塊，用于所述第一終端對(duì)所述第二視頻畫面中的人臉位置進(jìn)行識(shí)別； 第二渲染模塊，用于所述第一終端生成第二渲染圖象，并根據(jù)所述第二渲染圖象和識(shí)別后的人臉位置對(duì)所述第二視頻畫面進(jìn)行渲染；以及 第一畫面顯示模塊，用于所述第一終端顯示渲染后的第二視頻畫面。
8.根據(jù)權(quán)利要求7所述的視頻通信裝置，其特征在于，所述視頻通信裝置還包括: 第二畫面顯示模塊，用于所述第一終端接收并顯示渲染后的第一視頻畫面。
9.根據(jù)權(quán)利要求7所述的視頻通信裝置，其特征在于，所述視頻通信裝置還包括: 第二畫面顯示模塊，用于所述第一終端接收并顯示所述第二終端渲染后的所述渲染后的第一視頻畫面。
10.根據(jù)權(quán)利要求7-9中任一所述的視頻通信裝置，其特征在于， 所述第一渲染模塊對(duì)所述第一和/或第二視頻畫面中的人臉表情進(jìn)行識(shí)別，并根據(jù)所述人臉表情的識(shí)別結(jié)果生成所述第一渲染圖象； 所述第二渲染模塊對(duì)所述第一和/或第二視頻畫面中的人臉表情進(jìn)行識(shí)別，并根據(jù)所述人臉表情的識(shí)別 結(jié)果生成所述第二渲染圖象。
【文檔編號(hào)】H04N7/14GK103916621SQ201310003670
【公開日】2014年7月9日 申請(qǐng)日期:2013年1月6日 優(yōu)先權(quán)日:2013年1月6日
【發(fā)明者】江修才, 陳波, 劉海龍 申請(qǐng)人:騰訊科技（深圳）有限公司