一種在網(wǎng)真會議系統(tǒng)中顯示布局的方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及多媒體網(wǎng)真通信領(lǐng)域，特別涉及網(wǎng)真系統(tǒng)中終端所看視頻的顯示布局方法及裝置。
【背景技術(shù)】
[0002]網(wǎng)真技術(shù)(Telepresence)也叫智真技術(shù)，是一種將視頻通信與溝通體驗(yàn)融為一體的遠(yuǎn)程會議技術(shù)，具有真人大小、超高清晰、低延時(shí)的特點(diǎn)，其注重的是真實(shí)面對面溝通的效果，實(shí)現(xiàn)過程涉及到網(wǎng)絡(luò)、通信、會商環(huán)境、功能應(yīng)用等多個(gè)方面，最終呈現(xiàn)給會議參與者的是一種與事務(wù)應(yīng)用相結(jié)合的一體化真實(shí)溝通體驗(yàn)。
[0003]在一個(gè)四方網(wǎng)真會議中，每個(gè)網(wǎng)真終端處都只有一個(gè)坐席上有參會人員，這樣實(shí)際上就是整個(gè)會議中全部只有四個(gè)坐席上有參會人員。按照現(xiàn)有常用的遠(yuǎn)端視頻布局方式，通常是將發(fā)言端作為大畫面顯示在遠(yuǎn)端視頻中，然后再將另外兩個(gè)與會終端的視頻顯示在某個(gè)坐席屏幕的小畫面中。
[0004]圖1是本發(fā)明實(shí)施例提供的在網(wǎng)真會議系統(tǒng)中顯示布局的傳統(tǒng)布局顯示圖。如圖所示，一網(wǎng)真終端的遠(yuǎn)端視頻布局，其中遠(yuǎn)端視頻中大畫面為發(fā)言端的視頻，左屏和右屏中的小畫面分別為另外兩網(wǎng)真終端的視頻。
[0005]因此，在一個(gè)多點(diǎn)網(wǎng)真會議中，有部分網(wǎng)真終端(在此假定所有網(wǎng)真終端均為三坐席一即三屏網(wǎng)真終端)不是所有坐席都有參會人員就坐。當(dāng)這類網(wǎng)真終端作為其他網(wǎng)真終端的遠(yuǎn)端視頻顯示輸出時(shí)，就會有遠(yuǎn)端有些坐席是空的情況出現(xiàn)。這樣就會出現(xiàn)遠(yuǎn)端視頻中有些坐席的位置是空的，而有些終端的參會人員卻沒有空余位置顯示在遠(yuǎn)端視頻中。
[0006]可見，在現(xiàn)有技術(shù)中，網(wǎng)真技術(shù)雖然在點(diǎn)對點(diǎn)通信時(shí)可以非常容易地提供真實(shí)溝通的體驗(yàn)，但是在多點(diǎn)通信的時(shí)候，如何能在多個(gè)顯示屏中盡可能多的顯示出全部與會人員圖像，并且盡可能的保留真實(shí)面對點(diǎn)溝通的用戶體驗(yàn)，這是一個(gè)可以提升用戶體驗(yàn)的關(guān)鍵問題。

【發(fā)明內(nèi)容】

[0007]本發(fā)明的目的在于提供一種在網(wǎng)真會議系統(tǒng)中顯示布局的方法及裝置，能夠解決在多點(diǎn)通信的情況下，多點(diǎn)網(wǎng)真會議系統(tǒng)中存在的參會人員的布局顯示不合理問題。
[0008]根據(jù)本發(fā)明的一個(gè)方面，提供了一種在網(wǎng)真會議系統(tǒng)中顯示布局的方法，包括:
[0009]多點(diǎn)處理單元接收各個(gè)網(wǎng)真終端發(fā)送的包含每個(gè)坐席圖像的本端視頻布局信息；
[0010]多點(diǎn)處理單元通過對每個(gè)網(wǎng)真終端的本端視頻布局信息進(jìn)行分析，得到每個(gè)網(wǎng)真終端坐席的人員就坐信息；
[0011]多點(diǎn)處理單元根據(jù)每個(gè)網(wǎng)真終端坐席的人員就坐信息，判斷各個(gè)網(wǎng)真終端是否只有一個(gè)坐席有人員就坐；
[0012]當(dāng)多點(diǎn)處理單元判斷各個(gè)網(wǎng)真終端只有一個(gè)坐席有人員就坐時(shí)，將各個(gè)網(wǎng)真終端有人員就坐的坐席圖像發(fā)送給相應(yīng)網(wǎng)真終端。
[0013]優(yōu)選地，對所述每個(gè)網(wǎng)真終端的本端視頻布局信息中的每個(gè)坐席圖像分別進(jìn)行人臉識別；
[0014]根據(jù)每個(gè)坐席圖像有人臉或沒有人臉的識別結(jié)果，得到每個(gè)網(wǎng)真終端坐席是否有人員就坐的人員就坐信息。
[0015]優(yōu)選地，從各個(gè)網(wǎng)真終端的本端視頻布局信息中提取有人員就坐的坐席圖像；
[0016]通過分別組合所提取的坐席圖像，生成用來分別發(fā)送給各個(gè)網(wǎng)真終端的各個(gè)遠(yuǎn)端視頻布局信息；
[0017]其中，在用來發(fā)送給任何一個(gè)網(wǎng)真終端的遠(yuǎn)端視頻布局信息中，包括除該任何一個(gè)網(wǎng)真終端外的其他網(wǎng)真終端的坐席圖像。
[0018]優(yōu)選地，通過將所述遠(yuǎn)端視頻布局信息中的各個(gè)坐席圖像，分別形成對應(yīng)的包含顯示位置標(biāo)識的各個(gè)視頻碼流后，發(fā)送給相應(yīng)網(wǎng)真終端。
[0019]優(yōu)選地，還包括:所述各個(gè)網(wǎng)真終端按照所述對應(yīng)視頻碼流進(jìn)行圖像顯示。
[0020]優(yōu)選地，所述各個(gè)網(wǎng)真終端根據(jù)所述對應(yīng)視頻碼流中的顯示位置標(biāo)識，將所述坐席圖像全屏顯示在對應(yīng)的顯示屏上。
[0021]根據(jù)本發(fā)明的另一方面，提供了一種在網(wǎng)真會議系統(tǒng)中顯示布局的裝置，包括:
[0022]接收模塊，用于多點(diǎn)處理單元接收各個(gè)網(wǎng)真終端發(fā)送的包含每個(gè)坐席圖像的本端視頻布局信息；
[0023]分析模塊，用于多點(diǎn)處理單元通過對每個(gè)網(wǎng)真終端的本端視頻布局信息進(jìn)行分析，得到每個(gè)網(wǎng)真終端坐席的人員就坐信息；
[0024]判斷模塊，用于多點(diǎn)處理單元根據(jù)每個(gè)網(wǎng)真終端坐席的人員就坐信息，判斷各個(gè)網(wǎng)真終端是否只有一個(gè)坐席有人員就坐；
[0025]發(fā)送模塊，用于當(dāng)多點(diǎn)處理單元判斷各個(gè)網(wǎng)真終端只有一個(gè)坐席有人員就坐時(shí)，將各個(gè)網(wǎng)真終端有人員就坐的坐席圖像發(fā)送給相應(yīng)網(wǎng)真終端。
[0026]優(yōu)選地，所述分析模塊進(jìn)一步包括:
[0027]識別子模塊，用于所述每個(gè)網(wǎng)真終端的本端視頻布局信息中的每個(gè)坐席圖像分別進(jìn)行人臉識別；
[0028]確定子模塊，用于根據(jù)每個(gè)坐席圖像有人臉或沒有人臉的識別結(jié)果，得到每個(gè)網(wǎng)真終端坐席是否有人員就坐的人員就坐信息。
[0029]優(yōu)選地，所述發(fā)送模塊進(jìn)一步包括:
[0030]提取子模塊，用于從各個(gè)網(wǎng)真終端的本端視頻布局信息中提取有人員就坐的坐席圖像；
[0031]組合子模塊，用于通過分別組合所提取的坐席圖像，生成用來分別發(fā)送給各個(gè)網(wǎng)真終端的各個(gè)遠(yuǎn)端視頻布局信息。
[0032]優(yōu)選地，所述發(fā)送模塊進(jìn)一步還包括:
[0033]碼流子模塊，用于通過將所述遠(yuǎn)端視頻布局信息中的各個(gè)坐席圖像，分別形成對應(yīng)的包含顯示位置標(biāo)識的各個(gè)視頻碼流后，發(fā)送給相應(yīng)網(wǎng)真終端。
[0034]與現(xiàn)有技術(shù)相比較，本發(fā)明的有益效果在于:能夠通過一種遠(yuǎn)端視頻布局顯示的方法，使得在特定場景下的除本參會網(wǎng)真終端以外的所有網(wǎng)真終端的參會人員實(shí)現(xiàn)合理的布局顯示，增強(qiáng)每一方參會人員與其他各方參會人員面對面的感官體驗(yàn)。
【附圖說明】
[0035]圖1是本發(fā)明實(shí)施例提供的在網(wǎng)真會議系統(tǒng)中顯示布局的傳統(tǒng)布局顯示圖；
[0036]圖2是本發(fā)明實(shí)施例提供的在網(wǎng)真會議系統(tǒng)中顯示布局的方法流程圖；
[0037]圖3是本發(fā)明實(shí)施例提供的在網(wǎng)真會議系統(tǒng)中顯示布局的裝置結(jié)構(gòu)圖；
[0038]圖4是本發(fā)明實(shí)施例提供的在網(wǎng)真會議系統(tǒng)中顯示布局的四方會議場景圖；
[0039]圖5是本發(fā)明實(shí)施例提供的在網(wǎng)真會議系統(tǒng)中顯示布局的第一網(wǎng)真終端TerA的視頻布局圖；
[0040]圖6是本發(fā)明實(shí)施例提供的在網(wǎng)真會議系統(tǒng)中顯示布局的第二個(gè)網(wǎng)真終端TerB的視頻布局圖；
[0041]圖7是本發(fā)明實(shí)施例提供的在網(wǎng)真會議系統(tǒng)中顯示布局的第三個(gè)網(wǎng)真終端TerC的視頻布局圖；
[0042]圖8是本發(fā)明實(shí)施例提供的在網(wǎng)真會議系統(tǒng)中顯示布局的第四個(gè)網(wǎng)真終端TerD的視頻布局圖；
[0043]圖9是本發(fā)明實(shí)施例提供的在網(wǎng)真會議系統(tǒng)中顯示布局的第一網(wǎng)真終端TerA所看到的遠(yuǎn)端視頻布局圖；
[0044]圖10是本發(fā)明實(shí)施例提供的在網(wǎng)真會議系統(tǒng)中顯示布局的第二個(gè)網(wǎng)真終端TerB所看到的遠(yuǎn)端視頻布局圖；
[0045]圖11是本發(fā)明實(shí)施例提供的在網(wǎng)真會議系統(tǒng)中顯示布局的第三個(gè)網(wǎng)真終端TerC所看到的遠(yuǎn)端視頻布局圖；
[0046]圖12是本發(fā)明實(shí)施例提供的在網(wǎng)真會議系統(tǒng)中顯示布局的第四個(gè)網(wǎng)真終端TerD所看到的遠(yuǎn)端視頻布局圖；
[0047]圖13是本發(fā)明實(shí)施例提供的在網(wǎng)真會議系統(tǒng)中顯示布局的網(wǎng)真終端的處理流程圖；
[0048]圖14是本發(fā)明實(shí)施例提供的在網(wǎng)真會議系統(tǒng)中顯示布局的MCU的處理流程圖。
【具體實(shí)施方式】
[0049]以下結(jié)合附圖對本發(fā)明的優(yōu)選實(shí)施例進(jìn)行詳細(xì)說明，應(yīng)當(dāng)理解，以下所說明的優(yōu)選實(shí)施例僅用于說明和解釋本發(fā)明，并不用于限定本發(fā)明。
[0050]圖2是本發(fā)明實(shí)施例提供的在網(wǎng)真會議系統(tǒng)中顯示布局的方法流程圖，如圖2所示，限定應(yīng)用場景為，一個(gè)四方網(wǎng)真會議，參加會議的四個(gè)網(wǎng)真終端均為三屏網(wǎng)真終端，每一方的參會人員都只集中在一個(gè)坐席上，步驟如下:
[0051]步驟S1:多點(diǎn)處理單元接收各個(gè)網(wǎng)真終端發(fā)送的包含每個(gè)坐席圖像的本端視頻布局信息。其中，所述各個(gè)網(wǎng)真終端利用生物特征識別技術(shù)，例如人臉識別技術(shù)辨識出本端坐席中是否有參會人員就坐的信息，并將此信息發(fā)送到MCU。這一處理過程為可選過程，參會的網(wǎng)真終端也可以不進(jìn)行此項(xiàng)處理。所述MCU收集來自各個(gè)與會網(wǎng)真終端的本端視頻布局信息(即，終端處每個(gè)坐席上是否有參會人員就坐的信息)并保存。
[0052]步驟S2:多點(diǎn)處理單元通過對每個(gè)網(wǎng)真終端的本端視頻布局信息進(jìn)行分析，得到每個(gè)網(wǎng)真終端坐席的人員就坐信息。
[0053]在步驟S2中，對收集到的所述每個(gè)網(wǎng)真終端的本端視頻布局信息中的每個(gè)坐席圖像分別進(jìn)行人臉識別；
[0054]根據(jù)每個(gè)坐席圖像有人臉或沒有人臉的識別結(jié)果，得到每個(gè)網(wǎng)真終端坐席是否有人員就坐的人員就坐信息。
[0055]步驟S3:多點(diǎn)處理單元根據(jù)每個(gè)網(wǎng)真終端坐席的人員就坐信息，判斷各個(gè)網(wǎng)真終端是否只有一個(gè)坐席有人員就坐。其中，判斷所述各個(gè)網(wǎng)真終端是否為四方網(wǎng)真會議，并且所有與會網(wǎng)真終端的本端視頻布局信息中均為僅有一個(gè)坐席中有參會人員就坐。所述MCU還可以通過人工判斷各個(gè)與會網(wǎng)真終端只有一個(gè)坐席上有參會人員就坐。
[0056]步驟S4:當(dāng)多點(diǎn)處理單元判斷各個(gè)網(wǎng)真終端只有一個(gè)坐席有人員就坐時(shí)，將各個(gè)網(wǎng)真終端有人員就坐的坐席圖像發(fā)送給相應(yīng)網(wǎng)真終端。
[0057]在步驟S4中，從各個(gè)網(wǎng)真終端的本端視頻布局信息中提取有人員就坐的坐席圖像；
[0058]通過分別組合所提取的坐席圖像，生成用來分別發(fā)送給各個(gè)網(wǎng)真終端的各個(gè)遠(yuǎn)端視頻布局信息。
[0059]其中，在用來發(fā)送給任何一個(gè)網(wǎng)真終端的遠(yuǎn)端視頻布局信息中，包括除該任何一個(gè)網(wǎng)真終端外的其他網(wǎng)真終端的坐席圖像。其中，MCU自動為每個(gè)與會網(wǎng)真終端組織其所觀看的遠(yuǎn)端視頻布局，左、中、右三屏分別為除本端外另外三方網(wǎng)真終端中有參會人員就坐的坐席。
[0060]此外，MCU也可以通過人工控制的方式為每個(gè)與會網(wǎng)真終端組織其所觀看的遠(yuǎn)端視頻布局，即人工為每個(gè)與會網(wǎng)真終端的坐席進(jìn)行視頻選看處理，為其左、中、右三個(gè)坐席分別進(jìn)行視頻切換處理，其視頻源來自除本端之外的另外三方網(wǎng)真終端中有參會人員就坐的坐席。
[0061]進(jìn)一步地，還包括:
[0062]通過將所述遠(yuǎn)端視頻布局信息中的各個(gè)坐席圖像，分別形成對應(yīng)的包含顯示位置標(biāo)識的各個(gè)視頻碼流后，發(fā)送給相應(yīng)網(wǎng)真終端。
[0063]進(jìn)一步地