一種全景視頻通信的方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明適用于視頻通信【技術(shù)領(lǐng)域】，提供了一種全景視頻通信的方法及系統(tǒng)，所述方法包括：通過多個(gè)攝像頭采集圖像信息；提取所述圖像信息中的同步圖像幀；將提取的所述同步圖像幀進(jìn)行拼接，獲取全景視頻；將所獲取的全景視頻發(fā)送給通信終端。通過本發(fā)明，使得通信終端間可以實(shí)現(xiàn)全景視頻的聊天，有效增強(qiáng)視頻聊天的真實(shí)感。
【專利說明】一種全景視頻通信的方法及系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于視頻通信【技術(shù)領(lǐng)域】，尤其涉及一種全景視頻通信的方法及系統(tǒng)。
【背景技術(shù)】
[0002]全景(Panorama)技術(shù)是把相機(jī)環(huán)360度拍攝的一組或者多組照片拼接成一個(gè)全景圖像。全景技術(shù)廣泛應(yīng)用于三維電子商務(wù)，如在線的房地產(chǎn)樓盤展示、虛擬旅游、虛擬教育等領(lǐng)域的視覺新技術(shù)，它給人們帶來了全新的真實(shí)現(xiàn)場(chǎng)感和交互式的感受。
[0003]隨著技術(shù)的發(fā)展，越來越多的人可以享受到視頻通信帶來的便利和樂趣，例如，現(xiàn)有基于3G的視頻電話或者即時(shí)通信工具中的視頻聊天等。然而，現(xiàn)有的視頻通信僅僅是基于二維平面的，缺乏真實(shí)的立體感受。因此，將全景技術(shù)應(yīng)用于視頻通信中將顯得十分重要。

【發(fā)明內(nèi)容】

[0004]本發(fā)明實(shí)施例的目的在于提供一種全景視頻通信的方法，以解決現(xiàn)有視頻通信僅僅是基于二維平面的，缺乏真實(shí)立體感受的問題。
[0005]本發(fā)明實(shí)施例是這樣實(shí)現(xiàn)的，一種全景視頻通信的方法，所述方法包括:
[0006]通過多個(gè)攝像頭采集圖像信息；
[0007]提取所述圖像信息中的同步圖像幀；
[0008]將提取的所述同步圖像幀進(jìn)行拼接，獲取全景視頻；
[0009]將所獲取的全景視頻發(fā)送給通信終端。
[0010]本發(fā)明實(shí)施例的另一目的在于提供一種全景視頻通信的系統(tǒng)，所述系統(tǒng)包括:
[0011 ] 多個(gè)攝像頭以及數(shù)字電視接收裝置，所述多個(gè)攝像頭與所述數(shù)字電視接收裝置連接;
[0012]所述攝像頭，用于采集圖像信息；
[0013]所述數(shù)字電視接收裝置，用于提取多個(gè)攝像頭采集的所述圖像信息中的同步圖像幀，將提取的所述同步圖像幀進(jìn)行拼接，獲取全景視頻，并將所獲取的全景視頻發(fā)送給通信終端。
[0014]本發(fā)明實(shí)施例的有益效果是:本發(fā)明實(shí)施例將全景技術(shù)應(yīng)用到視頻聊天中，使得通信終端間可以實(shí)現(xiàn)全景視頻的聊天，有效增強(qiáng)視頻聊天的真實(shí)感。而且，本發(fā)明實(shí)施例中不需要借助昂貴、復(fù)雜的第三方設(shè)備(如魚眼鏡頭等)，降低了全景技術(shù)應(yīng)用的復(fù)雜度和成本，提高了全景視頻合成的效率。
【專利附圖】

【附圖說明】
[0015]為了更清楚地說明本發(fā)明實(shí)施例中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0016]圖1是本發(fā)明第一實(shí)施例提供的全景視頻通信方法的實(shí)現(xiàn)流程圖；
[0017]圖2中的2a、2b、2c是本發(fā)明第一實(shí)施例提供的圖像信息處理的示例圖；
[0018]圖3是本發(fā)明第二實(shí)施例提供的全景視頻通信方法的交互流程圖；
[0019]圖4是本發(fā)明第三實(shí)施例提供的全景視頻通信系統(tǒng)的組成結(jié)構(gòu)圖；
[0020]圖5是本發(fā)明第三實(shí)施例提供的全景視頻通信的示意圖；
[0021]圖6是本發(fā)明第四實(shí)施例提供的全景視頻通信系統(tǒng)的應(yīng)用場(chǎng)景圖。
【具體實(shí)施方式】
[0022]為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
[0023]為了說明本發(fā)明所述的技術(shù)方案，下面通過具體實(shí)施例來進(jìn)行說明。
[0024]實(shí)施例一:
[0025]圖1示出了本發(fā)明第一實(shí)施例提供的全景視頻通信方法的實(shí)現(xiàn)流程，其過程詳述如下:
[0026]在步驟SlOl中，通過多個(gè)攝像頭采集圖像信息。
[0027]在本實(shí)施例中，各攝像頭分別采集不同區(qū)域或者不同范圍內(nèi)的圖像信息，，并記錄圖像信息采集的時(shí)間。所述多個(gè)攝像頭可以實(shí)現(xiàn)全方位覆蓋的圖像信息采集(例如三個(gè)攝像頭，第一個(gè)攝像頭采集(0°，120°)范圍內(nèi)的圖像信息，第二個(gè)攝像頭采集(120°，240°)范圍內(nèi)的圖像信息，第二個(gè)攝像頭采集(240°，360°)范圍內(nèi)的圖像信息)。各攝像頭采取串聯(lián)的方式連接，以保證圖像信息采集的同步。
[0028]在步驟S102中，提取所述圖像信息中的同步圖像幀。
[0029]在本實(shí)施例中，根據(jù)圖像信息采集的時(shí)間，提取所述圖像信息中的同步圖像幀。其中，所述同步圖像幀是指各攝像頭在同一時(shí)間點(diǎn)采集的不同方向的圖像信息，如圖2a所
/Jn o
[0030]在步驟S103中，將提取的所述同步圖像幀進(jìn)行拼接，獲取全景視頻。
[0031]在本實(shí)施例中，將某一時(shí)間段內(nèi)同一時(shí)間點(diǎn)采集的不同方向的圖像信息進(jìn)行拼接獲得全景靜態(tài)圖像，再將所述時(shí)間段內(nèi)所有的全景靜態(tài)圖像組合生成全景視頻。
[0032]其中，所述將提取的所述同步圖像幀進(jìn)行拼接具體包括:
[0033]獲取所述同步圖像巾貞中的特征點(diǎn)，例如通過SIFT (Scale Invariant FeatureTransform)算法獲取所述同步圖像巾貞中的特征點(diǎn)，所述特征點(diǎn)可以為圖像中的房屋、人等影像。
[0034]根據(jù)所述特征點(diǎn)對(duì)所述同步圖像幀進(jìn)行匹配，刪除所述同步圖像幀中的重疊部分；本實(shí)施例還包括根據(jù)匹配后的圖像的特征點(diǎn)迭代計(jì)算出最佳的投影模型，即攝像頭拍攝的空間物體在像平面的最佳投影，包括圖像的縮放等操作。
[0035]根據(jù)所述特征點(diǎn)，對(duì)所述刪除重疊部分的同步圖像幀進(jìn)行邊緣融合獲得全景靜態(tài)圖像，如圖2b所示。
[0036]優(yōu)選的是，本實(shí)施例在所述將提取的所述同步圖像幀進(jìn)行拼接的步驟之后，還包括:
[0037]對(duì)拼接后的圖像進(jìn)行剪裁。
[0038]在本實(shí)施例中，由于攝像頭采集的圖像不能保證是水平平移的，所以拼接后的圖像也可能會(huì)存在高低偏差(如圖2b所示)，因此需要對(duì)高低有偏差的部分進(jìn)行裁剪，剪裁后的圖像如圖2c所示。
[0039]在步驟S104中，將所獲取的全景視頻發(fā)送給通信終端。
[0040]例如，當(dāng)本實(shí)施例執(zhí)行主體為第一終端時(shí)，則所述第一終端將所獲取的全景視頻發(fā)送給與所述第一終端連接通信的第二終端，所述第二終端接收并顯示所述第一終端發(fā)送的全景視頻。
[0041]優(yōu)選的是，為了實(shí)現(xiàn)實(shí)時(shí)的“面對(duì)面”交互體驗(yàn)，本實(shí)施例還包括:
[0042]接收并顯示所述通信終端發(fā)送的全景視頻。其中，通信終端發(fā)送的所述全景視頻可以采用本實(shí)施例的上述方法獲取，在此不再贅述。
[0043]優(yōu)選的是，為了方便對(duì)全景視頻的顯示控制，本實(shí)施例還包括:
[0044]向所述通信終端發(fā)送遙控信息，以使得所述通信終端在接收到所述遙控信息后，根據(jù)預(yù)先建立的遙控信息與顯示控制指令的映射關(guān)系獲取對(duì)應(yīng)的顯示控制指令，并根據(jù)所獲取的顯示控制指令控制所述通信終端顯示器上全景視頻的顯示。其中，所述遙控信息包括手勢(shì)信息，以便于用戶在觸摸屏上通過多點(diǎn)觸摸等方式實(shí)現(xiàn)對(duì)所述全景視頻的顯示控制。
[0045]實(shí)施例二:
[0046]圖3示出了本發(fā)明第二實(shí)施例提供的全景視頻通信方法的交互流程，其過程詳述如下:
[0047]1、第一終端和第二終端通過多個(gè)攝像頭采集圖像信息。
[0048]在本實(shí)施例中，第一終端和第二終端通過多個(gè)攝像頭(例如3個(gè))對(duì)不同視角方向進(jìn)行全方位覆蓋的圖像信息采集。
[0049]2、第一終端提取所采集的圖像信息中的同步圖像幀，將提取的所述同步圖像幀進(jìn)行拼接，獲取對(duì)應(yīng)的第一全景視頻；第二終端提取所采集的圖像信息中的同步圖像幀，將提取的所述同步圖像幀進(jìn)行拼接，獲取對(duì)應(yīng)的第二全景視頻。
[0050]在本實(shí)施例中，所述同步圖像幀是指所述攝像頭在某一時(shí)間段的同一時(shí)間點(diǎn)采集的不同視角方向的圖像信息。將該時(shí)間點(diǎn)采集的不同視角方向的圖像信息進(jìn)行拼接后生成一張全景靜態(tài)圖像，將該時(shí)間段內(nèi)的所有全景靜態(tài)圖像組合后生成全景視頻。
[0051]需要說明的是，現(xiàn)有全景靜態(tài)圖像是通過魚眼鏡頭等復(fù)雜設(shè)備拍攝特定區(qū)域內(nèi)的圖片，再將所拍攝的圖片經(jīng)過處理后合成的?，F(xiàn)有技術(shù)只是基于靜態(tài)圖片的處理，而本實(shí)施例是基于實(shí)時(shí)圖片的處理，本實(shí)施例通過采集實(shí)時(shí)圖像，提取所述實(shí)時(shí)圖像中的同步圖像幀，將提取的所述同步圖像幀進(jìn)行拼接，來獲取實(shí)時(shí)的全景視頻，進(jìn)一步提高用戶的體驗(yàn)效果。
[0052]3、將所獲取的第一全景視頻發(fā)送給所述第二終端；將所獲取的第二全景視頻發(fā)送給所述第一終端。
[0053]4、第二終端接收所述第一終端發(fā)送的第一全景視頻，并將所述第一全景視頻顯示在所述第二終端的顯示器上；第一終端接收所述第二終端發(fā)送的第二全景視頻，并將所述第二全景視頻顯示在所述第一終端的顯示器上。
[0054]優(yōu)選的是，為了方便對(duì)所述全景視頻的顯示控制，本實(shí)施例還包括:
[0055]第一終端向所述第二終端發(fā)送遙控信息；
[0056]第二終端接收所述第一終端發(fā)送的遙控信息，并根據(jù)預(yù)先建立的遙控信息與顯示控制指令的映射關(guān)系獲取對(duì)應(yīng)的顯示控制指令，根據(jù)所獲取的顯示控制指令控制所述第二終端顯示器上第一全景視頻的顯示；以及
[0057]第二終端向所述第一終端發(fā)送遙控信息；
[0058]第一終端接收所述第二終端發(fā)送的遙控信息，并根據(jù)預(yù)先建立的遙控信息與顯示控制指令的映射關(guān)系獲取對(duì)應(yīng)的顯示控制指令，根據(jù)所獲取的顯示控制指令控制所述第一終端顯示器上第二全景視頻的顯示。
[0059]優(yōu)選的是，在所述第一終端或第二終端發(fā)送遙控信息的裝置為觸摸屏裝置時(shí)，所述遙控信息可以為手勢(shì)信息，即用戶可以在觸摸屏上通過多點(diǎn)觸摸等方式實(shí)現(xiàn)對(duì)所述全景視頻的顯示控制(例如環(huán)視等)。
[0060]本實(shí)施例將全景技術(shù)應(yīng)用到視頻聊天中，為用戶提供實(shí)時(shí)的“面對(duì)面”交互體驗(yàn)，增強(qiáng)真實(shí)感，提高用戶體驗(yàn)效果。而且，本實(shí)施例中只需通過普通的圖像采集設(shè)備來采集圖像，再將采集的圖像合成全景視頻，而不需要借助昂貴、復(fù)雜的第三方設(shè)備(如魚眼鏡頭等)，降低了全景技術(shù)應(yīng)用的復(fù)雜度和成本，提高了全景視頻合成的效率。
[0061]實(shí)施例三:
[0062]圖4示出了本發(fā)明實(shí)施例四提供的全景視頻通信系統(tǒng)的組成結(jié)構(gòu)，為了便于說明，僅不出了與本發(fā)明實(shí)施例相關(guān)的部分。
[0063]該全景視頻通信系統(tǒng)包括多個(gè)攝像頭41以及數(shù)字電視接收裝置42，所述多個(gè)攝像頭41與所述數(shù)字電視接收裝置42連接，其中:
[0064]所述攝像頭41，用于采集圖像信息；
[0065]所述數(shù)字電視接收裝置42，用于提取所述多個(gè)攝像頭采集的圖像信息中的同步圖像幀，將提取的所述同步圖像幀進(jìn)行拼接，獲取全景視頻，并將所獲取的全景視頻發(fā)送給通信終端。其中，所述數(shù)字電視接收裝置42可以為Q+Box。
[0066]進(jìn)一步的，所述全景視頻通信系統(tǒng)還包括:
[0067]通信終端，用于接收并顯示所述數(shù)字電視接收裝置發(fā)送的全景視頻。
[0068]進(jìn)一步的，所述全景視頻通信系統(tǒng)還包括:
[0069]遙控器43，所述遙控器43與所述數(shù)字電視接收裝置42連接；
[0070]其中，所述遙控器43可以為智能手機(jī)、平板電腦或者其他具有類似遙控器功能的控制器。
[0071]所述遙控器43，用于向所述通信終端發(fā)送遙控信息，以使得所述通信終端在接收到所述遙控信息后，根據(jù)預(yù)先建立的遙控信息與顯示控制指令的映射關(guān)系獲取對(duì)應(yīng)的顯示控制指令，并根據(jù)所獲取的顯示控制指令控制所述通信終端顯示器上全景視頻的顯示。其中，當(dāng)所述遙控器為具有觸摸操作功能的遙控裝置時(shí)，所述遙控信息包括手勢(shì)信息，即用戶可以在所述遙控器的觸摸屏上通過多點(diǎn)觸摸等方式實(shí)現(xiàn)對(duì)所述全景視頻的顯示控制(例如環(huán)視等)。
[0072]進(jìn)一步的，所述數(shù)字電視接收裝置42，還用于接收所述通信終端發(fā)送的全景視頻，并將接收到的所述通信終端發(fā)送的全景視頻發(fā)送給所述遙控器43 ；
[0073]所述遙控器43，還用于接收所述數(shù)字電視接收裝置發(fā)送的全景視頻，并根據(jù)該全景視頻向所述通信終端發(fā)送遙控信息。
[0074]進(jìn)一步的是，所述全景視頻通信系統(tǒng)還包括:
[0075]顯示器44，所述顯示器44與所述數(shù)字電視接收裝置42連接；
[0076]其中，所述顯示器可以為電腦、電視機(jī)等。
[0077]所述數(shù)字電視接收裝置42，還用于接收所述通信終端發(fā)送的全景視頻，并將接收到的所述通信終端發(fā)送的全景視頻發(fā)送給所述顯示器44 ；
[0078]所述顯示器44，用于顯示所述數(shù)字電視接收裝置42發(fā)送的全景視頻。
[0079]所述數(shù)字電視接收裝置42具體用于，獲取所述同步圖像幀中的特征點(diǎn)，根據(jù)所述特征點(diǎn)對(duì)所述同步圖像幀進(jìn)行匹配，刪除所述同步圖像幀中的重疊部分，根據(jù)所述特征點(diǎn)，對(duì)所述刪除重疊部分的同步圖像幀進(jìn)行邊緣融合獲得全景靜態(tài)圖像。
[0080]進(jìn)一步的，所述數(shù)字電視接收裝置42還用于，對(duì)拼接后的圖像進(jìn)行剪裁。
[0081]舉例說明上述過程，如圖5所示:
[0082]用戶A所在的第一終端與用戶B所在的第二終端連接通信，所述第一終端和第二終端分別包括三個(gè)攝像頭、Q+Box、遙控器以及顯示器。
[0083]其中，所述三個(gè)攝像頭與所述Q+Box連接，所述Q+Box分別于所述遙控器以及顯示器連接。
[0084]在第一終端和第二終端啟動(dòng)視頻聊天后，第一終端和第二終端的三個(gè)攝像頭采集不同視角方向的圖像信息，并將采集的所述圖像信息發(fā)送給對(duì)應(yīng)的Q+Box，Q+Box提取所述圖像信息中的同步圖像幀，將提取的所述同步圖像幀進(jìn)行拼接，獲取全景視頻，并將所獲取的全景視頻發(fā)送給對(duì)應(yīng)通信終端的Q+Box (即第一終端的Q+Box將所獲取的全景視頻發(fā)送給第二終端的Q+Box,第二終端的Q+Box將所獲取的全景視頻發(fā)送給第一終端的Q+Box),所述Q+Box在接收到所述全景視頻后，將所述全景視頻分別發(fā)送給所述遙控器和顯示器，所述遙控器在接收到所述Q+Box發(fā)送的全景視頻后，可以根據(jù)該全景視頻向?qū)?yīng)的通信終端發(fā)送遙控信息；具體的是，所述遙控器根據(jù)該全景視頻通過所述Q+Box向所述通信終端發(fā)送遙控信息，即所述遙控器將遙控信息發(fā)送給所述Q+Box,所述Q+Box通過QTPserver接收所述遙控信息，并將接收的所述遙控信息發(fā)送給所述通信終端的Q+Box，所述通信終端的Q+Box發(fā)送給所述通信終端的顯示器，所述通信終端的顯示器根據(jù)預(yù)先建立的遙控信息與顯示控制指令的映射關(guān)系獲取對(duì)應(yīng)的顯示控制指令，并根據(jù)所獲取的顯示控制指令控制所述顯示器上全景視頻的顯示。所述顯示器在接收到所述Q+Box發(fā)送的全景視頻后，顯示所述全景視頻，實(shí)現(xiàn)實(shí)時(shí)的“面對(duì)面”交互體驗(yàn)。
[0085]本實(shí)施例提供的終端設(shè)備可以使用在前述對(duì)應(yīng)的全景視頻通信方法，詳情參見上述全景視頻通信方法實(shí)施例一和二的相關(guān)描述，在此不再贅述。
[0086]實(shí)施例四:
[0087]圖6示出了本發(fā)明第四實(shí)施例提供的全景視頻通信系統(tǒng)的應(yīng)用場(chǎng)景，本發(fā)明實(shí)施例所提供的全景視頻通信方法可應(yīng)用于該全景視頻通信系統(tǒng)中，為了便于說明，僅示出了與本實(shí)施例相關(guān)的部分。
[0088]該全景視頻通信系統(tǒng)包括第一終端I和第二終端2。所述第一終端I和第二終端2通過網(wǎng)絡(luò)連接通信。
[0089]該第一終端I包括多個(gè)第一攝像頭11、第一數(shù)字電視接收裝置12以及第一顯示器13，所述多個(gè)第一攝像頭11與所述第一數(shù)字電視接收裝置12連接，所述第一數(shù)字電視接收裝置12與所述第一顯示器13連接。其中，所述顯示器13可以為電腦、電視機(jī)等。
[0090]所述第一攝像頭11，用于采集圖像信息。其中各攝像頭分別采集不同區(qū)域或者不同范圍內(nèi)的圖像信息，所述多個(gè)攝像頭可以實(shí)現(xiàn)全方位覆蓋的圖像信息采集(例如三個(gè)攝像頭，第一個(gè)攝像頭采集(0°，120°)范圍內(nèi)的圖像信息，第二個(gè)攝像頭采集(120°，240°)范圍內(nèi)的圖像信息，第二個(gè)攝像頭采集(240°，360°)范圍內(nèi)的圖像信息)。各攝像頭采取串聯(lián)的方式連接，以保證圖像信息采集的同步。
[0091]所述第一數(shù)字電視接收裝置12，用于提取多個(gè)攝像頭采集的所述圖像信息中的同步圖像幀，將提取的所述同步圖像幀進(jìn)行拼接，獲取第一全景視頻，并將所獲取的第一全景視頻發(fā)送給所述第二終端2。其中，所述第一數(shù)字電視接收裝置12可以為Q+Box。所述第一數(shù)字電視接收裝置12具體用于，提取多個(gè)攝像頭采集的所述圖像信息中的同步圖像幀，獲取所述同步圖像幀中的特征點(diǎn)，根據(jù)所述特征點(diǎn)對(duì)所述同步圖像幀進(jìn)行匹配，刪除所述同步圖像幀中的重疊部分，根據(jù)所述特征點(diǎn)，對(duì)所述刪除重疊部分的同步圖像幀進(jìn)行邊緣融合獲得全景靜態(tài)圖像，通過對(duì)所有獲得全景靜態(tài)圖像進(jìn)行組合獲得第一全景視頻，并將所獲取的第一全景視頻發(fā)送給所述第二終端2。
[0092]進(jìn)一步的，所述數(shù)字電視接收裝置42還用于，對(duì)拼接后的圖像進(jìn)行剪裁。
[0093]該第二終端2包括多個(gè)第二攝像頭21以及第二數(shù)字電視接收裝置22，所述多個(gè)第二攝像頭21與所述第二數(shù)字電視接收裝置22連接，所述第二數(shù)字電視接收裝置22與所述第二顯示器23連接。其中，所述顯示器23可以為電腦、電視機(jī)等。
[0094]所述第二攝像頭21，用于采集圖像信息。
[0095]所述第二數(shù)字電視接收裝置22，用于提取多個(gè)第二攝像頭采集的所述圖像信息中的同步圖像幀，將提取的所述同步圖像幀進(jìn)行拼接，獲取第二全景視頻，并將所獲取的第二全景視頻發(fā)送給所述第一終端I。其中，所述第二數(shù)字電視接收裝置22可以為Q+Box。所述第二數(shù)字電視接收裝置22具體用于，提取多個(gè)攝像頭采集的所述圖像信息中的同步圖像幀，獲取所述同步圖像幀中的特征點(diǎn)，根據(jù)所述特征點(diǎn)對(duì)所述同步圖像幀進(jìn)行匹配，刪除所述同步圖像幀中的重疊部分，根據(jù)所述特征點(diǎn)，對(duì)所述刪除重疊部分的同步圖像幀進(jìn)行邊緣融合獲得全景靜態(tài)圖像，通過對(duì)所有獲得全景靜態(tài)圖像進(jìn)行組合獲得第二全景視頻，并將所獲取的第二全景視頻發(fā)送給所述第一終端I。
[0096]所述第二終端2，用于接收并顯示所述第一數(shù)字電視接收裝置12發(fā)送的所述第一全景視頻。具體的是，通過所述第二終端2的第二數(shù)字電視接收裝置22接收所述第一數(shù)字電視接收裝置12發(fā)送的所述第一全景視頻，并將接收到的所述第一全景視頻顯示在所述第二終端2的第二顯示器24上。
[0097]所述第一終端1，用于接收并顯示所述第二數(shù)字電視接收裝置22發(fā)送的所述第二全景視頻。具體的是，通過所述第一終端I的第一數(shù)字電視接收裝置12接收所述第二數(shù)字電視接收裝置22發(fā)送的所述第二全景視頻，并將接收到的所述第二全景視頻顯示在所述第一終端I的第一顯不器14上。
[0098]本實(shí)施例通過多個(gè)普通攝像頭采集圖像信息，并通過數(shù)字電視接收裝置將采集的圖像信息合成全景視頻，將合成的全景視頻發(fā)送給對(duì)應(yīng)的通信終端，從而使得通信終端間可以實(shí)現(xiàn)全景視頻的聊天，有效增強(qiáng)視頻聊天的真實(shí)感。
[0099]進(jìn)一步的，所述第一終端I還包括:
[0100]第一遙控器14，所述第一遙控器14與所述第一數(shù)字電視接收裝置12連接；
[0101]其中，所述第一遙控器14可以為智能手機(jī)、平板電腦或者其他具有類似遙控器功能的控制器。
[0102]所述第一遙控器14，用于向所述第二終端2發(fā)送遙控信息，以使得所述第二終端2在接收到所述遙控信息后，根據(jù)預(yù)先建立的遙控信息與顯示控制指令的映射關(guān)系獲取對(duì)應(yīng)的顯示控制指令，并根據(jù)所獲取的顯示控制指令控制所述第二終端2顯示器23上第一全景視頻的顯示。其中，當(dāng)所述第一遙控器14為具有觸摸操作功能的遙控裝置時(shí)，所述遙控信息包括手勢(shì)信息，即用戶可以在所述遙控器的觸摸屏上通過多點(diǎn)觸摸等方式實(shí)現(xiàn)對(duì)所述全景視頻的顯示控制(例如環(huán)視等)。
[0103]進(jìn)一步的，所述第一數(shù)字電視接收裝置12，還用于將接收的所述第二數(shù)字電視接收裝置22發(fā)送的第二全景視頻發(fā)送給所述第一遙控器13 ；
[0104]所述第一遙控器14，還用于接收所述第一數(shù)字電視接收裝置12發(fā)送的第一全景視頻，并根據(jù)該第一全景視頻向所述第二終端2發(fā)送遙控信息。具體的是，第一遙控器14根據(jù)該第一全景視頻通過所述第一數(shù)字電視接收裝置12向所述第二終端2發(fā)送遙控信息，即第一遙控器14將遙控信息發(fā)送給所述第一數(shù)字電視接收裝置12，所述第一數(shù)字電視接收裝置12再將所述遙控信息發(fā)送給所述第二數(shù)字電視接收裝置22，所述第二數(shù)字電視接收裝置22發(fā)送給所述第二顯示器23，所述第二顯示器23根據(jù)預(yù)先建立的遙控信息與顯示控制指令的映射關(guān)系獲取對(duì)應(yīng)的顯示控制指令，并根據(jù)所獲取的顯示控制指令控制所述顯示器23上第一全景視頻的顯示。
[0105]進(jìn)一步的，所述第二終端2還包括:
[0106]第二遙控器24，所述第二遙控器24與所述第二數(shù)字電視接收裝置22連接；
[0107]其中，所述第二遙控器24可以為智能手機(jī)、平板電腦或者其他具有類似遙控器功能的控制器。
[0108]所述第二遙控器24，用于向所述第一終端I發(fā)送遙控信息，以使得所述第一終端I在接收到所述遙控信息后，根據(jù)預(yù)先建立的遙控信息與顯示控制指令的映射關(guān)系獲取對(duì)應(yīng)的顯示控制指令，并根據(jù)所獲取的顯示控制指令控制所述第一終端I顯示器13上第二全景視頻的顯示。其中，當(dāng)所述第二遙控器24為具有觸摸操作功能的遙控裝置時(shí)，所述遙控信息包括手勢(shì)信息，即用戶可以在所述遙控器的觸摸屏上通過多點(diǎn)觸摸等方式實(shí)現(xiàn)對(duì)所述全景視頻的顯示控制(例如環(huán)視等)。
[0109]進(jìn)一步的，所述第二數(shù)字電視接收裝置22，還用于將接收的所述第一數(shù)字電視接收裝置12發(fā)送的第一全景視頻發(fā)送給所述第二遙控器24 ；
[0110]所述第二遙控器24，還用于接收所述第二數(shù)字電視接收裝置22發(fā)送的第二全景視頻，并根據(jù)該第二全景視頻向所述第一終端I發(fā)送遙控信息。具體的是，第二遙控器24根據(jù)該第二全景視頻通過所述第二數(shù)字電視接收裝置22向所述第一終端I發(fā)送遙控信息，即第二遙控器24將遙控信息發(fā)送給所述第二數(shù)字電視接收裝置22，所述第二數(shù)字電視接收裝置22再將所述遙控信息發(fā)送給所述第一數(shù)字電視接收裝置12，所述第一數(shù)字電視接收裝置12發(fā)送給所述第一顯示器13，所述第一顯示器13根據(jù)預(yù)先建立的遙控信息與顯示控制指令的映射關(guān)系獲取對(duì)應(yīng)的顯示控制指令，并根據(jù)所獲取的顯示控制指令控制所述顯示器13上第二全景視頻的顯示。
[0111]在本實(shí)施例中，所述同步圖像幀是指各攝像頭在某一時(shí)間段的同一時(shí)間點(diǎn)采集的不同圖像信息。將該時(shí)間點(diǎn)采集的不同圖像信息進(jìn)行拼接后生成一張全景靜態(tài)圖，再將該時(shí)間段內(nèi)的所有全景靜態(tài)圖組合后生成全景視頻。
[0112]優(yōu)選的是，所述遙控信息包括手勢(shì)信息，所述顯示控制指令包括對(duì)所述全景視頻的環(huán)視控制指令。
[0113]通過本實(shí)施例，使得用戶可以方便的對(duì)全景視頻的顯示進(jìn)行控制。
[0114]綜上所述，本發(fā)明實(shí)施例將全景技術(shù)應(yīng)用到視頻聊天中，為用戶提供實(shí)時(shí)的“面對(duì)面”交互體驗(yàn)，增強(qiáng)真實(shí)感，提高用戶體驗(yàn)效果。而且，本實(shí)施例中只需通過普通的圖像采集設(shè)備來采集圖像，再將采集的圖像合成全景視頻，而不需要借助昂貴、復(fù)雜的第三方設(shè)備(如魚眼鏡頭等)，降低了全景技術(shù)應(yīng)用的復(fù)雜度和成本，提高了全景視頻合成的效率。本發(fā)明實(shí)施例操作簡(jiǎn)單，具有較強(qiáng)的易用性和實(shí)用性。
[0115]本領(lǐng)域普通技術(shù)人員還可以理解，實(shí)現(xiàn)上述實(shí)施例方法中的全部或部分步驟是可以通過程序來指令相關(guān)的硬件來完成，所述的程序可以在存儲(chǔ)于一計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中，所述的存儲(chǔ)介質(zhì)，包括R0M/RAM、磁盤、光盤等。
[0116]以上內(nèi)容是結(jié)合具體的優(yōu)選實(shí)施方式對(duì)本發(fā)明所作的進(jìn)一步詳細(xì)說明，不能認(rèn)定本發(fā)明的具體實(shí)施只局限于這些說明。對(duì)于本發(fā)明所屬【技術(shù)領(lǐng)域】的普通技術(shù)人員來說，在不脫離本發(fā)明構(gòu)思的前提下做出若干等同替代或明顯變型，而且性能或用途相同，都應(yīng)當(dāng)視為屬于本發(fā)明由所提交的權(quán)利要求書確定的專利保護(hù)范圍。
【權(quán)利要求】
1.一種全景視頻通信的方法，其特征在于，所述方法包括: 通過多個(gè)攝像頭采集圖像信息； 提取所述圖像信息中的同步圖像幀； 將提取的所述同步圖像幀進(jìn)行拼接，獲取全景視頻； 將所獲取的全景視頻發(fā)送給通信終端。
2.如權(quán)利要求1所述的方法，其特征在于，所述方法還包括: 通信終端接收并顯示所述全景視頻。
3.如權(quán)利要求1或2所述的方法，其特征在于，所述方法還包括: 向所述通信終端 發(fā)送遙控信息，以使得所述通信終端在接收到所述遙控信息后，根據(jù)預(yù)先建立的遙控信息與顯示控制指令的映射關(guān)系獲取對(duì)應(yīng)的顯示控制指令，并根據(jù)所獲取的顯示控制指令控制所述通信終端全景視頻的顯示。
4.如權(quán)利要求3所述的方法，其特征在于，所述遙控信息包括手勢(shì)信息。
5.如權(quán)利要求1所述的方法，其特征在于，所述將提取的所述同步圖像幀進(jìn)行拼接具體包括: 獲取所述同步圖像幀中的特征點(diǎn)； 根據(jù)所述特征點(diǎn)對(duì)所述同步圖像幀進(jìn)行匹配，刪除所述同步圖像幀中的重疊部分； 根據(jù)所述特征點(diǎn)，對(duì)所述刪除重疊部分的同步圖像幀進(jìn)行邊緣融合獲得全景靜態(tài)圖像。
6.如權(quán)利要求1所述的方法，其特征在于，在所述將提取的所述同步圖像幀進(jìn)行拼接的步驟之后，還包括: 對(duì)拼接后的圖像進(jìn)行剪裁。
7.—種全景視頻通信的系統(tǒng)，其特征在于，所述系統(tǒng)包括: 多個(gè)攝像頭以及數(shù)字電視接收裝置，所述多個(gè)攝像頭與所述數(shù)字電視接收裝置連接； 所述攝像頭，用于采集圖像信息； 所述數(shù)字電視接收裝置，用于提取多個(gè)攝像頭采集的所述圖像信息中的同步圖像幀，將提取的所述同步圖像幀進(jìn)行拼接，獲取全景視頻，并將所獲取的全景視頻發(fā)送給通信終端。
8.如權(quán)利要求7所述的系統(tǒng)，其特征在于，所述系統(tǒng)還包括: 通信終端，用于接收并顯示所述數(shù)字電視接收裝置發(fā)送的全景視頻。
9.如權(quán)利要求7或8所述的系統(tǒng)，其特征在于，所述系統(tǒng)還包括: 遙控器，所述遙控器與所述數(shù)字電視接收裝置連接； 所述遙控器，用于向所述通信終端發(fā)送遙控信息，以使得所述通信終端在接收到所述遙控信息后，根據(jù)預(yù)先建立的遙控信息與顯示控制指令的映射關(guān)系獲取對(duì)應(yīng)的顯示控制指令，并根據(jù)所獲取的顯示控制指令控制所述通信終端全景視頻的顯示。
10.如權(quán)利要求9所述的系統(tǒng)，其特征在于，所述遙控信息包括手勢(shì)信息。
11.如權(quán)利要求9所述的終端設(shè)備，其特征在于，所述數(shù)字電視接收裝置，還用于接收所述通信終端發(fā)送的全景視頻，并將接收到的所述通信終端發(fā)送的全景視頻發(fā)送給所述遙控器； 所述遙控器，還用于接收所述數(shù)字電視接收裝置發(fā)送的全景視頻，并根據(jù)該全景視頻向所述通信終端發(fā)送遙控信息。
12.如權(quán)利要求7所述的系統(tǒng)，其特征在于，所述系統(tǒng)還包括: 顯示器，所述顯示器與所述數(shù)字電視接收裝置連接； 所述數(shù)字電視接收裝置，還用于接收所述通信終端發(fā)送的全景視頻，并將接收到的所述通信終端發(fā)送的全景視頻發(fā)送給所述顯示器； 所述顯示器，用于顯示所述數(shù)字電視接收裝置發(fā)送的全景視頻。
13.如權(quán)利要求7所述的系統(tǒng)，其特征在于，所述數(shù)字電視接收裝置具體用于，獲取所述同步圖像幀中的特征點(diǎn)，根據(jù)所述特征點(diǎn)對(duì)所述同步圖像幀進(jìn)行匹配，刪除所述同步圖像幀中的重疊部分，根據(jù)所述特征點(diǎn)，對(duì)所述刪除重疊部分的同步圖像幀進(jìn)行邊緣融合獲得全景靜態(tài)圖像。
14. 如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述數(shù)字電視接收裝置還用于，對(duì)拼接后的圖像進(jìn)行剪裁。
【文檔編號(hào)】H04N7/14GK103634555SQ201210306753
【公開日】2014年3月12日 申請(qǐng)日期:2012年8月27日 優(yōu)先權(quán)日:2012年8月27日
【發(fā)明者】肖銳毅, 鄒靈靈 申請(qǐng)人:騰訊科技（深圳）有限公司