全景視頻中的目標(biāo)追蹤顯示方法和裝置的制造方法
【專利摘要】本發(fā)明公開了一種全景視頻中的目標(biāo)追蹤顯示方法和裝置，所述方法包括：接收用戶的操作指令，確定所述操作指令在當(dāng)前顯示屏的操作位置；根據(jù)所述操作位置，以及當(dāng)前顯示屏上顯示的視頻，確定全景視頻中用戶的興趣目標(biāo)；在全景視頻中追蹤所述興趣目標(biāo)，在所述顯示屏上顯示全景視頻中以所述興趣目標(biāo)為中心的部分視頻。可以根據(jù)用戶的意圖自動追蹤全景視頻中的目標(biāo)在智能終端的顯示屏上進(jìn)行顯示。
【專利說明】
全景視頻中的目標(biāo)追蹤顯示方法和裝置
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及全景視頻技術(shù)領(lǐng)域，特別是涉及一種全景視頻中的目標(biāo)追蹤顯示方法和裝置。
【背景技術(shù)】
[0002]圖像是人類獲取視覺信息的主要途徑。通常我們能夠很容易的獲取現(xiàn)實(shí)世界中的一系列局部的分離圖像，然而把這些分離的圖像信息合成為“全景世界”則將為我們提供更為全面的信息。全景視圖是指以觀察者為中心，繞固定點(diǎn)旋轉(zhuǎn)一周所觀察到的360度或720度的視野場景的表示技術(shù)，它是一種全新的圖像信息組織模式，可以表達(dá)完整的周圍的環(huán)境信息。
[0003]而智能終端，比如智能手機(jī)、平板電腦、智能電視、有線電話、無繩電話、移動或便攜無線通信設(shè)備等因其智能化、便攜性，或者通信能力等優(yōu)點(diǎn)得到越來越廣泛的使用。智能終端通常都具有彩色顯示屏，這為智能終端的全景可視化提供了可能。
[0004]現(xiàn)有技術(shù)中雖然已經(jīng)出現(xiàn)了在智能終端的顯示屏上顯示全景視頻的方法，但是，本發(fā)明的發(fā)明人發(fā)現(xiàn)，在實(shí)際應(yīng)用中這種顯示方法滿足不了用戶的進(jìn)一步需求:當(dāng)用戶希望持續(xù)觀察某個(gè)運(yùn)動目標(biāo)時(shí)，由于顯示屏只能顯示全景視頻的一小部分，那么，用戶不得不手動劃動屏幕，以持續(xù)地將包含該目標(biāo)的畫面拖動到屏幕的中間進(jìn)行觀看。顯然，這種方法非常不利于用戶追蹤期望的目標(biāo)。
[0005]因此，有必要提出一種能夠自動地在智能終端的顯示屏上進(jìn)行全景視頻中的目標(biāo)追蹤顯示方法和裝置。

【發(fā)明內(nèi)容】

[0006]有鑒于此，本發(fā)明的目的在于提出一種全景視頻中的目標(biāo)追蹤顯示方法和裝置，使得可以根據(jù)用戶的意圖自動追蹤全景視頻中的目標(biāo)并在智能終端的顯示屏上進(jìn)行顯示。
[0007]基于上述目的，本發(fā)明提供的一種全景視頻中的目標(biāo)追蹤顯示方法，應(yīng)用于帶有觸摸屏的終端設(shè)備，包括:
[0008]接收用戶的操作指令，確定所述操作指令在當(dāng)前顯示屏的操作位置；
[0009]根據(jù)所述操作位置，以及當(dāng)前顯示屏上顯示的視頻，確定全景視頻中用戶的興趣目標(biāo)；
[0010]在全景視頻中追蹤所述興趣目標(biāo)，在所述顯示屏上顯示全景視頻中以所述興趣目標(biāo)為中心的部分視頻。
[0011]較佳地，所述根據(jù)所述操作指令，以及當(dāng)前顯示屏上顯示的視頻，確定全景視頻中用戶的興趣目標(biāo)，具體包括:
[0012]根據(jù)所述操作指令，確定用戶在所述顯示屏上的操作位置的屏幕坐標(biāo)值；
[0013]根據(jù)所述當(dāng)前顯示屏上顯示的視頻，確定出所述全景視頻的播放視角；
[0014]根據(jù)所述操作位置的屏幕坐標(biāo)值，以及所述全景視頻的播放視角，確定用戶的興趣目標(biāo)在全景視頻中的位置。
[0015]其中，所述操作指令具體為觸摸信息;根據(jù)所述操作指令，確定用戶在所述顯示屏上的操作位置的屏幕坐標(biāo)值，具體包括:
[0016]根據(jù)所述觸摸信息，獲取觸摸位置的屏幕坐標(biāo)值作為所述操作位置的屏幕坐標(biāo)值;。
[0017]或，
[0018]所述操作指令具體為劃動信息；以及
[0019]根據(jù)所述操作指令，確定用戶在所述顯示屏上的操作位置的屏幕坐標(biāo)值，具體包括:
[0020]根據(jù)劃動信息，獲取劃動終點(diǎn)位置的屏幕坐標(biāo)值作為所述操作位置的屏幕坐標(biāo)值。
[0021]或，
[0022]所述操作指令具體為放大顯示信息；以及
[0023]根據(jù)所述操作指令，確定用戶在所述顯示屏上的操作位置的屏幕坐標(biāo)值，具體包括:
[0024]根據(jù)放大顯示信息，獲取放大顯示區(qū)域的中心的屏幕坐標(biāo)值作為所述操作位置的屏幕坐標(biāo)值。
[0025]較佳地，所述根據(jù)所述操作位置的屏幕坐標(biāo)值，以及所述播放視角，確定出所述興趣目標(biāo)在全景視頻中的位置坐標(biāo)，具體包括:
[0026]根據(jù)當(dāng)前顯示的視頻中所述操作位置的屏幕坐標(biāo)值，以及所述全景視頻的播放視角，確定所述操作位置的屏幕坐標(biāo)值屏幕坐標(biāo)值對應(yīng)的全景視頻坐標(biāo)值；
[0027]以所述全景視頻坐標(biāo)值為中心點(diǎn)坐標(biāo)值，以R為半徑，確定全景視頻中的目標(biāo)區(qū)域;其中，R為設(shè)定值；
[0028]利用視頻目標(biāo)追蹤算法在全景視頻中追蹤目標(biāo)區(qū)域，并將所述目標(biāo)區(qū)域的中心作為興趣目標(biāo)。
[0029]較佳地，所述在全景視頻中追蹤所述興趣目標(biāo)，在所述顯示屏上顯示全景視頻中以所述視點(diǎn)為中心的部分視頻，具體包括:
[0030]確定所述興趣目標(biāo)在全景視頻中當(dāng)前的位置坐標(biāo)；
[0031]將所述興趣目標(biāo)在全景視頻的位置坐標(biāo)映射到所述顯示屏的中心位置的屏幕坐標(biāo)后，得到映射矩陣；
[0032]以所述興趣目標(biāo)在全景視頻中當(dāng)前的位置坐標(biāo)為中心，在全景視頻中獲取長為L，寬為W的矩形區(qū)域，根據(jù)所述映射矩陣將所述矩形區(qū)域映射到顯示屏并在所述顯示屏進(jìn)行顯不;
[0033]其中，L、W分別根據(jù)顯示屏的橫向像素和縱向像素確定。
[0034]在本發(fā)明的另一方面，還提供了一種全景視頻中的目標(biāo)追蹤顯示裝置，包括:
[0035]興趣目標(biāo)確定模塊，用于接收用戶的操作指令，確定所述操作指令在當(dāng)前顯示屏的操作位置;根據(jù)所述操作位置，以及當(dāng)前顯示屏上顯示的視頻，確定全景視頻中用戶的興趣目標(biāo)；
[0036]目標(biāo)追蹤模塊，用于在全景視頻中追蹤所述興趣目標(biāo)；
[0037]視頻顯示模塊，用于在所述顯示屏上顯示全景視頻中以所述興趣目標(biāo)為中心的部分視頻。
[0038]較佳地，所述興趣目標(biāo)確定模塊包括:
[0039]關(guān)注點(diǎn)確定單元，用于根據(jù)所述操作指令，確定用戶在所述顯示屏上的操作位置的屏幕坐標(biāo)值；
[0040]播放視角確定單元，用于根據(jù)所述當(dāng)前顯示屏上顯示的視頻，確定出所述全景視頻的播放視角；
[0041 ]目標(biāo)確定單元，用于根據(jù)所述操作位置的屏幕坐標(biāo)值，以及所述全景視頻的播放視角，確定用戶的興趣目標(biāo)在全景視頻中的位置。
[0042]較佳地，所述關(guān)注點(diǎn)確定單元具體用于當(dāng)用戶輸入的顯示屏操作信息為觸摸信息時(shí)，獲取觸摸位置的屏幕坐標(biāo)值作為所述操作位置的屏幕坐標(biāo)值;或者
[0043]所述關(guān)注點(diǎn)確定單元具體用于當(dāng)用戶輸入的顯示屏操作信息為觸摸劃動信息時(shí)，獲取劃動終點(diǎn)位置的屏幕坐標(biāo)值作為所述操作位置的屏幕坐標(biāo)值;或者
[0044]所述關(guān)注點(diǎn)確定單元具體用于當(dāng)用戶輸入的顯示屏操作信息為放大顯示信息時(shí)，獲取放大顯示區(qū)域的中心的屏幕坐標(biāo)值作為所述操作位置的屏幕坐標(biāo)值。
[0045]較佳地，所述目標(biāo)確定單元具體包括:
[0046]全景視頻坐標(biāo)確定子單元，用于根據(jù)當(dāng)前顯示的視頻中所述操作位置的屏幕坐標(biāo)值，以及所述全景視頻的播放視角，確定所述屏幕坐標(biāo)值對應(yīng)的全景視頻坐標(biāo)值；
[0047]目標(biāo)區(qū)域確定子單元，用于以所述全景視頻坐標(biāo)值為中心點(diǎn)坐標(biāo)值，以R為半徑，確定全景視頻中的目標(biāo)區(qū)域;其中，1?為設(shè)定值；
[0048]興趣目標(biāo)追蹤子單元，用于利用視頻目標(biāo)追蹤算法在全景視頻中追蹤目標(biāo)區(qū)域，并將所述目標(biāo)區(qū)域的中心作為興趣目標(biāo)。
[0049]較佳地，所述視頻顯示模塊具體包括:
[0050]目標(biāo)位置確定單元，用于確定所述興趣目標(biāo)在全景視頻當(dāng)前幀中的位置坐標(biāo)；
[0051 ]映射矩陣計(jì)算單元，用于將所述興趣目標(biāo)在全景視頻的位置坐標(biāo)映射到所述顯示屏的中心位置的屏幕坐標(biāo)后，得到映射矩陣；
[0052]顯示區(qū)域確定單元，用于以所述興趣目標(biāo)在全景視頻中當(dāng)前的位置坐標(biāo)為中心，在全景視頻中獲取長為L，寬為W的矩形區(qū)域;其中，L、W分別根據(jù)顯示屏的橫向像素和縱向像素確定；
[0053]播放視角計(jì)算單元，根據(jù)興趣目標(biāo)當(dāng)前在全景視頻的位置，計(jì)算播放視角；
[0054]映射顯示單元，用于根據(jù)所述映射矩陣，以及所述播放視角計(jì)算單元計(jì)算的播放視角，將所述矩形區(qū)域映射到顯示屏的屏幕坐標(biāo)后在所述顯示屏進(jìn)行顯示。
[0055]本發(fā)明的技術(shù)方案中，智能終端在播放全景視頻時(shí)，可以根據(jù)用戶輸入的顯示屏操作信息，以及當(dāng)前顯示屏上視頻的播放視角，自動判斷出全景視頻中用戶的興趣目標(biāo);進(jìn)而持續(xù)地在全景視頻中追蹤該興趣目標(biāo)，同時(shí)，以該興趣目標(biāo)作為視點(diǎn)，在顯示屏上顯示全景視頻中以該視點(diǎn)為中心的部分視頻，從而達(dá)到根據(jù)用戶的意圖自動追蹤并顯示目標(biāo)的目的。
【附圖說明】
[0056]圖1為本發(fā)明一種全景視頻中的目標(biāo)追蹤顯示方法實(shí)施例的流程示意圖；
[0057]圖2、3為本發(fā)明一種確定全景視頻中用戶興趣目標(biāo)的方法實(shí)施例的流程示意圖；
[0058]圖4為本發(fā)明一種顯示全景視頻中以視點(diǎn)為中心的部分視頻的方法實(shí)施例流程示意圖；
[0059]圖5為本發(fā)明一種全景視頻中的目標(biāo)追蹤顯示裝置實(shí)施例的內(nèi)部結(jié)構(gòu)框圖；
[0060]圖6為本發(fā)明一種實(shí)施例的興趣目標(biāo)確定模塊的內(nèi)部結(jié)構(gòu)框圖；
[0061 ]圖7為本發(fā)明一種實(shí)施例的目標(biāo)確定單元的內(nèi)部結(jié)構(gòu)框圖；
[0062]圖8為本發(fā)明一種實(shí)施例的視頻顯示模塊的內(nèi)部結(jié)構(gòu)框圖。
【具體實(shí)施方式】
[0063]為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，以下結(jié)合具體實(shí)施例，并參照附圖，對本發(fā)明進(jìn)一步詳細(xì)說明。
[0064]下面詳細(xì)描述本發(fā)明的實(shí)施例，所述實(shí)施例的示例在附圖中示出，其中自始至終相同或類似的標(biāo)號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實(shí)施例是示例性的，僅用于解釋本發(fā)明，而不能解釋為對本發(fā)明的限制。
[0065]本技術(shù)領(lǐng)域技術(shù)人員可以理解，除非特意聲明，這里使用的單數(shù)形式“一”、“一個(gè)”、“所述”和“該”也可包括復(fù)數(shù)形式。應(yīng)該進(jìn)一步理解的是，本發(fā)明的說明書中使用的措辭“包括”是指存在所述特征、整數(shù)、步驟、操作、元件和/或組件，但是并不排除存在或添加一個(gè)或多個(gè)其他特征、整數(shù)、步驟、操作、元件、組件和/或它們的組。應(yīng)該理解，當(dāng)我們稱元件被“連接”或“耦接”到另一元件時(shí)，它可以直接連接或耦接到其他元件，或者也可以存在中間元件。此外，這里使用的“連接”或“親接”可以包括無線連接或無線耦接。這里使用的措辭“和/或”包括一個(gè)或更多個(gè)相關(guān)聯(lián)的列出項(xiàng)的全部或任一單元和全部組合。
[0066]本發(fā)明的主要思路在于，智能終端在播放全景視頻時(shí)，可以根據(jù)用戶輸入的顯示屏操作信息，以及當(dāng)前顯示屏上視頻的播放視角，自動判斷出全景視頻中用戶的興趣目標(biāo)；進(jìn)而持續(xù)地在全景視頻中追蹤該興趣目標(biāo)，同時(shí)，以該興趣目標(biāo)作為視點(diǎn)，在顯示屏上顯示全景視頻中以該視點(diǎn)為中心的部分視頻，達(dá)到根據(jù)用戶的意圖自動跟蹤并顯示興趣目標(biāo)的目的。
[0067]事實(shí)上，全景視頻由于視覺信息豐富，可能同時(shí)包含多個(gè)運(yùn)動目標(biāo)，此時(shí)，應(yīng)用本發(fā)明的技術(shù)方案，用戶通過在顯示屏上的操作可以對感興趣的目標(biāo)進(jìn)行短暫的手動追蹤或確認(rèn)，而智能終端依據(jù)用戶在顯示屏上的短暫追蹤或確認(rèn)行為，可以自動捕捉到用戶當(dāng)前感興趣的具體是哪個(gè)目標(biāo)，繼而針對該目標(biāo)進(jìn)行持續(xù)追蹤:雖然該目標(biāo)在全景視頻中可能不斷地在更換位置，也就是說，該目標(biāo)在全景視頻中的位置坐標(biāo)在不斷地變換，但智能終端在持續(xù)追蹤到該興趣目標(biāo)后，可以始終以該目標(biāo)為視點(diǎn)，在顯示屏上顯示全景視頻中包含該視點(diǎn)的視頻畫面，并將視點(diǎn)盡量置于顯示屏的中心位置，從而達(dá)到自動追蹤用戶所期望的目標(biāo)，并在智能終端上進(jìn)行顯示的目的。
[0068]下面結(jié)合附圖詳細(xì)說明本發(fā)明的技術(shù)方案。
[0069]本發(fā)明實(shí)施例提供的全景視頻中的目標(biāo)追蹤顯示方法，具體流程如圖1所示，包括如下步驟:
[0070]步驟SlOl:智能終端在全景視頻的播放過程中，接收到用戶的操作指令。
[0071]具體地，智能終端通過網(wǎng)絡(luò)從服務(wù)器獲取全景視頻資源，根據(jù)默認(rèn)設(shè)置或推薦的方式在顯示屏上顯示全景視頻中的部分視頻圖像。
[0072]通常智能終端的顯示屏為觸摸屏，用戶通過觸摸屏輸入的的操作指令可以是如下顯示屏操作信息:觸摸信息、劃動信息、或者以觸摸方式輸入的放大顯示信息。
[0073]事實(shí)上，用戶在通過智能終端觀看圖像或視頻時(shí)，可以通過觸摸方式來輸入放大或縮小顯示的信息，以指示智能終端放大或縮小當(dāng)前顯示的圖像或視頻。
[0074]步驟S102:智能終端根據(jù)用戶輸入的操作指令，以及當(dāng)前顯示屏上視頻播放角度，確定全景視頻中用戶的興趣目標(biāo)。
[0075]步驟S103:智能終端在全景視頻中追蹤所述興趣目標(biāo)，并以所述興趣目標(biāo)作為視點(diǎn)，在所述顯示屏上顯示全景視頻中以所述視點(diǎn)為中心的部分視頻。
[0076]具體地，上述步驟S102中智能終端根據(jù)用戶輸入的顯示屏操作信息，以及當(dāng)前顯示屏上顯示的視頻，確定全景視頻中用戶的興趣目標(biāo)的具體方法，流程如圖2所示，包括如下步驟:
[0077]步驟S201:智能終端根據(jù)用戶輸入的顯示屏操作信息，確定用戶在所述顯示屏上的操作位置的屏幕坐標(biāo)值。
[0078]具體地，當(dāng)用戶輸入的顯示屏操作信息為觸摸信息時(shí)，可以根據(jù)觸摸信息，獲取觸摸位置的屏幕坐標(biāo)值作為所述操作位置的屏幕坐標(biāo)值，亦即作為關(guān)注點(diǎn)的屏幕坐標(biāo)值；
[0079]或者，當(dāng)用戶輸入的顯示屏操作信息為劃動信息時(shí)，可以根據(jù)劃動信息，獲取劃動終點(diǎn)位置的屏幕坐標(biāo)值作為所述操作位置的屏幕坐標(biāo)值，亦即作為關(guān)注點(diǎn)的屏幕坐標(biāo)值；
[0080]或者，當(dāng)用戶輸入的顯示屏操作信息為放大顯示信息時(shí)，根據(jù)放大顯示信息，獲取放大顯示區(qū)域的中心的屏幕坐標(biāo)值作為所述操作位置的屏幕坐標(biāo)值，亦即作為關(guān)注點(diǎn)的屏幕坐標(biāo)值。
[0081]步驟S202:智能終端根據(jù)當(dāng)前顯示屏上顯示的視頻，確定出全景視頻的播放視角。
[0082]通常智能終端在播放全景視頻時(shí)，當(dāng)前屏幕上播放的并不是全部的全景視頻信號，而是全景視頻信號中的某個(gè)朝向的視頻信號。事實(shí)上，全景視頻是以觀察者為中心，繞固定點(diǎn)旋轉(zhuǎn)一周所觀察到全方位360度的視野場景。智能終端通過網(wǎng)絡(luò)從服務(wù)器獲取全景視頻資源;通常每一幀的全景視頻圖像的尺寸都大于智能終端屏幕的顯示尺寸，也就是說，用戶在屏幕上看見的當(dāng)前畫面只是全景視頻當(dāng)前幀圖像的一部分。那么，在播放時(shí)，智能終端可以默認(rèn)、或推薦、或根據(jù)用戶的選擇來決定顯示全景視頻當(dāng)前幀圖像中的哪部分圖像。而顯示的那部分圖像則相當(dāng)于用戶作為觀察者以一定觀察視角觀看全景視頻時(shí)所看到的一部分圖像，此觀察視角即為當(dāng)前視頻的播放視角。
[0083]因此，根據(jù)當(dāng)前播放的視頻，可以確定出當(dāng)前播放的是全景視頻中哪個(gè)播放視角的視頻內(nèi)容。
[0084]步驟S203:智能終端根據(jù)操作位置的屏幕坐標(biāo)值，以及全景視頻的播放視角，確定全景視頻中用戶的興趣目標(biāo)。
[0085]具體地，如圖3的流程所示，在確定操作位置，即用戶的關(guān)注點(diǎn)的屏幕坐標(biāo)值，以及當(dāng)前全景視頻的播放視角后，可以根據(jù)如下方法確定全景視頻中用戶的興趣目標(biāo)，包括如下步驟:
[0086]步驟S301:根據(jù)當(dāng)前顯示的視頻中操作位置的屏幕坐標(biāo)值，以及所述播放視角，確定所述屏幕坐標(biāo)值對應(yīng)的全景視頻坐標(biāo)值。
[0087]本步驟中，智能終端可以根據(jù)當(dāng)前顯示的視頻中操作位置，即關(guān)注點(diǎn)的屏幕坐標(biāo)值，以及當(dāng)前播放的全景視頻的播放視角，確定關(guān)注點(diǎn)的屏幕坐標(biāo)值對應(yīng)的全景視頻坐標(biāo)值。具體如何根據(jù)屏幕坐標(biāo)值、播放視角，確定與屏幕坐標(biāo)值對應(yīng)的全景視頻坐標(biāo)值的技術(shù)為本領(lǐng)域技術(shù)人員所熟知，此處不再贅述。
[0088]步驟S302:以上述步驟S301確定出的全景視頻坐標(biāo)值為中心點(diǎn)坐標(biāo)值，以R為半徑，確定全景視頻中的目標(biāo)區(qū)域;其中，R為設(shè)定值，本領(lǐng)域技術(shù)人員可以根據(jù)經(jīng)驗(yàn)或?qū)嶋H情況進(jìn)行設(shè)定。
[0089]具體地，以上述步驟S301確定出的全景視頻坐標(biāo)值為中心點(diǎn)坐標(biāo)值，以R為半徑，確定全景視頻中的進(jìn)行目標(biāo)追蹤的區(qū)域(即目標(biāo)區(qū)域)。
[0090]步驟S303:利用視頻目標(biāo)追蹤算法在全景視頻中追蹤目標(biāo)區(qū)域，進(jìn)而檢測出目標(biāo)區(qū)域中的興趣目標(biāo)。
[0091 ]具體地，利用視頻目標(biāo)追蹤算法(如:幀差法)，持續(xù)追蹤目標(biāo)區(qū)域在當(dāng)前播放的視頻幀的下一視頻幀中的位置。在不斷追蹤、更新位置坐標(biāo)的目標(biāo)區(qū)域中，將當(dāng)前追蹤到的目標(biāo)區(qū)域的中心作為興趣目標(biāo)。如此，可以追蹤運(yùn)動或變化中的興趣目標(biāo)。
[0092]如圖4所示的流程，上述步驟S103中提到的顯示全景視頻中以視點(diǎn)為中心的部分視頻的具體方法，包括如下步驟:
[0093]步驟S401:確定興趣目標(biāo)在全景視頻中當(dāng)前的位置坐標(biāo)。
[0094]具體地，在檢測出興趣目標(biāo)后，比如，利用相鄰幀的差異比較法確定該興趣目標(biāo)在全景視頻中當(dāng)前的位置坐標(biāo)。
[0095]步驟S402:將所述興趣目標(biāo)在全景視頻的位置坐標(biāo)映射到顯示屏的中心位置計(jì)算映射矩陣，并重新計(jì)算視頻的播放視角。
[0096]本步驟中，根據(jù)興趣目標(biāo)在全景視頻的位置坐標(biāo)，以及顯示屏的中心位置的屏幕坐標(biāo)之間的映射關(guān)系求得坐標(biāo)變換的映射矩陣。此外，由于對應(yīng)于顯示屏的中心位置的全景視頻的位置坐標(biāo)有所更改，因此，還需要重新確定視頻的播放視角。
[0097]步驟S403:根據(jù)計(jì)算的映射矩陣，以及重新計(jì)算的播放視角，將所述興趣目標(biāo)在全景視頻的位置坐標(biāo)映射到顯示屏的中心位置。
[0098]顯示屏為長為L，寬為W的矩形區(qū)域。該區(qū)域的大小與顯示設(shè)備分辨率大小相匹配。顯示屏的長寬比L/W應(yīng)等于顯示設(shè)備像素的長寬比L0/W0(假設(shè)顯示設(shè)備長為LO像素，寬為WO像素)。根據(jù)上述步驟S403得到的反映全景視頻位置坐標(biāo)與屏幕坐標(biāo)之間映射關(guān)系的映射矩陣，將整個(gè)矩形區(qū)域映射到顯示屏的屏幕坐標(biāo)后，在顯示屏上顯示矩形區(qū)域內(nèi)的視頻內(nèi)容。
[0099]由于本發(fā)明實(shí)施例的智能終端在播放全景視頻時(shí)，可以根據(jù)用戶輸入的顯示屏操作信息，以及當(dāng)前顯示屏上視頻的播放視角，自動判斷出全景視頻中用戶的興趣目標(biāo);進(jìn)而持續(xù)地在全景視頻中追蹤該興趣目標(biāo)，同時(shí)，以該興趣目標(biāo)作為視點(diǎn)，在顯示屏上顯示全景視頻中以該視點(diǎn)為中心的部分視頻，從而達(dá)到根據(jù)用戶的意圖自動追蹤并顯示目標(biāo)的目的。
[0100]基于上述方法，設(shè)置于本發(fā)明智能終端中的全景視頻中的目標(biāo)追蹤顯示裝置，內(nèi)部結(jié)構(gòu)如圖5所示，包括:興趣目標(biāo)確定模塊501、目標(biāo)追蹤模塊502、視頻顯示模塊503。
[0101]興趣目標(biāo)確定模塊501用于在智能終端播放全景視頻過程中，若接收到用戶的操作指令，則確定所述操作指令在當(dāng)前顯示屏的操作位置;根據(jù)所述操作位置，以及當(dāng)前顯示屏上顯示的視頻，確定全景視頻中用戶的興趣目標(biāo);其中，用戶輸入的顯示屏操作信息具體可以是觸摸信息、劃動信息、或者以觸摸方式輸入的放大顯示信息。
[0102]目標(biāo)追蹤模塊502用于在興趣目標(biāo)確定模塊501確定出興趣目標(biāo)后，全景視頻中追蹤所述興趣目標(biāo)。
[0103]視頻顯示模塊503用于在所述顯示屏上顯示全景視頻中以所述興趣目標(biāo)為中心的部分視頻。具體地，視頻顯示模塊503針對目標(biāo)追蹤模塊502實(shí)時(shí)追蹤結(jié)果，以所述興趣目標(biāo)作為視點(diǎn)，在所述顯示屏上顯示全景視頻中以所述視點(diǎn)為中心的部分視頻。
[0104]如圖6所示，興趣目標(biāo)確定模塊501中具體可以包括如下單元:關(guān)注點(diǎn)確定單元601、播放視角確定單元602、目標(biāo)確定單元603。
[0105]關(guān)注點(diǎn)確定單元601用于根據(jù)所述操作指令，確定用戶在所述顯示屏上的操作位置的屏幕坐標(biāo)值;具體地，關(guān)注點(diǎn)確定單元601當(dāng)用戶輸入的顯示屏操作信息為觸摸信息時(shí)，獲取觸摸位置的屏幕坐標(biāo)值作為所述操作位置的屏幕坐標(biāo)值;或者，當(dāng)用戶輸入的顯示屏操作信息為觸摸劃動信息時(shí)，獲取劃動終點(diǎn)位置的屏幕坐標(biāo)值作為所述操作位置的屏幕坐標(biāo)值;或者，當(dāng)用戶輸入的顯示屏操作信息為放大顯示信息時(shí)，獲取放大顯示區(qū)域的中心的屏幕坐標(biāo)值作為所述操作位置的屏幕坐標(biāo)值。
[0106]播放視角確定單元602用于根據(jù)當(dāng)前顯示屏上顯示的視頻，確定出全景視頻的播放視角。
[0107]目標(biāo)確定單元603用于根據(jù)關(guān)注點(diǎn)確定單元601確定的操作位置的屏幕坐標(biāo)值，以及播放視角確定單元602確定的全景視頻的播放視角，確定全景視頻中用戶的興趣目標(biāo)。
[0108]如圖7所示，目標(biāo)確定單元603中具體可以包括如下子單元:全景視頻坐標(biāo)確定子單元701、目標(biāo)區(qū)域確定子單元702、興趣目標(biāo)追蹤子單元703。
[0109]全景視頻坐標(biāo)確定子單元701用于根據(jù)當(dāng)前顯示的視頻中所述操作位置的屏幕坐標(biāo)值，以及所述播放視角，確定所述屏幕坐標(biāo)值對應(yīng)的全景視頻坐標(biāo)值。
[0110]目標(biāo)區(qū)域確定子單元702用于以全景視頻坐標(biāo)確定子單元701確定出的全景視頻坐標(biāo)值為中心點(diǎn)坐標(biāo)值，以R為半徑，確定全景視頻中的目標(biāo)區(qū)域;其中，R為設(shè)定值，本領(lǐng)域技術(shù)人員可以根據(jù)經(jīng)驗(yàn)或?qū)嶋H情況進(jìn)行設(shè)定或調(diào)整。
[0111]興趣目標(biāo)追蹤子單元703用于利用相鄰幀的差異比較法在目標(biāo)區(qū)域確定子單元702確定出的目標(biāo)區(qū)域中檢測出興趣目標(biāo)。
[0112]如圖8所示，視頻顯示模塊503中具體可以包括如下單元:目標(biāo)位置確定單元801、顯示區(qū)域確定單元802、映射矩陣計(jì)算單元803、映射顯示單元804、播放視角計(jì)算單元805。
[0113]目標(biāo)位置確定單元801用于確定所述興趣目標(biāo)在全景視頻中當(dāng)前的位置坐標(biāo)；
[0114]播放視角計(jì)算單元805用于根據(jù)興趣目標(biāo)當(dāng)前在全景視頻的位置，計(jì)算播放視角。
[0115]映射矩陣計(jì)算單元803用于將目標(biāo)位置確定單元801確定的興趣目標(biāo)在全景視頻的位置坐標(biāo)映射到所述顯示屏的中心位置的屏幕坐標(biāo)后，得到映射矩陣。
[0116]顯示區(qū)域確定單元802用于以目標(biāo)位置確定單元801確定的興趣目標(biāo)在全景視頻中當(dāng)前的位置坐標(biāo)為中心，在全景視頻中獲取長為L，寬為W的矩形區(qū)域;其中，L、W分別根據(jù)顯示屏的橫向像素和縱向像素確定。
[0117]映射顯示單元804用于根據(jù)映射矩陣計(jì)算單元803得到的映射矩陣，以及所述播放視角計(jì)算單元計(jì)算的播放視角，將所述矩形區(qū)域映射到顯示屏的屏幕坐標(biāo)后在顯示屏進(jìn)行顯不O
[0118]上述裝置中的各模塊、單元的具體功能可參照上述如圖1-4流程所示的方法，此處不再贅述。
[0119]本發(fā)明的技術(shù)方案中，智能終端在播放全景視頻時(shí)，可以根據(jù)用戶輸入的顯示屏操作信息，以及當(dāng)前顯示屏上顯示的視頻，自動判斷出全景視頻中用戶的興趣目標(biāo);進(jìn)而持續(xù)地在全景視頻中追蹤該興趣目標(biāo)，同時(shí)，以該興趣目標(biāo)作為視點(diǎn)，在顯示屏上顯示全景視頻中以該視點(diǎn)為中心的部分視頻，從而達(dá)到根據(jù)用戶的意圖自動追蹤并顯示目標(biāo)的目的。
[0120]本技術(shù)領(lǐng)域技術(shù)人員可以理解，本發(fā)明包括涉及用于執(zhí)行本申請中所述操作中的一項(xiàng)或多項(xiàng)的設(shè)備。這些設(shè)備可以為所需的目的而專門設(shè)計(jì)和制造，或者也可以包括通用計(jì)算機(jī)中的已知設(shè)備。這些設(shè)備具有存儲在其內(nèi)的計(jì)算機(jī)程序，這些計(jì)算機(jī)程序選擇性地激活或重構(gòu)。這樣的計(jì)算機(jī)程序可以被存儲在設(shè)備(例如，計(jì)算機(jī))可讀介質(zhì)中或者存儲在適于存儲電子指令并分別耦聯(lián)到總線的任何類型的介質(zhì)中，所述計(jì)算機(jī)可讀介質(zhì)包括但不限于任何類型的盤(包括軟盤、硬盤、光盤、CD-ROM、和磁光盤)、R0M(Read-0nly Memory，只讀存儲器)、RAM (Random Access Memory，隨即存儲器)、EPROM(Erasable ProgrammableRead-Only Memory，可擦寫可編程只讀存儲器)、EEPR0M(E1 ectricalIy ErasableProgrammable Read-Only Memory，電可擦可編程只讀存儲器)、閃存、磁性卡片或光線卡片。也就是，可讀介質(zhì)包括由設(shè)備(例如，計(jì)算機(jī))以能夠讀的形式存儲或傳輸信息的任何介質(zhì)。
[0121]本技術(shù)領(lǐng)域技術(shù)人員可以理解，可以用計(jì)算機(jī)程序指令來實(shí)現(xiàn)這些結(jié)構(gòu)圖和/或框圖和/或流圖中的每個(gè)框以及這些結(jié)構(gòu)圖和/或框圖和/或流圖中的框的組合。本技術(shù)領(lǐng)域技術(shù)人員可以理解，可以將這些計(jì)算機(jī)程序指令提供給通用計(jì)算機(jī)、專業(yè)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理方法的處理器來實(shí)現(xiàn)，從而通過計(jì)算機(jī)或其他可編程數(shù)據(jù)處理方法的處理器來執(zhí)行本發(fā)明公開的結(jié)構(gòu)圖和/或框圖和/或流圖的框或多個(gè)框中指定的方案。
[0122]本技術(shù)領(lǐng)域技術(shù)人員可以理解，本發(fā)明中已經(jīng)討論過的各種操作、方法、流程中的步驟、措施、方案可以被交替、更改、組合或刪除。進(jìn)一步地，具有本發(fā)明中已經(jīng)討論過的各種操作、方法、流程中的其他步驟、措施、方案也可以被交替、更改、重排、分解、組合或刪除。進(jìn)一步地，現(xiàn)有技術(shù)中的具有與本發(fā)明中公開的各種操作、方法、流程中的步驟、措施、方案也可以被交替、更改、重排、分解、組合或刪除。
[0123]所屬領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解:以上任何實(shí)施例的討論僅為示例性的，并非旨在暗示本公開的范圍(包括權(quán)利要求)被限于這些例子;在本發(fā)明的思路下，以上實(shí)施例或者不同實(shí)施例中的技術(shù)特征之間也可以進(jìn)行組合，步驟可以以任意順序?qū)崿F(xiàn)，并存在如上所述的本發(fā)明的不同方面的許多其它變化，為了簡明它們沒有在細(xì)節(jié)中提供。因此，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何省略、修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1.一種全景視頻中的目標(biāo)追蹤顯示方法，其特征在于，包括: 接收用戶的操作指令，確定所述操作指令在當(dāng)前顯示屏的操作位置； 根據(jù)所述操作位置，以及當(dāng)前顯示屏上顯示的視頻，確定全景視頻中用戶的興趣目標(biāo)；在全景視頻中追蹤所述興趣目標(biāo)，在所述顯示屏上顯示全景視頻中以所述興趣目標(biāo)為中心的部分視頻。2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述操作指令，以及當(dāng)前顯示屏上顯示的視頻，確定全景視頻中用戶的興趣目標(biāo)，具體包括: 根據(jù)所述操作指令，確定用戶在所述顯示屏上的操作位置的屏幕坐標(biāo)值； 根據(jù)所述當(dāng)前顯示屏上顯示的視頻，確定出所述全景視頻的播放視角； 根據(jù)所述操作位置的屏幕坐標(biāo)值，以及所述全景視頻的播放視角，確定用戶的興趣目標(biāo)在全景視頻中的位置。3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述操作指令具體為觸摸信息；根據(jù)所述操作指令，確定用戶在所述顯示屏上的操作位置的屏幕坐標(biāo)值，具體包括: 根據(jù)所述觸摸信息，獲取觸摸位置的屏幕坐標(biāo)值作為所述操作位置的屏幕坐標(biāo)值；。 或， 所述操作指令具體為劃動信息；以及 根據(jù)所述操作指令，確定用戶在所述顯示屏上的操作位置的屏幕坐標(biāo)值，具體包括: 根據(jù)劃動信息，獲取劃動終點(diǎn)位置的屏幕坐標(biāo)值作為所述操作位置的屏幕坐標(biāo)值。 或， 所述操作指令具體為放大顯示信息；以及 根據(jù)所述操作指令，確定用戶在所述顯示屏上的操作位置的屏幕坐標(biāo)值，具體包括:根據(jù)放大顯示信息，獲取放大顯示區(qū)域的中心的屏幕坐標(biāo)值作為所述操作位置的屏幕坐標(biāo)值。4.根據(jù)權(quán)利要求2任一所述的方法，其特征在于，所述根據(jù)所述操作位置的屏幕坐標(biāo)值，以及所述播放視角，確定出所述興趣目標(biāo)在全景視頻中的位置坐標(biāo)，具體包括: 根據(jù)當(dāng)前顯示的視頻中所述操作位置的屏幕坐標(biāo)值，以及所述全景視頻的播放視角，確定所述操作位置的屏幕坐標(biāo)值屏幕坐標(biāo)值對應(yīng)的全景視頻坐標(biāo)值； 以所述全景視頻坐標(biāo)值為中心點(diǎn)坐標(biāo)值，以R為半徑，確定全景視頻中的目標(biāo)區(qū)域;其中，R為設(shè)定值； 利用視頻目標(biāo)追蹤算法在全景視頻中追蹤目標(biāo)區(qū)域，并將所述目標(biāo)區(qū)域的中心作為興趣目標(biāo)。5.根據(jù)權(quán)利要求1述的方法，其特征在于，所述在全景視頻中追蹤所述興趣目標(biāo)，在所述顯示屏上顯示全景視頻中以所述視點(diǎn)為中心的部分視頻，具體包括: 確定所述興趣目標(biāo)在全景視頻中當(dāng)前的位置坐標(biāo)； 將所述興趣目標(biāo)在全景視頻的位置坐標(biāo)映射到所述顯示屏的中心位置的屏幕坐標(biāo)后，得到映射矩陣； 以所述興趣目標(biāo)在全景視頻中當(dāng)前的位置坐標(biāo)為中心，在全景視頻中獲取長為L，寬為W的矩形區(qū)域，根據(jù)所述映射矩陣將所述矩形區(qū)域映射到顯示屏并在所述顯示屏進(jìn)行顯示；其中，L、W分別根據(jù)顯示屏的橫向像素和縱向像素確定。6.一種全景視頻中的目標(biāo)追蹤顯示裝置，其特征在于，包括: 興趣目標(biāo)確定模塊，用于接收用戶的操作指令，確定所述操作指令在當(dāng)前顯示屏的操作位置;根據(jù)所述操作位置，以及當(dāng)前顯示屏上顯示的視頻，確定全景視頻中用戶的興趣目標(biāo)； 目標(biāo)追蹤模塊，用于在全景視頻中追蹤所述興趣目標(biāo)； 視頻顯示模塊，用于在所述顯示屏上顯示全景視頻中以所述興趣目標(biāo)為中心的部分視頻。7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述興趣目標(biāo)確定模塊包括: 關(guān)注點(diǎn)確定單元，用于根據(jù)所述操作指令，確定用戶在所述顯示屏上的操作位置的屏幕坐標(biāo)值； 播放視角確定單元，用于根據(jù)所述當(dāng)前顯示屏上顯示的視頻，確定出所述全景視頻的播放視角； 目標(biāo)確定單元，用于根據(jù)所述操作位置的屏幕坐標(biāo)值，以及所述全景視頻的播放視角，確定用戶的興趣目標(biāo)在全景視頻中的位置。8.根據(jù)權(quán)利要求7所述的裝置，其特征在于， 所述關(guān)注點(diǎn)確定單元具體用于當(dāng)用戶輸入的顯示屏操作信息為觸摸信息時(shí)，獲取觸摸位置的屏幕坐標(biāo)值作為所述操作位置的屏幕坐標(biāo)值;或者 所述關(guān)注點(diǎn)確定單元具體用于當(dāng)用戶輸入的顯示屏操作信息為觸摸劃動信息時(shí)，獲取劃動終點(diǎn)位置的屏幕坐標(biāo)值作為所述操作位置的屏幕坐標(biāo)值;或者 所述關(guān)注點(diǎn)確定單元具體用于當(dāng)用戶輸入的顯示屏操作信息為放大顯示信息時(shí)，獲取放大顯示區(qū)域的中心的屏幕坐標(biāo)值作為所述操作位置的屏幕坐標(biāo)值。9.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述目標(biāo)確定單元具體包括: 全景視頻坐標(biāo)確定子單元，用于根據(jù)當(dāng)前顯示的視頻中所述操作位置的屏幕坐標(biāo)值，以及所述全景視頻的播放視角，確定所述屏幕坐標(biāo)值對應(yīng)的全景視頻坐標(biāo)值； 目標(biāo)區(qū)域確定子單元，用于以所述全景視頻坐標(biāo)值為中心點(diǎn)坐標(biāo)值，以R為半徑，確定全景視頻中的目標(biāo)區(qū)域;其中，1?為設(shè)定值； 興趣目標(biāo)追蹤子單元，用于利用視頻目標(biāo)追蹤算法在全景視頻中追蹤目標(biāo)區(qū)域，并將所述目標(biāo)區(qū)域的中心作為興趣目標(biāo)。10.根據(jù)權(quán)利要求6-9任一所述的裝置，其特征在于，所述視頻顯示模塊具體包括: 目標(biāo)位置確定單元，用于確定所述興趣目標(biāo)在全景視頻當(dāng)前幀中的位置坐標(biāo)； 映射矩陣計(jì)算單元，用于將所述興趣目標(biāo)在全景視頻的位置坐標(biāo)映射到所述顯示屏的中心位置的屏幕坐標(biāo)后，得到映射矩陣； 顯示區(qū)域確定單元，用于以所述興趣目標(biāo)在全景視頻中當(dāng)前的位置坐標(biāo)為中心，在全景視頻中獲取長為L，寬為W的矩形區(qū)域;其中，L、W分別根據(jù)顯示屏的橫向像素和縱向像素確定； 播放視角計(jì)算單元，根據(jù)興趣目標(biāo)當(dāng)前在全景視頻的位置，計(jì)算播放視角； 映射顯示單元，用于根據(jù)所述映射矩陣，以及所述播放視角計(jì)算單元計(jì)算的播放視角，將所述矩形區(qū)域映射到顯示屏的屏幕坐標(biāo)后在所述顯示屏進(jìn)行顯示。
【文檔編號】G06F3/0484GK105843541SQ201610166633
【公開日】2016年8月10日
【申請日】2016年3月22日
【發(fā)明人】譚傅倫
【申請人】樂視網(wǎng)信息技術(shù)（北京）股份有限公司