用于確定視頻的方位的方法及裝置的制造方法
【專(zhuān)利摘要】提出了一種用于確定視頻的方位的方法及裝置。所述方法包括以下步驟：估算視頻的運(yùn)動(dòng)；從所估算出的視頻的運(yùn)動(dòng)提取基于平移的參數(shù)；以及根據(jù)基于平移的參數(shù)計(jì)算給出水平平移隨時(shí)間的演變相對(duì)豎直平移的演變的至少一個(gè)特征，所述特征用于確定視頻的方位。
【專(zhuān)利說(shuō)明】
用于確定視頻的方位的方法及裝置
技術(shù)領(lǐng)域
[0001] 本公開(kāi)總地涉及圖像處理。具體地，本公開(kāi)涉及用于確定視頻的方位 (orientation)的方法及裝置。
【背景技術(shù)】
[0002] 在視頻內(nèi)容的計(jì)算機(jī)處理的一些應(yīng)用中，存在估算給定視頻的方位的需要。例如， 這樣的應(yīng)用的背景是當(dāng)一個(gè)人想要瀏覽和觀看視頻時(shí)，必須具有該視頻的正確的方位用于 該視頻的正確的顯示。另一個(gè)背景是在計(jì)算機(jī)視覺(jué)處理中，諸如面部檢測(cè)、特定對(duì)象檢測(cè)和 識(shí)別、天空區(qū)域檢測(cè)以及更普遍的語(yǔ)義視頻解析。作為這種情況下的初始要求，要處理的圖 像和視頻都應(yīng)該以正確的方位提出。因此，對(duì)視頻的方位的確定可以被應(yīng)用作為用于這樣 的計(jì)算機(jī)視覺(jué)處理的第一且必要的預(yù)處理。
[0003] 得到視頻的正確方位的一個(gè)已知的解決辦法需要使用在捕獲視頻期間與視頻內(nèi) 容一起存儲(chǔ)的附加元數(shù)據(jù)。例如，這樣的附加元數(shù)據(jù)能夠來(lái)自在Exif (可交換圖像文件格 式)標(biāo)準(zhǔn)中定義的元數(shù)據(jù)標(biāo)簽。對(duì)方位的了解依賴于陀螺儀信息。在這種情況下，這樣的元 數(shù)據(jù)的出現(xiàn)將取決于所使用的捕獲設(shè)備。然而，對(duì)于低成本設(shè)備，通常無(wú)法得到這樣的信 息。某些移動(dòng)電話(例如iPhone)不具有這樣的信息，而低成本智能手機(jī)不會(huì)存儲(chǔ)該信息。此 外，在視頻的情況下，僅基于視頻的第一圖像來(lái)計(jì)算方位信息，并且方位信息在捕獲期間旋 轉(zhuǎn)的情況下也不會(huì)改變。因此，利用該已知的解決辦法，方位信息可能僅對(duì)于視頻的第一部 分是真實(shí)的。
[0004] 另一種已知的解決辦法被稱為自動(dòng)系統(tǒng)。下面的文檔涉及這樣的自動(dòng)系統(tǒng)，其能 夠自動(dòng)檢測(cè)靜態(tài)圖像的方位：
[0005] [1]Cingovska,I.；Ivanovski,Z.；Martin,F.,Automatic image orientation detection with prior hierarchical content-based classification,圖像處理 (ICIP)，2011年第18次IEEE國(guó)際會(huì)議，2011年9月11-14日，第卷，第期，第2985、2988頁(yè)。
[0006] [2]G.Sharma,A.Dhall,S.Chaudhury and R.Bhatt,Hierarchical System for Content Based Categorization and Orientation of Consumer Images,模式識(shí)別與機(jī) 器智能，2009年，第5909卷，第495-500頁(yè)。
[0007] [3]Jiebo Luo；Boutell,Μ.,Automatic image orientation detection via confidence-based integration of low-level and semantic cues，模式分析與機(jī)器智 能，IEEE學(xué)報(bào)，2005年5月，第27卷，第5期，第715、726頁(yè)。
[0008] 然而，如上所述，似乎上述三個(gè)文檔的目標(biāo)是針對(duì)靜態(tài)圖像檢測(cè)方位，因?yàn)闆](méi)有討 論處理視頻的系統(tǒng)的參考文獻(xiàn)。針對(duì)靜態(tài)圖像所提出的系統(tǒng)通常基于從圖像提取特征和使 用一些機(jī)器學(xué)習(xí)技術(shù)。這意味著在經(jīng)注釋的圖像的數(shù)據(jù)庫(kù)上需要模型訓(xùn)練的第一步，這可 能導(dǎo)致昂貴的離線處理。表現(xiàn)最好的系統(tǒng)還使用范圍從顏色或紋理相關(guān)的低級(jí)特征(第一 色矩、邊緣方向直方圖等)到高級(jí)語(yǔ)義信息(面部檢測(cè)、天空檢測(cè)、線條檢測(cè)等）的從視頻內(nèi) 容提取的不同特征，這花費(fèi)系統(tǒng)的大部分時(shí)間并導(dǎo)致較重的計(jì)算負(fù)荷。對(duì)靜態(tài)圖像的這樣 的處理能夠在逐幀的基礎(chǔ)上應(yīng)用在視頻的每個(gè)幀上，或者應(yīng)用在這些幀的二次采樣上。然 而，從計(jì)算的角度，其結(jié)果是該處理變得甚至更加昂貴。
[0009] 因此，存在以合理的計(jì)算負(fù)荷來(lái)檢測(cè)給定視頻的正確方位，并且同時(shí)保證檢測(cè)到 的方位對(duì)于視頻的每個(gè)幀都是正確的（假設(shè)用于捕獲視頻的設(shè)備在捕獲階段期間可以旋 轉(zhuǎn))的需要。

【發(fā)明內(nèi)容】

[0010] 考慮到傳統(tǒng)技術(shù)中的上述問(wèn)題，本公開(kāi)提出了用于針對(duì)視頻的每個(gè)方位均一部分 以合理的計(jì)算負(fù)荷來(lái)確定視頻的方位的方法及裝置。
[0011] 根據(jù)本公開(kāi)，一些特征基于視頻場(chǎng)景的估算的運(yùn)動(dòng)（主要的或基于對(duì)象的）被提 取。根據(jù)這些基于運(yùn)動(dòng)的特征，與方位中潛在的改變一起計(jì)算一些基于幀的方位信息。與時(shí) 間方位信息一起，本公開(kāi)還導(dǎo)致相關(guān)聯(lián)的分段成視頻的方位均一部分。
[0012] 根據(jù)本公開(kāi)的第一實(shí)施例，提供了一種用于確定視頻的方位的方法。所述方法包 括以下步驟:估算視頻的運(yùn)動(dòng);從所估算出的視頻的運(yùn)動(dòng)提取基于平移的參數(shù)；以及根據(jù)基 于平移的參數(shù)計(jì)算給出水平平移隨時(shí)間的演變相對(duì)豎直平移的演變的至少一個(gè)特征，所述 特征用于確定視頻的方位。
[0013] 在第一實(shí)施例中，所述方法還包括:從估算出的視頻的運(yùn)動(dòng)提取基于旋轉(zhuǎn)的參數(shù)； 將視頻分割成通過(guò)根據(jù)基于旋轉(zhuǎn)的參數(shù)檢測(cè)到的旋轉(zhuǎn)而分離的至少一個(gè)片段；以及將視頻 的方位確定為所述至少一個(gè)特征關(guān)于所述至少一個(gè)片段中的每一個(gè)的積分的函數(shù)。
[0014] 根據(jù)本公開(kāi)的第二實(shí)施例，提供了一種用于確定視頻的方位的裝置。所述裝置包 括處理器，被配置為:估算視頻的運(yùn)動(dòng);從所估算出的視頻的運(yùn)動(dòng)提取基于平移的參數(shù)；以 及根據(jù)基于平移的參數(shù)計(jì)算給出水平平移隨時(shí)間的演變相對(duì)豎直平移的演變的至少一個(gè) 特征，所述特征用于確定視頻的方位。
[0015] 根據(jù)本公開(kāi)的第三實(shí)施例，提供了一種從通信網(wǎng)絡(luò)可下載和/或記錄在計(jì)算機(jī)可 讀取的介質(zhì)上和/或由處理器可執(zhí)行的計(jì)算機(jī)程序產(chǎn)品。所述計(jì)算機(jī)程序產(chǎn)品包括用于實(shí) 施根據(jù)本公開(kāi)的一個(gè)方面的方法的步驟的程序代碼指令。
[0016] 根據(jù)本公開(kāi)的第四實(shí)施例，提供了一種包括記錄在其上并能夠由處理器運(yùn)行的計(jì) 算機(jī)程序產(chǎn)品的非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)。所述非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)包括用于實(shí)施根 據(jù)本公開(kāi)的一個(gè)方面的方法的步驟的程序代碼指令。
[0017] 應(yīng)當(dāng)理解的是，本公開(kāi)的更多方面和優(yōu)點(diǎn)將在本公開(kāi)的以下詳細(xì)描述中找到。
【附圖說(shuō)明】
[0018] 包括附圖以與用作解釋實(shí)施例的原理的描述一起來(lái)提供對(duì)本公開(kāi)的實(shí)施例的進(jìn) 一步理解。本公開(kāi)并不限于該實(shí)施例。
[0019] 在附圖中：
[0020] 圖1是示出根據(jù)本公開(kāi)的實(shí)施例的用于確定視頻的方位的方法的流程圖；
[0021 ]圖2是示出在積分時(shí)絕對(duì)水平和豎直平移的差隨時(shí)間的演變的圖；
[0022] 圖3是示出在積分時(shí)旋轉(zhuǎn)參數(shù)的演變的示例的圖；
[0023] 圖4是示出根據(jù)本公開(kāi)的另一實(shí)施例的用于確定視頻的方位的方法的流程圖；
[0024] 圖5是示出在攝像機(jī)順時(shí)針旋轉(zhuǎn)之前和之后的不同的可能方位的示范性的圖（表1 中的情況2);
[0025] 圖6是示出在攝像機(jī)逆時(shí)針旋轉(zhuǎn)之前和之后的不同的可能方位的示范性的圖（表1 中的情況3);以及
[0026] 圖7是示出可以在其上實(shí)施根據(jù)本公開(kāi)的實(shí)施例的用于確定視頻的方位的方法的 計(jì)算機(jī)設(shè)備的框圖。
【具體實(shí)施方式】
[0027] 現(xiàn)在將結(jié)合附圖詳細(xì)描述本公開(kāi)的實(shí)施例。在以下描述中，為了簡(jiǎn)明，可能省略對(duì) 已知的功能和配置的一些詳細(xì)描述。
[0028] 本公開(kāi)的實(shí)施例提供一種用于確定視頻的方位的方法。接下來(lái)，將詳細(xì)描述本公 開(kāi)的實(shí)施例的方法。
[0029] 圖1是示出根據(jù)本公開(kāi)的實(shí)施例的用于確定視頻的方位的方法的流程圖。
[0030] 為簡(jiǎn)單起見(jiàn)，對(duì)于視頻的每個(gè)幀，將僅在4個(gè)方位(0°，90°，-90°和180°)之間進(jìn)行 區(qū)分來(lái)討論本公開(kāi)的實(shí)施例，即兩個(gè)橫向（0°，180°)和縱向（90°，-90°)方位之間。因此，本 公開(kāi)將僅對(duì)將幀分成這4個(gè)類(lèi)的分類(lèi)進(jìn)行討論，而不會(huì)提取進(jìn)一步精確的方位角度。此外， 在本公開(kāi)的一些實(shí)施例中，系統(tǒng)將提供分成縱向/橫向的第一分類(lèi)，而不在兩個(gè)可能的縱向 方位(90°，-90° )之間和兩個(gè)可能的橫向方位(0°，180° )之間進(jìn)行區(qū)分。然而，可以理解的 是，本公開(kāi)也能夠應(yīng)用于具有更加復(fù)雜的方位分類(lèi)的情況。
[0031 ] 如圖1所示，在步驟S101，估算視頻的運(yùn)動(dòng)。應(yīng)當(dāng)注意的是，對(duì)于步驟S101中的運(yùn)動(dòng) 估算，優(yōu)選視頻的主要運(yùn)動(dòng)。但是，當(dāng)視頻中沒(méi)有主要運(yùn)動(dòng)要估算時(shí)，可以依賴一些基于對(duì) 象的運(yùn)動(dòng)估算。能夠通過(guò)在每個(gè)瞬時(shí)計(jì)算視頻的主要運(yùn)動(dòng)的參數(shù)近似來(lái)執(zhí)行主要運(yùn)動(dòng)估 算。一些已知的解決辦法可被用于主要運(yùn)動(dòng)的估算。例如，以下文檔公開(kāi)了用于該目的的最 新發(fā)展水平的技術(shù)：
[0032] [4]J.M.0dobez,P.Bouthemy, Robust multiresolution estimation of parametric motion models,視覺(jué)通信與圖像顯示期刊，1995年12月，第6卷第4期，第348-365 頁(yè)。
[0033] 接下來(lái)，在步驟S102,從估算出的視頻的主要運(yùn)動(dòng)提取基于平移的參數(shù)和基于旋 轉(zhuǎn)的參數(shù)。
[0034] 運(yùn)動(dòng)估算器輸出估算出的運(yùn)動(dòng)模型，從該運(yùn)動(dòng)模型中能夠?qū)⒃谒椒较蚝拓Q直方 向二者中的平移的估算和旋轉(zhuǎn)的估算一起提取。
[0035]能夠理解的是，能夠根據(jù)主要運(yùn)動(dòng)估算來(lái)獲取運(yùn)動(dòng)模型，該主要運(yùn)動(dòng)估算可以包 含取決于要估算的運(yùn)動(dòng)的參數(shù)。在該實(shí)施例中，具有6個(gè)參數(shù)的仿射模型能夠被認(rèn)為是下面 的矩陣：
[0036] a0 al a2
[0037] b0 bl b2
[0038] 在上述模型中，例如，前兩個(gè)參數(shù)aO和bO分別對(duì)應(yīng)于在x軸和y軸中的平移值Tx和 Ty。其余四個(gè)參數(shù)提供關(guān)于旋轉(zhuǎn)運(yùn)動(dòng)和縮放運(yùn)動(dòng)的信息。通過(guò)考慮a2-bl的值，能夠獲取與 所施加的旋轉(zhuǎn)的正弦(s inus)成比例的量。
[0039] 在該步驟中，可選地，能夠在某個(gè)時(shí)間段對(duì)基于平移的參數(shù)和基于旋轉(zhuǎn)的參數(shù)進(jìn) 行積分。對(duì)于該積分，能夠在給定窗口上應(yīng)用梯形法則，其為用于近似定積分的公知技術(shù)。 在該實(shí)施例中，給定窗口的大小能夠憑經(jīng)驗(yàn)固定到例如20幀。但是，該大小能夠根據(jù)背景進(jìn) 行適配。根據(jù)主要運(yùn)動(dòng)估算，從一幀到另一幀只能獲取小的平移值和旋轉(zhuǎn)值。根據(jù)這些值難 以精確檢測(cè)旋轉(zhuǎn)和平移。該積分的優(yōu)點(diǎn)在于提供在更長(zhǎng)的時(shí)間段上的運(yùn)動(dòng)的更大視圖。
[0040] 接下來(lái)，在步驟S103,根據(jù)基于平移的參數(shù)來(lái)計(jì)算給出水平平移隨時(shí)間的演變相 對(duì)豎直平移的演變的至少一個(gè)特征。這樣的特征能夠給出關(guān)于視頻是在縱向模式還是橫向 模式下被捕獲的一些線索。在大多數(shù)情況下，當(dāng)水平方向中的主要運(yùn)動(dòng)的平移分量的幅度 基本上大于豎直方向中的主要運(yùn)動(dòng)的平移分量的幅度時(shí)，很有可能該視頻在橫向模式下被 捕獲，因?yàn)樵诓东@視頻的場(chǎng)景期間傾向于使用比傾斜（tilting)更多的搖拍（panning)用 戶。
[0041 ]下面對(duì)特征的分析例如將給出所請(qǐng)求的信息：
[0042] Featuretrans(幀）=abs(tx(幀））_abs(ty(幀））
[0043]圖2示出了根據(jù)Tx和Ty的積分值的這樣的特征隨時(shí)間演變的示例。正值傾向于表 示視頻的橫向方位，而負(fù)值傾向于表示視頻的縱向方位。在可選的步驟中，可以在給定的滑 動(dòng)時(shí)間窗口對(duì)上述特征進(jìn)行平滑化，以提高分析的精確度。
[0044] 在與步驟S103并行的步驟S104,無(wú)論是否積分，將視頻分割為通過(guò)根據(jù)基于旋轉(zhuǎn) 的參數(shù)所檢測(cè)到的旋轉(zhuǎn)而分離的片段。
[0045] 能夠理解的是，基于旋轉(zhuǎn)的參數(shù)繼而會(huì)給出關(guān)于攝像機(jī)在捕獲期間是否旋轉(zhuǎn)的一 些信息。能夠通過(guò)對(duì)所提取的基于旋轉(zhuǎn)的參數(shù)進(jìn)行閾值處理來(lái)執(zhí)行分段。
[0046] 圖3是示出基于旋轉(zhuǎn)的參數(shù)在積分后的演變的示例的圖。在這種情況下，閾值處理 將給出三個(gè)片段:旋轉(zhuǎn)前的片段1、旋轉(zhuǎn)后的片段3、以及與旋轉(zhuǎn)相對(duì)應(yīng)并且在實(shí)施例中系統(tǒng) 不會(huì)給出任何方位信息的片段2。圖3圖示了對(duì)在其中應(yīng)用了簡(jiǎn)單閾值的視頻進(jìn)行分割的示 例。閾值上面的區(qū)域?qū)?yīng)于順時(shí)針旋轉(zhuǎn)，在閾值的相對(duì)的下面的區(qū)域?qū)?yīng)于逆時(shí)針旋轉(zhuǎn)，而 在其間的區(qū)域?qū)?yīng)于無(wú)旋轉(zhuǎn)的區(qū)域。在該示例中，閾值被固定為0.2的經(jīng)驗(yàn)值。但是，能夠根 據(jù)視頻內(nèi)容(例如，將僅使值保持在平均-2西格瑪之下的內(nèi)容)作出更多適應(yīng)?？蛇x地，可以 在對(duì)旋轉(zhuǎn)邊界的檢測(cè)中增加細(xì)化。該細(xì)化將以給出潛在旋轉(zhuǎn)的標(biāo)記的更高閾值來(lái)開(kāi)始。然 后，在時(shí)間上后退，以找到與旋轉(zhuǎn)參數(shù)的絕對(duì)值非常低（即，低于ε值）的幀相對(duì)應(yīng)的旋轉(zhuǎn)開(kāi) 始。接下來(lái)，向前搜索旋轉(zhuǎn)的結(jié)束，其與旋轉(zhuǎn)參數(shù)的絕對(duì)值低于ε的第一幀相對(duì)應(yīng)。
[0047]在步驟S105,根據(jù)步驟S103中獲得的至少一個(gè)特征對(duì)由步驟S104獲得的每個(gè)片段 的積分來(lái)確定視頻的方位。
[0048] 通過(guò)對(duì)片段的所有幀進(jìn)行Featuretrans積分以得到每片段的Featuretrans的一 個(gè)代表性單值而計(jì)算旋轉(zhuǎn)之前和之后的每個(gè)片段的方位，來(lái)確定視頻的方位。在該實(shí)施例 中，能夠僅為對(duì)關(guān)于片段的圖2中的曲線之下的面積(參見(jiàn)陰影區(qū)域)進(jìn)行的計(jì)算。在另一實(shí) 施例中，對(duì)基于平移的參數(shù)使用附加閾值T。對(duì)Featuretrans>T和Featuretrans〈_T的連續(xù) 部分的數(shù)量進(jìn)行計(jì)數(shù)，加上這些部分的持續(xù)時(shí)間。對(duì)這兩個(gè)計(jì)數(shù)器的簡(jiǎn)單歸一化求和將提 供新的Featuretrans的"積分"值。
[0049] 如果沒(méi)有檢測(cè)到旋轉(zhuǎn)，則計(jì)算關(guān)于整個(gè)視頻或關(guān)于預(yù)定義大小的窗口的 Featuretrans的積分值。具體而言，如果沒(méi)有檢測(cè)到旋轉(zhuǎn)，則在整個(gè)視頻中只有一個(gè)大片 段。在這種情況下，相同的Featuretrans積分處理能夠僅被應(yīng)用為對(duì)片段所進(jìn)行的，然而其 是對(duì)整個(gè)視頻所進(jìn)行的。作為變型，如果視頻非常長(zhǎng)，則能夠逐窗口對(duì)其進(jìn)行處理。在這種 情況下，將關(guān)于預(yù)定義窗口大小再次進(jìn)行積分。
[0050]然后，在該實(shí)施例中，每個(gè)片段的方位將通過(guò)以下給出：
[0051 ]如果 Feature trans_integrated_over_segment>0，則方位是橫向的。
[0052]如果 Feature trans_integrated_over_segment<0，則方位是縱向的。
[0053]如上所述，為了簡(jiǎn)單起見(jiàn)，僅對(duì)有限數(shù)量的方位之間進(jìn)行區(qū)分來(lái)討論本公開(kāi)的實(shí) 施例。在本公開(kāi)的附加細(xì)化中，能夠應(yīng)用諸如例如面部檢測(cè)的一些附加處理，以在兩個(gè)縱向 方位或兩個(gè)橫向方位之間進(jìn)行進(jìn)一步區(qū)分。本領(lǐng)域技術(shù)人員能夠理解的是，通過(guò)檢測(cè)圖片 中的面部，能夠獲得圖片的最可能的方位的一些信息，因?yàn)槿思捌涿娌繒?huì)上下顛倒的可能 性非常小。使人及其面部在圖像中平躺而不是人站立的可能性也非常小。能夠使用這樣的 信息來(lái)進(jìn)一步區(qū)分視頻的方位。在這方面將不會(huì)給出進(jìn)一步的詳情。
[0054]圖4是示出根據(jù)本公開(kāi)的另一實(shí)施例的用于確定視頻的方位的方法的流程圖。 [0055] 在圖4所示的實(shí)施例中，步驟S401至S405分別與圖1中的步驟S101至S105相同。添 加了進(jìn)一步的步驟S406,其根據(jù)旋轉(zhuǎn)的角度(例如，該角度能夠從步驟S402中提取的基于旋 轉(zhuǎn)的參數(shù)而提取)進(jìn)一步區(qū)分步驟S405中獲得的視頻的方位。在參照?qǐng)D1描述的實(shí)施例的背 景下，所添加的步驟S406能夠幫助在步驟S405中所確定的兩個(gè)縱向方位和兩個(gè)橫向方位之 間進(jìn)行區(qū)分。
[0056]根據(jù)步驟S404,能夠獲得關(guān)于視頻中是否發(fā)生旋轉(zhuǎn)的信息（旋轉(zhuǎn)參數(shù)的絕對(duì)值在 給定閾值之上）。依據(jù)步驟S402中獲得的旋轉(zhuǎn)參數(shù)的符號(hào)，能夠獲取關(guān)于旋轉(zhuǎn)的方向的信息 (如果rotat ion_parameter>0，則場(chǎng)景順時(shí)針旋轉(zhuǎn)，即攝像機(jī)相對(duì)于幀的中心逆時(shí)針旋轉(zhuǎn)， 如果rotation_parameter〈0，則場(chǎng)景逆時(shí)針旋轉(zhuǎn)，即攝像機(jī)相對(duì)于幀的中心順時(shí)針旋轉(zhuǎn)）。 與旋轉(zhuǎn)相對(duì)應(yīng)的用于視頻的最終旋轉(zhuǎn)值可以是旋轉(zhuǎn)參數(shù)關(guān)于片段的積分值，或者簡(jiǎn)單地 是廣/+111&叉_0￥61'_86區(qū)1116111：(&匕8(1'0七&1：；[011_卩&獷&1116七61') 0該量的符號(hào)將取決于1'0七&1：；[011_ parameter關(guān)于當(dāng)前片段的符號(hào)。
[0057]在以下描述中，僅考慮幀可能只屬于三個(gè)類(lèi)0°、90°、_90°的更簡(jiǎn)單的情況。能夠理 解的是，具有上下顛倒的方位的視頻是很罕見(jiàn)的，因而其在以下描述中不會(huì)考慮。在本公開(kāi) 的細(xì)化中，可以通過(guò)遵循相似的推理來(lái)添加180°方位類(lèi)。
[0058] 下面的表1示出了根據(jù)估算出的旋轉(zhuǎn)參數(shù)（ε1>〇)在旋轉(zhuǎn)之前和之后的關(guān)于片段的 方位的信息。
[0059] 表 1
[0060]
[0061]
[0062] 在表1中，orient_before和orient_after分別指旋轉(zhuǎn)之前所有幀的方位和旋轉(zhuǎn)之 后所有幀的方位。在每個(gè)列中研究旋轉(zhuǎn)參數(shù)。依據(jù)參數(shù)的符號(hào)和值，能夠獲悉關(guān)于發(fā)生了旋 轉(zhuǎn)的事實(shí)、以及在這種情況下以什么方向旋轉(zhuǎn)(順時(shí)針、逆時(shí)針)兩者。
[0063] 圖5和圖6圖示了表1中討論的不同情況。根據(jù)圖5和圖6并根據(jù)旋轉(zhuǎn)方向，對(duì)于旋轉(zhuǎn) 之前和之后的平移值僅存在很少的可能性。
[0064] 圖5是示出在攝像機(jī)順時(shí)針旋轉(zhuǎn)之前和之后(表1中的情況2)的不同的可能的方位 的示范性的圖。在以下描述中僅考慮前兩種情況。圖6是示出在攝像機(jī)逆時(shí)針旋轉(zhuǎn)之前和之 后(表1中的情況3)的不同的可能的方位的示范性的圖。同樣地，在以下描述中僅考慮前兩 種情況。
[0065] 為了進(jìn)一步解決表1中的情況A和B、或者C和D之間的模糊性，如果存在任何如步驟 S405描述那樣計(jì)算出的旋轉(zhuǎn)之前和之后的平移特征的積分值，則根據(jù)以下表2將積分值進(jìn) 行比較和混合，以依據(jù)情況獲得旋轉(zhuǎn)之前和之后的幀的零個(gè)、一個(gè)或兩個(gè)可能的方位。
[0066] 表2示出了根據(jù)平移和旋轉(zhuǎn)參數(shù)/特征的方位決定。情況1、2和3在表1中描述(ε2是 正的）。
[0067] 表 2
[0068]
[0070] 對(duì)于Featuretranslntegrated或旋轉(zhuǎn)值非常小的一些情況，應(yīng)用一些拒絕策略： 不輸出方位信息。在本公開(kāi)的變型中，未定義的情況(若干可能的方位)可以被轉(zhuǎn)換成被拒 絕的情況。
[0071] 此外，如果旋轉(zhuǎn)之前和之后的平移參數(shù)都同意將旋轉(zhuǎn)之前和之后的片段分類(lèi)為例 如縱向片段，則可能錯(cuò)誤地檢測(cè)到旋轉(zhuǎn)。在這種情況下，添加步驟S406能夠幫助消除這種誤 報(bào)。在這兩個(gè)進(jìn)行中的過(guò)程之間對(duì)一個(gè)或另一個(gè)的選擇可以取決于對(duì)旋轉(zhuǎn)參數(shù)和平移參數(shù) 二者可以具有的置信度值。
[0072] 如果在視頻中檢測(cè)到若干旋轉(zhuǎn)，則能夠獲得與諸如表2中描述的規(guī)則相似的規(guī)則 并且該相似的規(guī)則沿著視頻傳播，以解決未定義的情況。
[0073] 有利的是，當(dāng)未從主要運(yùn)動(dòng)估算中檢測(cè)到平移時(shí)，能夠估算場(chǎng)景中一些對(duì)象的運(yùn) 動(dòng)，并且如果存在任何這些對(duì)象的一些平移信息，則其能夠被用來(lái)取代主要運(yùn)動(dòng)的平移信 息。
[0074] 在攝像機(jī)和對(duì)象都移動(dòng)的情況下，能夠使用結(jié)合兩個(gè)區(qū)域的平移信息的圖式。不 過(guò)，對(duì)于分割為均一方位視頻片段，主要旋轉(zhuǎn)依然是唯一可靠的標(biāo)準(zhǔn)。
[0075] 為了擴(kuò)大該方法的魯棒性，如果計(jì)算負(fù)荷允許，則也能夠使用在靜態(tài)圖片中所使 用的一些附加特征。例如，面部方位依然是要與本公開(kāi)中提出的基于運(yùn)動(dòng)的特征合并的感 興趣的線索。
[0076] 即使在捕獲期間發(fā)生了旋轉(zhuǎn)，本公開(kāi)也有利地針對(duì)給定視頻的所有幀提供方位信 息。其基于應(yīng)用到視頻上的一些少量的基于運(yùn)動(dòng)的處理，并且因而無(wú)需離線學(xué)習(xí)處理。能夠 實(shí)時(shí)地實(shí)現(xiàn)運(yùn)動(dòng)估算的步驟，并且在運(yùn)動(dòng)估算之后能夠立即關(guān)于整個(gè)視頻或者關(guān)于一些預(yù) 定義的時(shí)間窗口應(yīng)用在線方位檢測(cè)處理。
[0077] 本公開(kāi)能夠在例如提供先前捕獲的視頻的回放的視頻播放器上實(shí)施。該視頻播放 器包括但不限于PC上VideoLAN、在線視頻網(wǎng)站以及智能手機(jī)。
[0078] 本公開(kāi)的實(shí)施例提供了用于確定視頻的方位的相應(yīng)裝置。
[0079] 圖7是示出在其上可以實(shí)施根據(jù)本公開(kāi)的實(shí)施例的用于確定視頻的方位的方法的 計(jì)算機(jī)設(shè)備700的框圖。計(jì)算機(jī)設(shè)備700能夠是能夠進(jìn)行計(jì)算的任意種類(lèi)的合適的計(jì)算機(jī)或 設(shè)備，諸如標(biāo)準(zhǔn)個(gè)人計(jì)算機(jī)(PC)。設(shè)備700包括至少一個(gè)處理器710、RAM存儲(chǔ)器720以及用于 與用戶進(jìn)行交互的用戶界面730。本領(lǐng)域技術(shù)人員將會(huì)理解的是，為了清楚起見(jiàn)，圖示的計(jì) 算機(jī)被大大簡(jiǎn)化，而實(shí)際的計(jì)算機(jī)會(huì)另外包括諸如網(wǎng)絡(luò)連接和永久存儲(chǔ)設(shè)備的特征。
[0080] 利用用戶界面730,用戶能夠輸入/選擇視頻用于回放。如果需要的話，也能夠通過(guò) 用戶界面730向用戶輸出視頻的所確定的方位的結(jié)果。
[0081]處理器710包括用于估算視頻的運(yùn)動(dòng)的第一單元。
[0082]處理器710還包括用于從估算出的視頻的運(yùn)動(dòng)中提取基于平移的參數(shù)和基于旋轉(zhuǎn) 的參數(shù)的第二單元。
[0083]處理器710還包括用于根據(jù)基于平移的參數(shù)來(lái)計(jì)算給出水平平移隨時(shí)間的演變相 對(duì)豎直平移的演變的至少一個(gè)特征的第三單元。
[0084]處理器710還包括用于將視頻分割成通過(guò)根據(jù)基于旋轉(zhuǎn)的參數(shù)檢測(cè)到的旋轉(zhuǎn)而分 離的片段的第四單元。
[0085]處理器710還包括用于將視頻的方位確定為該至少一個(gè)特征關(guān)于每個(gè)該片段的積 分的函數(shù)的第五單元。
[0086] 本公開(kāi)的實(shí)施例提供了從通信網(wǎng)絡(luò)可下載的和/或記錄在計(jì)算機(jī)可讀取的介質(zhì)上 的和/或由處理器可執(zhí)行的計(jì)算機(jī)程序產(chǎn)品，包括用于實(shí)施上述方法的步驟的程序代碼指 令。
[0087] 本公開(kāi)的實(shí)施例提供了包括記錄在其上并能夠由處理器運(yùn)行的計(jì)算機(jī)程序產(chǎn)品 的非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)，該非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)包括用于實(shí)施上述方法的步驟的 程序代碼指令。
[0088]應(yīng)當(dāng)理解的是，本公開(kāi)可以以各種形式的硬件、軟件、固件、專(zhuān)用處理器、或其組合 來(lái)實(shí)現(xiàn)。此外，該軟件優(yōu)選地作為在程序存儲(chǔ)設(shè)備上有型地體現(xiàn)的應(yīng)用程序來(lái)實(shí)現(xiàn)。該應(yīng)用 程序可以被上載到包括任何適當(dāng)架構(gòu)的機(jī)器，并由該機(jī)器執(zhí)行。優(yōu)選地，該機(jī)器在具有諸如 一個(gè)或多個(gè)中央處理單元(CPU)、隨機(jī)存取存儲(chǔ)器(RAM)、和（多個(gè))輸入/輸出（I/O)接口的 硬件的計(jì)算機(jī)平臺(tái)上實(shí)現(xiàn)。該計(jì)算機(jī)平臺(tái)還包括操作系統(tǒng)和微指令代碼。在此描述的各種 處理和功能可以是部分微指令代碼或部分應(yīng)用程序(或其組合），其經(jīng)由操作系統(tǒng)執(zhí)行。此 外，各種其它外圍設(shè)備可以連接到該計(jì)算機(jī)平臺(tái)，諸如附加的數(shù)據(jù)存儲(chǔ)設(shè)備和打印設(shè)備。 [0089]還要理解的是，由于在附圖中描繪的一些構(gòu)成系統(tǒng)組件和方法步驟優(yōu)選地以軟件 來(lái)實(shí)現(xiàn)，因而系統(tǒng)組件(或處理步驟)之間的實(shí)際連接可能取決于本公開(kāi)被編程的方式而不 同。鑒于在此的教導(dǎo)，相關(guān)領(lǐng)域的普通技術(shù)人員將能夠預(yù)期本公開(kāi)的這些和類(lèi)似的實(shí)現(xiàn)方 式或配置。
【主權(quán)項(xiàng)】
1. 一種用于確定視頻的方位的方法，所述方法包括： 估算（S101，S401)視頻的運(yùn)動(dòng)； 從所估算出的視頻的運(yùn)動(dòng)中提取（S102，S402)基于平移的參數(shù)；以及根據(jù)基于平移的 參數(shù)，計(jì)算(S103，S403)給出水平平移隨時(shí)間的演變相對(duì)豎直平移的演變的至少一個(gè)特征， 所述特征用于確定視頻的方位。2. 根據(jù)權(quán)利要求1所述的方法，還包括： 從估算出的視頻的運(yùn)動(dòng)提取(S102，S402)基于旋轉(zhuǎn)的參數(shù)； 將視頻分割(S104，S404)成通過(guò)根據(jù)基于旋轉(zhuǎn)的參數(shù)檢測(cè)到的旋轉(zhuǎn)而分離的至少一個(gè) 片段；以及 將視頻的方位確定(S105，S405)為所述至少一個(gè)特征關(guān)于所述至少一個(gè)片段的每個(gè)的 積分的函數(shù)。3. 根據(jù)權(quán)利要求1所述的方法，其中，估算包括估算(S101，S401)視頻的主要運(yùn)動(dòng)。4. 根據(jù)權(quán)利要求2所述的方法，其中，所確定的方位包括針對(duì)視頻的每個(gè)幀的橫向方位 (0°，180°)和縱向方位(90°，-90°) 〇5. 根據(jù)權(quán)利要求1所述的方法，其中，估算包括在每個(gè)瞬時(shí)計(jì)算視頻的運(yùn)動(dòng)的參數(shù)近 似。6. 根據(jù)權(quán)利要求2所述的方法，其中，所述分割包括對(duì)所提取的基于旋轉(zhuǎn)的參數(shù)進(jìn)行閾 值處理。7. 根據(jù)權(quán)利要求2所述的方法，其中，所述確定包括通過(guò)對(duì)每個(gè)片段的所有幀的至少一 個(gè)特征進(jìn)行積分以得到每片段的所述至少一個(gè)特征的一個(gè)代表性單值，來(lái)計(jì)算旋轉(zhuǎn)之前和 之后的該片段的方位。8. 根據(jù)權(quán)利要求1所述的方法，還包括在滑動(dòng)時(shí)間窗口上對(duì)所述至少一個(gè)特征進(jìn)行平 滑化。9. 根據(jù)權(quán)利要求2所述的方法，還包括： 從根據(jù)基于旋轉(zhuǎn)的參數(shù)的旋轉(zhuǎn)角度的所確定的結(jié)果來(lái)確定(S405)視頻的方位。10. 根據(jù)權(quán)利要求9所述的方法，其中，根據(jù)基于旋轉(zhuǎn)的參數(shù)的正弦來(lái)確定旋轉(zhuǎn)角度。11. 根據(jù)權(quán)利要求9所述的方法，其中，所確定的方位包括針對(duì)視頻的每個(gè)幀的0°方位、 90°方位、-90°方位和180°方位。12. -種用于確定視頻的方位的裝置(700)，包括處理器(710)，被配置為： 估算視頻的運(yùn)動(dòng)； 從所估算出的視頻的運(yùn)動(dòng)提取基于平移的參數(shù)；以及 根據(jù)基于平移的參數(shù)計(jì)算給出水平平移隨時(shí)間的演變相對(duì)豎直平移的演變的至少一 個(gè)特征，所述特征用于確定視頻的方位。13. -種從通信網(wǎng)絡(luò)可下載和/或記錄在計(jì)算機(jī)可讀取的介質(zhì)上和/或由處理器可執(zhí)行 的計(jì)算機(jī)程序產(chǎn)品，包括用于實(shí)施根據(jù)權(quán)利要求1至11中的至少一個(gè)的方法的步驟的程序 代碼指令。14. 一種包括記錄在其上并能夠由處理器運(yùn)行的計(jì)算機(jī)程序產(chǎn)品的非暫時(shí)性計(jì)算機(jī)可 讀介質(zhì)，所述非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)包括用于實(shí)施根據(jù)權(quán)利要求1至11中的至少一個(gè)的 方法的步驟的程序代碼指令。
【文檔編號(hào)】G06T7/00GK106030658SQ201580009769
【公開(kāi)日】2016年10月12日
【申請(qǐng)日】2015年2月23日
【發(fā)明人】C-H.德馬爾蒂, L.奧伊塞爾, P.佩雷斯
【申請(qǐng)人】湯姆遜許可公司