用于調(diào)整所俘獲視頻的定向的系統(tǒng)和方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明大體上設(shè)及用于通過利用建構(gòu)至視頻記錄裝置中的加速計數(shù)據(jù)來調(diào)整場 景中對象的所俘獲視頻的定向的系統(tǒng)和方法。
【背景技術(shù)】
[0002] 通常，在便攜式攝像機的預(yù)覽中或在視頻電話（VT)應(yīng)用的本地視圖中，對象的圖 像定向始終與場景中對象的真實定向相同，而不管所述裝置的定向如何。
[0003] 然而，當編碼帖時，每一帖中對象的圖像定向取決于俘獲帖的時刻裝置的定向，其 未必與場景中對象的真實定向匹配。因此，如果在俘獲對象時裝置旋轉(zhuǎn)角度0，那么在所記 錄視頻中，對象的視圖也將旋轉(zhuǎn)角度e，而非在所俘獲場景中呈現(xiàn)對象的真實定向。

【發(fā)明內(nèi)容】

[0004] 在一個實施例中，本發(fā)明提供一種用于編碼視頻俘獲裝置上俘獲的視頻的方法。 所述方法包括在俘獲場景的視頻時讀取來自視頻俘獲裝置的定向數(shù)據(jù)。所述方法進一步包 括基于定向數(shù)據(jù)產(chǎn)生旋轉(zhuǎn)矩陣。所述方法進一步包括調(diào)整所俘獲視頻的定向W與場景的真 實定向匹配。所述方法進一步包括編碼所述經(jīng)調(diào)整的所俘獲視頻。在另一實施例中，本發(fā) 明提供一種用于編碼視頻俘獲裝置上的視頻俘獲的系統(tǒng)。所述系統(tǒng)包括經(jīng)配置W俘獲場景 的視頻的圖像傳感器。所述系統(tǒng)進一步包括經(jīng)配置W提供來自視頻俘獲裝置的定向數(shù)據(jù)的 慣性測量單元。所述系統(tǒng)進一步包括旋轉(zhuǎn)模塊，其經(jīng)配置W基于定向數(shù)據(jù)產(chǎn)生旋轉(zhuǎn)矩陣且 調(diào)整所俘獲視頻的定向W與場景的真實定向匹配。所述系統(tǒng)進一步包括經(jīng)配置W編碼所述 經(jīng)調(diào)整的所俘獲視頻的編碼器。在另一實施例中，本發(fā)明提供一種用于編碼視頻俘獲裝置 上俘獲的視頻的系統(tǒng)。所述系統(tǒng)進一步包括用于在俘獲場景的視頻時讀取來自視頻俘獲裝 置的定向數(shù)據(jù)的裝置。所述系統(tǒng)進一步包括用于基于定向數(shù)據(jù)產(chǎn)生旋轉(zhuǎn)矩陣的裝置。所述 系統(tǒng)進一步包括用于調(diào)整所俘獲視頻的定向W與場景的真實定向匹配的裝置。所述系統(tǒng)進 一步包括用于編碼所述經(jīng)調(diào)整的所俘獲視頻的裝置。
【附圖說明】
[0005] 圖1為根據(jù)本發(fā)明的一個實施例顯示屏上的場景俘獲和圖像變換的說明。
[0006] 圖2為根據(jù)本發(fā)明的一個實施例的系統(tǒng)級概觀的框圖。
[0007] 圖3為展示用于所俘獲視頻的定向調(diào)整的過程的概觀的流程圖。
[000引圖4為展示用于讀取來自加速計單元的數(shù)據(jù)的過程的概觀的流程圖。
[0009] 圖5為展示用于基于旋轉(zhuǎn)矩陣調(diào)整視頻定向的過程的概觀的流程圖。
【具體實施方式】
[0010] 本發(fā)明的實施例設(shè)及用于基于從傳感器收集的與視頻俘獲裝置相關(guān)聯(lián)的數(shù)據(jù)調(diào) 整所俘獲視頻的定向的系統(tǒng)和方法。舉例來說，可基于從建構(gòu)到視頻俘獲裝置中的重力傳 感器或加速計單元俘獲的定向數(shù)據(jù)調(diào)整所俘獲視頻的定向。特定來說，大部分現(xiàn)代移動電 話包含具有視頻和圖像俘獲功能的內(nèi)置相機。舉例來說，典型的現(xiàn)今移動電話相機可提供 W至多每秒30帖記錄視頻的能力。
[0011] 此外，移動電話經(jīng)常包括建構(gòu)到裝置中用于用戶接口控制的加速計。加速計測量 在某一時刻施加到裝置的力。該些力可用于確定用戶移動裝置的方向且因此提供定向數(shù) 據(jù)。加速度值表達為表示X、Y和Z軸中的加速度分量的3維向量。加速度的定向可相對于 所述裝置使得當裝置在水平桌子上面朝上時在Z軸中施加Ig，且當裝置放置為垂直于桌面 時沿著Y軸施加Ig。加速計可用于基于電話的定向或裝置如何被用戶固持而在裝置的屏幕 上呈現(xiàn)圖像或視頻的風景或肖像視圖。
[0012] 在視頻記錄期間，如上文所論述，所俘獲視頻的定向未必與場景中所俘獲對象的 "真實定向"匹配。舉例來說，如果在記錄期間視頻記錄裝置傾斜或旋轉(zhuǎn)一角度，那么所俘獲 視頻當在裝置上重放時將旋轉(zhuǎn)相同角度。因此，當視頻在移動裝置屏幕上重放時所記錄視 頻可看上去"傾斜"或"旋轉(zhuǎn)"，同時保持在正常垂直或水平定向中。此外，如果視頻經(jīng)發(fā)射 或存儲W供在另一裝置（例如，電視機）上重放，那么視頻也將呈現(xiàn)為旋轉(zhuǎn)或傾斜其在移動 裝置上記錄期間所傾斜的相同的角度。然而，如本文中所論述，實施例可使用從視頻裝置傳 感器所俘獲的數(shù)據(jù)來恰當?shù)囟ㄏ蜓b置W供重放。作為一個實例，一旦讀取加速計數(shù)據(jù)，所述 數(shù)據(jù)就可用于計算旋轉(zhuǎn)矩陣W校正傾斜的視頻定向使得視頻將W在正常定向中重放的方 式編碼。
[0013] 圖1為展示通過視頻俘獲裝置120記錄的樹110的旋轉(zhuǎn)定向的場景100的一個實 施例的說明。視頻俘獲裝置120可包括移動電話、平板PC、數(shù)碼相機或包括內(nèi)置式位置傳感 器（例如，加速計或慣性測量單元）的任何記錄裝置。
[0014] 如所展示，當記錄樹110時視頻俘獲裝置120傾斜一角度。視頻俘獲裝置130可 為與視頻俘獲裝置120相同的裝置或另一裝置，且包含本文中所描述的基于視頻俘獲裝置 120的位置旋轉(zhuǎn)所俘獲圖像的實施例。如所展示，裝置130展示在無任何傾斜的情況下記錄 樹110,使得裝置130的定向與場景100中所俘獲樹的真實定向匹配。如視頻俘獲裝置120 的屏幕125上所示，樹110的定向經(jīng)定向使得屏幕125上展示的樹的頂部指向視頻屏幕125 的左上部分128或朝向視頻屏幕125的左上部分128旋轉(zhuǎn)。在無本文中所描述的定向調(diào)整 系統(tǒng)的情況下，樹110的頂部的圖像將繼續(xù)指向裝置130的左上部分，即使保持在垂直位置 中時也如此。
[0015] 因此，實施例通過讀取來自視頻俘獲裝置的內(nèi)置式加速計或慣性測量單元的數(shù)據(jù) 而校正此顯示缺陷。所述數(shù)據(jù)可用于導(dǎo)出旋轉(zhuǎn)矩陣，所述旋轉(zhuǎn)矩陣在視頻編碼期間旋轉(zhuǎn)所 俘獲對象使得最終視頻將與屏幕上對象的真實定向匹配。如裝置130中所示，在圖像變換 之后，屏幕135展示樹的定向沿著垂直軸線指向上方（在12點位置處），該與對象的真實定 向匹配。
[0016] 圖2為圖1的系統(tǒng)120的框圖。相機210提供W不同帖速率俘獲場景的圖像或視 頻的能力。舉例來說，相機210可W每秒30帖的帖速率俘獲視頻。相機連接到處理器220， 處理器220結(jié)合加速計單元230工作，加速計單元230測量視頻俘獲裝置120的加速計讀 數(shù)。加速計單元230還可由=軸巧螺儀代替加速計組成W導(dǎo)出視頻俘獲裝置的空間定向W 用于調(diào)整所俘獲視頻的定向。
[0017] 處理器220可導(dǎo)出方向余弦矩陣或旋轉(zhuǎn)矩陣w校正記錄期間視頻俘獲裝置的旋 轉(zhuǎn)。展示一組系統(tǒng)模塊240,其在系統(tǒng)內(nèi)一起作用W提供調(diào)整所俘獲視頻的定向的許多功 能。運動穩(wěn)定器模塊242可在記錄期間使圖像或視頻穩(wěn)定，且使用加速計單元230數(shù)據(jù)用 于防止模糊的功能性。圖像俘獲模塊244可處理相機210所俘獲的視頻的每一帖且結(jié)合旋 轉(zhuǎn)模塊246工作W計算用于當前帖的定向調(diào)整的旋轉(zhuǎn)矩陣。旋轉(zhuǎn)模塊246可經(jīng)配置W讀取 來自加速計單元230的加速計或慣性測量單元數(shù)據(jù)W導(dǎo)出逐帖調(diào)整所俘獲視頻的定向的 旋轉(zhuǎn)矩陣。顯示裝置250可隨后顯示定向經(jīng)調(diào)整的所俘獲視頻或顯示未經(jīng)調(diào)整定向視頻。
[0018] 圖3為展示如本文中所論述用于調(diào)整所俘獲視頻的定向