專利名稱：用于靜態(tài)相機運動的視頻校正的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本公開涉及在移動通信設(shè)備中的靜態(tài)圖像捕獲，更具體地，涉及將視頻數(shù)據(jù)用于在具有兩個相機的移動通信設(shè)備中的第二相機系統(tǒng)中的運動補償?shù)姆椒ê驮O(shè)備。
背景技術(shù)：
手持設(shè)備的制造商，包括移動通信設(shè)備的那些制造商，正在曰益向他們的設(shè)備添加功能性。例如，如今交付的許多移動通信設(shè)備包括了相機。諸如靜態(tài)和視頻數(shù)字相機的圖像捕獲設(shè)備日益被并入諸如無線通信設(shè)備的手持設(shè)備。諸如移動通信設(shè)備制造商的手持設(shè)備制造商可以將靜態(tài)和視頻數(shù)字相機并入一個設(shè)備中。用戶可以在他們的無線通信設(shè)備上捕獲靜態(tài)和視頻數(shù)字圖像，并且將文件發(fā)射給接收者。隨著在包括圖像捕獲設(shè)備的各種技術(shù)領(lǐng)域中取得的進步，新的和改進的特征正在被穩(wěn)步并入移動通信設(shè)備的相機中。
雖然存在傾向于包括更多特征和對當(dāng)前特征進行改進的趨勢，但也存在傾向于更小的移動通信設(shè)備的趨勢。隨著移動通信設(shè)備技術(shù)的持續(xù)改進，這些設(shè)備已經(jīng)變得越來越小。因此，當(dāng)在較小的設(shè)備中添加新的特征和對當(dāng)前特征進行改進時，較少和/或較小硬件和軟件組件是理想的。較少硬件組件可以為消費者提供成本優(yōu)勢。
在一個移動通信設(shè)備中，靜態(tài)和視頻相機可以指向該設(shè)備的相反方向。也就是說，用于視頻會議的視頻相機可以與顯示器和包括導(dǎo)航輸入鍵的鍵盤在同一表面上，因此，在用戶觀看顯示器時，指向用戶的方向。靜態(tài)相機可以從該設(shè)備的背側(cè)指向遠離的方向。在這種方式下，當(dāng)拍攝靜態(tài)照片時，用戶可以在顯示器上觀看用戶的目標物的數(shù)字重現(xiàn)圖像，非常像數(shù)碼相機的觀察屏。在一個移動通信設(shè)備中，靜態(tài)和視頻相機可以從該設(shè)備指向相反的方向。
常見的是，靜態(tài)和視頻圖像序列均受不希望的運動的影響。具體而言，手抖動在由利用諸如蜂窩電話的手持設(shè)備中并入的相機捕獲的靜態(tài)照片中和視頻中引入不期望的運動。其他不希望的運動的原因可以包括圖像捕獲設(shè)備的震動、波動或微振動。
視頻和靜態(tài)相機均可以具有諸如加速度計的運動檢測硬件。它們也可以具有運動校正應(yīng)用，以針對靜態(tài)相機的圖像的運動進行校正，或針對視頻相機的圖像序列的運動進行校正。在具有靜態(tài)相機和視頻相機的手持設(shè)備中，減少在靜態(tài)相機中的運動檢測和校正所需要的組件數(shù)目將是有益的。具體而言，提高手持設(shè)備的靜態(tài)相機的運動校正的速度可能是有益的。


在附圖的所有獨立視圖中，相同的引用標識指相同的或功能類似的元件，這些附圖與下文的詳細描述一起，被并入本說明書中并且形成其一部分，用于進一步說明各種實施例，并且解釋根據(jù)本發(fā)明的各種原理和優(yōu)勢。
圖l描繪了具有前表面和其上的視頻相機的移動通信設(shè)備；圖2描繪了具有靜態(tài)相機的移動通信設(shè)備的后表面；圖3描繪了移動通信設(shè)備的側(cè)視圖，示出了在其前表面上的視頻相
機和在其后表面上的靜態(tài)相機；
圖4示出了在手持設(shè)備的視頻相機的指向方向上的用戶以及在同
一手持設(shè)備的靜態(tài)相機的指向方向上的場景或目標物；以及圖5是說明如此處所描述的方法的實施例的流程圖。
本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，圖中的元件是出于簡明和清楚的目
7的被示出，并且不必按比例繪制。例如，圖中某些元件的尺寸相對于其他元件可能被放大，以有助于改善對本發(fā)明的實施例的理解。
具體實施例方式
在視頻相機中，幀捕獲可以比靜態(tài)捕獲更快，從而要比靜態(tài)相機更好地避免運動模糊。在靜態(tài)照片中，使用視頻相機的運動檢測和校正可以是有利的。在該設(shè)備的第二視頻相機中，使用視頻相機的運動檢測和校正以補償運動也可以是有利的。使用同一手持設(shè)備的另一視頻相機的視頻幀捕獲特征，可以提高運動估計的速度，從而改善由手持設(shè)備的靜態(tài)相機拍攝的靜態(tài)攝像或視頻相機的視頻攝像的校正操作。在移動通信設(shè)備的一個實施例中，視頻相機和第二相機系統(tǒng)可以從該設(shè)備指向相反的方向。例如，當(dāng)使用手持設(shè)備的靜態(tài)相機時，視頻相機可以指向用戶的面部方向。在如此處所公開的方法和設(shè)備的一個實施例中，諸如通過視頻相機系統(tǒng)跟蹤該移動成像設(shè)備的用戶的面部特征，以生成用于靜態(tài)攝像中的運動校正的運動檢測輸出的運動校正方法。在另一實施例中，基于全局運動估計的運動檢測可以生成用于靜態(tài)攝像中的運動校正的運動檢測輸出。在又一實施例中，當(dāng)手持設(shè)備具有兩個視頻相機，所描述的第一視頻相機的運動檢測過程可以應(yīng)用于第二視頻相機。通過第一視頻相機的運動檢測的應(yīng)用，可以避免在靜態(tài)相機或第二視頻相機中使用諸如加速度計的硬件。
所公開的是包括移動成像設(shè)備的設(shè)備，移動成像設(shè)備包括視頻相機和靜態(tài)相機或第二視頻相機。出于簡明目的，在下面的公開中，將參考靜態(tài)相機系統(tǒng)，討論作為靜態(tài)相機系統(tǒng)或第二視頻相機系統(tǒng)的第二相機系統(tǒng)。應(yīng)理解的是，對靜態(tài)相機系統(tǒng)的參考，也可以應(yīng)用于第二視頻相機系統(tǒng)。
視頻相機系統(tǒng)處在與第二相機系統(tǒng)相反的外殼的側(cè)面，其被配置用于視頻成像，并且被進一步配置用于生成運動檢測輸出?？梢詫?yīng)用存儲在該設(shè)備的存儲器中，該應(yīng)用被配置用于處理該視頻相機系統(tǒng)的運動檢測輸出，以形成用于靜態(tài)相機系統(tǒng)的運動校正輸入。靜態(tài)相 機系統(tǒng)被配置用于靜態(tài)攝像成像，并且被配置用于處理運動校正輸入。
還公開了包括靜態(tài)相機系統(tǒng)和視頻相機系統(tǒng)的移動成像設(shè)備的方 法。 一種方法包括處理視頻相機系統(tǒng)的序列圖像數(shù)據(jù)，以生成運動檢 測輸出；處理該運動檢測輸出，以形成運動校正輸入；以及基于運動 校正輸入，由靜態(tài)相機系統(tǒng)處理靜態(tài)圖像校正。
提供了立即公開，以給與能力的方式，進一步解釋制造和使用根 據(jù)本發(fā)明的各種實施例的最佳模式。提供該公開進一步用于提高對本 發(fā)明原理和其優(yōu)勢的理解和評價，而不是以任何方式限制本發(fā)明。本 發(fā)明僅由所附的權(quán)利要求，包括對該申請的任何修改，以及如所發(fā)布 的那些權(quán)利要求的等效內(nèi)容來定義。
還應(yīng)理解的是，關(guān)系術(shù)語的使用，如果有，諸如第一和第二、頂 和底等僅用于將一個實體或動作與另一個實體或動作區(qū)別開，而并不 必要求或暗示在這種實體或動作之間的任何實際的這種關(guān)系或順序。 術(shù)語"包括"或其任何其他變形，旨在涵蓋非排他性內(nèi)含物，從而包 括一系列元件的過程、方法、物件、或裝置并不僅包括那些元件，而 是可以包括未明確列出的或這種過程、方法、物件、或裝置所固有的 其他元件。在沒有更多約束的情況下，以"包括…一"開始的元件并 不排除在包括該元件的過程、方法、物件、或裝置中存在另外的相同 元件。
最好利用或在軟件程序或指令和諸如專用IC的集成電路(IC)中 實施許多本發(fā)明的功能性以及許多本發(fā)明的原理。預(yù)期的是，本領(lǐng)域 的一個普通技術(shù)人員，盡管可能付出很大努力并且具有在由例如可用 時間、當(dāng)前技術(shù)以及經(jīng)濟考慮驅(qū)動下的許多設(shè)計選擇，當(dāng)在此處所公 開的概念和原理的指導(dǎo)下，將能夠以最少的實驗，生成這種軟件指令 和程序以及IC。因此，為了簡短以及使根據(jù)本發(fā)明的原理和概念被模糊的風(fēng)險最小化，對這種軟件和IC的進一步討論，如果有，將限于和 優(yōu)選實施例中的原理和概念相關(guān)的要點。
圖1描繪了具有前表面103和其上的視頻相機104的移動通信設(shè) 備102。簡單地轉(zhuǎn)到圖2，該圖描繪了具有靜態(tài)相機206的移動通信設(shè) 備202的外殼的后表面205。也示出了通常在移動通信設(shè)備背部的電池 座208。當(dāng)可以使用該設(shè)備時，視頻相機104可以對特定目標物拍攝特 寫或詳細圖像，具體地，用戶的面部。靜態(tài)相機206可以拍攝用戶視 野的圖像。
移動通信設(shè)備102可以被實施為蜂窩電話(也稱為移動電話)。 移動通信設(shè)備102代表多種設(shè)備，這些設(shè)備已經(jīng)被開發(fā)用于各種網(wǎng)絡(luò)。 這種手持通信設(shè)備包括，例如，蜂窩電話、消息收發(fā)設(shè)備、個人數(shù)字 助理(PAD)、并入通信調(diào)制解調(diào)器的筆記本或膝上型計算機、移動 數(shù)據(jù)終端、專用游戲設(shè)備、并入無線調(diào)制解調(diào)器的視頻游戲設(shè)備等。 任何這些便攜設(shè)備可以被稱為移動臺或用戶設(shè)備。此處，無線通信技 術(shù)可以包括，例如，語音通信、傳送數(shù)字數(shù)據(jù)的能力、SMS消息收發(fā)、 因特網(wǎng)接入、多媒體內(nèi)容訪問和/或因特網(wǎng)協(xié)議語音(VoIP)。
移動通信設(shè)備102的前表面103可以包括顯示器110、鍵盤112 和可以被視為鍵盤112的一部分的導(dǎo)航鍵集合114。該設(shè)備可以包括收 發(fā)器116、控制器或處理器117、存儲器118和模塊119。雖然被表示 為該設(shè)備的單一處理器117以及該設(shè)備的單一存儲器118，但是這二者 中的每一個在該設(shè)備中均可以具有多個。具體而言，視頻相機104和 靜態(tài)相機206 (參見圖2)可以具有其自己的相關(guān)聯(lián)的處理器和存儲器。
中央處理器117或相機處理器可以從模塊119接收指令，這些指 令可以存儲在該設(shè)備的任何存儲器中。模塊119可以包括跟蹤模塊130、 面部跟蹤模塊132、來自特征跟蹤模塊134的運動矢量、來自圖像數(shù)據(jù) 模塊136的運動矢量、全局運動矢量模塊138、運動輸出處理模塊140和圖像或圖像序列校正模塊144。這些模塊能夠執(zhí)行如此處所描述的方 法的某些過程。這些模塊可以在以諸如一個或多個預(yù)存儲的指令集合 的形式的軟件和/或硬件中實施，其可以有助于如在下文討論的移動臺 或電子設(shè)備的操作。這些模塊可以在工廠安裝，或者可以在分銷之后， 通過例如下載操作進行安裝。下文將更加詳細地討論根據(jù)這些模塊的 操作。
圖3描繪了移動通信設(shè)備302的側(cè)視圖，示出了被布置在其前表 面303上的視頻相機304和被布置在其后表面305上的靜態(tài)相機306。 視頻相機304和靜態(tài)相機306可以分別與前表面303和后表面305齊 平。它們從設(shè)備表面延伸是出于說明的目的。視頻相機304和靜態(tài)相 機306也可以分別相對于外殼的前表面303和后表面305被固定。類 似地，進一步描繪了前表面303，示出了顯示器310和鍵盤312。在一 個實施例中，視頻相機系統(tǒng)304是低分辨率視頻相機系統(tǒng)，并且靜態(tài) 相機系統(tǒng)306是高分辨率靜態(tài)相機系統(tǒng)。
圖4示出了在手持設(shè)備402的視頻相機404指向方向422上的用 戶420，以及在同一手持設(shè)備402的靜態(tài)相機指向方向428上的場景或 目標物426。來自視頻相機404的視頻流的運動矢量信息450能夠以多 種方式被發(fā)射到靜態(tài)相機406。例如，視頻相機404可以具有它自己的 處理器和存儲器，用來處理視頻相機系統(tǒng)404的運動檢測輸出，以形 成用于靜態(tài)相機系統(tǒng)406的運動校正輸入。在另一實施例中，手持設(shè) 備的中央處理器和存儲器可以處理視頻相機系統(tǒng)404的運動檢測輸出， 以形成用于靜態(tài)相機系統(tǒng)406的運動校正輸入。在又一實施例中，靜 態(tài)相機可以具有它自己的處理器和存儲器，用于處理視頻相機系統(tǒng)404 的運動檢測輸出，以形成用于靜態(tài)相機系統(tǒng)406的運動校正輸入。
相應(yīng)地，被配置用于視頻成像的視頻相機系統(tǒng)還可以被配置用于 生成運動檢測輸出，運動檢測輸出可以由存儲在存儲器中的應(yīng)用來處 理，該應(yīng)用被配置用于處理視頻相機系統(tǒng)的運動檢測輸出，以形成用于靜態(tài)相機系統(tǒng)的運動校正輸入。被配置用于靜態(tài)攝像成像的靜態(tài)相 機系統(tǒng)可以進一步被配置用于處理運動校正輸入。
在手持設(shè)備的處理器和存儲器的任何設(shè)置中，運動檢測和校正應(yīng) 用或算法可以被配置以使用視頻相機的視頻幀捕獲特征，來提供靜態(tài) 相機的運動校正。在一個實施例中，可以使用用戶的面部特征來檢測 手持設(shè)備的運動。視頻相機系統(tǒng)能夠生成圖像幀423，并且該視頻相機 系統(tǒng)的算法可以被配置用于估計幀之間的運動矢量，以及生成將在下 文詳細討論的全局運動矢量。然后，來自視頻相機的全局運動矢量可 以被算術(shù)地變換來表示在幀捕獲期間靜態(tài)相機的移動。通過確定全局 運動矢量，從而確定視頻相機的移動，可以將適當(dāng)?shù)倪\動補償算法應(yīng) 用于校正靜態(tài)相機的模糊。
手持設(shè)備的控制器可以被配置用于將從視頻相機系統(tǒng)的圖像幀
423生成的全局運動矢量，變換成靜態(tài)相機系統(tǒng)的運動矢量，以生成變 換的運動矢量(多個)425。手持設(shè)備的控制器被配置用于識別變換的 運動矢量425。手持設(shè)備的控制器能夠基于變換的運動矢量425處理運 動補償算法，以針對靜態(tài)相機406的模糊或運動進行校正。
如前面所描述的，可以將應(yīng)用配置成處理視頻相機系統(tǒng)404的運 動檢測輸出，以形成用于靜態(tài)相機系統(tǒng)406的運動校正輸入。當(dāng)捕獲 視頻時，自動圖像穩(wěn)定化能夠移除非期望的運動的影響(尤其是，與 人手移動相關(guān)聯(lián)的抖動)。在沒有例如三角架的機械穩(wěn)定化的情況下， 無法將手持相機保持在穩(wěn)定位置產(chǎn)生了兩種主要影響。首先，當(dāng)拍攝 高分辨率的靜態(tài)圖片時，圖像捕獲需要達幾秒鐘，并且手抖動導(dǎo)致模 糊的圖片。第二，當(dāng)捕獲視頻時，手抖動產(chǎn)生非期望的全局圖片移動。
非期望的圖像運動可以被表示為相對于該相機鏡頭主軸的旋轉(zhuǎn)和 /或平移。不自覺的手移動的頻率通常為2Hz左右。如下文詳細描述的， 當(dāng)一個移動物體在一個穩(wěn)定的背景前面時，可以針對視頻背景執(zhí)行穩(wěn)定化。通過評估該背景而非該圖像序列的全部圖像，可以將非有意的 運動作為穩(wěn)定化的目標，而有意的(即期望的)運動可以基本不受影 響。在另一實施例中，當(dāng)針對獲得接近完全對焦的圖像的中央部分執(zhí) 行穩(wěn)定化時，可以針對視頻前景執(zhí)行穩(wěn)定化。被配置用于處理視頻相 機系統(tǒng)的運動檢測輸出以形成用于靜態(tài)相機系統(tǒng)的運動校正輸入的應(yīng)
用的詳細描述，在2005年9月30日提交的題為SYSTEM AND METHOD FOR VIDEO STABILIZATION的美國專利申請序列號 No.11/241,666中作了描述，并且通過引用在此并入。
如上所述，為了確定全局運動矢量，用于評估和穩(wěn)定化處理的方 法和電路可以包括將背景與前景區(qū)別開來?？梢圆煌姆绞綄⒈尘昂?前景區(qū)別開，此處描述了多種方式。在至少一個實施例中，通過將幀 序列的幀的拐角區(qū)隔離開來，且然后形成對應(yīng)于拐角區(qū)的背景像素域， 可以確定背景。可以包括預(yù)定數(shù)目的背景像素域，諸如拐角區(qū)。
由視頻相機生成的圖像序列可以被穩(wěn)定使運動凍結(jié)。從幀的時間 序列可以形成圖像序列，每個幀具有一個區(qū)域。該圖像通常是二維像 素陣列。如上所述，幀的區(qū)域通常可以被分成前景區(qū)域部分和背景區(qū) 域部分。從幀的背景區(qū)域部分，選擇背景像素域用于評估。使用該背 景像素域來生成評估，用于隨后的穩(wěn)定化處理，在選擇幀的子序列的 相對應(yīng)的對之間，計算該評估。在一個實施例中，確定幀序列的幀的 拐角區(qū)，并且形成背景像素域以對應(yīng)于拐角區(qū)。
在幀的時間序列的背景像素域中的像素陣列之間的明顯位移，是 運動的指示。通過計算水平和垂直位移矢量，可以確定這種明顯位移。 通過考慮背景像素域而非整個區(qū)域的位移，可以提供低的計算復(fù)雜性。 在穩(wěn)定化中，背景像素域位移的計算結(jié)果于是可以被轉(zhuǎn)換成全局運動 矢量，以被作為整體應(yīng)用于幀序列的圖像?；诒尘霸u估應(yīng)用穩(wěn)定化 處理包括計算應(yīng)用于幀的全局運動矢量。計算全局運動矢量包括確定 垂直位移分量的中間范圍值的平均，以及水平位移分量的中間范圍值
13的平均。除了沿著三個軸的平移之外，全局運動矢量還可以包括沿著 三個軸的旋轉(zhuǎn)。相應(yīng)地，可以存在六個分量，即使如果面部特征跟蹤 不可用，可以優(yōu)選地估計視頻流的X和Y分量。
如上文所詳細描述的，全局運動矢量可以被定義為從一幀至另一 幀的二維(水平和垂直)位移或三維位移(包括Z軸)，其是通過考慮 子圖像，從背景像素域評估出來的。使用面部跟蹤，使用上面所述的 六個分量中的全部或一些，可以處理估計。此外，定義了一個誤差準 則，并且針對不同的運動矢量候選確定該準則的值。具有最低的準則 值的候選可以被選擇為子圖像的結(jié)果。最常用的準則是絕對差之和。 用于水平和垂直方向的運動矢量的選擇可以單獨計算，并且使用這些 分量可以定義全局二維或三維運動矢量。
例如，在為每個子圖像所選擇的候選中的中位水平值，以及在為 每個子圖像所選擇的候選中的中位垂直值，可以被選擇為該全局運動 矢量的兩個分量。這樣，通過將圖像分成子圖像、為子圖像計算運動 矢量、并且使用評估或決策過程從子圖像確定整個圖像全局運動，可 以計算全局運動。圖像序列的圖像可以相應(yīng)地被轉(zhuǎn)變，將外部邊界的 一部分或全部消除，以減少或消除該圖像序列的非有意的運動。通過
視頻相機404的處理器、中央處理器117 (參見圖1)或靜態(tài)相機406 的處理器的穩(wěn)定化處理，可以基于上述對由視頻相機404所捕獲的幀 序列中的幀的評估而被應(yīng)用。
依靠靜態(tài)相機相對于視頻相機的方位，可以計算幾何變換，以估 計對應(yīng)于已知的視頻相機移動的靜態(tài)相機的移動。然后，可以將該計 算的靜態(tài)相機運動矢量用于諸如去巻積的各種數(shù)學(xué)算法中，以針對運 動模糊進行校正。
圖5是說明了如上所述的方法500的一個實施例的流程圖。如此 處所描述的，運動檢測可以是基于面部特征跟蹤或全局估計。應(yīng)理解的是，其他運動檢測和校正過程也在本討論的范圍內(nèi)。無論如何，根
據(jù)序列圖像數(shù)據(jù)處理模塊130 (參見圖1)，發(fā)起530處理序列圖像數(shù)
據(jù)以生成運動檢測輸出。
處理由視頻相機對眼睛和/或鼻子和/或身體移動的跟蹤532。用戶 面部特征的移動可以由視頻相機系統(tǒng)404跟蹤(參見圖4)。根據(jù)面部 跟蹤模塊132 (參見圖1)，可以跟蹤諸如眼睛和/或鼻子的面部特征的 移動或頭部的移動或其他身體運動，以生成運動檢測輸出。為了處理 面部或身體移動，多個視頻幀和普通模型可以被用于構(gòu)造物體的四邊 形或矩形3D網(wǎng)格，跟蹤物體，諸如其圖像正由指向他或她的方向的視 頻相機捕獲的用戶。由標準視頻解碼器提供的實時運動矢量被用于估 計并跟蹤在該網(wǎng)格上的幾個定義的點。利用這一數(shù)據(jù)，實時跟蹤物體 的位置或表情，以確定其身體和面部的移動。
通過如上所述跟蹤人類特征533，可以確定能否估計運動矢量。 如果結(jié)果為肯定的，那么，根據(jù)從特征跟蹤生成運動矢量的模塊134 (參見圖l)，通過人類特征跟蹤534，可以估計運動矢量。如果結(jié)果 為否定的，那么，根據(jù)從序列圖像生成運動矢量的模塊136，可以在序 列圖像數(shù)據(jù)之間估計運動矢量536。根據(jù)全局運動矢量模塊138，可以 生成全局運動矢量538。
特征跟蹤運動矢量534或全局運動矢量538可以被變換成靜態(tài)相 機系統(tǒng)的運動矢量，以根據(jù)運動輸出處理模塊140，生成用于靜態(tài)圖像 校正的變換的運動矢量540。然后，靜態(tài)圖像校正可以包括由靜態(tài)相機 系統(tǒng)識別變換的運動542。根據(jù)圖像運動校正模塊144 (參見圖1)， 可以由靜態(tài)相機系統(tǒng)基于運動校正輸入來處理圖像校正544。
在包括視頻和靜態(tài)相機的手持設(shè)備中，視頻相機的運動校正應(yīng)用 可以被應(yīng)用于由靜態(tài)相機運動所引起的圖像模糊。上文描述了多個運 動校正應(yīng)用。應(yīng)理解的是，視頻相機的任何運動校正應(yīng)用可以被應(yīng)用于由靜態(tài)相機所引起的圖像模糊，包括具有硬件解決方案的那些。視 頻相機的運動校正的使用，可以改善靜態(tài)相機或第二視頻相機的運動 校正速度。相應(yīng)地，用于靜態(tài)相機的硬件可以從設(shè)備中消除。
本公開旨在解釋如何制造和使用根據(jù)本技術(shù)的各種實施例，而非 限制其真實的、預(yù)期的以及公平的范圍和精神。前面的描述并非旨在 是窮盡的或限于所公開的精確形式。根據(jù)上述的教導(dǎo)，各種修改和變 化是可能的。實施例(多個)被選擇和描述以提供對所描述的技術(shù)的 原理和其實際應(yīng)用的最佳闡釋，以及使本領(lǐng)域的一個普通技術(shù)人員能 夠以各種實施例以及利用適合于預(yù)期特定使用的各種修改，來使用本 技術(shù)。所有這種修改和變化在本發(fā)明的范圍內(nèi)，本發(fā)明的范圍由在本 專利申請未決期間可以被修改的附屬權(quán)利要求，以及當(dāng)根據(jù)附屬權(quán)利 要求的公平、合法、公正享有權(quán)力的范圍進行解釋時的附屬權(quán)利要求 的等效內(nèi)容來確定。
1權(quán)利要求
1. 一種具有存儲器、視頻相機系統(tǒng)和第二相機系統(tǒng)的移動成像設(shè)備，所述設(shè)備包括被配置用于視頻成像的所述視頻相機系統(tǒng)，所述視頻相機系統(tǒng)被配置用于生成運動檢測輸出；存儲在存儲器中的應(yīng)用，所述應(yīng)用被配置用于處理所述視頻相機系統(tǒng)的所述運動檢測輸出，以形成用于所述第二相機系統(tǒng)的運動校正輸入；以及被配置用于靜態(tài)攝像成像的靜態(tài)相機系統(tǒng)，所述第二相機系統(tǒng)被配置用于處理所述運動校正輸入。
2. 權(quán)利要求1所述的設(shè)備，其中，所述靜態(tài)相機被配置來應(yīng)用所 述應(yīng)用，以接收所述視頻相機系統(tǒng)的運動檢測輸出，并且生成運動校 正輸入。
3. 權(quán)利要求l所述的設(shè)備，進一步包括控制器，其被配置來應(yīng)用所述應(yīng)用，以接收所述視頻相機系統(tǒng)的 運動檢測輸出，并且生成運動校正輸入。
4. 權(quán)利要求l所述的設(shè)備，進一步包括 所述移動成像系統(tǒng)的外殼，該外殼包括至少兩個側(cè)面； 其中所述視頻相機系統(tǒng)被布置在所述兩個側(cè)面的第一側(cè)面上； 并且所述第二相機系統(tǒng)被布置在所述兩個側(cè)面的第二側(cè)面上。
5. 權(quán)利要求4所述的設(shè)備，其中，所述第一側(cè)面和所述第二側(cè)面 是相對的側(cè)面，面對相反的方向。
6. 權(quán)利要求4所述的設(shè)備，其中，將所述第一側(cè)面上的所述視頻 相機系統(tǒng)相對于所述第二側(cè)面上的所述第二相機系統(tǒng)固定。
7. 權(quán)利要求1所述的設(shè)備，其中，所述視頻相機系統(tǒng)是低分辨率視頻相機系統(tǒng)，并且所述靜態(tài)相機系統(tǒng)是高分辨率第二相機系統(tǒng)。
8. 權(quán)利要求1所述的設(shè)備，其中，所述視頻相機系統(tǒng)生成圖像幀，并且其中，所述視頻相機系統(tǒng)被配置用于在幀之間估計運動矢量，并 且生成全局運動矢量。
9. 權(quán)利要求8所述的設(shè)備，其中，所述控制器被配置用于將所述 視頻相機系統(tǒng)的所述全局運動矢量變換成所述靜態(tài)相機系統(tǒng)的運動矢 量，以生成變換的運動矢量。
10. 權(quán)利要求9所述的設(shè)備，其中，所述靜態(tài)相機系統(tǒng)被配置用 于識別變換的運動矢量。
11. 權(quán)利要求1所述的設(shè)備，其中，所述靜態(tài)相機系統(tǒng)處理運動 補償算法，以針對模糊進行校正。
12. 權(quán)利要求1所述的設(shè)備，其中，所述運動成像設(shè)備的用戶包 括面部特征，所述視頻相機系統(tǒng)被配置用于通過跟蹤所述面部特征的 移動來檢測運動，以生成運動檢測輸出。
13. 權(quán)利要求1所述的設(shè)備，其中，所述第二相機系統(tǒng)是靜態(tài)相 機或視頻相機。
14. 一種移動成像設(shè)備的方法，該移動成像設(shè)備包括視頻相機系 統(tǒng)和第二相機系統(tǒng)，所述方法包括處理所述視頻相機系統(tǒng)的所述序列圖像數(shù)據(jù)，以生成運動檢測輸出；處理所述運動檢測輸出以形成運動校正輸入；以及 基于所述運動校正輸入，處理用于所述第二相機系統(tǒng)的圖像校正。
15. 權(quán)利要求14所述的方法，其中，所述運動檢測輸出包括 在序列圖像數(shù)據(jù)之間估計運動矢量；以及生成全局運動矢量。
16. 權(quán)利要求15所述的方法，其中，處理所述運動檢測輸出以形 成運動校正輸入包括由所述控制器將所述全局運動矢量變換成所述第二相機系統(tǒng)的運 動矢量，以生成變換的運動矢量。
17. 權(quán)利要求14所述的方法，其中，處理靜態(tài)圖像校正包括 由所述第二相機系統(tǒng)識別變換的運動矢量。
18. 權(quán)利要求14所述的方法，其中，所述移動成像設(shè)備的用戶包括面部特征，所述方法包括由所述視頻相機系統(tǒng)跟蹤所述面部特征的移動，來生成運動檢測輸出。
19. 權(quán)利要求14所述的方法，其中，所述移動成像系統(tǒng)的外殼包括第一側(cè)面和第二側(cè)面，所述方法進一步包括將所述視頻相機系統(tǒng)布置在所述第一側(cè)面上，以指向第一方向；以及將所述第二相機系統(tǒng)布置在所述第二側(cè)面上，以指向第二方向。
20. 權(quán)利要求14所述的方法，其中，所述第二相機系統(tǒng)是靜態(tài)相 機或視頻相機。
21. —種具有視頻相機系統(tǒng)和第二相機系統(tǒng)的移動成像設(shè)備，所 述設(shè)備包括運動檢測模塊，其被配置用于基于在所述視頻相機系統(tǒng)運動時所 捕獲的視頻序列，生成運動檢測輸出；以及運動校正模塊，其被配置用于接收所述運動檢測輸出，并且形成 用于所述第二相機系統(tǒng)的運動校正輸入。
22. 權(quán)利要求21所述的設(shè)備，其中所述運動檢測輸出基于從由所述視頻相機系統(tǒng)捕獲的序列圖像幀生成的全局運動矢量的公式； 以及所述運動校正輸入基于以所述全局運動矢量為基礎(chǔ)的變換的運動 矢量的公式。
23. 權(quán)利要求21所述的設(shè)備，其中，所述移動成像設(shè)備的用戶包 括面部特征，所述設(shè)備進一步包括；所述視頻相機系統(tǒng)的面部特征跟蹤模塊，跟蹤所述面部特征的移 動以生成運動檢測輸出。
24. 權(quán)利要求21所述的設(shè)備，其中，所述第二相機系統(tǒng)是靜態(tài)相 機或視頻相機。
全文摘要
公開了包括移動成像設(shè)備的設(shè)備，該移動成像設(shè)備具有存儲器、視頻相機系統(tǒng)以及靜態(tài)相機系統(tǒng)。視頻相機系統(tǒng)可以被配置用于視頻成像，并且被配置用于生成運動檢測輸出。應(yīng)用可以被存儲在該設(shè)備的存儲器中，并且被配置用于處理視頻相機系統(tǒng)的運動檢測輸出，以形成用于靜態(tài)相機系統(tǒng)的運動校正輸入。該靜態(tài)相機系統(tǒng)被配置用于靜態(tài)攝像成像，并且被配置用于處理運動校正輸入。還公開了包括靜態(tài)相機系統(tǒng)和視頻相機系統(tǒng)的移動成像設(shè)備的方法。一種方法包括處理視頻相機系統(tǒng)的序列圖像數(shù)據(jù)，以生成運動檢測輸出；處理該運動檢測輸出，以形成運動校正輸入；以及基于該運動校正輸入，由靜態(tài)相機系統(tǒng)處理靜態(tài)圖像校正。
文檔編號H04N5/76GK101485199SQ200780024926
公開日2009年7月15日 申請日期2007年3月22日 優(yōu)先權(quán)日2006年6月30日
發(fā)明者喬治·C·約翰, 多依娜·I·彼得雷斯庫 申請人:摩托羅拉公司