專利名稱：具有透視失真校正的臉部姿勢改進的制作方法
技術(shù)領(lǐng)域：
本申請涉及對圖像捕獲設(shè)備相對于對象的定位和方向進行改進，以及對所捕獲圖 像的失真進行校正，所述設(shè)備例如移動處理裝置中所包括的攝像機。
背景技術(shù)：
視頻會議(或者視頻電話會議)系統(tǒng)的發(fā)展允許用戶在兩個或者多個分離的地點 進行面對面的討論。通過將參與者的視頻圖像包含進來，視頻會議可以顯著提高會議交流 的效率。例如，也能夠交換非口頭信息并呈現(xiàn)實體物品。從而，視頻會議系統(tǒng)已被用于很多 目的，包括遠(yuǎn)程學(xué)習(xí)、遠(yuǎn)程醫(yī)療和遠(yuǎn)程協(xié)作。早期的視頻會議系統(tǒng)需要專門的通信電路，以使實時傳輸視頻數(shù)據(jù)以能提供可接 受的圖像質(zhì)量的足夠傳輸速率傳輸。進一步，專用編碼/解碼器(CODEC)系統(tǒng)被用來執(zhí)行 音頻和視頻的處理，并且經(jīng)常包括多個監(jiān)視器以支持多點會議。因此，早期的視頻會議系統(tǒng) 需要專門的系統(tǒng)實現(xiàn)并且只能在固定地點舉行。最近，網(wǎng)絡(luò)通信的改進使得能夠發(fā)展使用 通用計算平臺的視頻會議系統(tǒng)。也開發(fā)了改進的視頻壓縮算法以降低視頻會議應(yīng)用所需要 的帶寬。很多因素都能影響視頻會議系統(tǒng)感覺的質(zhì)量。例如，如果幀速度過低，則接收裝置 處的視頻呈現(xiàn)會含有頻閃(strobe)效果。進一步，在攝像機相對于對象(subject)的一些 方向上，接收到的圖像會含有明顯的失真。捕獲圖像的角度和呈現(xiàn)圖像的角度中的一者或 者兩者可以影響透視失真的水平。透視失真可以由于圖像是以正常范圍以外的焦距捕獲而 產(chǎn)生，并且在所捕獲的圖像中被感受為一個或多個對象可見的變形。由于透視失真，對象或 者其一部分相對于其他的對象或?qū)ο蟛糠挚赡茱@得比正常情況更大。隨著觀察角度的增大 以及攝像機與對象之間距離的減小，透視失真可能變得更加顯著。

發(fā)明內(nèi)容
攝像機(例如與視頻會議應(yīng)用相關(guān)聯(lián)的攝像機)所捕獲的圖像中的失真可以至 少被部分地被校正。例如，可以用變形算法來校正或者補償捕獲過程中引入圖像的至少一 部分失真，該失真例如是由攝像機與對象之間的接近度和/或由目標(biāo)相對于攝像機的角度 所引起的。通過對受到失真影響的圖像應(yīng)用變形技術(shù)，圖像可以被改變?yōu)樘峁┻@樣的外觀 即，攝像機的方向被定位成與對象更加直接地對準(zhǔn)。本發(fā)明人意識到需要根據(jù)圖像捕獲裝置的實際方向或者估計方向來應(yīng)用變形技 術(shù)，以校正被捕獲的圖像中的失真。本發(fā)明人還意識到，需要基于一個或多個傳感器(例如 加速計和陀螺儀中的一個或者兩個)的輸出來確定圖像捕獲裝置的方向。進一步，還意識 到需要向用戶提供反饋，該反饋表明正在被捕獲的圖像以及正在向被捕獲的圖像所應(yīng)用的 校正。進一步，本發(fā)明人意識到需要基于臉部模型執(zhí)行失真校正，例如二維Q-D)或者 三維(3-D)模型。失真校正所基于的模型臉部還可以是對象的代表，或者可以是與其他個體相對應(yīng)的臉部。還意識到需要根據(jù)面部檢測信息(包括由用戶提供的面部位置信息)來 執(zhí)行失真校正。例如，用戶可以通過各種輸入接口(包括觸摸屏接口)提供面部的位置信 息(如面部的中間點)。本發(fā)明人還意識到需要向整個被捕獲的圖像或者僅僅對于面部區(qū) 域應(yīng)用變形技術(shù)。例如，變形技術(shù)可以以圖像中包括的面部區(qū)域為中心，或者僅僅應(yīng)用到面 部區(qū)域。另外，本發(fā)明人意識到需要基于預(yù)定的圖像(例如在視頻會議之前獲取的原始圖 像，或者代表了用戶想要的外觀的理想圖像)來對失真校正進行校準(zhǔn)。還意識到需要提供 至少最低水平的校正來消除失真程度并增強被捕獲的圖像的外觀。最低水平的校正可以基 于預(yù)先確定的最小傾斜程度。還意識到了需要記錄位置歷史并根據(jù)位置歷史來執(zhí)行失真校 正。因而，此處描述的技術(shù)和儀器實現(xiàn)的算法用于校正與被捕獲的圖像相關(guān)聯(lián)的失真(例 如透視失真)的至少一部分，所述圖像包括與視頻會議系統(tǒng)或應(yīng)用相結(jié)合使用的圖像。大體上，在一個方面，可以實現(xiàn)這些技術(shù)，包括接收被捕獲的圖像，確定用于產(chǎn)生 被捕獲的圖像的攝像機的方向，基于所確定的攝像機的方向來計算變形參數(shù)，并基于所計 算的變形參數(shù)而對被捕獲的圖像應(yīng)用一個或多個變形技術(shù)以產(chǎn)生經(jīng)過失真校正的圖像。也可以實現(xiàn)這些技術(shù)，使得對方向的確定進一步包括根據(jù)默認(rèn)方向值來確定的攝 像機的方向。另外，也可以實現(xiàn)這些技術(shù)，使得對方向的確定進一步包括基于傳感器數(shù)據(jù)來 確定攝像機的方向。還可以實現(xiàn)這些技術(shù)，包括接收輸入，該輸入標(biāo)識了被捕獲的圖像中的 臉部位置。另外，可以實現(xiàn)這些技術(shù)，包括根據(jù)所標(biāo)識的臉部位置來對被捕獲的圖像應(yīng)用一 個或多個變形技術(shù)。進一步，可以實現(xiàn)這些技術(shù)，使得對標(biāo)識了臉部位置的輸入進行的接收 還包括從用戶接收限定了與臉部位置相對應(yīng)的邊界的輸入。大體上，在另一個方面，這些技術(shù)可以以編碼于計算機可讀介質(zhì)上的計算機程序 產(chǎn)品的形式實現(xiàn)，該程序可操作以使數(shù)據(jù)處理設(shè)備執(zhí)行包括下述內(nèi)容的操作從攝像機接 收描述臉部的被捕獲的圖像，其中被捕獲的圖像由攝像機產(chǎn)生；分析傳感器數(shù)據(jù)的條目以 確定攝像機的方向；基于所確定的攝像機方向計算一個或多個變形參數(shù)；基于所計算出的 一個或多個變形參數(shù)，對至少一部分被捕獲的圖像進行變形以產(chǎn)生經(jīng)過失真校正的圖像。也可以實現(xiàn)這些技術(shù)以包括從與攝像機相關(guān)聯(lián)的陀螺儀、加速計、另外的位置或 者運動傳感器、或者它們的任意組合來接收傳感器數(shù)據(jù)信息。還可以實現(xiàn)這些技術(shù)，以使 數(shù)據(jù)處理設(shè)備執(zhí)行包括接收從加速器傳送的傳感器數(shù)據(jù)的操作。還可以實現(xiàn)這些技術(shù)，使 得攝像機的方向包括相對于豎直面、水平面或者其他基準(zhǔn)面的傾斜角度。還可以實現(xiàn)這些 技術(shù)，使數(shù)據(jù)處理設(shè)備執(zhí)行包括從臉部探測算法接收標(biāo)識了被描述的臉部位置的輸入的操 作。另外，還可以實現(xiàn)這些技術(shù)，使數(shù)據(jù)處理設(shè)備執(zhí)行包括根據(jù)被描述的臉部被標(biāo)識的位置 而至少部分地對被捕獲的圖像進行變形的操作。大體上，在另一個方面，可以實現(xiàn)該主題以包括為捕獲視頻圖像而配置的攝像 機、位置傳感器、與攝像機和位置傳感器耦合的計算系統(tǒng)，該計算系統(tǒng)包括一個或多個被配 置來執(zhí)行操作的處理器，這些操作包括從攝像機接收被捕獲的視頻圖像，從位置傳感器接 收傳感器數(shù)據(jù)，分析所接收的傳感器數(shù)據(jù)以確定攝像機的方向，基于所確定的攝像機方向 計算變形參數(shù)，并且基于所計算的變形參數(shù)對被捕獲的視頻圖像應(yīng)用一個或多個變形技術(shù) 以產(chǎn)生經(jīng)過失真校正的圖像。也可以實現(xiàn)這些技術(shù)，使得這一個或多個處理器電子裝置被進一步配置以執(zhí)行包括實時地產(chǎn)生經(jīng)過失真校正的圖像的操作。還可以實現(xiàn)這些技術(shù)，使得位置傳感器包括陀 螺儀、加速計、全球定位系統(tǒng)(GPQ處理器、蜂窩式三角測量處理器、另外的運動或者位置 傳感器、或者它們的任意組合。另外，還可以實現(xiàn)這些技術(shù)，使得計算系統(tǒng)進一步包括被配 置來接收來自用戶的觸摸輸入的觸摸屏顯示器。還可以實現(xiàn)這些技術(shù)，使得這一個或多個處理器被進一步配置成執(zhí)行包括下述內(nèi) 容的操作通過觸摸屏顯示器從用戶接收輸入，該輸入標(biāo)識了在被捕獲的視頻圖像中描述 的臉部上的一個或多個位置。另外，還可以實現(xiàn)這些技術(shù)，使得這一個或多個處理器被進一 步配置成執(zhí)行包括下述內(nèi)容的操作根據(jù)所標(biāo)識的一個或多個臉部位置，對被捕獲的視頻 圖像應(yīng)用一個或多個變形技術(shù)。另外，還可以實現(xiàn)這些技術(shù)，使得可以由用戶手工地配置與 位置傳感器相關(guān)聯(lián)的一個或多個傳感器數(shù)據(jù)偏移，以允許用戶將位置傳感器調(diào)整到不同的 位置。大體上，在另一個方面，可以實現(xiàn)這些技術(shù)，以包括接收被捕獲的圖像，識別與捕 獲圖像有關(guān)的一個或多個配準(zhǔn)點，基于所識別的一個或多個配準(zhǔn)點來比較被捕獲的圖像和 基準(zhǔn)圖像，響應(yīng)于比較而確定一個或多個變形參數(shù)，并基于所確定的一個或多個變形參數(shù) 對被捕獲的圖像應(yīng)用一個或多個變形技術(shù)以產(chǎn)生經(jīng)失真校正的圖像。大體上，在另一個方面，可以以編碼于計算機可讀介質(zhì)上的計算機程序產(chǎn)品的形 式實現(xiàn)這些技術(shù)，該產(chǎn)品可操作以使數(shù)據(jù)處理設(shè)備執(zhí)行包括下述內(nèi)容的操作接收描述了 臉部的被捕獲圖像，識別與被捕獲的圖像相關(guān)聯(lián)的一個或多個配準(zhǔn)點，基于所識別的一個 或多個配準(zhǔn)點而比較被捕獲的圖像和基準(zhǔn)圖像，根據(jù)比較而確定一個或多個變形參數(shù)，并 基于所確定的一個或多個變形參數(shù)對被捕獲的圖像應(yīng)用一個或多個變形技術(shù)以產(chǎn)生經(jīng)過 失真校正的圖像。可以實現(xiàn)本說明書描述的技術(shù)以實現(xiàn)下述優(yōu)點中的一個或多個。例如，可以實現(xiàn) 這些技術(shù)，使得被捕獲的圖像的失真可以至少部分地被校正或者補償，以在美學(xué)上改善視 頻會議參與者的外觀。受到校正或者補償?shù)氖д婵梢园ㄓ捎糜诓东@圖像的攝像機相對于 對象(例如臉部)的方向所引起的失真。進一步，可以實現(xiàn)這些技術(shù)，使得通過應(yīng)用變形技 術(shù)而產(chǎn)生的經(jīng)過校正的圖像提供這樣的外觀即，攝像機與對象更恰當(dāng)?shù)貙?zhǔn)。也可以實現(xiàn) 這些技術(shù)，以基于從一個或多個所包含的傳感器接收的位置的數(shù)據(jù)來確定圖像捕獲裝置的 實際方向。進一步，可以實現(xiàn)這些技術(shù)，以允許在視頻會議期間及時地在不同的位置確定和 分析圖像捕獲裝置的方向。因此，可以基于使用數(shù)據(jù)來確定優(yōu)選方向。進一步，所應(yīng)用的校 正的程度可以基于當(dāng)前的定位與優(yōu)選定位之間的差來確定。也可以實現(xiàn)這些技術(shù)以允許確 定何時傳感器數(shù)據(jù)很可能是不準(zhǔn)確的并且允許在這些時候使用默認(rèn)方向取代傳感器數(shù)據(jù)。 另外，還可以實現(xiàn)這些技術(shù)以允許用戶選擇優(yōu)選模型用于執(zhí)行變形校正。例如，用戶可以選 擇代表了其理想的面部描述的圖像(包括其他人的圖像)作為優(yōu)選模型?？蛇x擇的，可以 使用校準(zhǔn)圖像來執(zhí)行變形校正。校準(zhǔn)圖像可以由用戶選擇或者自動確定。另外，可以實現(xiàn)這些技術(shù)以允許對整個圖像或者圖像的被選擇部分校正失真。例 如，面部檢測處理或者用戶輸入可以用來確定失真校正處理中使用的面部區(qū)域。可以應(yīng)用 失真校正使之相對于面部區(qū)域處于中心。可選擇的，失真校正可以局限于面部區(qū)域。進一 步，還可以實現(xiàn)這些技術(shù)以允許用戶提供定義了面部區(qū)域的信息(例如通過對觸摸屏的輸入)。一個或者更多的實施例細(xì)節(jié)通過下述的附圖和說明書被列出。其他特征和優(yōu)點將 從說明書、附圖和權(quán)利要求中示出。


圖1示出示例性的計算環(huán)境，包括被配置來執(zhí)行視頻會議的計算裝置。圖2和圖3示出示例性的圖像捕獲應(yīng)用中呈現(xiàn)的被捕獲的圖像。圖4示出使用固定方向參數(shù)的示例性失真校正處理的流程圖。圖5示出使用根據(jù)傳感器數(shù)據(jù)而確定的方向參數(shù)的示例性失真校正過程的流程 圖。圖6示出示例性的被捕獲圖像，該圖像包括臉部位置信息的標(biāo)識。圖7示出描述用于產(chǎn)生裝置方向歷史的示例性過程的流程圖。圖8示出了使用基準(zhǔn)圖像的示例性失真校正過程的流程圖。圖9A和圖9B圖示了由于攝像機和捕獲的圖像的對象之間的角度引起的透視失真 的例子。圖10是示例性移動計算裝置的體系結(jié)構(gòu)框圖。在整個說明書和附圖中，相同的標(biāo)號表示相同的部分。
具體實施例方式計算裝置可以被配置以執(zhí)行視頻會議功能，例如在視頻會議應(yīng)用的情況下。計算 裝置還可以被配置以執(zhí)行一個或多個失真校正操作，以降低或者消除與計算裝置連接的攝 像機所捕獲的圖像中包括的失真。例如，可以在產(chǎn)生視頻會議會話中所能傳輸?shù)慕?jīng)過失真 校正的圖像之前，實時地或者接近實時地執(zhí)行失真校正操作。失真校正操作可以包括對所 捕獲的圖像應(yīng)用一個或多個變形(warp)技術(shù)。變形技術(shù)可以作為一個或多個算法來實現(xiàn)， 通過這些算法，將失真的圖像能夠被調(diào)整或者變形，以產(chǎn)生經(jīng)過失真校正的圖像。變形技術(shù) 可以被配置以通過根據(jù)一組中的一個或多個變形參數(shù)來調(diào)整扭曲的圖像。這組一個或多個 變形參數(shù)可以在數(shù)學(xué)上代表從捕獲目標(biāo)的投影到圖像投影的變換(或者轉(zhuǎn)化)。進一步，一 個或多個變形參數(shù)的一個組可以定義以針對一個、兩個或者三個維度來對圖像進行變換。圖1示出了一個示例性的計算環(huán)境，其包括計算裝置，這些計算裝置被配置來執(zhí) 行和/或便于視頻會議。計算環(huán)境100可以是異構(gòu)的(heterogeneous)分布式計算環(huán)境， 包括分開的計算系統(tǒng)，例如移動計算裝置(例如，移動電話105和膝上電腦115)、桌上型電 腦125和服務(wù)器120，這些系統(tǒng)可以以任意距離分開。包括在計算環(huán)境100中的計算系統(tǒng) 可以被配置以通過網(wǎng)絡(luò)110雙向通信。網(wǎng)絡(luò)110可以是任意類型的通信網(wǎng)絡(luò)，包括局域網(wǎng) (“LAN”，例如內(nèi)部互聯(lián)網(wǎng))、廣域網(wǎng)(“WAN”，例如因特網(wǎng))或者局域網(wǎng)與廣域網(wǎng)的結(jié)合。網(wǎng) 絡(luò)110還可以包括公共網(wǎng)絡(luò)部分和私有網(wǎng)絡(luò)部分中的一者或者兩者，其可以用與一個或多 個服務(wù)提供商相關(guān)聯(lián)的任意數(shù)目的有線通信路徑和/或無線通信路徑來實現(xiàn)。同樣的，可 以通過任意結(jié)構(gòu)訪問網(wǎng)絡(luò)110，包括移動數(shù)據(jù)網(wǎng)絡(luò)結(jié)構(gòu)(例如基于3G/4G標(biāo)準(zhǔn))、無線數(shù)據(jù) 網(wǎng)絡(luò)接入點(例如基于IEEE 802. 11標(biāo)準(zhǔn))和有線網(wǎng)絡(luò)連接。另外，網(wǎng)絡(luò)110可以被配置 以支持傳輸消息，所述消息的格式使用多種協(xié)議中的任意一種。
移動計算設(shè)備105可以是被配置以訪問數(shù)據(jù)網(wǎng)絡(luò)的任意類型移動通信設(shè)備，包括 智能手機、個人數(shù)字助理(PDA)、掌上型計算裝置、平板計算裝置、膝上型電腦等。一個實施 例中，移動計算設(shè)備105可以是iWione，由加利福尼亞庫珀蒂諾的蘋果公司制造。移動計 算設(shè)備105還可以包括一個或多個網(wǎng)絡(luò)接口以訪問數(shù)據(jù)網(wǎng)絡(luò)，例如網(wǎng)絡(luò)110。例如，移動計 算設(shè)備105可以包括移動數(shù)據(jù)網(wǎng)絡(luò)接口(例如3G接口，用于通過電信網(wǎng)絡(luò)來通信)和無線 數(shù)據(jù)網(wǎng)絡(luò)接口(用于異無線方式訪問數(shù)據(jù)網(wǎng)絡(luò)，例如通過Wi-Fi接入點)中的一者或兩者。 另外，移動計算設(shè)備105可以包括一個或多個處理器、存儲器以及總線，它們被配置以執(zhí)行 應(yīng)用，包括一個或多個視頻會議(或者視頻聊天)應(yīng)用。適于捕獲視頻(例如以視頻圖形陣列(VGA)分辨率和每秒30幀的速率)的攝像機 也可以與移動計算設(shè)備105相關(guān)聯(lián)。在一些實施例中，攝像機可以被配置成除視頻之外還 捕獲單獨的靜態(tài)圖像。攝像機可以嵌入在移動計算設(shè)備105中，或者可以作為能夠連接于 (例如通過有線的或者無線的連接)移動計算設(shè)備105的外部設(shè)備。移動計算設(shè)備105還可 以包括顯示器，顯示器被配置為顯示用戶接口和應(yīng)用數(shù)據(jù)，包括與所捕獲的視頻相對應(yīng)的 一個或多個圖像。顯示器可以是適合移動設(shè)備中使用的任意類型，包括液晶顯示器(LCD)、 有機發(fā)光二極管(OLED)顯示器、發(fā)光聚合物(LEP)顯示器和有機電致發(fā)光(OEL)顯示器。 在一些實施例中，顯示器也可以以觸摸屏方式實現(xiàn)，被配置以從用戶接收觸摸輸入(包括 手勢(gesture))。攝像機和顯示器可以方向同時面向用戶。另外，移動計算設(shè)備105可以 包括一個或多個位置傳感器，例如陀螺儀、加速計、GPS處理器和/或蜂窩式三角測量處理
ο在一些實施例中，移動計算設(shè)備105(例如智能手機)可以被配置成與耳機 (headset) 107通信，該耳機包括一個或多個嵌入式位置傳感器，例如加速計或者陀螺儀。耳 機107可以被配置以通過無線通信鏈路(例如射頻鏈路)向移動計算設(shè)備105輸出傳感器 數(shù)據(jù)。傳感器數(shù)據(jù)可以用來確定用戶頭部相對于移動計算設(shè)備105的方向。因此，傳感器 數(shù)據(jù)和/或所確定的用戶頭部的方向可以用來產(chǎn)生或細(xì)調(diào)一個或多個變形參數(shù)。用戶還可 以被指示將耳機107佩戴在特定的位置，使得由耳機107產(chǎn)生的傳感器數(shù)據(jù)一致地代表用 戶頭部的方向和位置改變。另外地或者替代地，與耳機107相關(guān)聯(lián)的一個或多個傳感器數(shù) 據(jù)偏移(offset)可以被手工地設(shè)定，使得用戶可以將耳機佩戴在其他的位置。移動計算設(shè)備115也可以包括一個或多個網(wǎng)絡(luò)接口，用于訪問數(shù)據(jù)網(wǎng)絡(luò)，例如網(wǎng) 絡(luò)110。例如，移動計算設(shè)備115可以包括無線數(shù)據(jù)網(wǎng)絡(luò)接口，用于以無線方式訪問數(shù)據(jù)網(wǎng) 絡(luò)(例如通過Wi-Fi接入點)，以及有線數(shù)據(jù)網(wǎng)絡(luò)接口(例如以太網(wǎng)端口)。在一些實施例 中，移動計算設(shè)備115還可以包括移動數(shù)據(jù)網(wǎng)絡(luò)接口(例如3G接口)，用于通過無線的電信 網(wǎng)絡(luò)進行通信。移動計算設(shè)備115還可以包括適于捕獲視頻的攝像機(未示出)，例如以 VGA分辨率和每秒30幀的速率來捕獲。在一些實施例中，攝像機可以被配置成除了捕獲視 頻之外還捕獲單獨的靜態(tài)圖像。攝像機可以與移動計算設(shè)備115集成為一體，或者作為外 部設(shè)備而與移動計算設(shè)備115耦合，例如通過通用串行總線(USB)連接器。移動計算設(shè)備115還被配置以在顯示裝置上顯示用戶接口和應(yīng)用數(shù)據(jù)，該數(shù)據(jù)包 括與所捕獲的視頻相對應(yīng)的一個或多個圖像。顯示器可以是任意類型的，包括IXD、0LED、 LEP和OEL顯示器。在一些實施例中，顯示器也可以以觸摸屏方式來實現(xiàn)，被配置以從用戶 接收觸摸輸入(包括手勢)。移動計算設(shè)備115還可以包括一個或多個位置傳感器，例如陀螺儀、加速計、GPS處理器和/或蜂窩式三角測量處理器。移動計算設(shè)備115還可以包括一 個或多個處理器、存儲器和總線，它們被配置以執(zhí)行應(yīng)用，包括一個或多個視頻會議應(yīng)用。 因此，移動計算設(shè)備115可以通過遠(yuǎn)程計算設(shè)備(例如移動計算設(shè)備10 參與視頻會議會 話。在一些實施例中，移動計算設(shè)備115(例如膝上型電腦)可以由包括相同或者相似特性 和功能的其他計算設(shè)備替代，該設(shè)備包括桌上型電腦、工作站、迷你電腦、微型電腦、移動電 話、平板計算設(shè)備和專用計算設(shè)備。另外，服務(wù)器120可以被配置以便于視頻會議，例如通過用初始連接來對參與的 系統(tǒng)(例如移動計算設(shè)備105和115)提供幫助。服務(wù)器120可以提供目錄、認(rèn)證和帳單服 務(wù)，并可以使用多種協(xié)議通信。在一些實施例中，計算環(huán)境100可以包括一個或多個額外的 計算設(shè)備，它們被配置以執(zhí)行和參與視頻會議，包括桌上型電腦、工作站、迷你電腦、微型電 腦、平板計算設(shè)備、專用計算設(shè)備以及另外的移動計算設(shè)備。圖2示出圖像捕獲應(yīng)用中捕獲的示例性圖像。由操作系統(tǒng)產(chǎn)生的用戶接口 200可 以在計算設(shè)備(例如移動計算設(shè)備105和1巧)的顯示器上顯示。用戶接口 200被可以配 置成呈現(xiàn)與在操作系統(tǒng)框架內(nèi)執(zhí)行的一個或多個應(yīng)用相對應(yīng)的圖形信息。例如，與視頻會 議應(yīng)用相關(guān)聯(lián)的視頻會議窗口 205可以被顯示在用戶接口 205中。在一些實施例中，視頻會議窗口 205可以被配置以顯示與視頻數(shù)據(jù)對應(yīng)的一個或 多個預(yù)覽圖像210，所述視頻數(shù)據(jù)是由執(zhí)行該視頻會議應(yīng)用的計算系統(tǒng)捕獲的。這一個或多 個預(yù)覽圖像210可以描述未校正的視頻圖像，該圖像顯示出由與該視頻會議應(yīng)用相關(guān)聯(lián)的 攝像機正在捕獲的圖像數(shù)據(jù)的對象(例如用戶的臉部)。在一些實施例中，這一個或多個預(yù) 覽圖像210可以作為視頻數(shù)據(jù)來呈現(xiàn)，該數(shù)據(jù)代表了正在或者將要傳送到一個或多個視頻 會議參與者的代表性的那些圖像。在其他實施例中，這一個或多個預(yù)覽圖像210可以作為 一個或多個靜態(tài)圖像而顯示，所述靜態(tài)圖像例如被以比視頻圖像低的頻率刷新或者可以手 動地前進。這一個或多個預(yù)覽圖像210可以允許用戶對攝像機正在捕獲的圖像的特征進行 評估，這些特征包括攝像機相對于對象的(一個或多個)角度以及攝像機離對象(例如，目 標(biāo)的臉部)的距離。在這一個或多個預(yù)覽圖像210中可以對攝像機捕獲的圖像中的失真進行檢測。例 如，攝像機可以位于對象的臉部215的下方并且方向成向上傾斜。因此，透視失真可能引起 目標(biāo)的臉部215的下部220看起來更寬。目標(biāo)的臉部215的上部225也可能發(fā)生失真從而 看起來更窄。進一步，其他失真和光學(xué)像差也可以被檢測，包括在基準(zhǔn)平面(例如水平面) 中由攝像機與目標(biāo)的臉部215之間的相對角度引起的失真。基于這一個或多個預(yù)覽圖像 210，攝像機與目標(biāo)的臉部之間的方向可以被調(diào)整。圖3示出圖像捕獲應(yīng)用中呈現(xiàn)的另一個示例性的被捕獲的圖像。用戶接口 200中 的視頻會議窗口 205也可以被配置以顯示一個或多個經(jīng)過失真校正的圖像310，這些圖像 對應(yīng)于下述被捕獲的圖像所述圖像已受到處理以至少部分地校正或者補償失真。失真可 以由例如攝像機相對于對象的方向以及攝像機的焦距等因素引起。這一個或多個經(jīng)過失真 校正的圖像310可以通過對被捕獲的圖像應(yīng)用變形技術(shù)而產(chǎn)生。此外，所應(yīng)用的變形技術(shù) 和校正程度可以根據(jù)一個或多個因素確定，包括所確定的攝像機的方向以及攝像機與對象 之間的距離。如這一個或多個經(jīng)過失真校正的圖像310中所描述的那樣，目標(biāo)的臉315的尺度可以與實際尺度更一致。例如，可以應(yīng)用變形技術(shù)以使得目標(biāo)的臉315的下部320變窄。還 可以應(yīng)用變形技術(shù)以使得目標(biāo)的臉的上部325變寬。這一個或多個失真校正圖像310可以 實時地或者接近實時地產(chǎn)生。另外，這一個或多個失真校正圖像310可以在發(fā)起視頻會議 會話之前和/或在視頻會議會話期間顯示。在一些實施例中，視頻會議窗口 205可以被配置為包括預(yù)覽窗口 330，該窗口中可 以呈現(xiàn)這一個或多個經(jīng)過失真校正的圖像310。預(yù)覽窗口 330可以被持續(xù)顯示，使得這一個 或多個經(jīng)過失真校正的圖像310可以在整個視頻會議會話中顯示?？蛇x擇地，預(yù)覽窗口 330 也可以在視頻會議期間(例如響應(yīng)于用戶的輸入)被開啟/關(guān)閉。預(yù)覽窗口 330還可以響 應(yīng)于用戶輸入或者自動地(例如，響應(yīng)于對臉部在視頻會議窗口 205中的位置的確定)被 重新定位到會議窗口 205的任何部分。在一些其他實施例中，視頻會議窗口 205和預(yù)覽窗 口 330的內(nèi)容可以被選擇，例如響應(yīng)于用戶的輸入。因此，這一個或多個失真校正圖像310 可以選擇性地顯示在視頻會議窗口 205或者預(yù)覽窗口 330中。另外，在一些實施例中，可以給圖像捕獲裝置確定優(yōu)選的方向。例如，優(yōu)選的方向 可以由用戶指定，例如，在視頻會議會話之前或者期間。優(yōu)選的方向也可以被自動地確定， 例如，基于針對用戶的已知使用模式。例如，對于特定的用戶，可以對設(shè)備方向歷史進行分 析，以確定圖像捕獲裝置的優(yōu)選方向。在視頻會議會話期間，實際的圖像捕獲裝置方向可以 被與優(yōu)選的圖像捕獲裝置方向相比較，以確定一個或多個差異的程度。如果所確定的差異 程度超過差異閾值，則可以提供方向指示器以指導(dǎo)用戶將圖像捕獲裝置的方向改變成更接 近該優(yōu)選方向。指示器可以是視覺的、聽覺的、觸覺的或者它們的任意組合。例如，方向指示 器335可以被呈現(xiàn)在預(yù)覽窗口 330中，以指導(dǎo)用戶抬高圖像捕獲裝置。方向指示器可以標(biāo) 識校正的方向和/或校正的大小，例如，基于所呈現(xiàn)的尺寸、頻率或者持續(xù)時間來進行。進 一步，方向指示器可以是一維的或者多維的。另外，在一些實施例中，可以只在當(dāng)實際圖像 捕獲裝置方向與優(yōu)選的圖像捕獲裝置方向之間的一個或多個差異程度超過了閾值(例如 上述差異閾值)時才應(yīng)用變形技術(shù)。方向指示器也可以在其他圖像捕獲實施例中顯示。例如，用戶可以捕獲描述另一 個對象的臉的視頻圖像。可以向用戶呈現(xiàn)方向指示器，以標(biāo)識一個或多個校正的方向和大 小，以使圖像捕獲裝置的方向更接近于優(yōu)選的方向。因此，所捕獲的圖像的視覺的和/或美 學(xué)的質(zhì)量可以被提高。失真(例如透視失真)在所捕獲的圖像(包括靜態(tài)圖像和視頻圖像)中可以被至 少部分地校正?？梢杂刹东@這些圖像的應(yīng)用或者由其他的相關(guān)聯(lián)應(yīng)用來執(zhí)行失真校正。在 一些實施例中，視頻捕獲應(yīng)用可以是視頻會議或者視頻聊天應(yīng)用。圖4示出使用固定的方向參數(shù)的示例性失真校正處理的流程圖。在一些實施例 中，固定的方向值可以表示為一個或多個角度，例如相對于一個或多個基準(zhǔn)平面。在另外一 些實施例中，固定的方向值可以表示為一個或多個坐標(biāo)，或者表示為一個或多個角度與一 個或多個坐標(biāo)的組合?？梢詫σ曨l捕獲應(yīng)用的初始化進行檢測005)。例如，用戶可以通過 計算設(shè)備所呈現(xiàn)的操作系統(tǒng)接口來發(fā)起視頻會議應(yīng)用?？蛇x擇地，響應(yīng)于從其他計算設(shè)備 接受到的視頻會議請求，視頻會議應(yīng)用可以被自動地初始化。圖像捕獲裝置(例如嵌入式攝像機)可以開始捕獲圖像數(shù)據(jù)。例如，圖像捕獲裝 置可以被配置成以VGA分辨率和30幀每秒的速率捕獲視頻數(shù)據(jù)。其他分辨率和幀速率也中的任一者或兩者也可以被響應(yīng)于用戶輸入而手動地選擇，或 者例如響應(yīng)于可用的系統(tǒng)資源而自動地選擇。圖像數(shù)據(jù)可以代表與圖像捕獲裝置相關(guān)聯(lián)的 計算設(shè)備的用戶。圖像可以被從圖像捕獲裝置接收010)。例如，圖像可以被視頻會議應(yīng)用 接收。所接收的圖像可以被各自存儲，例如存儲在分開的圖像緩沖器中?？蛇x擇地，指明一 個或多個圖像的存儲位置的圖像位置數(shù)據(jù)可以被接收。在一些實施例中，一個或多個圖像 也可以由單獨的失真校正應(yīng)用或者模塊接收。與圖像捕獲裝置相對應(yīng)的方向參數(shù)可被確定G15)。方向參數(shù)可以是默認(rèn)值，例如 相對于基準(zhǔn)平面(例如豎直面)的固定傾斜角度。方向參數(shù)還可以基于設(shè)備類型來選擇。 例如，與具有嵌入式攝像機的智能手機相關(guān)聯(lián)的方向參數(shù)可以被設(shè)置為第一默認(rèn)值，例如 相對于豎直面向上傾斜30度，而膝上型電腦及其相對應(yīng)的攝像機的方向參數(shù)可以被設(shè)置 為第二默認(rèn)值，例如相對于豎直面向上傾斜15度。圖像捕獲設(shè)備的方向參數(shù)可以被設(shè)置為 等于任意值，包括多維數(shù)值。針對特定裝置或裝置類型的方向參數(shù)還可以被根據(jù)經(jīng)驗確定?？梢詫λ东@的圖像應(yīng)用一個或多個變形技術(shù)020)。這些變形技術(shù)可以基于已 知的實時或者近似實時的變形算法，例如仿射變形算法或者透視變形算法。這些變形技術(shù) 可以根據(jù)方向參數(shù)來應(yīng)用。例如，圖像變形的程度可以基于一個或多個角度的嚴(yán)重性(例 如相對于豎直面的傾斜角度)來選擇。進一步，所應(yīng)用的這一個或多個變形效果可以基于 一個或多個角度的方向(例如圖像捕獲裝置是向上還是向下傾斜)來選擇。在一些實施例 中，向所捕獲的圖像應(yīng)用的失真校正的量可以小于基于方向參數(shù)而估計的失真量，使得僅 部分失真被校正。這樣，應(yīng)用這些變形技術(shù)所執(zhí)行的計算的量可以被限制，并可以防止過度 變形。此外，可以應(yīng)用這些變形技術(shù)，使得對于視頻序列中的相鄰圖像，所執(zhí)行的失真校正 具有一致性。因此，與應(yīng)用這些變形技術(shù)相關(guān)聯(lián)的圖像序列之間的抖動或者噪聲可以被減 少或者消除。被應(yīng)用過變形技術(shù)的所捕獲的圖像可以作為經(jīng)過失真校正的圖像而輸出(425)。 例如，經(jīng)過失真校正的圖像可以被輸出到顯示接口，以在本地顯示器上呈現(xiàn)和/或呈現(xiàn)到 通信接口以傳輸給一個或多個遠(yuǎn)程視頻會議參與者。還可以確定是否接收了一個或多個另 外的捕獲圖像G30)。如果沒有其他的捕獲圖像被接收，則失真校正處理可以終止?？蛇x擇 的，如果有另外的捕獲圖像被接收，則可以確定圖像捕獲裝置的方向參數(shù)G15)。在一些實 施例中，方向參數(shù)可以在視頻會議期間被改變，例如，響應(yīng)用戶的輸入。在一些其他實施例 中，最初確定的方向參數(shù)可以用于整個視頻會議會話過程中。圖5示出了使用根據(jù)傳感器數(shù)據(jù)而確定的方向參數(shù)進行的示例性失真校正處理 的流程圖?？梢詮膱D像捕獲裝置接收圖像(50 。例如，圖像可以由視頻會議應(yīng)用或者其一 部分(例如模塊)接收。所接收的圖像可以被各自存儲，例如在分開的緩沖器中存儲?？?選擇地，指示一個或多個所接收圖像的存儲位置的圖像位置數(shù)據(jù)可以被接收。在一些實施 例中，一個或多個圖像也可以由單獨的失真校正應(yīng)用或模塊接收。進一步，可以從一個或多個位置傳感器接收傳感器數(shù)據(jù)(510)。例如，這一個或多 個位置傳感器可以包括下述一項或多項陀螺儀、加速計、GPS處理器、蜂窩式三角測量處 理器，它們可以嵌入到包括該圖像捕獲裝置的對象中，或者以另外的方式與之相關(guān)聯(lián)。陀螺 儀可以被配置以輸出表明方向或角度的信號數(shù)據(jù)(例如在3-D空間中)，該信號數(shù)據(jù)可以被 用于確定圖像捕獲裝置的方向。加速計可以輸出矢量數(shù)據(jù)，該數(shù)據(jù)表明相對應(yīng)的裝置正在經(jīng)受的加速度方向和大小。在一些實施例中，傳感器數(shù)據(jù)也可以從外部設(shè)備接收，所述外部 設(shè)備例如與該圖像捕獲裝置相關(guān)聯(lián)的耳機?？蛇x地，傳感器數(shù)據(jù)可以被存儲在存儲器中。在一些實施例中，與視頻會議相對應(yīng) 的傳感器數(shù)據(jù)可以被記錄在易失性存儲器中并且在視頻會議終止時被擦除。在其他一些實 施例中，傳感器數(shù)據(jù)可以被永久存儲，例如存儲在數(shù)據(jù)文件中。傳感器數(shù)據(jù)可以被存儲在針 對各個事件(例如視頻會議)的分開的文件中，或者存儲在包含與多個事件相對應(yīng)的數(shù)據(jù) 的文件中。進一步，所接收的傳感器數(shù)據(jù)可以被檢查以確定其是否有效(515)。例如，有效 的傳感器數(shù)據(jù)可以被限制在預(yù)先確定的運動范圍內(nèi)，該范圍在對應(yīng)的期間是可允許的。如 果傳感器數(shù)據(jù)對于所限定的期間超過了該預(yù)先確定的運動范圍，則可以確定傳感器數(shù)據(jù)是 無效的。因此，運輸工具(例如汽車或者電梯)的運動所造成的傳感器數(shù)據(jù)可以被識別并 不予考慮。同樣，在一些實施例中，與濾波器數(shù)據(jù)相關(guān)聯(lián)的高頻成分可以被濾波。如果確定傳感器數(shù)據(jù)是有效的，則可以確定表明圖像捕獲裝置方向的方向參數(shù)值 (520)。方向參數(shù)值可以根據(jù)所有傳感器數(shù)據(jù)或者根據(jù)其子集來確定。例如，如果僅有部分 傳感器數(shù)據(jù)是有效的，則該有效部分可以用來確定方向參數(shù)值。在一些實施例中，方向參數(shù) 可以代表圖像捕獲裝置在三維空間中的位置。在其他一些實施例中，方向參數(shù)可以代表裝 置方向的一個或多個方面，例如，相對于豎直面傾斜的角度和/或相對于水平面旋轉(zhuǎn)的角 度。進一步，在一些實施例中，傳感器數(shù)據(jù)也可以表明用戶的頭部相對于圖像捕獲裝置的方 向。如果傳感器數(shù)據(jù)被認(rèn)為不是有效的，則可以使用默認(rèn)的方向參數(shù)(525)。在一些實 施例中，默認(rèn)的方向參數(shù)可以是基于固定的方向而預(yù)先確定的數(shù)值，例如相對于豎直面傾 斜25度。在其他一些實施例中，默認(rèn)的方向參數(shù)可以基于歷史傳感器數(shù)據(jù)的一個或多個條 目來確定。例如，默認(rèn)的方向參數(shù)可以被設(shè)定成等于用戶的偏好方向。還可以確定臉部位置信息的一個或多個條目是否可用(530)。臉部位置信息可以 在所捕獲的圖像中標(biāo)識臉部的位置。在一些實施例中，臉部位置信息可以由臉部檢測應(yīng)用 或模塊產(chǎn)生。例如，臉部位置信息可以通過由OMRON Corporation的OKAO視覺臉部檢測技 術(shù)來提供。在其他一些實施例中，臉部位置信息可以由用戶提供，可以提示用戶提供輸入， 該輸入在一個或多個所捕獲的圖像中標(biāo)識臉部的位置。例如，用戶可以向觸摸屏提供輸入 以標(biāo)識臉部的邊界或者臉部特征。如果臉部位置信息可用，則可以根據(jù)臉部位置信息而應(yīng)用變形技術(shù)(535)。在一些 實施例中，可以應(yīng)用這些變形技術(shù)，使得變形效果集中在被捕獲圖像的臉部位置。在其他一 些實施例中，變形技術(shù)可以被限制在所捕獲的圖像中標(biāo)識的臉部區(qū)域中?？蛇x擇地，如果臉 部位置信息不可用，則可以對整個捕獲的圖像應(yīng)用變形技術(shù)而不針對臉部位置(540)。在一 些實施例中，當(dāng)臉部位置信息可用時，也可以對與臉部位置相對應(yīng)的區(qū)域進行估計，以確定 臉部是否有足夠的尺寸來應(yīng)用變形技術(shù)。如果臉部位置的尺寸足夠，則可以應(yīng)用變形技術(shù)， 例如使得變形效果集中在臉部位置?；蛘?，如果臉部位置沒有足夠的尺寸，則可以對整個的 被捕獲圖像應(yīng)用變形技術(shù)。另外，可以對一系列圖像(例如視頻序列)應(yīng)用變形技術(shù)，使得所執(zhí)行的失真校正 體現(xiàn)出隨著時間的一致性。針對時域的失真校正的一致性可以降低或者消除基于事件的圖 像序列中出現(xiàn)的抖動或者噪聲?？梢酝ㄟ^多種機制來一致地應(yīng)用這些變形技術(shù)，這些機制包括下述一項或多項對變形參數(shù)進行濾波、對傳感器數(shù)據(jù)進行濾波、以及隨著時間而調(diào)整 準(zhǔn)確的一組變形參數(shù)。與圖像序列的多個連續(xù)幀(例如5個幀)相對應(yīng)的變形參數(shù)可以通濾波波而被 平滑。濾波可以針對正在處理的當(dāng)前幀的被迭代地執(zhí)行。例如，序列中的當(dāng)前幀可以與 前一幀和后一幀(例如從超前(look-ahead)緩沖器獲得)中的一者或兩者相結(jié)合受到濾 波。圖像序列的幀還可以受到低通濾波，例如使用對稱濾波器或者無限脈沖響應(yīng)(infinite impulse response,HR)濾波器。傳感器數(shù)據(jù)也可以針對時間受到低通濾波。例如，高斯濾 波器可以用來使傳感器數(shù)據(jù)隨時間平滑化，從而消除圖像序列的各幀之間的小抖動。另外， 可以通過高精度計算產(chǎn)生一組精確的變形參數(shù)。這組精確的變形參數(shù)可以一次性地產(chǎn)生， 例如在視頻捕獲事件發(fā)起時，也定期地產(chǎn)生，例如每1秒或者5秒。因此，產(chǎn)生精確變形參 數(shù)的計算負(fù)擔(dān)可以被降低。另外，通過響應(yīng)于所接收的傳感器數(shù)據(jù)而進行變更，精確變形參 數(shù)可以被追蹤，或者隨時間而受到調(diào)整。應(yīng)用了變形技術(shù)的被捕獲圖像可以作為經(jīng)過失真校正的圖像而輸出(545)。例如， 經(jīng)過失真校正的圖像可以被輸出到顯示接口，以呈現(xiàn)在本地顯示裝置上和/或呈現(xiàn)給在通 信接口以傳輸?shù)揭粋€或多個遠(yuǎn)程視頻會議參與者。也可以確定是否已接收了一個或多個另 外的被捕獲圖像(550)。如果沒有其他的被捕獲圖像被接收，失真校正處理可以終止?；?者，如果接收了另外的被捕獲圖像，則可以從一個或多個位置傳感器接收對應(yīng)的傳感器數(shù) 據(jù)(510)。在一些實施例中，可以針對每個圖像接收傳感器數(shù)據(jù)，因為在一個或多個圖像的 過程中，相對應(yīng)設(shè)備的方向可能改變。例如，相關(guān)設(shè)備可以是手持移動計算設(shè)備，用戶可能 有意的或者無意的通過移動而改變設(shè)備的方向。在其他一些實施例中，傳感器數(shù)據(jù)可以周 期性地被接收，例如每1秒或者每15秒。圖6示出的示例性被捕獲圖像包括對臉部位置信息的標(biāo)識。用戶可以被提示以在 捕獲圖像中提供臉部位置的指示。例如，用戶接口 200中的視頻會議窗口 205可以被配置 以呈現(xiàn)被捕獲的圖像600，該圖像可以包括臉部605的描述。用戶可以提供輸入(例如向 觸摸屏)，該輸入表明所描述的臉部605的中間點610?；蛘撸脩艨梢蕴峁┹斎?，該輸入限 定了所描述的臉部605的邊界615。邊界615可以被繪制，使之大體上包含整個臉部區(qū)域。 邊界615也可以受到估計，以確定臉部605是否在下述尺寸范圍內(nèi)在該范圍內(nèi)可以通過應(yīng) 用變形技術(shù)而校正失真(例如透視失真)。此外，在一些實施例中，用戶可以被提示以標(biāo)識 與臉部605相對應(yīng)的一個或多個面部特征，例如眼睛、鼻子和/或嘴。與結(jié)合圖5所討論的 內(nèi)容一樣，用戶所標(biāo)識的臉部位置信息可以被用于向一個或多個被捕獲的圖像(包括被捕 獲的圖像600)應(yīng)用變形技術(shù)。圖7示出了描述用于產(chǎn)生設(shè)備方向歷史的示例性處理的流程圖。視頻會議的初始 化可以被檢測(705)。視頻會議可以響應(yīng)于建立新視頻會議的用戶輸入而被初始化?；蛘?， 視頻會議可以響應(yīng)從一個或多個遠(yuǎn)程設(shè)備接收到加入視頻會議的請求而被初始化。圖像捕 獲裝置的初始方向也可以被確定并且記錄在設(shè)備方向歷史中，例如作為第一個條目(710)。進一步，可以從與圖像捕獲裝置相對應(yīng)的一個或多個位置傳感器接收傳感器數(shù)據(jù) (715)。這些位置傳感器可以包括陀螺儀和加速計中的一者或者兩者。在一些實施例中，位 置傳感器可以包括被配置來確定位置的一個或多個傳感器，例如全球定位系統(tǒng)(GPQ處理 器或者蜂窩式三角測量處理器。基于位置的數(shù)據(jù)可以用于確定在視頻會議期間視頻捕獲裝置是否運動以及其運動的程度。設(shè)備方向可以基于所接收的傳感器數(shù)據(jù)而被確定，所確定的方向可以被存儲在設(shè) 備方向歷史中(720)。可選擇或者可替換地，位置傳感器數(shù)據(jù)可以被存儲，例如儲存在設(shè)備 方向歷史中。在一些實施例中，設(shè)備方向歷史可以被存儲在與單一的視頻會議會話相對應(yīng) 的文件中。在其他一些實施例中，所確定的方向可以被存儲在涉及多個視頻會議的文件中。此外，所存儲的設(shè)備方向信息可以用于確定優(yōu)選的方向(725)。優(yōu)選的方向可以代 表圖像捕獲裝置(例如相對于用戶)的有利方向，例如帶來使用戶愉悅的圖像的方向。例 如，設(shè)備方向可以被分析，以確定圖像捕獲裝置最常被保持的方向?？蛇x擇的，設(shè)備方向可 以被分析，以確定用戶將圖像捕獲裝置放回的方向，尤其是使圖像捕獲裝置對準(zhǔn)空間基準(zhǔn) (例如豎直面)的方向。例如，設(shè)備方向信息可以表明近似豎直的方向(用戶在會議期間反 復(fù)接近該方向)以及隨著時間從該方向的衰退?；谠O(shè)備方向歷史，接近豎直的這個方向 可以被標(biāo)識為優(yōu)選的方向。可以在應(yīng)用變形技術(shù)時利用所述優(yōu)選的方向以產(chǎn)生經(jīng)過失真校正的圖像。例如， 優(yōu)選的方向可以表明圖像捕獲裝置捕獲圖像時應(yīng)該所處的方向。因此，可以基于捕獲圖像 的實際方向和該優(yōu)選方向之間的差異，來得出用來產(chǎn)生經(jīng)過失真校正的圖像的一個或多個 變形參數(shù)。在一些實施例中，當(dāng)傳感器數(shù)據(jù)不可用時，可以使用與方向隨著時間的衰退有關(guān) 的信息。例如，與衰退有關(guān)的信息可以用來確定在使捕獲圖像變形時所要應(yīng)用的一個或多 個變形參數(shù)。隨著對另外的設(shè)備方向信息的確定，優(yōu)選的方向可以被更新。例如，設(shè)備方向歷史 在視頻會議會話期間可以被周期性地分析，以更新優(yōu)選的方向。附加地或者替換地，設(shè)備方 向信息可以在視頻會議期間被緩沖。經(jīng)過緩沖的設(shè)備方向信息可以被隨后分析，例如，用來 更新優(yōu)選的方向。視頻會議的情況也可以被周期性地評價。如果視頻會議會話仍在活動 (730)，則能夠接收另外的傳感器數(shù)據(jù)(715)。否則，設(shè)備方向歷史可以被關(guān)閉。圖8示出了使用基準(zhǔn)圖像的示例性失真校正處理的流程圖?？梢越邮毡徊东@的圖 像(805)。例如，被捕獲的圖像可以是從攝像機輸出的視頻圖像(或視頻幀)。此外，被捕 獲的圖像可以在被配置來(例如通過對被捕獲的圖像應(yīng)用變形技術(shù))執(zhí)行失真校正處理的 應(yīng)用中被接收?？梢源_定被捕獲圖像中的一個或多個配準(zhǔn)點(registration point) (810)。 這一個或多個配準(zhǔn)點可以被選擇來便于被捕獲圖像與一個或多個另外的圖像(例如基準(zhǔn) 圖像)對準(zhǔn)。在一些實施例中，可以選擇與眼角和嘴角相對應(yīng)的四個配準(zhǔn)點。在其他的一 些實施例中，可以選擇更多的、更少的和/或其他的配準(zhǔn)點。被捕獲的圖像中的這些配準(zhǔn)點 可以被自動地或者手動地確定。例如，一個或多個配準(zhǔn)點可以根據(jù)由OKAO視覺臉部檢測技 術(shù)所產(chǎn)生的臉部位置信息而被自動確定。臉部位置信息包括表示所檢測的臉部的點(例如 眼角、鼻子、嘴角)的數(shù)據(jù)。進一步，可以向用戶呈現(xiàn)被捕獲的圖像，用戶可以手動地提供標(biāo) 識了一個或多個配準(zhǔn)點的輸入。例如，用戶可以通過光標(biāo)或者觸摸屏接口指明一個或多個 配準(zhǔn)點的位置。進一步，還可以訪問基準(zhǔn)圖像(815)?；鶞?zhǔn)圖像可以被預(yù)先確定以用于執(zhí)行失真校 正處理。例如，可以基于基準(zhǔn)圖像確定來對被捕獲的圖像的變形程度。也可以將基準(zhǔn)圖像 選擇為具有與被捕獲的圖像可比擬的分辨率。例如，可以創(chuàng)建基準(zhǔn)圖像的多個版本，每個版 本具有不同的分辨率。與捕獲圖像具有最接近的分辨率的基準(zhǔn)圖像可以被訪問。
在一些實施例中，基準(zhǔn)圖像可以是被捕獲圖像中描述的對象的圖像。例如，可以在 視頻捕獲過程之前或在其發(fā)起時獲得基準(zhǔn)圖像，作為校準(zhǔn)的量度?；鶞?zhǔn)圖像可以在對象與 攝像機之間的對準(zhǔn)處于預(yù)定范圍內(nèi)(例如相對于豎直面處于預(yù)定傾斜量以內(nèi))時被取得， 使得一定程度的基準(zhǔn)圖像的失真是可接受的?；鶞?zhǔn)圖像也可以由用戶選擇，作為代表了用 戶喜愛的外觀的優(yōu)選圖像。在其他一些實施例中，基準(zhǔn)圖像可以是這樣的圖像其描述了不與被捕獲的圖像 中的對象相對應(yīng)的臉。例如，基準(zhǔn)圖像可以描述某個名人或者模特，該名人或模特是被捕獲 的圖像的對象可能希望更接近地模仿的?；蛘撸鶞?zhǔn)圖像可以與合成的臉部對應(yīng)，所述合成 的臉部可以作為模版用于確定一個或多個變形參數(shù)。此外，在一些實施例中，基準(zhǔn)圖像可以 由2-D或者3-D基準(zhǔn)模型取代。也可以在基準(zhǔn)圖像中確定一個或多個配準(zhǔn)點(820)。這一個或多個配準(zhǔn)點可以與 被捕獲圖像中的配準(zhǔn)點相對應(yīng)?；鶞?zhǔn)圖像中的這一個或多個配準(zhǔn)點可以被自動地或者手動 地確定。進一步，被捕獲的圖像與基準(zhǔn)圖像可以被對準(zhǔn)，并且一個或多個變形參數(shù)可以被確 定(82 。例如，可以確定變形參數(shù)以使被捕獲的圖像在一個或多個維度和/或特性方面更 接近基準(zhǔn)圖像。進一步，與產(chǎn)生被捕獲圖像的攝像機相對應(yīng)的方向信息可以被訪問(830)。該方向 信息可以基于下述一項或多項傳感器數(shù)據(jù)、優(yōu)選方向數(shù)據(jù)、歷史方向數(shù)據(jù)。方向信息可以 用于校驗或者微調(diào)所確定的變形參數(shù)，或者用于確定一個或多個另外的變形參數(shù)?？蛇x擇 的，在一些實施例中，可以使用基于基準(zhǔn)圖像而確定的變形參數(shù)，而不考慮方向信息。在一 些實施例中，也可以分析被捕獲的圖像以識別該圖像的背景中的一個或多個主體，所述主 題應(yīng)當(dāng)由平行線來表征，例如墻、門、框架和建筑。所識別的主體可以被分析，例如用于識別 失真或者彎曲的程度，并可以用來確定、驗證或者微調(diào)與被捕獲的圖像相關(guān)聯(lián)的一個或多 個變形參數(shù)。可以基于所確定的變形參數(shù)來對被捕獲的圖像應(yīng)用變形技術(shù)(835)。應(yīng)用變形技 術(shù)可以至少部分地校正與被捕獲的圖像相關(guān)聯(lián)的失真，以產(chǎn)生經(jīng)過失真校正的圖像。進一 步，所得的經(jīng)過失真校正的圖像可以被輸出(840)。例如，經(jīng)過失真校正的圖像可以被輸出 到顯示接口，以呈現(xiàn)在相關(guān)聯(lián)的顯示設(shè)備上(例如作為預(yù)覽圖像)和/或輸出到通信接口 以傳輸?shù)竭h(yuǎn)程設(shè)備(例如在視頻會議中使用)。使用基準(zhǔn)圖像的失真校正處理可以對于一 系列被捕獲的圖像實時地或者近似實時地執(zhí)行。圖9A和圖9B說明了由被捕獲圖像的對象和攝像機之間的角度引起的透視失真的 例子。在圖9A中，攝像機905中的投影圖像包括與物體915對應(yīng)的物體代表910。攝像機 905向上傾斜并且以角度a位于物體915以下。此外，χ軸與Y-Z平面垂直，物體915包括 坐標(biāo)為(ΡΧ，ΡΥ，ΡΖ)的點。攝像機和物體之間的角度在投影圖像中引起特定量的失真。在圖9Β中，攝像機905被示出為重新映射到可以產(chǎn)生不失真圖像的位置處，從而 表明可由攝像機905和物體915之間的角度(即角度a)引起的透視失真量。物體代表910 中的點(Qx, QY, Qz)可以被映射到經(jīng)過移位的代表物體915中的點920，其坐標(biāo)為(Px, Py, PZ2)。Pz2的值隨著角度a的增加而從0度增加到90度。因此，對于中心位置為(0，0，PZ2) 的臉部，失真將引起臉的上部變小而臉的下部變大。但是，通過將失真的坐標(biāo)反過來映射到 相應(yīng)的未失真坐標(biāo)，該失真可以被校正。例如，物體代表925的經(jīng)過重新映射的位置的坐標(biāo)值Qx和Qy可以表示為
_ Qx=Q^2 = Q2PySin(/+xPzSQC{a)Q =Q^ = Q π . 1^cT ,、因此，變形技術(shù)可以被應(yīng)用到由攝像機905捕獲的圖像，以校正由攝像機905相對 于物體915的角度所引起的失真。圖10是示例性移動計算裝置體系結(jié)構(gòu)框圖。移動計算裝置1000可以是移動電話 105的實現(xiàn)形式，可以包括存儲器接口 1002、一個或多個數(shù)據(jù)處理器、圖像處理器和/或中 央處理器1004、以及外圍設(shè)備接口 1006。存儲器接口 1002、一個或多個處理器1004和/或 外圍設(shè)備接口 1006可以是分開的組件，也可以集成在一個或多個集成電路中。移動計算裝 置1000中的各個組件可以通過一個或多個通信總線或者信號線耦合在一起。傳感器、裝置和子系統(tǒng)可以耦合到外圍設(shè)備接口 1006以便于多種功能。例如，運 動傳感器1010 (例如陀螺儀和/或加速計)、光傳感器1012和接近度傳感器1014可以耦合 到外圍設(shè)備接口 1006，以便于方向、光照和接近度功能。位置處理器1015(例如GPS接收 器)可以連接到外圍設(shè)備接口 1006以提供地理定位。磁羅盤集成電路1016也可以連接到 外圍設(shè)備接口 1006以提供方向，例如確定正北方向。攝像機子系統(tǒng)1020和光傳感器1022(例如電荷耦合器件(CXD)或者互補金屬氧 化物半導(dǎo)體(CMOS)光傳感器)可以用來以便于攝像機功能，例如捕獲圖像和/或視頻數(shù)據(jù)?？梢酝ㄟ^一個或多個無線通信子系統(tǒng)IOM來便于通信功能，該子系統(tǒng)可以包括 射頻的接收器和發(fā)送器和/或光學(xué)(例如紅外的)接收器和發(fā)送器。通信子系統(tǒng)IOM的 具體設(shè)計和實施方式可以取決于由希望移動通信裝置1000的操作所用的(一個或多個) 通信網(wǎng)絡(luò)。例如，移動通訊裝置1000可以包括這樣的通信子系統(tǒng)IOM 該子系統(tǒng)被設(shè)計 成在下列中的一項或多項上工作GSM網(wǎng)絡(luò)、GI3RS網(wǎng)絡(luò)、EDGE網(wǎng)絡(luò)、Wi-Fi或WiMax網(wǎng)絡(luò)、 Bluetooth 網(wǎng)絡(luò)。特別的，無線通信子系統(tǒng)IOM可以包括主機協(xié)議，使得移動通信裝置 1000可以被配置成作為其他無線設(shè)備的基站。進一步，音頻子系統(tǒng)10 可以與揚聲器10 和麥克風(fēng)1030耦合以便于語音能力 功能，例如語音識別、語音復(fù)制、數(shù)字記錄和電話功能。另外，I/O子系統(tǒng)1040可以包括觸 摸屏控制器1042和/或(一個或多個)其他輸入控制器1044。例如，I/O子系統(tǒng)1040可 以包括麥克風(fēng)(內(nèi)部的和/或外部的)、揚聲器和語音命令識別引擎。I/O子系統(tǒng)1040可 以通過全雙工信道接收語音命令和呈現(xiàn)音頻輸出。例如，可以實現(xiàn)除常規(guī)的蜂窩語音通信 之外的傳送技術(shù)，例如IP上的語音(voice over IP)。觸摸屏控制器1042可以直接或者間接地耦合到觸摸屏1046。觸摸屏1046和觸摸 屏控制器1042例如可以適于使用任何多點觸摸傳感技術(shù)(包括但不限于電容的、電阻的、 紅外的和表面聲波的技術(shù))以及其他接近度傳感器陣列或者用于確定與觸摸屏1046的一 個或多個觸膜點的其他元件，來檢測接觸、移動、或者移動中斷。(一個或多個)其他輸入控制器1044可以耦合到其他輸入/控制裝置1048，例如 一個或多個按鈕、搖桿開關(guān)、拇指輪、紅外端口、USB端口和/或指點裝置(例如觸筆)。這一個或多個按鈕(未示出)可以包括上/下按鈕，用于控制揚聲器10 和/或麥克風(fēng)1030
的音量。在一個實施例中，按壓按鈕達第一時間長度可以解除與觸摸屏1046相關(guān)聯(lián)的鎖 定，而按壓按鈕第二(例如更長的)時間長度可以被配置成將能量運轉(zhuǎn)到移動計算裝置 1000。此外，一個或多個按鈕的功能可以定制。觸摸屏1046例如也可以用于實現(xiàn)虛擬的或 者“軟”的按鈕和/或鍵盤。在一些實施例中，移動計算裝置1000可以呈現(xiàn)所記錄的音頻和/或視頻文件，例 如MP3、AAC和MPEG文件。在一些實施例中，移動計算裝置1000可以包括MP3播放器的功 能，例如 iPod Touch ο存儲器接口 1002可以耦合到存儲器1050，存儲器可以包括高速隨機存取存儲器 和/或非易失性存儲器，例如一個或多個磁盤存儲裝置、一個或多個光存儲裝置，和/或閃 存(例如NAND, NOR)。存儲器1050可以存儲操作系統(tǒng)1052，例如Darwin、RTXC, LINUX、 UNIX、OS X、WINDOWS或嵌入式操作系統(tǒng)(例如VxWorks)。操作系統(tǒng)1052可以包括用于處 理基本系統(tǒng)服務(wù)和執(zhí)行取決于硬件的任務(wù)的指令。在一些實施例中，操作系統(tǒng)1052可以是 內(nèi)核，例如UNIX內(nèi)核。存儲器1050也可以存儲通信指令10M以便于與一個或多個額外的設(shè)備、一個 或多個計算機和/或一個或多個服務(wù)器通信。存儲器1050可以包括圖形用戶接口指令 1056，以便于圖形用戶接口處理；傳感器處理指令1058，以便于與傳感器相關(guān)的處理和功 能；電話指令1060，以便于與電話相關(guān)的處理和功能；電子消息指令1062，以便于與電子消 息相關(guān)的處理和功能；網(wǎng)頁瀏覽指令1064，以便于與網(wǎng)頁瀏覽相關(guān)的處理和功能；媒體處 理指令1066，以便于與媒體處理相關(guān)的處理和功能；GPS/導(dǎo)航指令1068，以便于與GPS和 導(dǎo)航相關(guān)的處理和指令；攝像機指令1070，以便于與攝像機相關(guān)的處理和功能；音頻命令 指令1072，以便于使用語音命令的移動計算裝置1000操作。存儲器1050也可以存儲其他軟件指令(未示出)，例如視頻會議(或者視頻聊 天)指令，以便于視頻會議處理和功能；網(wǎng)絡(luò)視頻指令，以便于與網(wǎng)絡(luò)視頻相關(guān)的處理和功 能；和/或網(wǎng)絡(luò)購物指令，以便于與網(wǎng)絡(luò)購物相關(guān)的處理和功能。在一些實施例中，媒體處 理指令1066被分割成音頻處理指令和視頻處理指令，以分別便于與音頻相關(guān)的處理和功 能以及與視頻處理相關(guān)的處理和功能。激活記錄和國際移動設(shè)備身份碼(IMEI) 1074或者 類似的硬件標(biāo)識符也可以被存儲在存儲器1050中。上述指令和應(yīng)用中的每一者可以對應(yīng)于用于執(zhí)行上述一個或多個功能、特性和/ 或處理的一組指令。這些指令不一定要以單獨的軟件程序、過程或者模塊的形式來實現(xiàn)。 存儲器1050可以包括更多的指令或者更少的指令。此外，移動計算裝置1000的各種功能 可以以包括在一個或多個信號處理電路和/或?qū)Ｓ眉呻娐分械挠布?或軟件方式來實 現(xiàn)。本文公開的技術(shù)和功能操作可以以數(shù)字電子電路的形式實現(xiàn)、或者以包括本發(fā)明 所述結(jié)構(gòu)化裝置及其結(jié)構(gòu)化等同物的計算機軟件、固件或硬件的形式實現(xiàn)，或者以它們的 結(jié)合形式來實現(xiàn)。這些技術(shù)可以用一個或多個計算機程序產(chǎn)品來實現(xiàn)，所述產(chǎn)品例如以實 體形式的存儲于計算機可讀介質(zhì)上的機器可讀指令，以由一個或多個可編程處理器或計算 機來執(zhí)行或?qū)ζ洳僮鬟M行控制。進一步，可編程處理器和計算機可以被包括在移動裝置中或者封裝成移動裝置。本文描述的處理和邏輯流程可以通過由一個或多個可編程處理器執(zhí)行一個或多 個指令來接收、操縱和/或輸出數(shù)據(jù)來執(zhí)行。這些處理和邏輯流程也可以由可編程邏輯電 路執(zhí)行，所述電路包括一個或多個FPGA(現(xiàn)場可編程門陣列)，PLD(可編程邏輯器件)和/ 或ASIC (專用集成電路)。通用和/或?qū)ｉT的處理器(包括任意種類數(shù)字計算機的處理器) 可以用于執(zhí)行計算機程序以及存儲在計算機可讀介質(zhì)中的其他經(jīng)編程的指令，所述計算機 可讀介質(zhì)包括非易失性存儲器(例如只讀存儲器)、易失性存儲器(例如隨機訪問存儲器) 或者兩者上。另外，數(shù)據(jù)和計算機程序可以從一個或多個海量存儲設(shè)備接收或向其傳輸，該 設(shè)備包括硬盤驅(qū)動器、閃存驅(qū)動器和光存儲設(shè)備。進一步，通用和專用的計算設(shè)備和存儲設(shè) 備可以通過通信網(wǎng)絡(luò)互聯(lián)。這些通信網(wǎng)絡(luò)可以包括有線的和無線的設(shè)施。通信網(wǎng)絡(luò)還可以 是公共的、私有的或者二者的結(jié)合。已經(jīng)公開了多種實施例。然而，可以理解在不脫離權(quán)利要求的精神和范圍的情況 下可以存在各種修改形式。因而，其他實施例也在所附權(quán)利要求的范圍內(nèi)。
權(quán)利要求
1.一種降低圖像失真的方法，該方法包括 接收被捕獲的圖像；確定用于產(chǎn)生所述被捕獲的圖像的攝像機的方向； 基于所確定的攝像機的方向來計算變形參數(shù)；和基于所計算的變形參數(shù)，對所述被捕獲的圖像應(yīng)用一個或多個變形技術(shù)以產(chǎn)生經(jīng)過失 真校正的圖像。
2.如權(quán)利要求1所述的方法，其中，確定方向的步驟進一步包括 根據(jù)默認(rèn)的方向值來確定所述攝像機的方向。
3.如權(quán)利要求1所述的方法，其中，確定方向的步驟進一步包括 基于傳感器數(shù)據(jù)來確定所述攝像機的方向。
4.如權(quán)利要求3所述的方法，進一步包括從與所述攝像機相關(guān)聯(lián)的陀螺儀接收所述傳感器數(shù)據(jù)。
5.如權(quán)利要求3所述的方法，其中，所述被捕獲的圖像對應(yīng)于視頻序列。
6.如權(quán)利要求5所述的方法，進一步包括對所述傳感器數(shù)據(jù)和所計算的變形參數(shù)中的一者或兩者進行濾波。
7.如權(quán)利要求3所述的方法，進一步包括接收與對應(yīng)于所述視頻序列的另一圖像相關(guān)聯(lián)的傳感器數(shù)據(jù)；和 根據(jù)所接收的傳感器數(shù)據(jù)，更新所計算的變形參數(shù)以用于所述另一圖像。
8.如權(quán)利要求1所述的方法，進一步包括接收在所述被捕獲的圖像中標(biāo)識了臉部位置的輸入。
9.如權(quán)利要求8所述的方法，進一步包括根據(jù)所標(biāo)識的臉部位置，對所述被捕獲的圖像應(yīng)用所述一個或多個變形技術(shù)。
10.如權(quán)利要求8所述的方法，其中，接收標(biāo)識了臉部位置的輸入的步驟進一步包括 從用戶接收定義了與所述臉部位置相對應(yīng)的邊界的輸入。
11.一種計算機程序產(chǎn)品，被編碼于計算機可讀介質(zhì)上，可操作以使數(shù)據(jù)處理設(shè)備執(zhí)行 包括下述內(nèi)容的操作接收描述臉部的被捕獲的圖像，所述被捕獲的圖像由攝像機產(chǎn)生；分析傳感器數(shù)據(jù)以確定所述攝像機的方向；基于所確定的攝像機的方向，計算一個或多個變形參數(shù)；和基于所計算的一個或多個變形參數(shù)，使所述被捕獲的圖像的至少一部分變形，以產(chǎn)生 經(jīng)過失真校正的圖像。
12.如權(quán)利要求11所述的計算機程序產(chǎn)品，其中 所述攝像機的定位包括相對于基準(zhǔn)平面的傾斜角度。
13.如權(quán)利要求11所述的計算機程序產(chǎn)品，進一步可操作以使數(shù)據(jù)處理設(shè)備執(zhí)行包括 下述內(nèi)容的操作從加速計接收所述傳感器數(shù)據(jù)。
14.如權(quán)利要求11所述的計算機程序產(chǎn)品，進一步可操作以使數(shù)據(jù)處理設(shè)備執(zhí)行包括 下述內(nèi)容的操作從臉部檢測算法接收輸入，所述輸入標(biāo)識了所描述的臉部的位置。
15.如權(quán)利要求14所述的計算機程序產(chǎn)品，進一步可操作以使得數(shù)據(jù)處理設(shè)備執(zhí)行包 括下述內(nèi)容的操作根據(jù)所標(biāo)識的所描述的臉部位置，使所述被捕獲的圖像的至少 部分變形。
16.如權(quán)利要求11所述的計算機程序產(chǎn)品，進一步可操作以使得數(shù)據(jù)處理設(shè)備執(zhí)行包 括下述內(nèi)容的操作分析與用戶佩戴的耳機相關(guān)聯(lián)的傳感器數(shù)據(jù)，以確定所述攝像機相對于所述用戶的臉 部的方向；和根據(jù)所確定的攝像機相對于用戶的臉部的方向，計算一個或多個變形參數(shù)。
17.一種系統(tǒng)，包括攝像機，被配置以捕獲視頻圖像； 位置傳感器；和與所述攝像機和所述位置傳感器耦合的計算系統(tǒng)，所述計算系統(tǒng)包括一個或多個處理 器，所述處理器被配置成執(zhí)行包括下述內(nèi)容的操作 從所述攝像機接收被捕獲的視頻圖像； 從所述位置傳感器接收傳感器數(shù)據(jù)； 分析所接收的傳感器數(shù)據(jù)以確定所述攝像機的方向； 基于所確定的攝像機的方向，來計算變形參數(shù)；和基于所計算的變形參數(shù)，對所述被捕獲的視頻圖像應(yīng)用一個或多個變形技術(shù)以產(chǎn)生經(jīng) 過失真校正的圖像。
18.如權(quán)利要求17所述的系統(tǒng)，其中，所述一個或多個處理器被進一步配置以執(zhí)行包 括下述內(nèi)容的操作實時地產(chǎn)生所述經(jīng)過失真校正的圖像。
19.如權(quán)利要求17所述的系統(tǒng)，其中，所述位置傳感器包括一個或多個位置傳感器，所 述一個或多個位置傳感器包括陀螺儀、加速計或者它們的組合。
20.如權(quán)利要求17所述的系統(tǒng)，其中，所述計算系統(tǒng)進一步包括 觸摸屏顯示器，其被配置以接收來自用戶的觸摸輸入。
21.如權(quán)利要求20所述的系統(tǒng)，其中，所述一個或多個處理器被進一步配置以執(zhí)行包 括下述內(nèi)容的操作通過所述觸摸屏顯示器從用戶接收輸入，所述輸入在所述被捕獲的視頻圖像中描述的 臉部上標(biāo)識了一個或多個位置。
22.如權(quán)利要求21所述的系統(tǒng)，其中，所述一個或多個處理器被進一步配置以執(zhí)行包 括下述內(nèi)容的操作根據(jù)所述臉部上所標(biāo)識的一個或多個位置，對所述被捕獲的視頻圖像應(yīng)用一個或多個 變形技術(shù)。
23.如權(quán)利要求21所示的系統(tǒng)，其中與所述位置傳感器相關(guān)聯(lián)的一個或多個傳感器數(shù) 據(jù)偏移能夠由用戶手動配置，以允許所述用戶將所述位置傳感器調(diào)整到不同的位置。
24.一種降低圖像中失真的方法，該方法包括 接收被捕獲的圖像；標(biāo)識與所述被捕獲的圖像相關(guān)聯(lián)的一個或多個配準(zhǔn)點；基于所標(biāo)識的一個或多個配準(zhǔn)點，將所述被捕獲的圖像與基準(zhǔn)圖像進行比較； 響應(yīng)于所述比較，確定一個或多個變形參數(shù)；和基于所確定的一個或多個變形參數(shù)，對所述被捕獲的圖像應(yīng)用一個或多個變形技術(shù)以 產(chǎn)生經(jīng)過失真校正的圖像。
25.如權(quán)利要求M所述的方法，進一步包括從與用于產(chǎn)生所述被捕獲圖像的攝像機相關(guān)聯(lián)的位置傳感器接收傳感器數(shù)據(jù)。
26.如權(quán)利要求25所述的方法，進一步包括基于所接收的傳感器數(shù)據(jù)，來調(diào)節(jié)所確定的所述一個或多個變形參數(shù)。
27.如權(quán)利要求M所述的方法，進一步包括基于所述被捕獲的圖像的分辨率，來選擇所述基準(zhǔn)圖像。
28.如權(quán)利要求M所述的方法，進一步包括將所述經(jīng)過失真校正的圖像傳輸?shù)竭h(yuǎn)程計算系統(tǒng)。
29.如權(quán)利要求M所述的方法，其中，標(biāo)識一個或多個配準(zhǔn)點的步驟進一步包括 基于面部檢測處理，自動地標(biāo)識所述一個或多個配準(zhǔn)點。
30.如權(quán)利要求M所述的方法，其中，標(biāo)識一個或多個配準(zhǔn)點的步驟進一步包括 接收標(biāo)識了所述一個或多個配準(zhǔn)點的用戶輸入。
31.如權(quán)利要求M所述的方法，其中，所述基準(zhǔn)圖像進一步包括 三維(3-D)基準(zhǔn)模型。
32.—種計算機程序產(chǎn)品，被編碼于計算機可讀介質(zhì)上，可操作以使數(shù)據(jù)處理設(shè)備執(zhí)行 包括下述內(nèi)容的操作接收被捕獲的圖像，該圖像描述了臉部；標(biāo)識與所述被捕獲的圖像相關(guān)聯(lián)的一個或多個配準(zhǔn)點；基于所標(biāo)識的一個或多個配準(zhǔn)點，將所述被捕獲的圖像與基準(zhǔn)圖像進行比較；響應(yīng)于所述比較，確定一個或多個變形參數(shù)；和基于所確定的一個或多個變形參數(shù)，對所述被捕獲的圖像應(yīng)用一個或多個變形技術(shù)以 產(chǎn)生經(jīng)過失真校正的圖像。
33.如權(quán)利要求32所述的計算機程序產(chǎn)品，其中所述基準(zhǔn)圖像包括描述了與所述被捕獲的圖像相對應(yīng)的臉部不同的臉部。
34.如權(quán)利要求32所述的計算機程序產(chǎn)品，進一步可操作以使數(shù)據(jù)處理設(shè)備執(zhí)行包括 下述內(nèi)容的操作向用戶顯示所述經(jīng)過失真校正的圖像，作為預(yù)覽圖像。
35.如權(quán)利要求32所述的計算機程序產(chǎn)品，進一步可操作以使數(shù)據(jù)處理設(shè)備執(zhí)行包括 下述內(nèi)容的操作實時地產(chǎn)生所述經(jīng)過失真校正的圖像。
全文摘要
本發(fā)明涉及具有透視失真校正的臉部姿勢改進。提供了方法、系統(tǒng)和儀器以降低圖像(例如視頻圖像)中的失真。視頻圖像可以被圖像捕獲裝置捕獲，例如在視頻會議會話期間。失真校正處理(例如應(yīng)用一個或多個變形技術(shù))可以被應(yīng)用到被捕獲的圖像以產(chǎn)生經(jīng)過失真校正的圖像，該圖像可以被傳送到一個或多個參與者。變形技術(shù)可以根據(jù)一個或多個變形參數(shù)來執(zhí)行，這些參數(shù)指定了對于被捕獲的圖像的轉(zhuǎn)換。變形參數(shù)還可以根據(jù)圖像捕獲設(shè)備的方向來產(chǎn)生，該方向可以基于傳感器數(shù)據(jù)確定，也可以是固定值。另外的或者可選的，可以根據(jù)基準(zhǔn)圖像或模型來確定變形參數(shù)，所述基準(zhǔn)圖像或模型是被捕獲圖像應(yīng)當(dāng)被變形到的。
文檔編號H04N7/15GK102104767SQ20101054634
公開日2011年6月22日 申請日期2010年9月25日 優(yōu)先權(quán)日2009年10月16日
發(fā)明者史小瑾, 吳錫榮, 詹姆斯·諾邁爾, 鄭裕倉 申請人:蘋果公司