圖像的自動(dòng)調(diào)整的制作方法
【專利說明】圖像的自動(dòng)調(diào)整 巧001]有關(guān)申請(qǐng)
[0002] 本申請(qǐng)按照35U.S.C.第119(e)節(jié)要求提交于2012年4月27日并且名稱為 '^Techniques and Apparatus for Automatic Adjustment of Digital Images"的第61/ 639,721號(hào)美國臨時(shí)專利申請(qǐng)的優(yōu)先權(quán)，其公開內(nèi)容通過完全引用結(jié)合于此。
【背景技術(shù)】
[0003] 拍攝者捕獲的圖像(無論數(shù)字圖像或者常規(guī)膠卷圖像)經(jīng)常包含透視失真。具體 地，人造結(jié)構(gòu)經(jīng)常在隨意拍攝者捕獲的照片中表現(xiàn)失真，因?yàn)榫拔锊季纸?jīng)常與人類感知的 預(yù)計(jì)沖突。例如，在捕獲摩天大樓的圖像時(shí)，在圖像中的建筑物可能歪斜、因此未表現(xiàn)直立。 運(yùn)可W歸因于視點(diǎn)被物理地約束，因此從最好視點(diǎn)捕獲一個(gè)或者多個(gè)圖像是不可能的。在 運(yùn)些情況下，用戶（拍攝者、藝術(shù)家等)可能想要應(yīng)用透視失真校正W改進(jìn)原有數(shù)字或者數(shù) 字化圖像W使它表現(xiàn)如同從更好視點(diǎn)捕獲景物一樣。然而，運(yùn)一種失真由于至少透視失真 校正設(shè)及到Ξ維(3D)旋轉(zhuǎn)運(yùn)樣的原因而難W手動(dòng)修復(fù)。

【發(fā)明內(nèi)容】

[0004] 描述設(shè)及到圖像的自動(dòng)豎直調(diào)整的技術(shù)。豎直調(diào)整技術(shù)可W提供用于伸直在輸入 圖像中的偏斜人造特征(或者其它特征、比如相對(duì)直立的自然特征、比如樹木和視界）W提 高其感知質(zhì)量的自動(dòng)化方式。運(yùn)一校正可W稱為豎直調(diào)整?；谌祟惛兄芯縼砻枋雠袚?jù) 集合用于豎直調(diào)整。此外，描述如下優(yōu)化框架，該優(yōu)化框架產(chǎn)生用于調(diào)整的最優(yōu)單應(yīng)性。另 夕h描述一種基于優(yōu)化的相機(jī)校準(zhǔn)技術(shù)，該技術(shù)在與常規(guī)技術(shù)比較時(shí)有利地執(zhí)行并且使自 動(dòng)豎直調(diào)整技術(shù)的實(shí)現(xiàn)方式對(duì)于廣泛多種圖像可靠地工作。
[0005] 實(shí)現(xiàn)方式可W提供一種用于圖像的豎直調(diào)整的自動(dòng)系統(tǒng)，該系統(tǒng)可W利用用于定 量地測(cè)量人造結(jié)構(gòu)或者其它圖像特征的感知的質(zhì)量的若干判據(jù)。按照判據(jù)，再投影技術(shù)可 W實(shí)施如下能量最小化框架，該能量最小化框架計(jì)算用于最小化偏斜結(jié)構(gòu)和其它圖像特征 的感知的失真的最優(yōu)單應(yīng)性。此外，可W運(yùn)用比常規(guī)技術(shù)更準(zhǔn)確和健壯的相機(jī)校準(zhǔn)技術(shù)W 同時(shí)估計(jì)消沒線和點(diǎn)W及相機(jī)參數(shù)并且可W用來生成可W例如向再投影技術(shù)輸入的相機(jī) 參數(shù)W及消沒線和點(diǎn)的估計(jì)。
[0006] 自動(dòng)豎直調(diào)整技術(shù)的實(shí)現(xiàn)方式可W處置至少一些自然景物W及人造特征的景物。 實(shí)現(xiàn)方式可W對(duì)廣泛圖像可靠地工作而未設(shè)及到用戶交互。
【附圖說明】
[0007] 圖1示出根據(jù)至少一些實(shí)現(xiàn)方式的圖像的豎直調(diào)整的各種示例。
[0008] 圖2是根據(jù)至少一些實(shí)現(xiàn)方式的自動(dòng)豎直調(diào)整的高級(jí)流程圖。
[0009] 圖3是根據(jù)至少一些實(shí)現(xiàn)方式的再投影技術(shù)的流程圖。
[0010] 圖4是根據(jù)至少一些實(shí)現(xiàn)方式的相機(jī)校準(zhǔn)技術(shù)的流程圖。
[001。 圖5圖示Perkin法則。
[0012]圖6A和圖6B圖示根據(jù)至少一些實(shí)現(xiàn)方式的拐角點(diǎn)提取技術(shù)的結(jié)果。
[001引圖7A和圖7姻示根據(jù)至少一些實(shí)現(xiàn)方式的檢測(cè)彎曲邊緣像素。
[0014] 圖8A至圖8C圖示根據(jù)至少一些實(shí)現(xiàn)方式的具有大相機(jī)旋轉(zhuǎn)的照片的調(diào)整。
[0015] 圖9A至圖9C圖示根據(jù)至少一些實(shí)現(xiàn)方式的透視失真控制。
[0016] 圖10A至圖10D圖示根據(jù)至少一些實(shí)現(xiàn)方式的相機(jī)校準(zhǔn)技術(shù)的過程。
[0017] 圖11A和圖11化k較自動(dòng)豎直調(diào)整技術(shù)的實(shí)現(xiàn)方式的結(jié)果與手動(dòng)生成的結(jié)果。
[0018] 圖12比較自動(dòng)豎直調(diào)整技術(shù)的實(shí)現(xiàn)方式的結(jié)果與使用傾斜移位透鏡而捕獲的圖 像。
[0019] 圖13A和圖13B圖示根據(jù)至少一些實(shí)現(xiàn)方式的調(diào)整的圖像的裁剪。
[0020] 圖14A至圖1此比較自動(dòng)豎直調(diào)整技術(shù)的實(shí)現(xiàn)方式的結(jié)果與常規(guī)矯正技術(shù)的結(jié)果。
[0021] 圖15A和圖15B圖示自動(dòng)豎直調(diào)整技術(shù)的實(shí)現(xiàn)方式的結(jié)果。
[0022] 圖16A和圖16B圖示自動(dòng)豎直調(diào)整技術(shù)的實(shí)現(xiàn)方式的結(jié)果。
[0023] 圖17A和圖17B圖示自動(dòng)豎直調(diào)整技術(shù)的實(shí)現(xiàn)方式的結(jié)果。
[0024] 圖18A和圖18B圖示自動(dòng)豎直調(diào)整技術(shù)的實(shí)現(xiàn)方式的結(jié)果。
[0025] 圖19A和圖19B圖示自動(dòng)豎直調(diào)整技術(shù)的實(shí)現(xiàn)方式的結(jié)果。
[0026] 圖20A和圖20B圖示自動(dòng)豎直調(diào)整技術(shù)的實(shí)現(xiàn)方式的結(jié)果。
[0027] 圖21A和圖21B圖示自動(dòng)豎直調(diào)整技術(shù)的實(shí)現(xiàn)方式的結(jié)果。
[0028] 圖22A和圖22B圖示自動(dòng)豎直調(diào)整技術(shù)的實(shí)現(xiàn)方式的結(jié)果。
[0029] 圖22C圖示曼哈頓和亞特蘭大世界假設(shè)的示例。
[0030] 圖23圖示根據(jù)至少一些實(shí)現(xiàn)方式的可W實(shí)施自動(dòng)豎直調(diào)整技術(shù)的一個(gè)或者多個(gè) 示例模塊。
[0031] 圖24圖示可W在實(shí)現(xiàn)方式中使用的示例計(jì)算機(jī)系統(tǒng)。
【具體實(shí)施方式】
[0032] 盡管運(yùn)里通過示例對(duì)于若干實(shí)現(xiàn)方式和示例附圖描述技術(shù)，但是本領(lǐng)域技術(shù)人員 將認(rèn)識(shí)本發(fā)明不限于描述的實(shí)現(xiàn)方式或者附圖。應(yīng)當(dāng)理解附圖及其見圖描述未旨在于使本 發(fā)明限于公開的具體形式，但是恰好相反，旨在于覆蓋落入本發(fā)明的精神實(shí)質(zhì)和范圍內(nèi)的 所有修改、等效和備選。運(yùn)里使用的標(biāo)題僅用于組織目的而無意于用來限制該描述的范圍。 如貫穿本申請(qǐng)所用，在允許意義（即意味著有可能)而不是強(qiáng)制意義（即意味著必須)上使用 字眼"可。相似地，字眼"包括"意味著包括但不限于。
[0033] 遮述
[0034] ^分消費(fèi)者照片包含人造結(jié)構(gòu)、比如具有建筑物和街道的市區(qū)景物W及具有墻 壁和家具的室內(nèi)景物。然而恰當(dāng)?shù)嘏臄z運(yùn)些結(jié)構(gòu)不是一項(xiàng)容易的任務(wù)。業(yè)余拍攝者拍攝的 照片如在圖1的左欄中所示經(jīng)常由于不恰當(dāng)相機(jī)旋轉(zhuǎn)而包含偏斜建筑物、墻壁和視界。
[0035] 人類視覺系統(tǒng)(運(yùn)里稱為人類感知或者感知）一般預(yù)計(jì)可能在一些景物中出現(xiàn)的 高的人造結(jié)構(gòu)和一些其它特征W及與眼睛水平線平行的視界。與運(yùn)一系統(tǒng)沖突可能造成查 看者在注視包含偏斜(未豎直)結(jié)構(gòu)或者其它特征、比如傾斜(未水平)視界時(shí)的不適感。
[0036] 因而描述自動(dòng)圖像調(diào)整技術(shù)。例如一種自動(dòng)調(diào)整技術(shù)可W利用單個(gè)單應(yīng)性W在用 于景物的統(tǒng)一深度假設(shè)之下校正照片。單應(yīng)性可W用來描述在圖像與景物之間的關(guān)系、比 如描述圖像的視點(diǎn)與景物的關(guān)系。因此，單應(yīng)性在運(yùn)一示例中可w用來調(diào)整圖像w增加與 人類感知的預(yù)計(jì)的一致性。
[0037] 例如，描述一種豎直調(diào)整技術(shù)的實(shí)現(xiàn)方式，運(yùn)些實(shí)現(xiàn)方式提供用于伸直在輸入圖 像中預(yù)計(jì)相對(duì)直立的偏斜或者傾斜人造結(jié)構(gòu)和自然特征、比如樹木和視界W提高其感知質(zhì) 量的自動(dòng)化方式。運(yùn)一校正可W稱為豎直調(diào)整。描述在豎直調(diào)整期間應(yīng)用的基于人類感知 研究的判據(jù)集合。可W用多種方式計(jì)算單應(yīng)性、比如通過使用優(yōu)化框架，該優(yōu)化框架被配置 為產(chǎn)生用于根據(jù)判據(jù)調(diào)整的最優(yōu)單應(yīng)性。
[0038] 自動(dòng)調(diào)整技術(shù)的實(shí)現(xiàn)方式也可W用來調(diào)整輸入圖像的透視圖W提高其可視質(zhì)量。 在至少一些實(shí)現(xiàn)方式中，為了實(shí)現(xiàn)運(yùn)一點(diǎn)，基于感知理論定義判據(jù)集合?？蒞應(yīng)用優(yōu)化框架 用于測(cè)量和根據(jù)判據(jù)調(diào)整透視圖。在至少一些實(shí)現(xiàn)方式中，可W結(jié)合附加約束W避免對(duì)特 征、比如臉部或者圓圈的透視失真。除了用于調(diào)整靜止照片的應(yīng)用之外，實(shí)現(xiàn)方式還可W適 于調(diào)整視頻帖，因此圖像可W用來指代任一實(shí)例。
[0039] 此外，描述相機(jī)校準(zhǔn)技術(shù)。相機(jī)校準(zhǔn)技術(shù)可W用來描述圖像的特性。運(yùn)些特性然后 可W用作為用于如W上那樣調(diào)整圖像的基礎(chǔ)。例如相機(jī)校準(zhǔn)技術(shù)可W相互結(jié)合、即同時(shí)用 來估計(jì)消沒線和點(diǎn)W及相機(jī)參數(shù)。運(yùn)些估計(jì)然后可W作為W上單應(yīng)性的部分用來基于W 人類感知為基礎(chǔ)的判據(jù)變換圖像W實(shí)現(xiàn)可視地合理結(jié)果。可W關(guān)于W下相機(jī)校準(zhǔn)章節(jié)發(fā)現(xiàn) 相機(jī)校準(zhǔn)技術(shù)的進(jìn)一步討論。
[0040] 在W下具體描述中，闡述許多具體細(xì)節(jié)W提供要求保護(hù)的主題內(nèi)容的透徹理解。 然而本領(lǐng)域技術(shù)人員將理解可W實(shí)現(xiàn)要求保護(hù)的主題內(nèi)容而無運(yùn)些具體細(xì)節(jié)。在其它實(shí)例 中，尚未具體描述本領(lǐng)域普通技術(shù)人員將已知的技術(shù)、裝置或者系統(tǒng)W免模糊要求保護(hù)的 主題內(nèi)容。
[0041] 在對(duì)在具體裝置或者專用計(jì)算設(shè)備或者平臺(tái)的存儲(chǔ)器內(nèi)存儲(chǔ)的二進(jìn)制數(shù)字信號(hào) 的操作的算法或者符號(hào)表示方面呈現(xiàn)本說明書的W下一些部分。在運(yùn)一具體說明書的上下 文中，術(shù)語具體裝置等包括通用計(jì)算機(jī)，該通用計(jì)算機(jī)一旦它被編程為按照來自程序軟件 的指令執(zhí)行特定功能。算法描述或者符號(hào)表示是數(shù)據(jù)處理或者有關(guān)領(lǐng)域普通技術(shù)人員用來 向本領(lǐng)域其他技術(shù)人員傳達(dá)他們的工作實(shí)質(zhì)的技術(shù)的示例。算法在運(yùn)里并且一般視為促成 所需結(jié)果的自一致操作序列或者相似處理。在本文中，算法或者操作設(shè)及到物理數(shù)量的物 理操控。通常但是并非必需，運(yùn)樣的數(shù)量可W采用能夠存儲(chǔ)、傳送、組合、比較或者W別的方 式和操控的電或者磁信號(hào)的形式。主要出于普遍用法的原因而將運(yùn)樣的信號(hào)稱為位、數(shù)據(jù)、 值、單元、符號(hào)、字符、項(xiàng)、數(shù)目、數(shù)值等有時(shí)是便利的。然而應(yīng)當(dāng)理解所有運(yùn)些或者相似術(shù)語 將與適當(dāng)物理數(shù)量關(guān)聯(lián)并且僅為便利標(biāo)記。除非另有具體地陳述，如從W下討論中清楚的 是，認(rèn)識(shí)貫穿本說明書，利用術(shù)語、比如"處理"、"計(jì)算"、"運(yùn)算"、"確定"等的討論指代具體 裝置、比如專用計(jì)算機(jī)或者相似專用電子計(jì)算設(shè)備的動(dòng)作或者過程。在本說明書的上下文 中，專用計(jì)算機(jī)或者相似專用電子計(jì)算設(shè)備能夠操控或者變換通常在專用計(jì)算機(jī)或者相似 專用電子計(jì)算設(shè)備存儲(chǔ)器、寄存器或者其它信息存儲(chǔ)設(shè)備、傳輸設(shè)備或者顯示設(shè)備內(nèi)表示 為物理電子或者磁數(shù)量的信號(hào)。 巧042] 實(shí)現(xiàn)方式示例
[0043]圖1示出根據(jù)自動(dòng)豎直調(diào)整技術(shù)的至少一些實(shí)現(xiàn)方式的圖像的豎直調(diào)整的各種示 例。左欄示出原有圖像，而右欄示出根據(jù)運(yùn)里描述的豎直調(diào)整技術(shù)的實(shí)現(xiàn)方式生成的所得 圖像。頂部兩個(gè)圖像(a)示出來自街道水平的市區(qū)建筑物景物，第二兩個(gè)圖像(b)示出平面 板，接下來兩個(gè)圖像(C)示出室內(nèi)餐廳景物，接下來兩個(gè)圖像(d)示出航空市區(qū)景物，并且最 后兩個(gè)圖像(e)示出具有山脈和樹木的自然景物。
[0044] 假設(shè)景物相對(duì)于它與相機(jī)的距離的深度變化小，校正偏斜結(jié)構(gòu)設(shè)及到圖像平面的 3D旋轉(zhuǎn)。運(yùn)一校正可W稱為豎直調(diào)整，因?yàn)樗脕硎谷嗽?或者其它）結(jié)構(gòu)如人類感知預(yù)計(jì) 的那樣表現(xiàn)"直立"。已經(jīng)知道相似校正為可W通過使用常規(guī)數(shù)字圖像處理工具或者在捕獲 期間使用特殊傾斜移位透鏡來手動(dòng)卷包圖像而實(shí)現(xiàn)的梯形失真和透視校正。然而運(yùn)些工具 的目標(biāo)領(lǐng)域通常設(shè)及到建筑物的正面，而豎直調(diào)整技術(shù)的實(shí)現(xiàn)方式未顯式地假設(shè)在景物中 的具體對(duì)象類型。此外，人造校正還可W設(shè)及到特殊技能并且在用來處理數(shù)十或者數(shù)百張 照片時(shí)變得令人厭煩。
[0045] 實(shí)現(xiàn)方式可W提供一種用于照片的豎直調(diào)整的自動(dòng)系統(tǒng)，該系統(tǒng)包括但不限于W 下各項(xiàng)：
[0046] .基于對(duì)人類感知的先前研究的若干判據(jù)，運(yùn)些判據(jù)用于定量地測(cè)量人造結(jié)構(gòu)或 者其它圖像特征的感知的質(zhì)量；
[0047] .按照判據(jù)的能量最小化框架，能量最小化框架計(jì)算最優(yōu)單應(yīng)性，該最優(yōu)單應(yīng)性 可W有效地最小化偏斜結(jié)構(gòu)和其它圖像特征的感知的失真；W及
[0048] ?相機(jī)校準(zhǔn)技術(shù)，該相機(jī)校準(zhǔn)技術(shù)同時(shí)估計(jì)消沒線和點(diǎn)W及相機(jī)參數(shù)并且比常規(guī) 技術(shù)更準(zhǔn)確和健壯。
[0049] 自動(dòng)豎直調(diào)整技術(shù)的實(shí)現(xiàn)方式可W處置至少一些自然景物W及人造特征的景物 (例如，見圖1中的最后兩個(gè)圖像(e))。實(shí)現(xiàn)方式也可W對(duì)廣泛圖像可靠地工作而無用戶交 互。 巧050] 自動(dòng)調(diào)整技術(shù)
[0051] 圖2是描繪根據(jù)至少一些實(shí)現(xiàn)方式的自動(dòng)調(diào)整技術(shù)的高級(jí)流程圖。如在100所示， 低級(jí)線檢測(cè)技術(shù)可W應(yīng)用于輸入圖像(或者在輸入圖像集合、比如視頻序列的帖中的每個(gè) 圖像）W檢測(cè)在圖像中的線和邊緣?？蒞使用多種技術(shù)中的任何技術(shù)。如在110所示，W至少 線段作為輸入的相機(jī)校準(zhǔn)技術(shù)可W用來估計(jì)消沒點(diǎn)和線W及其它相機(jī)參數(shù)。在文本中隨后 描述可W在至少一些實(shí)現(xiàn)方式中用來同時(shí)估計(jì)消沒點(diǎn)和線W及相機(jī)參數(shù)的基于優(yōu)化的健 壯相機(jī)校準(zhǔn)技術(shù)。
[0052] 如在120所示，根據(jù)相機(jī)參數(shù)W及消沒點(diǎn)和線執(zhí)行再投影W有效地執(zhí)行豎直調(diào)整。 可W使用再投影模型，該再投影模型意味著使用具有新定向的在可能不同定位放置的另一 相機(jī)來重新拍攝矯正的景物。在至少一些實(shí)現(xiàn)方式中，也可W允許運(yùn)一新相機(jī)在水平和豎 直方向上具有不同焦距。描述可W在估計(jì)在執(zhí)行再投影時(shí)使用的新相機(jī)時(shí)使用的能量最小 化或者優(yōu)化框架，該框架計(jì)算最優(yōu)單應(yīng)性，該最優(yōu)單應(yīng)性可W有效地最小化拍那些結(jié)構(gòu)和 其