可W定 義能量項(xiàng)為：
[009引
[0099] 其中"dyi"是在％，ex=[l 0 0r中的消沒線"lyi"的變換的線"IV'的方向，并且 *誠如"是"IV'從豎直方向的偏離。對于在"Lx"中的消沒線"W'相似地定義項(xiàng)"山1"，并且 "ey=[0 1 0]τ"用來測量水平設(shè)備。
[0100] 在等式(Α4)中，用于線"Γ的權(quán)值V'是校準(zhǔn)的焦距?'規(guī)范化的在變換之前的原 有線長度、即：
[0101 ] w= I I q-p I I /f.
[0102] 在至少一些實(shí)現(xiàn)方式中，可W使用初始旋轉(zhuǎn)角度來自適應(yīng)地確定權(quán)值"λν"和"Ah", 因?yàn)楫嬅婵驅(qū)?zhǔn)約束隨著旋轉(zhuǎn)角度變得更大而變得更弱。至少一些實(shí)現(xiàn)方式可W使用：
[0103]
[0104] 其中"護(hù)和"Θ"分別是沿著V和V軸的校準(zhǔn)的旋轉(zhuǎn)角度。X"和"Oh"是可用來控 制旋轉(zhuǎn)角度的容差的參數(shù)。在至少一些實(shí)現(xiàn)方式中，可W固定運(yùn)些控制參數(shù)為"〇v = Vl2" 和"〇h=Vl5"。其它值可W用于控制參數(shù)，并且在一些實(shí)現(xiàn)方式中，控制參數(shù)可W例如經(jīng)由 向用戶接口的用戶輸入而可調(diào)整。 巧…引視平線對準(zhǔn)
[0106] 可W定義在照片中的視平線對準(zhǔn)為連接兩個(gè)消沒點(diǎn)"vx"和"vz"的線。令"v\"和 "vV'為變換的消沒點(diǎn)：
[0107]
[0108] 設(shè)及人類感知的目標(biāo)可W是使視平線水平。在至少一些實(shí)現(xiàn)方式中，可W定義能 量項(xiàng)為：
[0109]
[0110] 其中
[01 11 ] de= (ν' Z-V' X)/ I I V' Z-V' X I I，
[0112] 并且"wi"和"w/'是在等式(Α4)中使用的權(quán)值。由于即使在照片包含許多消沒線時(shí) 實(shí)行視平線對準(zhǔn)，運(yùn)樣的實(shí)現(xiàn)方式仍然可W按照線權(quán)值之和對巧eye"進(jìn)行加權(quán)W相對于 巧P1C"恰當(dāng)?shù)乜s放巧eye"。
[0113] 透視失真
[0114] 可W如圖5中所示使用化rkins法則來測量立方體的透視失真。根據(jù)化rkins法則， 可W將立方體的頂點(diǎn)劃分成兩個(gè)類別：叉和箭頭接合點(diǎn)。對于叉接合點(diǎn)，定義"ai"、"32"和 "曰3"大于"V2"。對于箭頭接合點(diǎn)，定義巧1"和二者小于"V2"，并且定義兩個(gè)角度之和 大于"V2"。違反W上條件的頂點(diǎn)對于查看者不會(huì)被感知為立方體的頂點(diǎn)。
[0115] 為了應(yīng)用Perkins法則，至少一些實(shí)現(xiàn)方式可W檢測位于立方體的頂點(diǎn)上的拐角 點(diǎn)。首先，提取如下點(diǎn)，來自兩個(gè)或者Ξ個(gè)不同軸的消沒先的起點(diǎn)或者端點(diǎn)在運(yùn)些點(diǎn)匯合。 均值移位算法(或者備選地為某種其它技術(shù))然后可W應(yīng)用于運(yùn)些點(diǎn)W去除重復(fù)或者附近 點(diǎn)。在至少一些實(shí)現(xiàn)方式中，也可W去除具有太小拐角角度的拐角點(diǎn)。圖6A和圖6B圖示根據(jù) 至少一些實(shí)現(xiàn)方式的運(yùn)一拐角點(diǎn)提取技術(shù)的結(jié)果。標(biāo)記提取的點(diǎn)為點(diǎn)陣。
[0116] 提取的拐角點(diǎn)可W用來在化rkins法則之下測量透視失真。對于每個(gè)拐角點(diǎn)，繪制 將拐角點(diǎn)連接到Ξ個(gè)消沒點(diǎn)的Ξ個(gè)線。然后測量在Ξ個(gè)線之間的角度W 了解是否違反 Perkins 法則：
[0117]
[0118] 其中"Cl"代表拐角點(diǎn)。至少一些實(shí)現(xiàn)方式僅考慮叉接合點(diǎn)，因?yàn)榭蒞通過交換邊 緣的方向?qū)⒓^接合點(diǎn)變換成叉接合點(diǎn)。
[0119] 圖像失真
[0120] 在至少一些實(shí)現(xiàn)方式中，可W檢測在輸入圖像中的圓圈和其它特征W準(zhǔn)確地測量 圖像失真。然而準(zhǔn)確地檢測運(yùn)些特征可能有困難。因此，至少一些實(shí)現(xiàn)方式可W代之W使用 如W下描述的近似。
[0121] 首先，可W例如使用化nny檢測器來檢測低級圖像邊緣。然后可W去除可W在直線 附近的邊緣像素。假設(shè)剩余邊緣像素來自可W從一些特征始發(fā)的曲線（見圖7A和圖7B)，可 W例如使用W下雅可比測量來測量運(yùn)些像素的失真：
[0122]
[0123] 其中"Pi是剩余邊緣像素，"J( · Γ是雅可比矩陣，并且"det( ·)"是行列式。可W 離散地計(jì)算像素 V'的雅可比矩陣。例如，令V'和V'是V'的兩個(gè)鄰居像素，從而"p=(X， 7八、"9=如1，7嚴(yán)和"'=^，7+1嚴(yán)，。然后近似節(jié)'在單應(yīng)性巧"的雅可比矩陣為：
[0124]
[0125] 運(yùn)一能量在非硬性變換應(yīng)用于像素從而引起特征的失真時(shí)增加。對于"λ/，至少 一些實(shí)現(xiàn)方式可W使用小值(例如，10-4)。圖7Α示出示例原有圖像，并且圖7Β示出可W在其 中檢測到一些特征一一比如人類頭部和字母一一的檢測到的彎曲邊緣像素的示例。 巧126] 焦距差值
[0127] 在至少一些實(shí)現(xiàn)方式中，可W使用用于單應(yīng)性的再投影模型，該再投影模型允許 沿著V'和V'軸的不同焦距W求更自然結(jié)果。然而，出于人類感知的目的，兩個(gè)焦距不會(huì)相 差太多。為了實(shí)行運(yùn)一性質(zhì)，可W定義W下能量：
[0128] Efacal = Af(flx-fly)2,
[0129] 在至少一些實(shí)現(xiàn)方式中：
[0130] Af=Wf)2，
[01引]能量函數(shù)最小化
[0132] 在至少一些實(shí)現(xiàn)方式中，可W為了豎直調(diào)整而最小化的能量函數(shù)通過組合W上能 量項(xiàng)中的每個(gè)能量項(xiàng)而變成：
[。側(cè)
(At)
[0134] W上表達(dá)式受制于設(shè)及化rkins法則的W上等式十六。因而有待優(yōu)化的九個(gè)未知 數(shù)："Κι"、"貼'和"ti"，運(yùn)些未知數(shù)包括如W上定義的吁lx"、吁ly"、"山"、"VI"、"化"、"目1"、"tx" 和"ty"。然而"山"和"VI"簡單地移位在變換之后的所得圖像，因此"山= U0"和"VI = VO"。因 此，可W相對于屯個(gè)參數(shù)優(yōu)化W上等式Ξ。為了初始化變量，至少一些實(shí)現(xiàn)方式可W使用 下式：
[0135] fix = fiy = f，化=〇,目 1 = 0, φι = -φ，and tx = ty = 0，
[0136] 其中f和Φ是可W例如通過相機(jī)校準(zhǔn)而獲得的值。
[0137] 注意運(yùn)一能量函數(shù)非線性并且在閉合形式中不可求解。在至少一些實(shí)現(xiàn)方式中， 例如使用Matlab中的"fmincon"或者相似函數(shù)的數(shù)值技術(shù)可W用來最小化能量函數(shù)。雖然 未確保全局最優(yōu)，但是運(yùn)一方式在實(shí)踐中工作良好。注意其它實(shí)現(xiàn)方式可W使用其它技術(shù) W最小化能量函數(shù)。
[013引單應(yīng)性優(yōu)化參數(shù)
[0139]在至少一些實(shí)現(xiàn)方式中可W調(diào)整W上描述的用于單應(yīng)性優(yōu)化的參數(shù)W滿足用戶 的意圖。例如可W不推薦放寬視平線約束，因?yàn)閷?shí)行運(yùn)一判據(jù)W獲得可視地更好結(jié)果。然而 用戶可能希望通過操控"Ον"和"0h3"來控制畫面框?qū)?zhǔn)的效果W避免太激進(jìn)調(diào)整。因此，至 少一些實(shí)現(xiàn)方式可W提供例如經(jīng)由用戶接口的技術(shù)，用戶可W經(jīng)由該用戶接口調(diào)整一個(gè)或 者多個(gè)單應(yīng)性優(yōu)化參數(shù)。 巧140] 豎直調(diào)整標(biāo)準(zhǔn)的效果
[0141] 圖8A至圖8C圖示根據(jù)至少一些實(shí)現(xiàn)方式的具有大相機(jī)旋轉(zhuǎn)的照片的調(diào)整。圖8A示 出原有圖像，圖8B示出如常規(guī)地矯正的圖像，并且圖8C示出運(yùn)里描述的技術(shù)的實(shí)現(xiàn)方式的 應(yīng)用結(jié)果。畫面框?qū)?zhǔn)可能是大平面對象、比如建筑物和布告板的正面的照片所希望的。然 而其效果可能隨著相機(jī)的旋轉(zhuǎn)角度增加而削弱，否則它可能造成不希望的失真(例如，見圖 8B)。注意如果畫面框?qū)?zhǔn)W其它判據(jù)為主，則調(diào)整結(jié)果變成與簡單圖像矯正相似。至少一 些實(shí)現(xiàn)方式可W用自適應(yīng)權(quán)值方案(等式(A5))W及透視和圖像失真判據(jù)自動(dòng)處置運(yùn)一問 題從而生成如圖8C中所示更好結(jié)果。
[0142] 圖9A至圖9C圖示根據(jù)至少一些實(shí)現(xiàn)方式的透視失真控制。圖9A示出原有圖像。圖 9B示出在無透視失真約束時(shí)通過調(diào)整圖9A的圖像而生成的所得圖像。圖9C示出根據(jù)至少一 些實(shí)現(xiàn)方式的在無透視失真約束時(shí)通過調(diào)整圖9A的圖像而生成的所得圖像。視平線對準(zhǔn) 可W隨著畫面框?qū)?zhǔn)的效果變得更弱而變得越來越合乎需要(見圖1(d))，但是應(yīng)用運(yùn)一判 據(jù)可W幫助獲得更好結(jié)果。透視失真控制防止可能使在圖像中的對象表現(xiàn)失真的太強(qiáng)調(diào)整 (例如，見圖9B和圖9C)。在至少一些實(shí)現(xiàn)方式中，可W允許在V'和V'方向上的焦距用等式 (A3)略微地偏離從而產(chǎn)生小縱橫比改變W易化透視失真。 巧14引相機(jī)校準(zhǔn)技術(shù)
[0144]在運(yùn)一章節(jié)中，描述用于相機(jī)校準(zhǔn)的多種不同基于優(yōu)化的技術(shù)，運(yùn)些技術(shù)可W在 自動(dòng)豎直調(diào)整技術(shù)的至少一些實(shí)現(xiàn)方式中用來估計(jì)在等式(2)中的矩陣"K"和"R"。因而，描 述一種運(yùn)樣的技術(shù)的第一示例，然后是另一示例。
[014引第一相機(jī)校準(zhǔn)示例
[0146]在至少一些常規(guī)校準(zhǔn)技術(shù)中，首先使用從輸入照片檢測到的消沒線和消沒點(diǎn)來確 定曼哈頓方向，然后從直接獲得"K"和"R"。然而在確定時(shí)，用于V'軸、Y'軸和 軸的對應(yīng)消沒點(diǎn)可能不明顯，因?yàn)榭赡苡性S多可能有定位誤差的消沒點(diǎn)。然后，在運(yùn)樣 的實(shí)例中向"K"和"R"立即傳播的不準(zhǔn)確性。
[0147] 對照而言，運(yùn)里描述的相機(jī)校準(zhǔn)技術(shù)的實(shí)現(xiàn)方式可W例如使用最大后驗(yàn)(MAP)方 式來相互結(jié)合（即"同時(shí)"）估計(jì)"K"、"R"和，該MP方式可W產(chǎn)生與運(yùn)些常規(guī)技術(shù)比較具有 增加的可靠性的結(jié)果。
[0148] 盡管描述相機(jī)校準(zhǔn)技術(shù)為在自動(dòng)豎直調(diào)整技術(shù)的至少一些實(shí)現(xiàn)方式中用來估計(jì) 用于輸入圖像的相機(jī)參數(shù)W及消沒點(diǎn)和線，但是注意該技術(shù)可W在除了運(yùn)里描述的技術(shù)之 外的其它數(shù)字圖像處理技術(shù)中用來估計(jì)用于輸入圖像的相機(jī)參數(shù)和/或消沒點(diǎn)和線。 巧149] 線段檢測
[0150]線段是在校準(zhǔn)技術(shù)的實(shí)現(xiàn)方式中的基本原語。從輸入圖像可W例如使用多比例方 式的技術(shù)來提取線段"L"的集合。對于每個(gè)線段"li"，可W存儲(chǔ)其兩個(gè)端點(diǎn)"Pi"和"qi"。 [0"1] 校準(zhǔn)公式表示
[0152] 在至少一些實(shí)現(xiàn)方式中，可W表達(dá)曼哈頓方向"M"、本征矩陣"K"和定向矩陣"R"相 對于線段L的聯(lián)合概率如下：
[0153] p(K，R，M|L)Kp(L|K，R，M)pW，R，M)
[0154] =p(L|M)p(M|K，R)p 化)p(R)， (A9)
[01巧]而假設(shè)"K"和"R"相互獨(dú)立并且也獨(dú)立于"L"。通過取對數(shù)概率，等式(A9)可W被改 寫成能量函數(shù)為：
[0156] Ek,r,m|l = Ek 巧 r+Em|k,r+El|m. (A10)
[0157] 巧15引先驗(yàn)Εκ
[0159] 為了定義用于"Κ"的先驗(yàn)，至少一些實(shí)現(xiàn)方式可W假設(shè)投影中心'Cp = (u〇，v〇r是 圖像中屯、"Cl=kx，Cy)"并且焦距吁"是圖像寬度"取'。然后可W定義?Κ"為：
[0160]
[0161] 至少一些實(shí)現(xiàn)方式可W設(shè)置"λ?為0.04"和"λ。為（l〇/W)2"。然而，可W在如W下進(jìn) 一步描述的其它實(shí)現(xiàn)方式中使用其它值。 巧162] 先驗(yàn)Er
[0163] 對于"R"的先驗(yàn)，至少一些實(shí)現(xiàn)方式可W假設(shè)相機(jī)的定向?qū)τ谑澜绲闹鬏S對準(zhǔn)，運(yùn) 在多數(shù)情況下是合理假設(shè)。在至少一些實(shí)現(xiàn)方式中：
[0164] Εκ = λφ 護(hù)+λθ 白 2+λφφ2，
[0165] 在至少一些實(shí)現(xiàn)方式中，Ξ個(gè)旋轉(zhuǎn)角度未被同等地加權(quán)。具體地，可W發(fā)現(xiàn)用于Φ (Ζ軸旋轉(zhuǎn))的先驗(yàn)應(yīng)當(dāng)更強(qiáng)W實(shí)行視平線對準(zhǔn)。因此，至少一些實(shí)現(xiàn)方式可W使用：
[0166] [λφ，，λθ，λφ] = [4/π，3/π，6/π]2. 巧 167]后驗(yàn) Em|k,r
[016引在至少一些實(shí)現(xiàn)方式中，如果"K"和"R"已知，則可W估計(jì)為：
[0169] M=[Vx Vy Vz] =化R)l3，
[0170] 其中"l3=[ex ey 6ζΓ是單位矩陣。在至少一些實(shí)現(xiàn)方式中，使用運(yùn)一性質(zhì)，可W 用公式表示能量函數(shù)如下：
[0171]
[0172] 運(yùn)一能量函數(shù)覆蓋曼哈頓方向的正交性和用于頂點(diǎn)的先驗(yàn)。在至少一些實(shí)現(xiàn)方式 中，可W設(shè)置"λΜ"為"(24A)2"。然而，可W在一些實(shí)現(xiàn)方式中使用用于"λΜ"的其它值。
[0173] 后驗(yàn)化ΙΜ
[0174] 運(yùn)一項(xiàng)測量檢測到的線段與估計(jì)的消沒點(diǎn)的相符性。在至少一些實(shí)現(xiàn)方式中，可 能希望如下消沒點(diǎn)，對于運(yùn)些消沒點(diǎn)，更多線段可W是消沒線的部分。在至少一些實(shí)現(xiàn)方式 中，能量函數(shù)是：
[0175]
[0176] 其中"d( · Γ是在消沒點(diǎn)與線之間的距離。至少一些實(shí)現(xiàn)方式可W使用W下距離 定義：
[0