一種用于曲面大屏幕的圖像拼接顯示方法
【專利摘要】本發(fā)明公開了一種用于曲面大屏幕的圖像拼接顯示方法，包含以下步驟：步驟1)、把待拼接圖片轉(zhuǎn)換為空間視線角(θ,α)表示的二維圖像；步驟2)、利用空間視線角(θ,α)對(duì)相鄰的待拼接圖片進(jìn)行圖像匹配計(jì)算，根據(jù)計(jì)算得出的匹配點(diǎn)完成拼接；步驟3)、對(duì)拼接后圖片的進(jìn)行平滑處理，完成圖像顯示。本發(fā)明把照片上實(shí)物像素點(diǎn)XY坐標(biāo)的描述，轉(zhuǎn)換為球面空間視線角的描述，為任意參數(shù)曲面大屏幕顯示系統(tǒng)上的圖像拼接提供了統(tǒng)一的度量標(biāo)準(zhǔn)。
【專利說明】
-種用于曲面大屏幕的圖像拼接顯示方法
技術(shù)領(lǐng)域
[0001] 曲面圖形成像引擎;大屏幕曲面顯示系統(tǒng)圖像生成方法;座艙顯示系統(tǒng)。
【背景技術(shù)】
[0002] 沉浸式虛擬座艙是下一代座艙顯示系統(tǒng)的發(fā)展方向，其目的是使用虛擬現(xiàn)實(shí)系統(tǒng) 技術(shù)使用各種硬件技術(shù)和軟件技術(shù)方法，設(shè)計(jì)出合理的硬件、軟件及交互，使參與者能交互 式地觀察和操控系統(tǒng)生成的虛擬世界。從概念上講，任何一個(gè)虛擬現(xiàn)實(shí)系統(tǒng)都可W用=個(gè) "r來描述其特征，運(yùn)就是"沉浸（Inversion r、"交互（Interact ion)"和"現(xiàn)場 (Imagination)"。曲面全視角顯示和=維顯示是虛擬其主要關(guān)鍵技術(shù)。
[0003] 虛擬現(xiàn)實(shí)中虛擬場景繪制技術(shù)/圖形圖像生成技術(shù)，有兩類方法：
[0004] 1)基于幾何模型建模生成技術(shù)
[0005] 繪制過程中設(shè)及到復(fù)雜的幾何建模、消隱和光度計(jì)算。在給出場景的=維模型之 后，為了使虛擬環(huán)境看上去更加逼真。還需要給各個(gè)模型施加各種紋理、顏色與反射屬性。 幾何建模描述的對(duì)象的=維造型（多邊形、=角形和頂點(diǎn)）及其外觀(紋理、表面數(shù)據(jù)反射系 數(shù)、顏色等），在虛擬場景生成、顯示和漫游過程中，設(shè)及到復(fù)雜的幾何變換、剪裁、光源和光 照屬性的變換，運(yùn)些都需要大量的計(jì)算資源。
[0006] 2)基于圖像的圖形繪制技術(shù)(IBR技術(shù)）
[0007] 由于真實(shí)場景的圖片在計(jì)算機(jī)內(nèi)表現(xiàn)為點(diǎn)陣結(jié)構(gòu)的像素圖像，沒有=維幾何信 息，沒有光照信息，雖然圖像好看，易于獲取，但圖像往往只能反映真實(shí)場景的某個(gè)角度的 視覺特征，當(dāng)用戶移動(dòng)視角時(shí)，無法由單幅圖像看到其他角度的場景。雖然運(yùn)種基于真實(shí)圖 像場景構(gòu)造的想法很直接，但一直沒有引起大家的深入研究。
[000引直到由Apple公司推出的QuickTime VR系統(tǒng)，它是一個(gè)基于柱面全景圖像的虛擬 現(xiàn)實(shí)系統(tǒng)，該系統(tǒng)無須知道圖像的=維幾何信息，但可W支持用戶在虛擬環(huán)境中360°環(huán)視、 沿固定路線前進(jìn)與后退等漫游操作，而且用戶看到的都是高質(zhì)量的真實(shí)照片。從此，學(xué)術(shù)界 確認(rèn)了 IBR的學(xué)術(shù)地位，并引起全球研究熱潮。
[0009] I3座艙顯示系統(tǒng)作為下一代座艙顯示系統(tǒng)的發(fā)展方向，其中關(guān)鍵技術(shù)與虛擬現(xiàn)實(shí) 系統(tǒng)技術(shù)存在相關(guān)性。I3座艙顯示系統(tǒng)主要由視景/圖形生成系統(tǒng)（圖形引擎)和視景顯示 系統(tǒng)(硬件設(shè)備)組成。
[0010] 在I3顯示系統(tǒng)的硬件構(gòu)型和組成上，一般根據(jù)使用用途、技術(shù)指標(biāo)采用不同的系 統(tǒng)方案，如柱面環(huán)幕顯示、球幕顯示、頭盎顯示、球幕顯示和立體成像顯示。其中頭盎顯示能 夠使得視景的逼真度和視場范圍達(dá)到最好，但是技術(shù)復(fù)雜，還沒有達(dá)到實(shí)用化的程度。其它 采用曲面環(huán)幕幕+頭位跟蹤+注視區(qū)顯示。
[0011] 在大屏幕顯示應(yīng)用領(lǐng)域由于各種攝像設(shè)備的限制使得無法直接獲得很大視角的 圖像。利用攝像設(shè)備拍攝多幅圖像涵蓋較大范圍的場景，然后應(yīng)用圖像拼接技術(shù)就可W得 到較大視角的圖像從而獲得更多的信息，運(yùn)一點(diǎn)在提高座艙顯示系統(tǒng)信息顯示容量方面起 到了很大作用。目前球面全景圖包含任意方向的信息，但在拼接算法和存儲(chǔ)能力上比圓柱 面全景圖要繁瑣和困難很多，首先對(duì)待拼接圖像建立一個(gè)變換矩陣，通過模型參數(shù)進(jìn)行調(diào) 整使積累誤差降到最小，接著再作一些局部調(diào)整;但是他們提出的方法都還不能夠完全的 針對(duì)任意顯示器曲面形狀推廣應(yīng)用，需要在算法的通用性、計(jì)算速度和穩(wěn)定性上再作改進(jìn) 提局。

【發(fā)明內(nèi)容】

[0012] 針對(duì)現(xiàn)有技術(shù)的不足，本發(fā)明的發(fā)明目的在于提供一種用于曲面大屏幕的圖像拼 接顯示方法，具有拼接計(jì)算量小，算法處理簡單通用的優(yōu)點(diǎn)。
[0013] 本發(fā)明的發(fā)明目的通過W下技術(shù)方案實(shí)現(xiàn)：
[0014] -種用于曲面大屏幕的圖像拼接顯示方法，包含W下步驟：
[0015] 步驟1)、把待拼接圖片轉(zhuǎn)換為空間視線角（0，a)表示的二維圖像；
[0016] 步驟2)、利用空間視線角（0，a)對(duì)相鄰的待拼接圖片進(jìn)行圖像匹配計(jì)算，根據(jù)計(jì)算 得出的匹配點(diǎn)完成拼接；
[0017] 步驟3)、對(duì)拼接后圖片的重合區(qū)域進(jìn)行平滑處理，完成圖像融合。
[0018] 優(yōu)選地，所述步驟2)中包含W下步驟：
[0019] 步驟2.1)利用二個(gè)相鄰的待拼接圖片的空間視線角（0，a)估計(jì)重疊區(qū)域范圍，在 第1待拼接圖片的重疊區(qū)域內(nèi)側(cè)選取一條像素帶，作為捜索模板，捜索模板的頂點(diǎn)位置記為 (目i，ai)，寬度A 0，長度Aa;
[0020] 步驟2.2)用捜索模板兩側(cè)像素點(diǎn)的灰度比值向量Vb作為描述該捜索模板的圖像 信息特征表征：
[0021]
[0022] 步驟2.3)根據(jù)捜索模板的Vb在第2待拼接圖像中進(jìn)行全圖捜索掃描，計(jì)算第2待拼 接圖像中的每一個(gè)對(duì)象的灰度比值向量^:，計(jì)算兩者灰度比值向量的幾何空間距離：
[0023]
[0024] 其中d苗旨標(biāo)最小的^.就是與捜索模板Vb的最佳匹配，記為Vim。
[00巧]進(jìn)一步，所述步驟2)還包含W下步驟：
[0026] 步驟2.4)在配準(zhǔn)時(shí)為提高匹配的精度，在第1待拼接圖片的重疊區(qū)域中選取多個(gè) 非重疊的帶狀捜索模板VbmOnG (l，2，...m))，通過反復(fù)執(zhí)行步驟2.1)-2.3)求取各個(gè)捜索模 板Vbm對(duì)應(yīng)的最佳匹配VTm,然后如下求取修正量對(duì)任意模板VTm位置進(jìn)行修正后作為最終的 匹配位置：
[0027] 選取第1待拼接圖片（06。，化。），第2待拼接圖片（01。，叫。)作為實(shí)際最佳匹配位置點(diǎn)， 使捜索模板Vbm頂點(diǎn)（0bm，Qbm)與其匹配Vm頂點(diǎn)（0Tm，QTm)的重合位置誤差和最?。?br>[002引
[0029]
[0032] 誦討畏小^乘巧求巧X最優(yōu)值為[0033]
[0030]
[0031]
[0034]
[0035] 最終獲得任意一個(gè)捜索模板Vbm頂點(diǎn)（0bm，abm)的最佳的匹配點(diǎn)，即其匹配VTm頂點(diǎn) (白Tm ,QTm)的修正坐標(biāo)為：
[0036]
[0037] 優(yōu)選地，所述步驟3)中包含W下步驟：
[0038] 步驟3.1)對(duì)每張拼接后圖片的重合區(qū)域，建立基準(zhǔn)坐標(biāo)統(tǒng)一由0，a偏移角變量描 述，根據(jù)圖片失真趨勢(shì)確定各自拼接后圖片的衰減系數(shù)和衰減方向，所述衰減方向由拼接 后最少覆蓋原始待拼接圖片的中屯、〇1(目。1，口。1，），W及重合區(qū)域的中屯、〇2(目。2，口。2)確定;所 述衰減系數(shù)沿衰減方向線性衰減，由重疊區(qū)域起始a(ea，aa，）處最高強(qiáng)度為1，結(jié)束處b(0b, 叫，）最低限為〇值的傾斜平面《(0，〇)解析描述：
[0039] Q (0,a)二k[(目 0廣目02)目+(a0i-a02)a]+c
[0040]其 4 [0041 ] 得至
[0042] 步驟3.2)、重疊區(qū)域的合成光線強(qiáng)度，由兩個(gè)圖像重疊區(qū)域?qū)?yīng)點(diǎn)P光線強(qiáng)度的加 權(quán)方式綜合獲得，如下描述：
[0043] g(目，a)= O (目，a)gi(目，a) + (l-o (目，a))g2(目，a)
[0044] 其中g(shù)i(0，a)為P點(diǎn)在第1待拼接圖像中的對(duì)應(yīng)點(diǎn)（0，a)的顏色分量強(qiáng)度值或者是 灰度值;g2(0，a)為P點(diǎn)在第2待拼接圖像中的對(duì)應(yīng)點(diǎn)（0，a)的顏色分量強(qiáng)度值或者是灰度 值；《 (Q，a)是由P點(diǎn)在重合區(qū)域位置0，a確定的權(quán)重系數(shù)。
[0045] 本發(fā)明的有益效果在于：
[0046] 1、為適應(yīng)任意顯示器曲面形狀的圖像拼接應(yīng)用，本發(fā)明提出了基于空間視線角描 述的任意曲面拼接算法實(shí)現(xiàn)。把照片上實(shí)物像素點(diǎn)XY坐標(biāo)的描述，脫離照片平面空間轉(zhuǎn)換 為球面空間視線角的描述。因而不同現(xiàn)實(shí)世界中物體的像可用視線方位角0和視線俯仰角a 唯一確定描述。為任意參數(shù)曲面大屏幕顯示系統(tǒng)上的圖像拼接提供了統(tǒng)一的度量標(biāo)準(zhǔn)。
[0047] 2、針對(duì)圖像配準(zhǔn)環(huán)節(jié)，為了防止無顯著特征圖像的匹配，本發(fā)明提出了基于視線 特征的重疊區(qū)域匹配算法，在此基礎(chǔ)上提出了基于多模板匹配技術(shù)，同過對(duì)多個(gè)匹配模板 序列的最佳匹配位置求取，來提高最終匹配的精準(zhǔn)度。
[0048] 3、在圖像融合環(huán)節(jié)，對(duì)不同的照片采用不同的強(qiáng)度衰減加權(quán)系數(shù)，根據(jù)相機(jī)邊緣 非線性失真程度較大，對(duì)其采用較大的衰減系數(shù);對(duì)于相機(jī)中央?yún)^(qū)域由于失真程度較小，為 了盡量保存該處的圖片信息，對(duì)其采用較小的衰減系數(shù)。此外，對(duì)每張圖片的重合區(qū)域方向 和圖片失真趨勢(shì)確定重合區(qū)域的衰減方向，最終達(dá)到最優(yōu)性能的圖像拼接平滑過渡。
[0049] 綜上所述，本發(fā)明提出的基于視線角描述的圖像拼接方法，相較平面圖像映射到 顯示曲面，再轉(zhuǎn)為平面的拼接處理方法，更加直觀與方便。基于視線角描述的圖像拼接方 法，跳過了在成像曲面上進(jìn)行投影和平面展開環(huán)節(jié)，避免了對(duì)某些非參數(shù)曲面無法展開描 述問題，直接捜索圖片中相同的像素視線，作為配準(zhǔn)依據(jù)。具有拼接計(jì)算量小，算法處理簡 單通用的優(yōu)點(diǎn)。
【附圖說明】
[0050] 圖1為大顯示面積圖像拼接示意圖
[0051] 圖2曲面多視點(diǎn)投影示意圖
[0052] 圖3曲面單視點(diǎn)成像示意圖
[0053] 圖4為發(fā)明的流程示意圖
[0054] 圖5為空間全景圖獲取示意圖
[0055] 圖6為空間視線表示圖片
[0056] 圖7為圖像重疊區(qū)匹配模板
[0057] 圖8為旋轉(zhuǎn)拍攝系統(tǒng)照片焦距估計(jì)
[0058] 圖9為由匹配點(diǎn)確定重合區(qū)域
[0059] 圖10圖像融合衰減方向
[0060] 具體實(shí)現(xiàn)方式
[0061] 下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明作進(jìn)一步的詳細(xì)說明。
[0062] 座艙大屏幕曲面顯示系統(tǒng)的圖形生成引擎包括失真校正、大屏幕拼接、大曲面屏 幕校正兼拼接=大核屯、功能的實(shí)現(xiàn)，本發(fā)明側(cè)重對(duì)圖形顯示生成中的大屏幕拼接技術(shù)進(jìn)行 了研究。大屏幕顯示中，由于受單顯示器件(如投影儀)成像面積限制，或者獲取源圖像的面 積限制，為了進(jìn)行全屏幕整體顯示，進(jìn)行圖像拼接(如圖1所示）。對(duì)于分布式光電孔徑系統(tǒng)， 可使得飛行員在座艙曲面大屏幕顯示系統(tǒng)上得到完整的360°周邊影像，對(duì)于普通圖符信息 實(shí)現(xiàn)全屏顯示。
[0063] 1.1.失真校正原則
[0064] 針對(duì)座艙顯示系統(tǒng)中存在不可失真顯示圖符和可失真顯示圖符信息兩類需求，兩 類失真顯示需求可分別設(shè)計(jì)圖形引擎算法進(jìn)行成像：
[0065] 1)對(duì)于可失真要求的圖像生成可采用如圖2所示的多視點(diǎn)/焦點(diǎn)圖形生成法，即采 用曲面顯示器而圖形成像引擎依舊沿用原有平面屏幕的圖形引擎。
[0066] 因?yàn)榇怪庇陲@示屏幕的正投影成像(成像于無窮遠(yuǎn)處的平行透視)具有占用最小 顯示面積優(yōu)點(diǎn)：一方面利用該圖形引擎生成算法可有效利用曲面顯示器件的實(shí)際顯示面 積，體現(xiàn)了曲面顯示系統(tǒng)有效顯示面積大的優(yōu)點(diǎn)；另一方面可簡化圖形引擎的生成算法復(fù) 雜度，無需對(duì)座艙曲面顯示系統(tǒng)中的所有圖符和圖像進(jìn)行非失真校正。
[0067] 2)對(duì)于不可失真顯示圖符的圖像生成需采用如圖3所示的單視點(diǎn)透視生成法；
[0068] 根據(jù)飛行需要，對(duì)實(shí)際應(yīng)用中必須在曲面成像面上進(jìn)行無失真查看的圖符圖像信 息，主要用于與座艙外界場景進(jìn)行度量比對(duì)，一般有W下幾類：
[00例 ?瞄準(zhǔn)信息圖符
[0070] ?精確飛行引導(dǎo)信息圖符
[0071] ?增強(qiáng)視景
[0072] ?光電瞄準(zhǔn)系統(tǒng)捕獲圖像
[0073] ?分布式光電孔徑捕獲圖像等功能；
[0074] 圖形生成系統(tǒng)一般采用線性透視成像即正投影成像系統(tǒng)進(jìn)行圖像生成，此系統(tǒng)如 下圖所示，該成像系統(tǒng)相對(duì)屏幕進(jìn)行垂直正投影，而觀察視點(diǎn)就在成像焦點(diǎn)附近可接受的 范圍內(nèi)，其所成像AB與觀察視點(diǎn)觀察到的像A'B'基本一致，之間相差差異可W忽略。目前主 流的平面屏幕的圖形引擎就是基于此種原理進(jìn)行設(shè)計(jì)實(shí)現(xiàn)。
[0075] 1.2.大屏幕圖像拼接顯示技術(shù)
[0076] 針對(duì)下一代座艙曲面顯示系統(tǒng)的大屏幕、大視場顯示特點(diǎn)，提出了基于局部區(qū)域 圖像進(jìn)行多圖像拼接顯示的處理方法，特別如分布式光電孔徑系統(tǒng)捕獲圖像，通過對(duì)各通 道采集圖像進(jìn)行拼接處理后，在座艙曲面顯示系統(tǒng)上進(jìn)行實(shí)時(shí)顯示。
[0077] 圖像拼接一般流程如圖4所示：
[007引（1)圖像空間變換
[0079]由于各通道在拍攝圖像序列時(shí)由于拍攝位置、拍攝角度、拍攝相機(jī)參數(shù)不同，使得 拍攝的圖像序列存在著嚴(yán)重的幾何崎變，在運(yùn)種條件下，相機(jī)所獲取的待拼接圖像序列之 間就必然存在著差異，必須預(yù)處理統(tǒng)一到相同成像參數(shù)體系下(保證成像對(duì)象的視覺一致 性)才能進(jìn)行拼接。如果待拼接圖像之間有較大的尺寸、旋轉(zhuǎn)角及平移差別時(shí)，直接進(jìn)行圖 像拼接往往十分困難，而且效果不太令人滿意。
[0080] 另一方面由于拍攝時(shí)間、自然環(huán)境的變化和相機(jī)噪聲，使得拍攝的圖像序列不僅 受噪聲的影響而且存在著灰度失真，在運(yùn)種條件下，相機(jī)所獲取的待拼接圖像序列之間就 必然存在著亮度色彩差異，也需要進(jìn)行補(bǔ)償修正，此種方法不是本文研究內(nèi)容。
[0081] 為減輕圖像參數(shù)估計(jì)的工作量和復(fù)雜度，在拍攝全景圖時(shí)相機(jī)成像參數(shù)盡量通過 標(biāo)定事先獲取，例如一般采用固定參數(shù)和固定視角方式拍攝。相機(jī)成像參數(shù)在拍攝時(shí)如果 無法事先測(cè)量獲取，需要由采集到的序列圖像進(jìn)行焦距、角度等相機(jī)成像參數(shù)的估計(jì)，最后 根據(jù)相機(jī)成像參數(shù)進(jìn)行圖像空間變換，保證成像圖像的視覺一致性。通過空間坐標(biāo)轉(zhuǎn)換由 照片平面(Xp，yp)二維坐標(biāo)轉(zhuǎn)到相機(jī)坐標(biāo)(X。，y。），再最終轉(zhuǎn)至世界坐標(biāo)(Xw，yw)。
[0082] (xw,yw)=R(xp,yp)
[0083] 如圖5所示，球面全景圖可由仰視層全景圖、平視層全景圖和俯視層全景圖=層圖 像義集構(gòu)造而成。
[0084] 在具體的獲取待拼接圖像時(shí)，平視使用下面的方法:首先在一定的高度相機(jī)保持 水平位置，繞固定位置旋轉(zhuǎn)相機(jī)進(jìn)行連續(xù)拍攝，拍攝過程中要保證相鄰的照片有充足的重 合度，保證包含周圍環(huán)境所有的圖像信息，同時(shí)盡量避免水平旋轉(zhuǎn)時(shí)鏡頭的抖動(dòng)，否則會(huì)給 匹配增加不必要的計(jì)算量，影響圖像的拼接的精度，對(duì)運(yùn)一層的所有圖像拼接形成平視層 全景圖；然后將相機(jī)向上仰起60%方法同平視圖的拍攝，拼接后結(jié)果作為球面全景圖中的 待拼接的仰視全景圖；俯視全景圖的拍攝同下，調(diào)整相機(jī)向下俯視60°，得到待拼接的俯視 全景圖。
[0085] ?照片像素的空間視線角表示
[0086] 由于現(xiàn)實(shí)世界空間方向可用球面視角唯一確定，因而就可W用視線角來唯一標(biāo) 識(shí)、描述空間像素點(diǎn)。相機(jī)模型可用如圖6所示的棱錐形表示，照片中像素的位置(實(shí)物在空 間中位置)可用視線偏離相機(jī)中屯、光軸（e〇，a〇)的角度（0，a)表示，其中0為偏轉(zhuǎn)方向，a為俯 仰方向，f為焦距，運(yùn)與實(shí)際觀察物理世界是一致的
[0087] 可W把照片中像素點(diǎn)xy坐標(biāo)描述，轉(zhuǎn)換為W各自圖片中屯、（相機(jī)光軸)為基準(zhǔn)，W 0 , a偏移量描述的坐標(biāo)。
[008引
[0089]
[0090] ?基于視線的空間像素插值
[0091] 采用相同的相機(jī)參數(shù)，從相同觀察點(diǎn)0拍攝的重合照片中必然存在重合的視線。對(duì) 照片的視角范圍0，a按像素值進(jìn)行等分，即取與像素點(diǎn)相同的等分?jǐn)?shù)量。由于0，a映射到的 像素坐標(biāo)可能為非均勻間隔非整數(shù)值，運(yùn)些結(jié)果進(jìn)行前后左右四點(diǎn)插值平均處理得到，最 終轉(zhuǎn)換為0，a為坐標(biāo)描述的圖像。
[0092] (2)局部配準(zhǔn)
[0093] 局部配準(zhǔn)，為在相互重疊的兩幅圖像中，依據(jù)一個(gè)相似度評(píng)價(jià)函數(shù)，精確找出兩幅 圖像的重疊區(qū)域完成匹配。圖像的精確配準(zhǔn)是進(jìn)行高質(zhì)量圖像拼接的前提和重要保證。如 何針對(duì)圖像間各種差異，實(shí)現(xiàn)配準(zhǔn)精度的提高、速度的提高、魯棒性和抗干擾性的增強(qiáng)W及 并行實(shí)現(xiàn)等問題都是配準(zhǔn)技術(shù)發(fā)展的重要研究內(nèi)容。
[0094] 圖像配準(zhǔn)算法從實(shí)現(xiàn)原理可W分為兩類：
[00M] -類是基于特征的方法，即首先在要進(jìn)行拼接的兩幅圖像上尋找一系列的特征 點(diǎn)，然后建立特征點(diǎn)之間的對(duì)應(yīng)關(guān)系，并根據(jù)運(yùn)個(gè)對(duì)應(yīng)關(guān)系計(jì)算出待拼接圖像之間的坐標(biāo) 轉(zhuǎn)換關(guān)系。基于特征的方法的問題在于缺乏適應(yīng)性，運(yùn)是因?yàn)橹挥心骋活悎D像才具有相應(yīng) 的圖像特征，而另一類圖像可能根本就不存在的運(yùn)樣的特征。由于球面拼接算法處理的是 實(shí)際拍攝的圖像，對(duì)圖像本身沒有限制，所W基于特征匹配的算法無法滿足要求。
[0096] 另一類是基于像素點(diǎn)對(duì)應(yīng)關(guān)系的方法，通過算法優(yōu)化使兩幅圖像上的對(duì)應(yīng)像素點(diǎn) 之間的差別最小。運(yùn)種方法根據(jù)初始的參數(shù)，對(duì)于每一對(duì)應(yīng)點(diǎn)，計(jì)算當(dāng)前的誤差W及當(dāng)參數(shù) 變化時(shí)誤差的變化率，根據(jù)總的誤差能量最小運(yùn)一原則，通過優(yōu)化算法迭代求解求得參數(shù) 的局部最優(yōu)解。運(yùn)種方法的適應(yīng)性較強(qiáng)，但是計(jì)算量較大。
[0097] 目前，比較典型的圖像配準(zhǔn)方法有:模板匹配法、基于圖像灰度的配準(zhǔn)法、基于圖 像特征的配準(zhǔn)方法、相位相關(guān)法W及其他配準(zhǔn)方法。但不管哪種方法，目前均需要強(qiáng)制展開 至二維平面，在xy平面坐標(biāo)系中進(jìn)行圖像匹配捜索的局限，本發(fā)明提出了如下的基于空間 視線角描述的任意曲面拼接算法實(shí)現(xiàn)：
[0098] ?基于視線特征的重疊區(qū)域匹配算法如下：
[0099] 1)為減少捜索量，利用空間視線角（0，a)估計(jì)相鄰二個(gè)待拼接圖片的重疊區(qū)域范 圍（為便于說明，將二個(gè)待拼接圖片分別用第1待拼接圖片、第2待拼接圖片進(jìn)行表述），在第 1待拼接圖片的重疊區(qū)域內(nèi)側(cè)初始范圍開始選取一豎條窄條像素帶，作為捜索模板，如圖7 所示。其頂點(diǎn)位置記為(0i，ai)，寬度A 0，長度Aa;
[0100] 2)用捜索模板兩側(cè)像素點(diǎn)的灰度比值向量Vb作為描述該捜索模板的圖像信息特 征表征
[0101]
[0102] 3)然后根據(jù)捜索模板的Vb在第2待拼接圖片中進(jìn)行全圖捜索掃描，計(jì)算全圖掃描 中的每一個(gè)對(duì)象的吃（叮,定義同化），計(jì)算兩者特征向量的幾何空間距離
[0103]
[0104] 其中dj指標(biāo)最小的吟,就是與模板Vbm的最佳匹配，記為Vim。
[0105] 4)為了防止圖片無特征區(qū)域，在配準(zhǔn)時(shí)為提高匹配的精度，在第1待拼接圖片的重 疊區(qū)域中選取多個(gè)非重疊的帶狀捜索模板化m(mG (1，2，. . .m))，通過反復(fù)執(zhí)行1 )-3)求取各 個(gè)捜索模板Vbm對(duì)應(yīng)的最佳匹配VTm，然后如下求取修正量對(duì)任意模板VTm位置進(jìn)行修正后作 為最終的匹配位置：
[0106] 選取第1待拼接圖片（06。，化。），第2待拼接圖片（01。，叫。)作為實(shí)際最佳匹配位置點(diǎn)， 使模板Vbm頂點(diǎn)（0bm，abm)與其匹配VTm頂點(diǎn)（0Tm，aTm)序列mG (1,2, . . .m)的重合位置誤差和最 小
[0107]
[010 引
[0109]
[0110]
[0111] 通過最小二乘法可W求取X最優(yōu)值為
[0112] X=(HTh)-IhTz
[0113]
[0114] 最終可W獲得任意一個(gè)模板Vbm頂點(diǎn)（0bm，abm)的最佳的匹配點(diǎn)，即其匹配VTm頂點(diǎn) (白Tm, 口時(shí)）的倏TF業(yè)標(biāo)九
[0115]
[0116] ?減少不同拍攝系統(tǒng)的參數(shù)計(jì)算量
[0117] 為了減少對(duì)拍攝序列照片的相機(jī)參數(shù)的圖像測(cè)量和計(jì)算，對(duì)于拍攝系統(tǒng)可W設(shè)置 嚴(yán)格精確的拍攝參數(shù)，W獲得照片序列間的空間位置關(guān)系?；蛘呤孪韧ㄟ^對(duì)相機(jī)系統(tǒng)進(jìn)行 參數(shù)標(biāo)定減少計(jì)算量。由于飛機(jī)分布式光電孔徑系統(tǒng)其安裝位置和參數(shù)是固定的，也具備 了提前參數(shù)標(biāo)定的條件。否則需要通過圖像處理獲得相機(jī)參數(shù)的計(jì)算估計(jì)：
[0118] 1)相機(jī)光軸指向估計(jì)
[0119] 飛機(jī)座艙中進(jìn)行圖像信息顯示時(shí)可W分為兩類，一類需要獲得精確的光軸空間方 位指向并在相同方位上顯示，另一類不需要進(jìn)行精確方位顯示，只需保持圖像間的相對(duì)位 置關(guān)系。前者可通過重合圖像光視線偏移量A 0，Aa,計(jì)算出相鄰照片相機(jī)光軸的絕對(duì)空間 指向參數(shù)，后者通過重合圖像光視線偏移量A 0，Aa,可知相鄰圖像的空間相對(duì)位置。
[0120] 2)圖片焦距估計(jì)
[0121] 對(duì)于精確的旋轉(zhuǎn)拍攝光學(xué)系統(tǒng)，可通過圖片信息計(jì)算出圖片焦距，如圖8所示。對(duì) 于嚴(yán)格旋轉(zhuǎn)拍攝系統(tǒng)中，旋轉(zhuǎn)角度是已知的，通過識(shí)別出重疊區(qū)域交叉線后可根據(jù)視場角， 計(jì)算出旋轉(zhuǎn)柏?cái)z系統(tǒng)的焦距，即成像視點(diǎn)0位置。作為后續(xù)拼接處理的基礎(chǔ)。
[0122]
[0123] 3)圖像平滑
[0124] 處理拼接后的圖像，使得兩幅圖像平滑過渡，實(shí)現(xiàn)無縫拼接。由于光照條件不盡相 同，因此所要拼接的圖像在亮度上可能會(huì)有較大的差別。運(yùn)樣，如果僅僅是簡單的將兩幅圖 像拼接起來，在圖像的拼合處會(huì)產(chǎn)生亮度的不連續(xù)現(xiàn)象，出現(xiàn)明顯的拼縫，要消除運(yùn)種拼 縫，就必須將拼接好的圖像進(jìn)行平滑處理，使得兩幅圖像在重疊區(qū)域(如圖9所示)亮度平滑 過渡，實(shí)現(xiàn)無縫拼接。
[0125] 根據(jù)相機(jī)邊緣失真程度較大，對(duì)每張圖片的重合區(qū)域，建立基準(zhǔn)坐標(biāo)統(tǒng)一由0，a偏 移角變量描述，根據(jù)圖片失真趨勢(shì)確定各自圖片的衰減系數(shù)和衰減方向，衰減方向由拼接 后最少覆蓋原始待拼接圖片的中屯、〇1(目。1，口。1，），W及重合區(qū)域的中屯、〇2(目。2，口。2)確定。衰 減系數(shù)按衰減方向，建立W 0，a偏移角為變量的，由重疊區(qū)域起始a( 0a，Qa，）處最高強(qiáng)度為1， 結(jié)束處b(0b，ab，）最低限為0值的傾斜面《(0，a)，表示重疊區(qū)域光線強(qiáng)度沿箭頭方向的線性 衰減，如圖10所示。其中重疊區(qū)域離圖像中屯、區(qū)域近的衰減系數(shù)取《(0，a)，表示保留較多 像素信息，相反的另一圖像重疊區(qū)域像素衰減系數(shù)取為(1-?(0，曰））。
[0126] 傾斜平面CO (0，a)如下解析描述：
[0130] 最后重疊區(qū)域的合成光線強(qiáng)度，由兩個(gè)圖像重疊區(qū)域?qū)?yīng)點(diǎn)P光線強(qiáng)度的加權(quán)方 式綜合獲得，如下描述：[0131] g(0,a)= O (0,a)gi(0,a) + (l-o (0,a))g2(0,a)
[0127] 〇(目.a)=k「（目。1-目。9)目+(口。廣口)口 1+C
[012引其4
[0129] 得至
[0132] 其中g(shù)i(0，a)為P點(diǎn)在第I待拼接圖像中的對(duì)應(yīng)點(diǎn)（0，a)的顏色分量強(qiáng)度值或者是 灰度值;g2(0，a)為P點(diǎn)在第2待拼接圖像中的對(duì)應(yīng)點(diǎn)（0，a)的顏色分量強(qiáng)度值或者是灰度 值；《 (Q，a)是由P點(diǎn)在重合區(qū)域位置0，a確定的權(quán)重系數(shù)。
[0133] 可W理解的是，對(duì)本領(lǐng)域普通技術(shù)人員來說，可W根據(jù)本發(fā)明的技術(shù)方案及其發(fā) 明構(gòu)思加 W等同替換或改變，而所有運(yùn)些改變或替換都應(yīng)屬于本發(fā)明所附的權(quán)利要求的保 護(hù)范圍。
【主權(quán)項(xiàng)】
1. 一種用于曲面大屏幕的圖像拼接顯示方法，包含以下步驟： 步驟1)、把待拼接圖片轉(zhuǎn)換為空間視線角（θ，α)表示的二維圖像； 步驟2)、利用空間視線角（θ，α)對(duì)相鄰的待拼接圖片進(jìn)行圖像匹配計(jì)算，根據(jù)計(jì)算得出 的匹配點(diǎn)完成拼接； 步驟3)、對(duì)拼接后圖片的重合區(qū)域進(jìn)行平滑處理，完成圖像融合。2. 根據(jù)權(quán)利要求1所述的一種用于曲面大屏幕的圖像拼接顯示方法，其特征在于所述 步驟2)中包含以下步驟： 步驟2.1)利用二個(gè)相鄰的待拼接圖片的空間視線角（θ，α)估計(jì)重疊區(qū)域范圍，在第1待 拼接圖片的重疊區(qū)域內(nèi)側(cè)選取一條像素帶，作為搜索模板，搜索模板的頂點(diǎn)位置記為（S1, ai)，寬度ΛΘ，長度Δα; 步驟2.2)用搜索模板兩側(cè)像素點(diǎn)的灰度比值向量Vb作為描述該搜索模板的圖像信息特 征衷征：步驟2.3)根據(jù)搜索模板的Vb在第2待拼接圖像中進(jìn)行全圖搜索掃描，計(jì)算第2待拼接圖 像中的每一個(gè)對(duì)象的灰度比值向量^，計(jì)算兩者灰度比值向量的幾何空間距離：其中山指標(biāo)最小的匕,就是與搜索模板Vb的最佳匹配，記為VTm。3. 根據(jù)權(quán)利要求2所述的一種用于曲面大屏幕的圖像拼接顯示方法，其特征在于所述 步驟2)還包含以下步驟： 步驟2.4)在配準(zhǔn)時(shí)為提高匹配的精度，在第1待拼接圖片的重疊區(qū)域中選取多個(gè)非重 疊的帶狀搜索模板％?(!11￡(1，2，...111))，通過反復(fù)執(zhí)行步驟2.1)-2.3)求取各個(gè)搜索模板 Vbdi應(yīng)的最佳匹配V Tm，然后如下求取修正量對(duì)任意模板VTmfe置進(jìn)行修正后作為最終的匹 配位置： 選取第1待拼接圖片（Sbc^abc)，第2待拼接圖片（0Tc，aTc;)作為實(shí)際最佳匹配位置點(diǎn)，使搜 索模板Vbm頂點(diǎn)（9bm , abm)與其匹配VTm頂點(diǎn)（θτιη , ClTm)的重合位置誤差和最小：最終獲得任意一個(gè)搜索模板VbJ·頁點(diǎn)（0bm，abm)的最佳的匹配點(diǎn)，即其匹配VtJ·頁點(diǎn)（0 Tm， ClTm)的修正坐標(biāo)為：4.根據(jù)權(quán)利要求1所述的一種用于曲面大屏幕的圖像拼接顯示方法，其特征在于所述 步驟3)中包含以下步驟： 步驟3.1)對(duì)每張拼接后圖片的重合區(qū)域，建立基準(zhǔn)坐標(biāo)統(tǒng)一由θ，α偏移角變量描述，根 據(jù)圖片失真趨勢(shì)確定各自拼接后圖片的衰減系數(shù)和衰減方向，所述衰減方向由拼接后最少 覆蓋原始待拼接圖片的中心οιΟο?,α^，），以及重合區(qū)域的中心〇2(9。 2，(1。2)確定;所述衰減 系數(shù)沿衰減方向線性衰減，由重疊區(qū)域起始a(0a，aa,)處最高強(qiáng)度為1，結(jié)束處b(0 b，ab,)最 低限為〇值的傾斜平面ω (Θ，a)解析描述：步驟3.2)、重疊區(qū)域的合成光線強(qiáng)度，由兩個(gè)圖像重疊區(qū)域?qū)?yīng)點(diǎn)p光線強(qiáng)度的加權(quán)方 式綜合獲得，如下描述： g(0,a)= ω (θ,α)δι(θ,α) + (1-ω (0,a))g2(0,a) 其中81(θ，α)為ρ點(diǎn)在第1待拼接圖像中的對(duì)應(yīng)點(diǎn)（θ，α)的顏色分量強(qiáng)度值或者是灰度 值;g2(Θ，a)為ρ點(diǎn)在第2待拼接圖像中的對(duì)應(yīng)點(diǎn)（Θ，a)的顏色分量強(qiáng)度值或者是灰度值；ω (θ，α)是由ρ點(diǎn)在重合區(qū)域位置θ，α確定的權(quán)重系數(shù)。
【文檔編號(hào)】G06T3/40GK106023072SQ201610303860
【公開日】2016年10月12日
【申請(qǐng)日】2016年5月10日
【發(fā)明人】金曉南, 王倩, 包勇
【申請(qǐng)人】中國航空無線電電子研究所