本發(fā)明涉及圖像處理領域，尤其涉及一種合并圖像的方法和裝置。

背景技術：

隨著電子信息產(chǎn)業(yè)與社會需求的發(fā)展，各種圖像采集設備和大尺寸顯示器迅速進入到人們的日常生活。隨之而來的問題是如何獲取寬視角、高分辨率的圖像或視頻數(shù)據(jù)。例如，日常生活中的生活圖像的全景拍攝、衛(wèi)星圖像及航拍圖像的合并等，都需要把從不同視點拍攝的圖像無縫拼接起來，合并成一幅寬視野、高分辨率的全景拼接圖像。現(xiàn)有技術中一般使用普通相機陣列采集一組具有重疊區(qū)域的低分辨率或小視角圖像，然后將來自多個視點的圖像進行合并，經(jīng)過拼接和融合組合成一幅高分辨率、寬視角的新圖像，經(jīng)過合并的圖像包括拼接前圖像的全部信息，并且看起來像在一個視點拍攝而成。

現(xiàn)有技術中經(jīng)常采用加權平均值法對圖像進行合并。這種方式雖然簡單，卻沒有考慮不同視點采集到的圖像的視差問題，其直接結果就是在合并前兩張圖像重疊區(qū)域內(nèi)的物體會在合并圖像中出現(xiàn)模糊或重影。

技術實現(xiàn)要素：

本發(fā)明實施例提供了一種合并圖像的方法和裝置，以減少合并圖像由于視差產(chǎn)生的模糊或重影。

第一方面，本發(fā)明實施例提供了一種合并圖像的方法，該方法包括：獲取待合并的兩張圖像，該兩張圖像是分別從兩個視點采集到的圖像，該兩張圖像具有重疊區(qū)域；將該重疊區(qū)域劃分出至少兩個候選融合區(qū)域，該至少兩個候選融合區(qū)域中的每個候選融合區(qū)域中存在將該兩張圖像的每張圖像劃分為不連通的兩部分的線；基于該兩張圖像之間的光流矢量，確定該每個候選融合區(qū)域對應的光流矢量映射誤差，其中，該每個候選融合區(qū)域對應的光流矢量映射誤差用于指示在該每個候選融合區(qū)域中的，該兩張圖像各自的子 圖像，分別基于該光流矢量，對應在同一視點的圖像之間的誤差；根據(jù)該至少兩個候選融合區(qū)域各自對應的光流矢量映射誤差，從該至少兩個候選融合區(qū)域中選取出該兩個圖像的目標融合區(qū)域；將該兩張圖像在該目標融合區(qū)域進行融合，從而得到該兩張圖像的合并圖像。

待合并的圖像的重疊區(qū)域被劃分成多個融合區(qū)域，通過確定該多個候選融合區(qū)域各自對應的光流矢量映射誤差，能夠對待合并圖像在重疊區(qū)域內(nèi)的子圖像的光流矢量映射(或稱光流場映射)誤差進行估計，從而能夠根據(jù)誤差估計結果從候選融合區(qū)域中選擇目標融合區(qū)域，將兩張圖像在目標融合區(qū)域進行融合，從而得到兩張圖像的合并圖像，這樣不但能夠減少合并圖像由于視差引起的模糊或重影，且能夠節(jié)省圖像合并的計算量。

結合第一方面，在第一方面的第一種可能的實現(xiàn)方式中，該方法還包括：該將該兩張圖像在該目標融合區(qū)域進行融合，從而得到該兩張圖像的合并圖像，包括：基于該光流矢量，獲取兩張重疊子圖像分別對應在該兩個視點的中間視點的映射圖像，該中間視點的坐標值為該兩個視點的坐標值的均值，該兩張重疊子圖像為在該重疊區(qū)域中的該兩張圖像各自的重疊子圖像；將兩張映射圖像在該目標融合區(qū)域進行融合，從而得到融合子圖像；將該兩張圖像中的除該兩張重疊子圖像之外的子圖像和該融合子圖像進行拼接，從而得到該合并圖像。

通過獲取兩張重疊子圖像基于光流矢量對應在中間視點的映射圖像，并將得到的映射圖像在目標融合區(qū)域進行融合，從而得到基于光流矢量變換融合的融合子圖像，最終獲得合并圖像，可以有效的減少合并圖像由于視差引起的模糊或重影。

結合第一方面或第一方面的第一種可能的實現(xiàn)方式，在第一方面的第二種可能的實現(xiàn)方式中，該方法還包括：該兩張圖像包括第一圖像和第二圖像，該第一圖像對應第一視點，該第二圖像對應第二視點，該基于該兩張圖像之間的光流矢量，確定該至少兩個候選融合區(qū)域中的每個候選融合區(qū)域對應的光流矢量映射誤差，包括：基于該光流矢量，獲取該第一圖像中的在該重疊區(qū)域的重疊子圖像對應在該第二視點的圖像；確定該對應在該第二視點的圖像與該第二圖像中的在該重疊區(qū)域的重疊子圖像之間的第一遮擋圖像；基于該光流矢量，獲取該第一遮擋圖像對應在該兩個視點的中間視點的第二遮擋圖像；根據(jù)在該第二遮擋圖像中的該每個候選融合區(qū)域中的用于指示遮擋的 區(qū)域的信息，確定該每個候選融合區(qū)域對應的光流矢量映射誤差。

首先獲取第一圖像在重疊區(qū)域的重疊子圖像基于光流矢量變換對應在第二視點的圖像，并獲取該對應在第二視點的圖像與第二圖像在重疊區(qū)域的重疊子圖像之間的第一遮擋圖像，然后根據(jù)該第一遮擋圖像獲取對應在中間視點的第二遮擋圖像，根據(jù)第二遮擋圖像的用于指示遮擋區(qū)域的信息，確定每個候選融合區(qū)域對應的光流矢量映射誤差，從而可以根據(jù)光流矢量映射誤差選取目標融合區(qū)域。

結合第一方面的第二種可能的實現(xiàn)方式，在第一方面的第三種可能的實現(xiàn)方式中，該方法還包括：該用于指示遮擋的區(qū)域包括用于指示遮擋的像素點，該根據(jù)該每個候選融合區(qū)域對應在該第二遮擋圖像中的區(qū)域中的用于指示遮擋的區(qū)域的分布，確定該每個候選融合區(qū)域對應的光流矢量映射誤差，包括：確定該每個候選融合區(qū)域對應在該第二遮擋圖像中的區(qū)域中的用于指示遮擋的像素點的像素值之和；將該像素值之和作為該每個候選融合區(qū)域對應的光流矢量映射誤差。

結合第一方面、第一方面的第一種至第三種可能的實現(xiàn)方式中的任一種可能的實現(xiàn)方式，在第一方面的第四種可能的實現(xiàn)方式中，該方法還包括：該根據(jù)該至少兩個候選融合區(qū)域對應的光流矢量映射誤差，從該至少兩個候選融合區(qū)域中選取該兩個圖像的融合區(qū)域，包括：將該至少兩個候選融合區(qū)域中對應的光流矢量映射誤差最小的候選融合區(qū)域確定為該兩個圖像的目標融合區(qū)域。

通過選取光流矢量映射誤差最小的候選融合區(qū)域為該兩個圖像的目標融合區(qū)域，并最終在目標融合區(qū)域對兩張待合并圖像進行融合，提高了合并圖像的融合質(zhì)量，減少了由于視差引起的模糊和重影。

結合第一方面、第一方面的第一種至第三種可能的實現(xiàn)方式中的任一種可能的實現(xiàn)方式，在第一方面的第五種可能的實現(xiàn)方式中，該方法還包括：該根據(jù)該至少兩個候選融合區(qū)域對應的該光流矢量映射誤差，從該至少兩個候選融合區(qū)域中選取該兩個圖像的融合區(qū)域，包括：將該至少兩個候選融合區(qū)域中對應的光流矢量映射誤差小于預設閾值的候選融合區(qū)域確定為該兩個圖像的目標融合區(qū)域。

通過選取光流矢量映射誤差小于預設閾值的候選融合區(qū)域為該兩個圖像的目標融合區(qū)域，并最終在目標融合區(qū)域對兩張待合并圖像進行融合，提 高了合并圖像的融合質(zhì)量，減少了由于視差引起的模糊和重影。

結合第一方面、第一方面的第一種至第五種可能的實現(xiàn)方式中的任一種可能的實現(xiàn)方式，在第一方面的第六種可能的實現(xiàn)方式中，該方法還包括：該至少兩個候選融合區(qū)域的面積之和小于該重疊區(qū)域的面積。

由于該至少兩個候選融合區(qū)域的面積之和小于重疊區(qū)域的面積，所以可以減少計算光流矢量映射誤差和融合圖像時的計算量，提高合成圖像的效率和處理速度。

在第二方面，本發(fā)明實施例提供了一種合并圖像的裝置，該裝置包括：獲取模塊，用于獲取待合并的兩張圖像，該兩張圖像是分別從兩個視點采集到的圖像，該兩張圖像具有重疊區(qū)域；確定模塊，用于將該重疊區(qū)域劃分出至少兩個候選融合區(qū)域，該至少兩個候選融合區(qū)域中的每個候選融合區(qū)域中存在將該兩張圖像的每張圖像劃分為不連通的兩部分的線；基于該兩張圖像之間的光流矢量，確定該每個候選融合區(qū)域對應的光流矢量映射誤差，其中，該每個候選融合區(qū)域對應的光流矢量映射誤差用于指示在該每個候選融合區(qū)域中的，該兩張圖像各自的子圖像，分別基于該光流矢量，對應在同一視點的圖像之間的誤差；選擇模塊，用于根據(jù)該至少兩個候選融合區(qū)域各自對應的光流矢量映射誤差，從該至少兩個候選融合區(qū)域中選取出該兩個圖像的目標融合區(qū)域；融合模塊，用于將該兩張圖像在該選擇模塊選取的該目標融合區(qū)域進行融合，從而得到該兩張圖像的合并圖像。

待合并的圖像的重疊區(qū)域被劃分成多個融合區(qū)域，通過確定該多個候選融合區(qū)域各自對應的光流矢量映射誤差，能夠對待合并圖像在重疊區(qū)域內(nèi)的子圖像的光流矢量映射(或稱光流場映射)誤差進行估計，從而能夠根據(jù)誤差估計結果從候選融合區(qū)域中選擇目標融合區(qū)域，將兩張圖像在目標融合區(qū)域進行融合，從而得到兩張圖像的合并圖像，這樣不但能夠減少合并圖像由于視差引起的模糊或重影，且能夠節(jié)省圖像合并的計算量。

結合第二方面，在第二方面的第一種可能的實現(xiàn)方式中，該融合模塊具體用于：基于該光流矢量，獲取兩張重疊子圖像分別對應在該兩個視點的中間視點的映射圖像，該中間視點的坐標值為該兩個視點的坐標值的均值，該兩張重疊子圖像為在該重疊區(qū)域中的該兩張圖像各自的重疊子圖像；將兩張映射圖像在該目標融合區(qū)域進行融合，從而得到融合子圖像；將該兩張圖像中的除該兩張重疊子圖像之外的子圖像和該融合子圖像進行拼接，從而得到 該合并圖像。

結合第二方面或第二方面的第一種可能的實現(xiàn)方式，在第二方面的第二種可能的實現(xiàn)方式中，該兩張圖像包括第一圖像和第二圖像，該第一圖像對應第一視點，該第二圖像對應第二視點，該確定模塊具體用于：基于該光流矢量，獲取該第一圖像中的在該重疊區(qū)域的重疊子圖像對應在該第二視點的圖像；確定該對應在該第二視點的圖像與該第二圖像中的在該重疊區(qū)域的重疊子圖像之間的第一遮擋圖像；基于該光流矢量，獲取該第一遮擋圖像對應在該兩個視點的中間視點的第二遮擋圖像；根據(jù)在該第二遮擋圖像中的該每個候選融合區(qū)域中的用于指示遮擋的區(qū)域的信息，確定該每個候選融合區(qū)域對應的光流矢量映射誤差。

結合第二方面的第二種可能的實現(xiàn)方式，在第二方面的第三種可能的實現(xiàn)方式中，該用于指示遮擋的區(qū)域包括用于指示遮擋的像素點，該確定模塊具體用于：確定該每個候選融合區(qū)域對應在該第二遮擋圖像中的區(qū)域中的用于指示遮擋的像素點的像素值之和；將該像素值之和作為該每個候選融合區(qū)域對應的光流矢量映射誤差。

結合第二方面、第二方面的第一種至第三種可能的實現(xiàn)方式中的任一種可能的實現(xiàn)方式，在第二方面的第四種可能的實現(xiàn)方式中，該選擇模塊具體用于：將該至少兩個候選融合區(qū)域中對應的光流矢量映射誤差最小的候選融合區(qū)域確定為該兩個圖像的目標融合區(qū)域。

結合第二方面、第二方面的第一種至第三種可能的實現(xiàn)方式中的任一種可能的實現(xiàn)方式，在第二方面的第五種可能的實現(xiàn)方式中，該選擇模塊具體用于：將該至少兩個候選融合區(qū)域中對應的光流矢量映射誤差小于預設閾值的候選融合區(qū)域確定為該兩個圖像的目標融合區(qū)域。

結合第二方面、第二方面的第一種至第五種可能的實現(xiàn)方式中的任一種可能的實現(xiàn)方式，在第二方面的第六種可能的實現(xiàn)方式中，該至少兩個候選融合區(qū)域的面積之和小于該重疊區(qū)域的面積。

第三方面，提供一種合并圖像的裝置，該裝置包括處理器和存儲器；該存儲器用于存儲代碼；該處理器通過讀取該存儲器中存儲的該代碼，以用于執(zhí)行第一方面提供的方法。

附圖說明

為了更清楚地說明本發(fā)明實施例的技術方案，下面將對本發(fā)明實施例中所需要使用的附圖作簡單地介紹，顯而易見地，下面所描述的附圖僅僅是本發(fā)明的一些實施例，對于本領域普通技術人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1是根據(jù)本發(fā)明實施例的一種合并圖像的方法的示意性流程圖。

圖2是根據(jù)本發(fā)明又一實施例的與現(xiàn)有技術之間的融合效果對比圖。

圖3是根據(jù)本發(fā)明另一實施例的待合并的兩張圖像的展示圖。

圖4是根據(jù)本發(fā)明另一實施例的求第一遮擋圖像的過程示意圖。

圖5是根據(jù)本發(fā)明另一實施例的合并圖像的方法的最終合并圖像的效果圖。

圖6是根據(jù)本發(fā)明又一實施例的由前景物體產(chǎn)生的遮擋圖像的示意圖。

圖7是根據(jù)本發(fā)明又一實施例的重疊區(qū)域的候選融合區(qū)域的劃分方法示意圖。

圖8是根據(jù)本發(fā)明再一實施例的重疊區(qū)域的候選融合區(qū)域的劃分方法示意圖。

圖9是根據(jù)本發(fā)明再一實施例的與現(xiàn)有技術之間的融合效果對比圖。

圖10是根據(jù)本發(fā)明實施例的合并圖像的裝置的示意性框圖。

圖11是根據(jù)本發(fā)明實施例的合并圖形的裝置的示意圖。

具體實施方式

為了描述的方便和簡潔，本發(fā)明實施例中的方法以兩張圖像的合并過程為例，顯而易見，本發(fā)明實施例中的方法還可以應用于多張圖像合并的圖像融合系統(tǒng)，也可以應用于視頻領域的圖像融合系統(tǒng)。

應理解，一般情況下，待合并的圖像可以由相機陣列采集，也可以由其他圖像采集設備獲取，例如，本發(fā)明實施例中的待合并的兩張圖像可以是相機陣列中的相鄰兩個相機在同一場景中采集到的兩張圖像。待合并的圖像可以從不同的視點，即不同的角度采集而得。由于這些圖像從不同的視點采集而成，所以合并圖像時，在圖像的重疊區(qū)域會由于視差產(chǎn)生模糊或重影。視差是指從兩個視點上觀察同一個目標所產(chǎn)生的方向差異。合并圖像的過程中應該盡量減少視差。另外，在合并圖像的過程中，拼縫附近的物體可能出現(xiàn)重復或缺失，這種現(xiàn)象又稱為鬼影。尤其當重疊區(qū)域 對應的子圖像的場景中存在運動物體或前景物體時，在圖像融合過程中可能會產(chǎn)生模糊或重影。在合并圖像的過程中應該減少或避免由視差產(chǎn)生的模糊或重影。

圖1示出了本發(fā)明實施例的合并圖像的方法100的示意性流程圖。如圖1所示，該方法100包括：

S110，獲取待合并的兩張圖像，該兩張圖像是分別從兩個視點采集到的圖像，該兩張圖像具有重疊區(qū)域；

S120，將該重疊區(qū)域劃分出至少兩個候選融合區(qū)域，該至少兩個候選融合區(qū)域中的每個候選融合區(qū)域中存在將該兩張圖像的每張圖像劃分為不連通的兩部分的線；基于該兩張圖像之間的光流矢量，確定該每個候選融合區(qū)域對應的光流矢量映射誤差，其中，該每個候選融合區(qū)域對應的光流矢量映射誤差用于指示在該每個候選融合區(qū)域中的，該兩張圖像各自的子圖像，分別基于該光流矢量，對應在同一視點的圖像之間的誤差；

S130，根據(jù)該至少兩個候選融合區(qū)域各自對應的光流矢量映射誤差，從該至少兩個候選融合區(qū)域中選取出該兩個圖像的目標融合區(qū)域；

S140，將該兩張圖像在該目標融合區(qū)域進行融合，從而得到該兩張圖像的合并圖像。

本發(fā)明實施例中，待合并的圖像的重疊區(qū)域被劃分成多個融合區(qū)域，通過確定該多個候選融合區(qū)域各自對應的光流矢量映射誤差，能夠對待合并圖像在重疊區(qū)域內(nèi)的子圖像的光流矢量映射(或稱光流場映射)的誤差進行估計，從而能夠根據(jù)誤差估計結果從候選融合區(qū)域中選擇目標融合區(qū)域，將兩張圖像在目標融合區(qū)域進行融合，從而得到兩張圖像的合并圖像，這樣不但能夠減少合并圖像由于視差引起的模糊或重影，且能夠節(jié)省圖像合并的計算量。

應理解，上述每個候選融合區(qū)域對應的光流矢量映射誤差可以包括兩張圖像中的其中一張圖像對應在該每個候選融合區(qū)域的子圖像基于光流矢量，映射至兩張圖像中的另一張圖像對應的視點的光流矢量映射誤差。例如，兩張圖像可以包括第一圖像和第二圖像，可以基于光流矢量將第一圖像對應在每個候選融合區(qū)域的子圖像映射至第二圖像對應的視點，并將第一圖像映射后的子圖像與第二圖像的對應的子圖像之間的誤差作為每個候選融合區(qū)域的光流矢量映射誤差。相似的，也可以基于光流矢量，將第二圖像對應在每 個候選融合區(qū)域的子圖像映射至第一圖像對應的視點，并將第二圖像映射后的子圖像與第一圖像的對應的子圖像之間的誤差作為每個候選融合區(qū)域的光流矢量映射誤差。每個候選融合區(qū)域可以考慮兩個光流矢量映射誤差中的其中一個光流矢量映射誤差，從該至少兩個候選融合區(qū)域中選取目標融合區(qū)域，也可以綜合考慮兩個光流矢量映射誤差選取目標融合區(qū)域其中一張圖像的光流矢量映射誤差從該至少兩個候選融合區(qū)域中選取最終的融合區(qū)域，本發(fā)明實施例對此不作具體限定。

應理解，該重疊區(qū)域被劃分出至少兩個候選融合區(qū)域，候選融合區(qū)域的數(shù)量取值可以為2-7個。上述兩個圖像可以各自對應一個視點，上述同一視點可以指待合并的兩張圖像各自的視點，也可以指待合并的兩張圖像各自對應的視點的中間的視點(或者說，中間視點)。應理解，上述兩張圖像之間的光流矢量可以包括兩張圖像中的每一張圖像變換到另一張圖像對應的視點的光流矢量。例如，待合并的兩張圖像可以包括第一圖像和第二圖像，第一圖像和第二圖像之間的光流矢量可以包括第一圖像變換到第二圖像對應的視點所采用的光流矢量，還可以包括第二圖像變換到第一圖像對應的視點所采用的光流矢量。

應理解，候選融合區(qū)域的光流矢量映射誤差可以指示待合并圖像的對應在候選融合區(qū)域的子圖像經(jīng)過光流矢量變換得到的變換結果的準確程度，變換結果的準確度越高，候選融合區(qū)域對應的光流矢量映射誤差就越小。候選融合區(qū)域對應的光流矢量映射誤差越小，則可以說明在該候選融合區(qū)域將兩個圖像進行融合產(chǎn)生的模糊或重影就越少，最終合并的圖像的質(zhì)量就越高。

可選地，當確定多個候選融合區(qū)域對應的光流矢量映射誤差之后，可以根據(jù)該至少兩個候選融合區(qū)域對應的光流矢量映射誤差的大小，從至少兩個候選融合區(qū)域中選取兩個圖像的目標融合區(qū)域，即選取兩個待合并的圖像進行融合的區(qū)域。通過對比不同候選融合區(qū)域對應的光流矢量映射誤差的大小，可選取目標融合區(qū)域，以在保證融合質(zhì)量的同時減小融合區(qū)域的大小，從而減少融合圖像時的計算量，提高融合圖像的速度?？蛇x地，在選擇目標融合區(qū)域時，可以選擇至少兩個候選融合區(qū)域中對應的光流矢量映射誤差最小的候選融合區(qū)域為兩個待合并圖像的目標融合區(qū)域。例如，當兩張圖像包括第一圖像和第二圖像時，可以選擇至少兩個候選融合區(qū)域中的與第一圖像的子圖像進行光流矢量變換后對應的光流矢量映射誤差最小的候選融合區(qū)域為 融合區(qū)域，也可以選擇至少兩個候選融合區(qū)域中的與第二圖像的子圖像進行光流矢量變換后對應的光流矢量映射誤差最小的候選融合區(qū)域為融合區(qū)域。應理解，一般情況下，同一個候選融合區(qū)域對應的兩個光流矢量映射誤差的量級是相近的，而不同的候選融合區(qū)域對應的兩個光流矢量映射誤差的量級可以是差別較大的。所以，在選取光流矢量映射誤差最小的候選融合區(qū)域時，可以只考慮候選融合區(qū)域對應的其中一個光流矢量映射誤差的大小，也可以同時考慮候選融合區(qū)域對應的兩個光流矢量映射誤差的大小。

在本發(fā)明實施例中，通過選取光流矢量映射誤差最小的候選融合區(qū)域為該兩個圖像的目標融合區(qū)域，并最終在目標融合區(qū)域對兩張待合并圖像進行融合，提高了合并圖像的融合質(zhì)量，減少了由于視差引起的模糊和重影。

可選地，在選擇融合區(qū)域時，可以從該至少兩個候選融合區(qū)域中選取光流矢量映射誤差小于預設閾值的候選融合區(qū)域為目標融合區(qū)域，然后從目標候選融合區(qū)域中確定待合并的兩個圖像的融合區(qū)域。例如，當待合并的兩張圖像包括第一圖像和第二圖像時，選擇目標融合區(qū)域時，可以選取至少兩個候選融合區(qū)域中的與第一圖像的子圖像進行光流矢量變換后對應的光流矢量映射誤差小于預設閾值的候選融合區(qū)域為目標候選融合區(qū)域，也可以選取至少兩個候選融合區(qū)域中的與第一圖像的子圖像進行光流矢量變換后對應的光流矢量映射誤差小于預設閾值的候選融合區(qū)域為目標融合區(qū)域，還可以選取至少兩個候選融合區(qū)域中的與兩張圖像的子圖像進行光流矢量變換后對應的兩個光流矢量映射誤差都小于預設閾值的候選融合區(qū)域為目標候選融合區(qū)域，即選取的目標候選融合區(qū)域對應的兩個光流矢量映射誤差都小于預設閾值。當小于預設閾值的候選融合區(qū)域不止一個時，可以從符合條件的候選融合區(qū)域中確定目標融合區(qū)域。當符合條件的候選融合區(qū)域只有一個時，將符合條件的候選融合區(qū)域為融合區(qū)域?？蛇x地，預設閾值可以根據(jù)最終合并的圖像的質(zhì)量要求而設定，也可以根據(jù)經(jīng)驗來設定，本發(fā)明實施例并不限定于此。

在本發(fā)明實施例中，通過選取光流矢量映射誤差小于預設閾值的候選融合區(qū)域為該兩個圖像的目標融合區(qū)域，并最終在目標融合區(qū)域對兩張待合并圖像進行融合，提高了合并圖像的融合質(zhì)量，減少了由于視差引起的模糊和重影。

例如，作為一個具體實施例，當至少兩個候選融合區(qū)域為三個候選融合 區(qū)域時，可以首先計算中間的候選融合區(qū)域對應的光流矢量映射誤差，由于一般情況下，根據(jù)經(jīng)驗，可認為兩側的候選融合區(qū)域的光流矢量映射誤差小于中間的候選融合區(qū)域誤差。當確定中間的候選融合區(qū)域對應的光流矢量映射誤差后，可認為兩側的候選融合區(qū)域的光流矢量映射誤差小于中間的候選融合區(qū)域的光流矢量映射誤差。例如，當待合并的圖像包括第一圖像和第二圖像時，可以設定M為第一圖像在中間候選融合區(qū)域內(nèi)的遮擋像素點的像素灰度值之和，可以設定N為第二圖像在中間候選融合區(qū)域內(nèi)的遮擋像素點的像素灰度值之和。可以將M和N確認為中間候選融合區(qū)域的光流矢量映射誤差，并將M和N與預設閾值進行比較。當M和N都小于預設閾值時，可以確認中間候選融合區(qū)域為目標融合區(qū)域。因為在對圖像進行融合時，最關心的是中間融合區(qū)域的融合效果，所以如果中間候選融合區(qū)域的光流矢量映射誤差滿足對合并圖像質(zhì)量的要求時，無需計算其他候選融合區(qū)域的光流矢量映射誤差，從而減少計算光流矢量映射誤差的工作量。若M與N中有任一項大于預設閾值時，不妨假設N＞M＞預設閾值，則需要選取兩側的候選融合區(qū)域中的其中一個候選融合區(qū)域作為目標融合區(qū)域。具體地，可以認為第二圖像內(nèi)的中間候選融合區(qū)域對應的子圖像的光流矢量估計不準確，導致第二圖像內(nèi)的與中間候選融合區(qū)域對應的子圖像通過光流矢量映射到第一圖像視點的誤差較大，所以需要盡量減少第二圖像在融合結果中所占的比例。因此，可以選擇靠近第二圖像的候選融合區(qū)域為目標融合區(qū)域，最終的合并圖像中，在目標融合區(qū)域中第一圖像和第二圖像所占的比重各為50％。而對于靠近第一圖像的候選融合區(qū)域以及中間候選融合區(qū)域，采用第一圖像的對應子圖像經(jīng)過光流矢量變換到中間視點后的第二映射子圖像，第一圖像所占的比重為100％。從而減少最終合并圖像由于視差產(chǎn)生的模糊或重影，提高合并圖像的處理速度。

可選地，在確定目標融合區(qū)域后，將該兩張圖像在該目標融合區(qū)域進行融合，從而得到該兩張圖像的合并圖像。

可選地，作為一個實施例，在本發(fā)明實施例的合并圖像的方法100中，該將該兩張圖像在該目標融合區(qū)域進行融合，從而得到該兩張圖像的合并圖像，包括：基于該光流矢量，獲取兩張重疊子圖像分別對應在該兩個視點的中間視點的映射圖像，該中間視點的坐標值為該兩個視點的坐標值的均值，該兩張重疊子圖像為在該重疊區(qū)域中的該兩張圖像各自的重疊子圖像；將兩 張映射圖像在該目標融合區(qū)域進行融合，從而得到融合子圖像；將該兩張圖像中的除該兩張重疊子圖像之外的子圖像和該融合子圖像進行拼接，從而得到該合并圖像。

在本發(fā)明實施例中，通過獲取兩張重疊子圖像基于光流矢量對應在中間視點的映射圖像，并將得到的映射圖像在目標融合區(qū)域進行融合，從而得到基于光流矢量變換融合的融合子圖像，最終獲得合并圖像，可以有效的減少合并圖像由于視差引起的模糊或重影。

例如，待合并的兩張圖像可以包括第一圖像和第二圖像，可以根據(jù)第一圖像和第二圖像之間的光流矢量，將第一圖像中的對應在融合區(qū)域的子圖像變換至中間視點，將第二圖像中的對應在融合區(qū)域的子圖像變換至中間視點，并將變換到中間視點的兩個子圖像進行融合處理。其中，對兩個子圖像進行融合處理可以使用加權平均值法，又稱為羽化方法。還可以使用配置中值濾波器的加權平均值法，即配置中值濾波器的羽化方法。可選地，在獲取融合子圖像之后，可以根據(jù)待合并的兩張圖像以及融合子圖像，對待合并的圖像進行合并處理，得到最終的合并圖像。例如，待合并的圖像包括第一圖像和第二圖像，以融合區(qū)域為界，對于重疊區(qū)域內(nèi)的除融合區(qū)域之外靠近第一圖像的第一區(qū)域，確定第一圖像的對應在該第一區(qū)域內(nèi)的子圖像基于光流矢量變換，映射到中間視點后得到的第一映射子圖像，對于重疊區(qū)域內(nèi)的除融合區(qū)域之外靠近第二圖像的第二區(qū)域，確定第二圖像的對應在該第二區(qū)域內(nèi)的子圖像經(jīng)過光流矢量變換、映射到中間視點后得到的第二映射子圖像。然后將第一圖像內(nèi)除重疊區(qū)域之外的區(qū)域對應的子圖像、第二圖像內(nèi)除重疊區(qū)域之外的區(qū)域對應的子圖像、融合子圖像、第一映射子圖像以及第二映射子圖像拼接在一起，得到最終合并的合并圖像。

又例如，待合并的圖像可以包括第一圖像和第二圖像，可以設定第一圖像的第一映射子圖像的像素點的坐標為(i，j)，該坐標距離第一圖像的邊緣為λ₁像素，距離第二圖像的邊緣為λ₂像素，第一圖像內(nèi)的對應在重疊區(qū)域的子圖像映射到第一映射子圖像對應的光流矢量為F(F_i,F_j),可以采用反向投影的方式，根據(jù)公式(1)確定將第一圖像映射到中間視點的第三映射子圖像的像素點的坐標。獲取第二圖像映射到中間視點得到的第四映射子圖像的像素點的方法與之相應，為了描述的簡潔和方便，此處不再贅述。

公式(1)為：

其中(B_i，B_j)表示第三映射子圖像的像素點位置的坐標，也是融合子圖像的像素點對應的位置的坐標?？梢栽O定第一圖像內(nèi)的與融合子圖像匹配的像素值為c₁，第二圖像內(nèi)的與融合子圖像匹配的像素值c₂,則可以根據(jù)公式(2)，采用加權平均值法計算融合子圖像的像素值。

公式(2)為：

圖2示出了本發(fā)明實施例與現(xiàn)有技術之間的融合效果對比圖。如圖2所示，圖2(a)出了采用加權平均值法得到的對應在重疊區(qū)域的子圖像，圖2(b)示出了采用本發(fā)明實施例的合并圖像的方法得到的對應在重疊區(qū)域的子圖像。從圖2可以看出，與現(xiàn)有技術相比，本發(fā)明實施例的合并圖像的方法可以有效減少由于視差產(chǎn)生的模糊或重影。

可選地，在本發(fā)明實施例中，將該兩張映射圖像在該目標融合區(qū)域進行融合，從而得到融合子圖像的具體實現(xiàn)方法也可以采用配合中值濾波法的改進羽化方法來實現(xiàn)對第三映射子圖像以及第四映射子圖像之間的融合，中值濾波法主要利用中值濾波器處理重疊區(qū)域像素。將中值濾波器作用在邊界附近的區(qū)域，當某個像素值與周圍像素值的灰度值差別較大的時候，對這個像素點進行中值濾波，從而使它的值接近周圍像素的值，從而能夠消除光強的不連續(xù)問題。中值濾波法在場景存在運動目標的情景下，能夠突出運動目標，保持原有背景。所以，本發(fā)明實施例中的配合中值濾波法的改進羽化方法能夠消除模糊或重影，達到較好的圖像合并效果。

作為一個實施例，本發(fā)明實施例的合并圖像的方法100還包括：該兩張圖像包括第一圖像和第二圖像，該第一圖像對應第一視點，該第二圖像對應第二視點，該基于該兩張圖像之間的光流矢量，確定該至少兩個候選融合區(qū)域中的每個候選融合區(qū)域對應的光流矢量映射誤差，包括：基于該光流矢量，獲取該第一圖像中的在該重疊區(qū)域的重疊子圖像對應在該第二視點的圖像；確定該對應在該第二視點的圖像與該第二圖像中的在該重疊區(qū)域的重疊子圖像之間的第一遮擋圖像；基于該光流矢量，獲取該第一遮擋圖像對應在該兩個視點的中間視點的第二遮擋圖像；根據(jù)在該第二遮擋圖像中的該每個候選融合區(qū)域中的用于指示遮擋的區(qū)域的信息，確定該每個候選融合區(qū)域對應 的光流矢量映射誤差。

在本發(fā)明實施例中，首先獲取第一圖像在重疊區(qū)域的重疊子圖像基于光流矢量變換對應在第二視點的圖像，并獲取該對應在第二視點的圖像與第二圖像在重疊區(qū)域的重疊子圖像之間的第一遮擋圖像，然后根據(jù)該第一遮擋圖像獲取對應在中間視點的第二遮擋圖像，根據(jù)第二遮擋圖像的用于指示遮擋區(qū)域的信息，確定每個候選融合區(qū)域對應的光流矢量映射誤差，從而可以根據(jù)光流矢量映射誤差選取目標融合區(qū)域。

應理解，上述第二遮擋圖像在每個候選融合區(qū)域內(nèi)的用于指示遮擋的區(qū)域的分布可以通過該第二遮擋圖內(nèi)的像素點的像素值表征，具體地，可以通過第二遮擋圖像內(nèi)的遮擋像素點與非遮擋像素點的分布來表征，例如，遮擋像素點越多，表示第二遮擋圖像的遮擋區(qū)域越多，說明該每個候選融合區(qū)域對應的光流矢量映射誤差越大。

還應理解，由于最后在合并圖像過程中，需要把兩張圖像內(nèi)的與融合區(qū)域對應的兩張子圖像通過光流矢量映射到中間視點，再進行融合。所以，與第一遮擋圖像相比，根據(jù)第二遮擋圖像確定的光流矢量映射誤差可以更準確的指示光流矢量變換的準確程度，進而指示待合并的圖像在候選融合區(qū)域內(nèi)融合后得到的合并圖像的質(zhì)量好壞程度。

可選地，本發(fā)明實施例對于確定上述第一遮擋圖像的方法不做限定，例如，可以采用最優(yōu)化算法來確定上述第一遮擋圖像，本發(fā)明實施例對采用的最優(yōu)化算法不作具體限定。例如，可以采用根據(jù)圖像分割(Graph-cut)法求能量函數(shù)最優(yōu)結果的方法確定第一遮擋圖像，也可以采用其他確定遮擋圖的方法。

例如，可以采用根據(jù)圖像分割(Graph-cut)法求能量函數(shù)最優(yōu)結果的方法確定第一遮擋圖像。圖3示出了待合并的兩張圖像。如圖3所示，待合并的圖像可以為對應在左側的第一圖像和對應在右側的第二圖像。其中，可以定義I_L(x,y)表示第一圖像內(nèi)的對應在重疊區(qū)域的子圖像，定義I_R(x,y)表示第二圖像內(nèi)的對應在重疊區(qū)域的子圖像。其中，X＝(x,y)可以表示I_L(x,y)或I_R(x,y)中的像素點。W＝(u,v)用于表示從I_L(x,y)映射到I_R(x,y)對應視點采用的光流矢量，f(X)可以表示為X點的標簽值。對I_L(x,y)經(jīng)過光流矢量變換映射到I_R(x,y)的視點得到的第一映射子圖可以表示為I_Lf(x,y)。可以根據(jù)公式(3)、公式(4)和公式(5)，采用Graph-cut法求解能量函數(shù)E[f(x)]的最優(yōu)結果， 以得到I_Lf(x,y)與I_R(x,y)的第一遮擋圖像，可以將該第一遮擋圖像表示為△I I_Lf(x,y)。

其中，公式(3)、公式(4)和公式(5)分別為：

E[f(x)]＝E_data[f(x)]+E_smooth[f(x)] (3)

其中，E_data[f(x)]表示數(shù)據(jù)項，由I_Lf(x,y)和I_R(x,y)的對應坐標的像素值之間建立關系得到。β_occlusion表示遮擋的數(shù)據(jù)項懲罰值，γ_{occlusiondistance}表示遮擋的距離懲罰值。E_smooth[f(x)]表示平滑項，用于確保遮擋的準確性。標簽值f(X)＝1表示遮擋像素點，f(X)＝0時表示非遮擋像素點。圖4示出了求第一遮擋圖像的過程示意圖，如圖4所示，圖4(a)展示了第一圖像內(nèi)的對應在重疊區(qū)域的子圖像I_L(x,y)，圖4(b)展示了第一圖像的第一映射子圖像I_Lf(x,y)，圖4(c)展示了I_Lf(x,y)與I_R(x,y)之間的第一遮擋圖像△I I_Lf(x,y)。其中，圖4(c)中的白色像素點代表遮擋像素點。在本發(fā)明實施例中，在確定第一遮擋圖像后，可以根據(jù)光流矢量W(u,v),將第一圖像的第一遮擋圖像映射到中間視點，得到第二遮擋圖，并根據(jù)第二遮擋圖像中的遮擋區(qū)域分布，確定第一圖像在各個候選融合區(qū)域對應的光流矢量映射誤差，圖5示出了本例中的合并圖像的方法的最終合并圖像的效果圖，從圖5中可以看出，本發(fā)明實施例的方法可以有效地減少由于視差產(chǎn)生的模糊或重影。

可選地，作為一個實施例，本發(fā)明實施例的合并圖像的方法100中，該用于指示遮擋的區(qū)域包括用于指示遮擋的像素點，該根據(jù)該每個候選融合區(qū)域對應在該第二遮擋圖像中的區(qū)域中的用于指示遮擋的區(qū)域的分布，確定該每個候選融合區(qū)域對應的光流矢量映射誤差，包括：確定該每個候選融合區(qū)域對應在該第二遮擋圖像中的區(qū)域中的用于指示遮擋的像素點的像素值之和；將該像素值之和作為該每個候選融合區(qū)域對應的光流矢量映射誤差。

具體地，圖6示出了由前景物體產(chǎn)生的遮擋圖像的示意圖，該前景物體可以是運動物體，其中，白色部分表示圖像的背景，點狀分布部分表示前景 物體，斜線部分表示圖6(a)和圖6(b)相比較產(chǎn)生的遮擋圖像，如圖6所示，遮擋圖可以指示兩張圖像內(nèi)由于存在運動物體而產(chǎn)生的差異的大小，也可以指示由于存在視差而導致的前景物體的差異的大小。遮擋圖中的遮擋像素點越多，表示產(chǎn)生遮擋圖的兩張圖像之內(nèi)的前景物體或者流場數(shù)據(jù)的差異越大，則融合這兩張圖像時可能產(chǎn)生的模糊或重影現(xiàn)象就越嚴重?？蛇x地，可以設定遮擋圖的遮擋像素值為1，非遮擋像素值為0。則可以通過計算候選融合區(qū)域內(nèi)的所有像素值之和來確定光流矢量映射誤差。

可選地，作為一個實施例，本發(fā)明實施例的合并圖像的方法100中，該至少兩個候選融合區(qū)域的面積之和小于該重疊區(qū)域的面積。

可選地，圖7和圖8示出了重疊區(qū)域的兩種候選融合區(qū)域的劃分方法的示意圖，其中斜線的部分表示候選融合區(qū)域。如圖7所示，這些候選融合區(qū)域互相之間可以是無縫相接排布的，即這些候選融合區(qū)域占的區(qū)域面積之和等于重疊區(qū)域的面積。可選地，如圖8所示，這些候選融合區(qū)域互相之間也可以是間隔排布的，即在這些候選融合區(qū)域之間還存在非候選融合區(qū)域區(qū)域，也可以理解為這些候選融合區(qū)域所占的區(qū)域面積之和小于重疊區(qū)域的面積。圖9示出了本發(fā)明實施例與現(xiàn)有技術之間的融合效果對比圖。如圖9所示，圖9(a)示出了現(xiàn)有技術中采用加權值法得到的對應在重疊區(qū)域的子圖像，圖9(b)示出了本發(fā)明實施例的候選融合區(qū)域間隔排布的合并圖像的方法得到的對應在重疊區(qū)域的子圖像。由圖9可以看出，與現(xiàn)有技術相比，本發(fā)明實施例的候選融合區(qū)域間隔排布的合并圖像的方法可以有效的減少由于視差產(chǎn)生的模糊或重影。而且由于候選融合區(qū)域采用了間隔排布的方法，所以可以減少計算光流矢量映射誤差和融合圖像時的計算量，提高合成圖像的效率和處理速度。

上文結合圖1至圖9詳細闡述了本發(fā)明實施例的合并圖像的方法的具體實施例，下文將結合圖10和圖11，詳細描述本發(fā)明實施例的合并圖像的裝置。

圖10示出了根據(jù)本發(fā)明實施例的合并圖像的裝置1000的示意圖，應理解，本發(fā)明實施例的裝置1000中的各個模塊的下述和其他操作和/或功能分別為了實現(xiàn)圖1至圖9中的各個方法的相應流程，為了簡潔，在此不再贅述，如圖10所示，該裝置1000包括：

獲取模塊1010，用于獲取待合并的兩張圖像，該兩張圖像是分別從兩個 視點采集到的圖像，該兩張圖像具有重疊區(qū)域；

確定模塊1020，用于將該重疊區(qū)域劃分出至少兩個候選融合區(qū)域，該至少兩個候選融合區(qū)域中的每個候選融合區(qū)域中存在將該兩張圖像的每張圖像劃分為不連通的兩部分的線；基于該兩張圖像之間的光流矢量，確定該每個候選融合區(qū)域對應的光流矢量映射誤差，其中，該每個候選融合區(qū)域對應的光流矢量映射誤差用于指示在該每個候選融合區(qū)域中的，該兩張圖像各自的子圖像，分別基于該光流矢量，對應在同一視點的圖像之間的誤差；

選擇模塊1030，用于根據(jù)該至少兩個候選融合區(qū)域各自對應的光流矢量映射誤差，從該至少兩個候選融合區(qū)域中選取出該兩個圖像的目標融合區(qū)域；

融合模塊1040，用于將該兩張圖像在該選擇模塊選取的該目標融合區(qū)域進行融合，從而得到該兩張圖像的合并圖像。

本發(fā)明實施例中，待合并的圖像的重疊區(qū)域被劃分成多個融合區(qū)域，通過確定該多個候選融合區(qū)域各自對應的光流矢量映射誤差，能夠對待合并圖像在重疊區(qū)域內(nèi)的子圖像的光流矢量映射(或稱光流場映射)的誤差進行估計，從而能夠根據(jù)誤差估計結果從候選融合區(qū)域中選擇目標融合區(qū)域，將兩張圖像在目標融合區(qū)域進行融合，從而得到兩張圖像的合并圖像，這樣不但能夠減少合并圖像由于視差引起的模糊或重影，且能夠節(jié)省圖像合并的計算量。

可選地，作為一個實施例，該融合模塊1040具體用于：基于該光流矢量，獲取兩張重疊子圖像分別對應在該兩個視點的中間視點的映射圖像，該中間視點的坐標值為該兩個視點的坐標值的均值，該兩張重疊子圖像為在該重疊區(qū)域中的該兩張圖像各自的重疊子圖像；將兩張映射圖像在該目標融合區(qū)域進行融合，從而得到融合子圖像；將該兩張圖像中的除該兩張重疊子圖像之外的子圖像和該融合子圖像進行拼接，從而得到該合并圖像。

可選地，作為一個實施例，該兩張圖像包括第一圖像和第二圖像，該兩張圖像包括第一圖像和第二圖像，該第一圖像對應第一視點，該第二圖像對應第二視點，該確定模塊具體用于：基于該光流矢量，獲取該第一圖像中的在該重疊區(qū)域的重疊子圖像對應在該第二視點的圖像；確定該對應在該第二視點的圖像與該第二圖像中的在該重疊區(qū)域的重疊子圖像之間的第一遮擋圖像；基于該光流矢量，獲取該第一遮擋圖像對應在該兩個視點的中間視點的第二遮擋圖像；根據(jù)在該第二遮擋圖像中的該每個候選融合區(qū)域中的用于 指示遮擋的區(qū)域的信息，確定該每個候選融合區(qū)域對應的光流矢量映射誤差。

可選地，作為一個實施例，該用于指示遮擋的區(qū)域包括用于指示遮擋的像素點，該確定模塊1020具體用于：確定該每個候選融合區(qū)域對應在該第二遮擋圖像中的區(qū)域中的用于指示遮擋的像素點的像素值之和；將該像素值之和作為該每個候選融合區(qū)域對應的光流矢量映射誤差。

可選地，作為一個實施例，選擇模塊1030具體用于：將該至少兩個候選融合區(qū)域中對應的光流矢量映射誤差最小的候選融合區(qū)域確定為該兩個圖像的目標融合區(qū)域。

可選地，作為一個實施例，選擇模塊1030還具體用于：將該至少兩個候選融合區(qū)域中對應的光流矢量映射誤差小于預設閾值的候選融合區(qū)域確定為該兩個圖像的目標融合區(qū)域。

可選地，作為一個實施例，該至少兩個候選融合區(qū)域的面積之和小于該重疊區(qū)域的面積。

圖11示出了根據(jù)本發(fā)明實施例的合并圖像的裝置1100的示意圖，如圖11所示，該裝置1100包括：處理器1110，存儲器1120，總線系統(tǒng)1130，其中該處理器1100和該存儲器1120通過該總線系統(tǒng)1130相連，該存儲器1120用于存儲指令，該處理器1110用于執(zhí)行該存儲器1120存儲的指令。

其中，該處理器1110用于：獲取待合并的兩張圖像，該兩張圖像是分別從兩個視點采集到的圖像，該兩張圖像具有重疊區(qū)域；將該重疊區(qū)域劃分出至少兩個候選融合區(qū)域，該至少兩個候選融合區(qū)域中的每個候選融合區(qū)域中存在將該兩張圖像的每張圖像劃分為不連通的兩部分的線；基于該兩張圖像之間的光流矢量，確定該每個候選融合區(qū)域對應的光流矢量映射誤差，其中，該每個候選融合區(qū)域對應的光流矢量映射誤差用于指示在該每個候選融合區(qū)域中的，該兩張圖像各自的子圖像，分別基于該光流矢量，對應在同一視點的圖像之間的誤差；根據(jù)該至少兩個候選融合區(qū)域各自對應的光流矢量映射誤差，從該至少兩個候選融合區(qū)域中選取出該兩個圖像的目標融合區(qū)域；將該兩張圖像在該目標融合區(qū)域進行融合，從而得到該兩張圖像的合并圖像。

本發(fā)明實施例中，待合并的圖像的重疊區(qū)域被劃分成多個融合區(qū)域，通過確定該多個候選融合區(qū)域各自對應的光流矢量映射誤差，能夠對待合并圖像在重疊區(qū)域內(nèi)的子圖像的光流矢量映射(或稱光流場映射)的誤差進行估計，從而能夠根據(jù)誤差估計結果從候選融合區(qū)域中選擇目標融合區(qū)域，將兩 張圖像在目標融合區(qū)域進行融合，從而得到兩張圖像的合并圖像，這樣不但能夠減少合并圖像由于視差引起的模糊或重影，且能夠節(jié)省圖像合并的計算量。

應理解，在本發(fā)明實施例中，該處理器1110可以是中央處理單元(Central Processing Unit，簡稱為“CPU”)，該處理器1110還可以是其他通用處理器、數(shù)字信號處理器(DSP)、專用集成電路(ASIC)、現(xiàn)成可編程門陣列(FPGA)或者其他可編程邏輯器件、分立門或者晶體管邏輯器件、分立硬件組件等。通用處理器可以是微處理器或者該處理器也可以是任何常規(guī)的處理器等。

該存儲器1120可以包括只讀存儲器和隨機存取存儲器，并向處理器1110提供指令和數(shù)據(jù)。存儲器1120的一部分還可以包括非易失性隨機存取存儲器。例如，存儲器1120還可以存儲設備類型的信息。

該總線系統(tǒng)1130除包括數(shù)據(jù)總線之外，還可以包括電源總線、控制總線和狀態(tài)信號總線等。該總線系統(tǒng)1130還可以包括內(nèi)部總線、系統(tǒng)總線和外部總線。但是為了清楚說明起見，在圖中將各種總線都標為總線系統(tǒng)1130。

在實現(xiàn)過程中，上述方法的各步驟可以通過處理器1110中的硬件的集成邏輯電路或者軟件形式的指令完成。結合本發(fā)明實施例所公開的方法的步驟可以直接體現(xiàn)為硬件處理器執(zhí)行完成，或者用處理器中的硬件及軟件模塊組合執(zhí)行完成。軟件模塊可以對應在隨機存儲器，閃存、只讀存儲器，可編程只讀存儲器或者電可擦寫可編程存儲器、寄存器等本領域成熟的存儲介質(zhì)中。該存儲介質(zhì)對應在存儲器1120，處理器1110讀取存儲器1120中的信息，結合其硬件完成上述方法的步驟。為避免重復，這里不再詳細描述。

可選地，作為一個實施例，該處理器1110具體用于：基于該光流矢量，獲取兩張重疊子圖像分別對應在該兩個視點的中間視點的映射圖像，該中間視點的坐標值為該兩個視點的坐標值的均值，該兩張重疊子圖像為在該重疊區(qū)域中的該兩張圖像各自的重疊子圖像；將兩張映射圖像在該目標融合區(qū)域進行融合，從而得到融合子圖像；將該兩張圖像中的除該兩張重疊子圖像之外的子圖像和該融合子圖像進行拼接，從而得到該合并圖像。

可選地，作為一個實施例，該兩張圖像包括第一圖像和第二圖像，該第一圖像對應第一視點，該第二圖像對應第二視點，該處理器1110具體用于：基于該光流矢量，獲取該第一圖像中的在該重疊區(qū)域的重疊子圖像對應在該第二視點的圖像；確定該對應在該第二視點的圖像與該第二圖像中的在該重 疊區(qū)域的重疊子圖像之間的第一遮擋圖像；基于該光流矢量，獲取該第一遮擋圖像對應在該兩個視點的中間視點的第二遮擋圖像；根據(jù)在該第二遮擋圖像中的該每個候選融合區(qū)域中的用于指示遮擋的區(qū)域的信息，確定該每個候選融合區(qū)域對應的光流矢量映射誤差。

可選地，作為一個實施例，該用于指示遮擋的區(qū)域包括用于指示遮擋的像素點，該處理器1110具體用于：確定該每個候選融合區(qū)域對應在該第二遮擋圖像中的區(qū)域中的用于指示遮擋的像素點的像素值之和；將該像素值之和作為該每個候選融合區(qū)域對應的光流矢量映射誤差。

可選地，作為一個實施例，該處理器1110具體用于：將該至少兩個候選融合區(qū)域中對應的光流矢量映射誤差最小的候選融合區(qū)域確定為該兩個圖像的目標融合區(qū)域。

可選地，作為一個實施例，該處理器1110具體用于：將該至少兩個候選融合區(qū)域中對應的光流矢量映射誤差小于預設閾值的候選融合區(qū)域確定為該兩個圖像的目標融合區(qū)域。

可選地，作為一個實施例，該至少兩個候選融合區(qū)域的面積之和小于該重疊區(qū)域的面積。

本領域普通技術人員可以意識到，結合本文中所公開的實施例描述的各示例的單元及算法步驟，能夠以電子硬件、計算機軟件或者二者的結合來實現(xiàn)，為了清楚地說明硬件和軟件的可互換性，在上述說明中已經(jīng)按照功能一般性地描述了各示例的組成及步驟。這些功能究竟以硬件還是軟件方式來執(zhí)行，取決于技術方案的特定應用和設計約束條件。專業(yè)技術人員可以對每個特定的應用來使用不同方法來實現(xiàn)所描述的功能，但是這種實現(xiàn)不應認為超出本發(fā)明的范圍。

所屬領域的技術人員可以清楚地了解到，為了描述的方便和簡潔，上述描述的系統(tǒng)、裝置和單元的具體工作過程，可以參考前述方法實施例中的對應過程，在此不再贅述。

在本申請所提供的幾個實施例中，應該理解到，所揭露的系統(tǒng)、裝置和方法，可以通過其它的方式實現(xiàn)。例如，以上所描述的裝置實施例僅僅是示意性的，例如，該單元的劃分，僅僅為一種邏輯功能劃分，實際實現(xiàn)時可以有另外的劃分方式，例如多個單元或組件可以結合或者可以集成到另一個系統(tǒng)，或一些特征可以忽略，或不執(zhí)行。另外，所顯示或討論的相互之間的耦 合或直接耦合或通信連接可以是通過一些接口、裝置或單元的間接耦合或通信連接，也可以是電的，機械的或其它的形式連接。

該作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以對應在一個地方，或者也可以分布到多個網(wǎng)絡單元上?？梢愿鶕?jù)實際的需要選擇其中的部分或者全部單元來實現(xiàn)本發(fā)明實施例方案的目的。

另外，在本發(fā)明各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以是兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以采用硬件的形式實現(xiàn)，也可以采用軟件功能單元的形式實現(xiàn)。

該集成的單元如果以軟件功能單元的形式實現(xiàn)并作為獨立的產(chǎn)品銷售或使用時，可以存儲在一個計算機可讀取存儲介質(zhì)中?；谶@樣的理解，本發(fā)明的技術方案本質(zhì)上或者說對現(xiàn)有技術做出貢獻的部分，或者該技術方案的全部或部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計算機軟件產(chǎn)品存儲在一個存儲介質(zhì)中，包括若干指令用以使得一臺計算機設備(可以是個人計算機，服務器，或者網(wǎng)絡設備等)執(zhí)行本發(fā)明各個實施例該方法的全部或部分步驟。而前述的存儲介質(zhì)包括：U盤、移動硬盤、只讀存儲器(ROM，Read-Only Memory)、隨機存取存儲器(RAM，Random Access Memory)、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。

以上某一實施例中的技術特征和描述，為了使申請文件簡潔清楚，可以理解適用于其他實施例，在其他實施例不再一一贅述。

以上所述，僅為本發(fā)明的具體實施方式，但本發(fā)明的保護范圍并不局限于此，任何熟悉本技術領域的技術人員在本發(fā)明揭露的技術范圍內(nèi)，可輕易想到各種等效的修改或替換，這些修改或替換都應涵蓋在本發(fā)明的保護范圍之內(nèi)。因此，本發(fā)明的保護范圍應以權利要求的保護范圍為準。