本發(fā)明涉及圖像處理系統(tǒng)、成像設(shè)備、圖像處理方法以及用于使得計(jì)算機(jī)執(zhí)行所述方法的計(jì)算機(jī)可讀記錄介質(zhì)。

背景技術(shù)：

作為能夠360度成像的成像設(shè)備，已知存在全景成像相機(jī)被用作監(jiān)視相機(jī)。所述全景成像相機(jī)通過多個(gè)成像元件，使用多個(gè)廣角鏡頭或魚眼鏡頭來拍攝圖像，在多個(gè)拍攝的圖像上做失真校正和投影變形，并且將它們合成以生成一個(gè)全景圖像。由相鄰的成像元件拍攝的圖像具有圖像重疊區(qū)域，在所述重疊區(qū)域中所述圖像彼此部分地重疊。全景成像相機(jī)通過圖像重疊區(qū)域合成圖像。

全景成像相機(jī)通過使用多個(gè)不同成像方向的成像元件來拍攝圖像，并且由成像元件獲得的圖像的圖像重疊區(qū)域在亮度和色彩上有差異，這引起了合成的圖像的可視性劣化的問題。已提出借助于用于使得圖像重疊區(qū)域的色調(diào)統(tǒng)一的初始增益以及用于降低與其他成像元件的差異的校正增益，通過校正映射重疊區(qū)域來用于降低在圖像重疊區(qū)域之間色調(diào)的差異的技術(shù)(例如，參考日本專利No.4739122)。

全景成像相機(jī)使用廣角鏡頭和魚眼鏡頭在寬廣面積內(nèi)拍攝圖像，并且因此，來自諸如太陽或照明設(shè)備的光源的光很可能進(jìn)入成像范圍內(nèi)。在這種情況下，已知有高可能性發(fā)生閃光以致圖像白模糊以及呈現(xiàn)出具有光的擴(kuò)散。所述閃光不均勻地發(fā)生在圖像上，并且因此帶閃光的圖像和不帶閃光的圖像彼此在亮度和色彩上有差異。因此，存在合成的圖像中的接縫突出的問題。

根據(jù)前述的傳統(tǒng)技術(shù)，能夠降低在圖像重疊區(qū)域之間的色調(diào)的差異來使所述接縫不太突出，但是不能校正其他圖像區(qū)域。結(jié)果是，合成的圖像在亮度和色彩上具有差異。

因此，有必要提供允許在多個(gè)圖像之間的亮度和色彩上差異降低的系統(tǒng)以及方法。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是至少部分地解決傳統(tǒng)技術(shù)中的問題。

根據(jù)一個(gè)實(shí)施例，提供了用于在包含重疊圖像區(qū)域作為重疊區(qū)域的多個(gè)圖像上執(zhí)行圖像處理的圖像處理系統(tǒng)。圖像處理系統(tǒng)包含：計(jì)算器，配置來使用每個(gè)重疊區(qū)域中的一個(gè)或多個(gè)像素的像素值計(jì)算評(píng)估值，所述評(píng)估值用于評(píng)估多個(gè)圖像中的每一個(gè)；確定控制器，配置來基于由計(jì)算器計(jì)算的評(píng)估值，確定在多個(gè)圖像中是否存在要被校正的圖像；圖像確定部，配置來當(dāng)確定控制器確定存在要被校正的圖像時(shí)，基于評(píng)估值從多個(gè)圖像當(dāng)中確定用于校正的參考的校正參考圖像；以及圖像校正部，配置來基于由圖像確定部確定的校正參考圖像校正要被校正的圖像。

當(dāng)聯(lián)系附圖考慮時(shí)，通過閱讀本發(fā)明當(dāng)前優(yōu)選的實(shí)施例的以下具體描述，將會(huì)更好地理解本發(fā)明的上述和其他的目的、特征、優(yōu)點(diǎn)以及以及技術(shù)和工業(yè)價(jià)值。

附圖說明

圖1是成像設(shè)備的外部視圖。

圖2是示出成像設(shè)備的硬件配置的圖。

圖3是描述用于在成像設(shè)備中使用的魚眼鏡頭的圖。

圖4是描述在由成像設(shè)備拍攝的多個(gè)圖像中的重疊區(qū)域的圖。

圖5是描述全景圖像的格式的圖。

圖6是描述用于魚眼圖像轉(zhuǎn)換到全景圖像的轉(zhuǎn)換表格的圖。

圖7是用于生成全景圖像的處理的流程圖。

圖8是示出失真校正的結(jié)果的圖。

圖9描述用于檢測連接位置的方法的圖。

圖10是圖像處理系統(tǒng)的功能框圖。

圖11是由圖像處理系統(tǒng)執(zhí)行的整體處理的流程圖。

圖12是描述在圖11中描述的步驟S1110處評(píng)估值的獲取的圖。

圖13是在圖11中描述的步驟S1120處用于確定的具體處理的流程圖。

圖14是在圖11中描述的步驟S1130處用于校正映射的創(chuàng)建的具體處理的流程圖。

圖15是描述校正排除映射的創(chuàng)建的圖。

圖16是描述用于計(jì)算對(duì)重疊區(qū)域校正量的方法的圖。

圖17是描述用于從對(duì)重疊區(qū)域的校正量中計(jì)算對(duì)整體圖像校正量的方法的圖。

圖18是描述用于通過參考圖15創(chuàng)建的校正排除映射修正參考圖14創(chuàng)建的校正映射的方法的圖。

圖19是用于在圖13中描述的步驟S1310計(jì)算重疊區(qū)域中平均值的處理的流程圖。

圖20是用于圖13中描述的步驟S1310計(jì)算重疊區(qū)域中平均值的另一處理的流程圖。

圖21是描述用于在圖20中描述的步驟S2030計(jì)算匹配度的方法。

圖22是描述在圖14中描述的步驟S1430在校正量之間插值的圖。

圖23是描述在圖14中描述的步驟S1430在校正量之間插值的圖。

圖24是描述在圖14中描述的步驟S1430在校正量之間插值的圖。

圖25是描述在圖14中描述的步驟S1430在校正量之間插值的圖。

圖26是用于修正重疊區(qū)域中的校正量的處理的流程圖。

圖27是用于限制重疊區(qū)域中的校正量的處理的流程圖。

圖28是示出用于在圖27中描述的處理中使用的閾值表格的示例圖。

具體實(shí)施方式

圖1是包含圖像處理系統(tǒng)的成像設(shè)備的外部視圖。在這個(gè)示例中，成像設(shè)備是全景成像相機(jī)但不限于此。所述成像設(shè)備可以是任何被配置來由多個(gè)成像元件拍攝重疊圖像區(qū)域(重疊區(qū)域)并通過它們的重疊區(qū)域?qū)⒍鄠€(gè)拍攝的圖像連接的成像設(shè)備。借助于圖像處理IC或軟件能夠執(zhí)行用于通過它們的重疊區(qū)域連接多個(gè)拍攝圖像的處理。

全景成像相機(jī)10包含用于在一個(gè)成像位置處全景成像的、具有大于180度的視角的兩個(gè)魚眼鏡頭11和12以及與魚眼鏡頭11和12分別相對(duì)應(yīng)的兩個(gè)成像元件13和14。在這個(gè)示例中，所述全景成像相機(jī)10被配置來包含所述兩個(gè)魚眼鏡頭11、12以及所述兩個(gè)成像元件13、14。然而，全景成像相機(jī)10不限于這個(gè)配置，還可包含三個(gè)或更多個(gè)的每個(gè)組件。視角參考由魚眼鏡頭11和12成像的角度范圍。

魚眼鏡頭11和12可以是等距投影類型，在此類型中，到拍攝圖像中心的距離與光的入射角成比例。所述成像元件13和14可以是將入射光轉(zhuǎn)換為電信號(hào)的電荷耦合設(shè)備(CCD)圖像傳感器或互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)圖像傳感器。所述兩個(gè)成像元件13和14全景地拍攝圖像以使拍攝的圖像包含作為重疊圖像區(qū)域的重疊區(qū)域。

通過攝影師按下成像SW 15來引起成像元件13和14同時(shí)進(jìn)行曝光而執(zhí)行成像。成像元件13和14將接收的光轉(zhuǎn)換為電信號(hào)以獲取圖像。獲取的圖像是通過利用魚眼鏡頭11和12拍攝，并且因此被稱為魚眼圖像。由兩個(gè)成像元件13和14獲取的兩個(gè)魚眼圖像經(jīng)歷圖像轉(zhuǎn)換并在隨后的圖像處理中通過重疊區(qū)域被合成，由此生成全景圖像。

全景成像相機(jī)10可存儲(chǔ)用于生成的全景圖像的數(shù)據(jù)，并且，在接到請(qǐng)求時(shí)，將數(shù)據(jù)輸出至包含顯示裝置的器材(諸如未示出的PC)以在顯示裝置上顯示全景圖像。所述全景成像相機(jī)10還可以將生成的全景圖像輸出至未示出的打印機(jī)或多功能外圍設(shè)備(MFP)用于打印輸出的生成。所述全景成像相機(jī)10可進(jìn)一步將生成的全景圖像輸出至MDP或PC用于傳真?zhèn)鬏敾蜞]件傳輸。

圖2是示出全景成像相機(jī)10的硬件配置的圖。在圖2的示例中，魚眼鏡頭11和12未被示出。全景成像相機(jī)10包含控制器20、SDRAM 21以及外部存儲(chǔ)設(shè)備22，還包含兩個(gè)成像元件13和14以及成像SW 15。SDRAM 21被用于與控制器20結(jié)合以存儲(chǔ)用于實(shí)現(xiàn)預(yù)定的圖像處理的程序。所述外部存儲(chǔ)裝置22存儲(chǔ)被處理過的圖像的數(shù)據(jù)，即前述的全景圖像數(shù)據(jù)。

所述控制器20包含CPU 23、ROM 24、SRAM 25、圖像處理模塊26、SDRAM I/F 27以及外部存儲(chǔ)I/F 28，它們各自被連接至總線29。所述CPU 23控制整個(gè)全景成像相機(jī)10。所述ROM 24存儲(chǔ)用于激活全景成像相機(jī)10的程序、后文描述的轉(zhuǎn)換表格以及其他。SRAM 25提供用于CPU 23的工作區(qū)。所述圖像處理模塊26協(xié)同CPU 23、SRAM 25以及SDRAM 21等執(zhí)行前述的預(yù)定的圖像處理。圖像處理模塊26可以是作為專用集成電路的特定用途集成電路(ASIC)。

全景成像相機(jī)10通過兩個(gè)成像元件13和14獲取兩個(gè)魚眼圖像。所述成像元件13和14各自包含A/D轉(zhuǎn)換器，并通過A/D轉(zhuǎn)換器將轉(zhuǎn)換的電信號(hào)轉(zhuǎn)換為數(shù)字?jǐn)?shù)據(jù)。所述成像元件13和14將數(shù)字?jǐn)?shù)據(jù)作為魚眼圖像數(shù)據(jù)輸出至包含于控制器20的圖像處理模塊26。所述圖像處理模塊26執(zhí)行前述的圖像轉(zhuǎn)換以及用于協(xié)同CPU 23等將圖像連接為全景圖像的處理作為預(yù)定的圖像處理，并經(jīng)由外部存儲(chǔ)I/F 28將生成的全景圖像數(shù)據(jù)存儲(chǔ)至外部存儲(chǔ)設(shè)備22中。

全景成像相機(jī)10進(jìn)一步包含通信I/F以執(zhí)行與PC、MFP以及未示出的其他的有線或無線通信來將全景圖像數(shù)據(jù)傳輸至這些設(shè)備用于屏幕顯示、打印輸出或諸如此類。通過諸如Wi-Fi、藍(lán)牙(注冊(cè)商標(biāo))以及紅外線的無線LANs可以執(zhí)行無線通信。

參考圖3，將具體描述魚眼鏡頭11。魚眼鏡頭12以與魚眼鏡頭11相同的方式被配置，并且在本文僅給出魚眼鏡頭11的描述。由具有魚眼鏡頭11的成像元件13以大于180度的視角拍攝的魚眼圖像是以成像位置為中心的主體的近似半球形圖像。

如圖3中(a)中所示，當(dāng)將在魚眼鏡頭11上的光的入射角指定為φ時(shí)，圖像的中心與像點(diǎn)之間的距離被給定為圖像高度h，以及將投影函數(shù)指定為f，通過以下等式(1)能夠表達(dá)這些項(xiàng)之間的關(guān)系。

h＝f(φ) (1)

投影函數(shù)f取決于魚眼鏡頭11的特性而變化。例如，當(dāng)使用等距投影類型魚眼鏡頭時(shí)，存在如圖3中(b)中所示的比例關(guān)系，以使，隨入射角φ變得更大，如箭頭所顯示，圖像高度h變得更大。在圖3中(b)中，在圓圈外的涂黑區(qū)域是沒有光入射的區(qū)域。

參考圖4，將描述由成像元件13和14拍攝的在兩個(gè)魚眼圖像中的重疊區(qū)域。在圖4中，所述成像元件13被稱為“第一成像元件”，而所述成像元件14被稱為“第二成像元件”。所述魚眼鏡頭11和12各自具有大于180的視角，并且由成像元件13和14拍攝的魚眼圖像包含重疊區(qū)域。在圖4中，(a)示出由成像元件13和14拍攝的魚眼圖像，所述圖像包含沒有光入射的涂黑區(qū)域、帶有90度或更小入射角的白色區(qū)域，以及帶有大于90度入射角的斜線陰影區(qū)域。

圖4中(a)中的斜線陰影區(qū)域?yàn)樵趦蓚€(gè)魚眼圖像之間重疊的圖像區(qū)域，能將其定義為重疊區(qū)域。然而，隨圖像高度h變得更大以使像點(diǎn)更加遠(yuǎn)離圖像的中心，魚眼鏡頭11和12很可能引起更大的失真和像差。另外，魚眼鏡頭11和12的外框會(huì)被反映在圖像中。帶有失真或像差的區(qū)域的圖像或外框的圖像不能被用于圖像連接。

因此，如圖4中(b)中所示，重疊區(qū)域30會(huì)被限制于由垂直條紋所顯示的預(yù)定寬度的環(huán)形的內(nèi)部區(qū)域。在圖4中(b)的示例中，通過被成像元件13和14同步曝光獲得兩個(gè)魚眼圖像，并因此重疊區(qū)域30基本地構(gòu)成相同主體的圖像。

接下來，參考圖5，將描述全景圖像。如圖5中(a)中所示，以圓形的形式格式化每個(gè)魚眼圖像以表現(xiàn)近似半球形圖像。以地球儀為例，經(jīng)度與水平角度相對(duì)應(yīng)以及緯度與垂直角度對(duì)應(yīng)。水平角度屬于0至360度的范圍內(nèi)，而垂直角度屬于0至180度的范圍內(nèi)。

以圖5中(b)所示的矩形的形式格式化全景圖像，通過沿水平方向的水平角度以及沿垂直方向的垂直角度合成兩個(gè)半球形圖像而生成所述全景圖像。在精確的意義上，每個(gè)要被合成的圖像由于重疊區(qū)域而大于半球形圖像，但為方便起見在本文被稱為半球形圖像。

所述兩個(gè)半球形圖像被生成為具有與水平角度和垂直角度相對(duì)應(yīng)的像素的、在圖5中(b)以矩形格式所表現(xiàn)的圖像，其帶有與在魚眼圖像中的水平角度和垂直角度相對(duì)應(yīng)的那些像素相同的像素值。通過使魚眼圖像經(jīng)歷投影轉(zhuǎn)換，能夠生成每個(gè)半球形圖像。合成兩個(gè)生成的半球形圖像能夠在水平方向以及垂直方向上生成全360度全景圖像。

圖6顯示了用于在魚眼圖像的投影轉(zhuǎn)換中使用的轉(zhuǎn)換表格的示例。如圖6中(a)中所示，轉(zhuǎn)換表格包含作為改變前的圖像的魚眼圖像的水平和垂直角度的值作為坐標(biāo)值與作為改變后的圖像的半球形圖像的坐標(biāo)值之間的對(duì)應(yīng)關(guān)系。所述改變前的圖像的坐標(biāo)值被表現(xiàn)為(x,y)，而改變后的圖像的坐標(biāo)值為(θ,φ)。如圖6中(b)中所示，對(duì)于每個(gè)圖像，參考在左上角處的坐標(biāo)(0,0)確定改變前的圖像中的像素和改變后的圖像中的相對(duì)應(yīng)的像素，并且像素的坐標(biāo)值的組被作為在轉(zhuǎn)換表格中的數(shù)據(jù)保留。從改變前的圖像與改變后的圖像之間的投影關(guān)系中能夠確定所述對(duì)應(yīng)關(guān)系。

對(duì)于兩個(gè)魚眼鏡頭11、12以及兩個(gè)成像元件13、14中的每一個(gè)，基于鏡頭設(shè)計(jì)數(shù)據(jù)等能預(yù)先創(chuàng)建轉(zhuǎn)換表格，并且，所述轉(zhuǎn)換表格能被存儲(chǔ)于圖2中所示的ROM 24中以及作為之后使用的必需品而被讀取。使用轉(zhuǎn)換表格可能使魚眼圖像經(jīng)歷投影轉(zhuǎn)換并且校正魚眼圖像中的失真。能夠合成校正的圖像以生成全景圖像。

參考圖7，將描述用于生成全景圖像的處理的流程。該處理在步驟S700處開始，在所述處理中，通過兩個(gè)成像元件13和14拍攝并輸入兩個(gè)魚眼圖像。在步驟S710，存儲(chǔ)于ROM 24中的如圖6中(a)中所示的轉(zhuǎn)換表格被用來使魚眼圖像經(jīng)歷用于失真校正的投影轉(zhuǎn)換。所述失真校正使生成如圖5中(a)中所示的兩個(gè)半球形圖像是可能的。

在步驟S720，檢測在重疊區(qū)域中用于連接兩個(gè)獲得的半球形圖像的連接位置。后文將具體描述連接位置的所述檢測。在步驟S730處，基于檢測結(jié)果校正在步驟S710使用的轉(zhuǎn)換表格。后文將描述所述校正的目的以及所述處理的具體內(nèi)容。在步驟S740，校正的轉(zhuǎn)換表格經(jīng)歷旋轉(zhuǎn)變形以創(chuàng)建用于圖像生成的轉(zhuǎn)換表格。出于保證圖像的垂直方向與全景成像相機(jī)10的天頂方向之間的一致的目的，在用于圖像生成的轉(zhuǎn)換表格中執(zhí)行旋轉(zhuǎn)變形。

在步驟S750，使用用于圖像生成的轉(zhuǎn)換表格來使兩個(gè)魚眼圖像經(jīng)歷投影轉(zhuǎn)換以校正在圖像中的失真。在步驟S760，執(zhí)行融合以合成帶失真校正的兩個(gè)圖像。所述兩個(gè)圖像通過它們的重疊區(qū)域被合成。然而，如果在一個(gè)圖像中存在僅用于重疊區(qū)域的數(shù)據(jù)，則使用所述數(shù)據(jù)執(zhí)行圖像的合成。在融合完成后，所述處理移至步驟S770并結(jié)束。

參考圖8，將具體描述圖7中步驟S710處的失真校正。由兩個(gè)成像元件13和14拍攝的兩個(gè)魚眼圖像使用它們分別的轉(zhuǎn)換表格經(jīng)投影轉(zhuǎn)換，借此所述魚眼圖像被轉(zhuǎn)換為如圖8中(a)中所示的矩形半球形圖像。由成像元件13拍攝并轉(zhuǎn)換的圖像31構(gòu)成圖8中(a)中的上部圖像，而由成像單元14拍攝并轉(zhuǎn)換的圖像32構(gòu)成圖8中(a)中的下部圖像。在上部圖像與下部圖像之間重疊的中間的圖像區(qū)域構(gòu)成重疊區(qū)域30。能夠容易地檢測所述重疊區(qū)域30。

在這樣的轉(zhuǎn)換的圖像中，圖8中(b)所示，相對(duì)于由包含具有魚眼鏡頭11和12的成像元件13和14的全景成像相機(jī)10的箭頭A顯示的垂直方向近似90度旋轉(zhuǎn)所述垂直方向。

參考圖9，將描述用于檢測連接位置的處理。通過通常所知的模板匹配能夠執(zhí)行所述連接位置的檢測。在模板匹配中，如圖8中所示的重疊區(qū)域被檢測，并且在兩個(gè)半球形圖像的其中一個(gè)中的重疊區(qū)域30之中取得具有預(yù)定尺寸的圖像，并將其設(shè)置為如圖9中(a)中所示的模板圖像34。在預(yù)定的有規(guī)律的間隔ST處，以垂直規(guī)格h乘以水平規(guī)格w取得多個(gè)模板圖像34。參考圖9中的(a)，模板圖像34為帶有編號(hào)1至6的矩形圖像。每個(gè)模板圖像34具有在其左上角處的坐標(biāo)作為對(duì)于模板圖像34取得的坐標(biāo)(sx1,sy1)。例如，每個(gè)取得的模板圖像34為圖9中(b)中所示的圖像。

檢測連接位置以使坐標(biāo)(kx,ky)被設(shè)置在模板圖像34的左上角作為搜索位置，在兩個(gè)半球形圖像中另一個(gè)的重疊區(qū)域內(nèi)偏移所述搜索位置以搜索帶有最高評(píng)估值的位置，如圖9中(c)所示。搜索范圍可落在重疊區(qū)域內(nèi)。然后，由模板匹配檢測的坐標(biāo)(kx,ky)與對(duì)于模板圖像34取得的坐標(biāo)(sx1,sy1)之間的差作為連接位置的檢測結(jié)果被輸出。通過在預(yù)定的間隔ST逐步地取得多個(gè)模板圖像來獲得所述檢測結(jié)果，并因此構(gòu)成離散的數(shù)據(jù)。因此，可以執(zhí)行線性插值或諸如之類以獲取離散數(shù)據(jù)之間的數(shù)據(jù)。

重疊區(qū)域表現(xiàn)相同主體的圖像但因?yàn)槌上裨?3和14在相對(duì)于主體的不同方向上被定向，故在其之間具有視差。在視差發(fā)生時(shí)，主體以重影被表現(xiàn)，這要求所述兩個(gè)圖像要被調(diào)整為它們中的任一個(gè)。合成位置的檢測旨在校正這樣的視差。所述視差取決于主體位置而變化，并且需要在每個(gè)成像的每個(gè)重疊區(qū)域中檢測最佳連接位置。

圖7中描述的在步驟S730處的轉(zhuǎn)換表格的校正是借助于由模板匹配檢測的坐標(biāo)而做出的。具體地，作為連接位置的檢測結(jié)果的差異被加到用于在一個(gè)魚眼圖像中使用的轉(zhuǎn)換表格中的坐標(biāo)值(x,y)以校正坐標(biāo)值。所述校正旨在將一個(gè)魚眼圖像連接至另一個(gè)魚眼圖像。因此，不對(duì)用于在另一個(gè)魚眼圖像中使用的轉(zhuǎn)換表格做出校正。

給出關(guān)于用于使通過兩個(gè)成像元件13和14拍攝的魚眼圖像經(jīng)歷圖像轉(zhuǎn)換以及連接所述兩個(gè)圖像以生成全景圖像的處理的前述的描述。在下文中，將給出用于確定是否在魚眼圖像中發(fā)生閃光，以及當(dāng)發(fā)生閃光時(shí)，適當(dāng)?shù)匦Ｕ越档陀捎陂W光的發(fā)生導(dǎo)致的在亮度和色彩上的差異的描述。在下文描述中，以閃光作為亮度和色彩上的差異的原因的示例。然而，帶有亮度和色彩上差異的不自然地合成的圖像的原因不限于閃光。

圖10是用于實(shí)現(xiàn)前述處理的圖像處理系統(tǒng)的功能框圖。所述圖像處理系統(tǒng)配置來在從多個(gè)成像元件13和14以及其他輸入的多個(gè)圖像上執(zhí)行圖像處理。所述圖像處理系統(tǒng)被配置為包含計(jì)算器40、確定控制器41、圖像確定部42以及圖像校正部43。這些功能單元通過圖2中所示的CPU 23執(zhí)行存儲(chǔ)于SDRAM 21中的程序，或例如通過圖像處理模塊26實(shí)現(xiàn)。

所述計(jì)算器40使用每個(gè)重疊區(qū)域中的一個(gè)或多個(gè)像素的像素值來計(jì)算用于每個(gè)圖像的評(píng)估的評(píng)估值。例如，所述評(píng)估值可以是在每個(gè)重疊區(qū)域中的多個(gè)像素的像素值的平均值或方差值。當(dāng)在彩色圖像中采用RGB色彩空間時(shí)，每個(gè)像素值可包含在RGB色彩中的信號(hào)量。當(dāng)采用YCbCr色彩空間時(shí)，每個(gè)像素值可包含亮度、藍(lán)色的色相和強(qiáng)度以及紅色的色相和強(qiáng)度的值。

確定控制器41根據(jù)由計(jì)算器40計(jì)算的評(píng)估值確定是否在多個(gè)圖像中存在要被校正的圖像。例如，所述確定控制器41具有閾值以通過與閾值進(jìn)行比較做出關(guān)于有或沒有要被校正的圖像的確定。具體地，所述確定控制器41將具有大于閾值的平均值或方差值的圖像確定為要被校正的圖像。當(dāng)有這樣的圖像時(shí)，確定控制器41確定存在要被校正的圖像。

當(dāng)確定控制器41確定存在要被校正的圖像時(shí)，所述圖像確定部42根據(jù)由計(jì)算器40計(jì)算的評(píng)估值，從多個(gè)圖像之中，將校正參考圖像確定為用于校正的參考。可以從排除要被校正的圖像的多個(gè)圖像之中選擇所述校正參考圖像。例如，所述校正參考圖像可以是與要被校正的圖像不同的并且是要與要被校正的圖像合成的圖像。在上述的全景成像相機(jī)10的情況下，當(dāng)一個(gè)圖像是要被校正的圖像時(shí)，另一個(gè)可被確定為校正參考圖像。

圖像校正部43根據(jù)由圖像確定部42確定的校正參考圖像校正要被校正的圖像。所述圖像校正部43校正要被校正的圖像以使其亮度和色彩接近于校正參考圖像的亮度和色彩。所述校正允許在多個(gè)要被校正的圖像之間的亮度和色彩上的差異降低。

參考圖11，將描述通過圖像處理系統(tǒng)執(zhí)行的處理。所述圖像處理系統(tǒng)在收到由兩個(gè)成像元件13和14拍攝的兩個(gè)魚眼圖像時(shí)在步驟S1100開始所述處理。在步驟S1110處，計(jì)算器40使用兩個(gè)魚眼圖像的每個(gè)重疊區(qū)域中的一個(gè)或多個(gè)像素的像素值來計(jì)算用于每個(gè)圖像的用于評(píng)估的評(píng)估值。

在步驟S1120，所述確定控制器41根據(jù)通過計(jì)算器40計(jì)算的評(píng)估值，確定在兩個(gè)魚眼圖像中是否存在帶有閃光的圖像(閃光圖像)。在步驟S1120處，當(dāng)存在閃光圖像時(shí)，所述處理移至步驟S1130，且當(dāng)不存在閃光圖像時(shí)，所述處理移至步驟S1150并結(jié)束。

在步驟S1130，所述圖像確定部42將不帶有閃光的圖像確定為校正參考圖像，并且圖像校正部43使用在步驟S1110計(jì)算的評(píng)估值來創(chuàng)建校正映射(correction map)，在所述校正映射中用于閃光圖像的校正的校正值被映射。在步驟S1140處，所述圖像校正部43使用創(chuàng)建的校正映射來校正閃光圖像。在校正完成后，所述處理移至步驟S1150并結(jié)束。

將參考圖12描述圖11中的在步驟S1110的評(píng)估值的計(jì)算。使用在重疊區(qū)域中一個(gè)或多個(gè)像素的像素值來計(jì)算所述評(píng)估值，其要求獲取由在圖12中(a)中垂直條紋顯示的重疊區(qū)域30中的一個(gè)或多個(gè)像素的像素值。將在下文中描述一種用于獲取的方法。以下方法為示例，并且能夠使用任何其他的用于計(jì)算評(píng)估值的方法。

首先，如圖12中(a)中所示，兩個(gè)輸入魚眼圖像的每一個(gè)被劃分為多個(gè)預(yù)定數(shù)量的、具有相同尺寸的矩形評(píng)估分區(qū)。例如，當(dāng)每個(gè)魚眼圖像的尺寸為1952(像素)×1932(像素)時(shí)，魚眼圖像可被劃分為48×48分區(qū)。該分區(qū)的數(shù)量為示例，并因此可以由實(shí)驗(yàn)或諸如此類來確定和采用任何其他最佳的分區(qū)數(shù)量。圖像處理系統(tǒng)可包含，作為用于這樣的劃分的功能單元的區(qū)域劃分部，其被配置來將圖像劃分為多個(gè)評(píng)估分區(qū)。

接下來，如圖12中(b)中所示，包含于由垂直條紋顯示的重疊區(qū)域30中的所有評(píng)估分區(qū)，被檢測為與重疊區(qū)域30相對(duì)應(yīng)的評(píng)估分區(qū)。在圖12中(b)中，以灰色顯示檢測的評(píng)估分區(qū)35。圖像處理系統(tǒng)可包含作為用于這樣的檢測的功能單元的分區(qū)檢測部。

每個(gè)所檢測的評(píng)估分區(qū)35由多個(gè)像素組成。每個(gè)像素具有像素值。通過將像素值相加可計(jì)算評(píng)估值，將像素值的和除以像素值的數(shù)量以確定在所有評(píng)估分區(qū)35中的平均值，將在所有評(píng)估分區(qū)中確定的平均值相加，然后將平均值的和除以評(píng)估分區(qū)的數(shù)量以確定平均值?？商鎿Q地，通過確定在所有評(píng)估分區(qū)中確定的平均值的方差值可計(jì)算評(píng)估值。因此，可以使用前述的平均值或方差值來確定所述評(píng)估值。圖像處理系統(tǒng)可包含，作為功能單元的、用于計(jì)算在評(píng)估分區(qū)中平均值的平均值計(jì)算器。

在通過如圖1中所示構(gòu)造的由全景成像相機(jī)10來360度成像的情況下，攝影師的手指按下成像SW15會(huì)被顯著地反映。在這種情況下，在重疊區(qū)域30中看到手指，但在其他重疊區(qū)域30中看不到。因此，取決于有或沒有手指的映像所計(jì)算的平均值或方差值顯著地變化。因此，圖像中手指的部分優(yōu)選地不被用于評(píng)估值的計(jì)算。

因此，在低于重疊區(qū)域30的1/4部分處的、可能帶手指映像的分區(qū)可被設(shè)置為不必要的分區(qū)，而包含于重疊區(qū)域30中的其他的評(píng)估分區(qū)可被檢測為與重疊區(qū)域30相對(duì)應(yīng)的評(píng)估分區(qū)35。在這個(gè)示例中，在低于重疊區(qū)域30的1/4部分處的分區(qū)被設(shè)置為不必要的分區(qū)，但該實(shí)施例不限于此?？商鎿Q地，在重疊區(qū)域的1/5或更少的部分或1/3或更多的部分的分區(qū)可被設(shè)置為不必要的分區(qū)，或其他的分區(qū)可被添加為不必要的分區(qū)。

通過設(shè)置不必要的分區(qū)來將諸如手指的障礙物從評(píng)估目標(biāo)中排除，確定僅在閃光圖像與校正參考圖像之間有高相關(guān)性的評(píng)估分區(qū)中的平均值或方差值成為可能。

將參考圖13描述圖11中步驟S1120處關(guān)于有或沒有閃光圖像的確定。在評(píng)估值的計(jì)算時(shí)的步驟S1300處開始該過程。在步驟S1310處，作為評(píng)估值計(jì)算的、與重疊區(qū)域相對(duì)應(yīng)的所有評(píng)估分區(qū)中的平均值被平均。對(duì)于每個(gè)要被連接的圖像實(shí)行該步驟。因此，當(dāng)兩個(gè)圖像要被連接時(shí)，對(duì)于兩個(gè)圖像的每一個(gè)計(jì)算平均值。

在步驟S1320處，在要被連接的圖像之間比較所計(jì)算的平均值。在這個(gè)示例中，計(jì)算平均值中差的絕對(duì)值并提取具有最小平均值的圖像。然后，輸出信息作為比較結(jié)果。例如，當(dāng)圖像P和Q要被連接并且將它們的平均值指定為AVE_P和AVE_Q時(shí)，當(dāng)|AVE_P-AVE_Q|且AVE_P>AVE_Q時(shí)，比較結(jié)果為圖像Q，否則當(dāng)AVE_P<AVE_Q時(shí)比較結(jié)果為圖像P。

在步驟S1330處，確定在比較結(jié)果中的差的絕對(duì)值是否大于預(yù)設(shè)閾值T。當(dāng)絕對(duì)值更大時(shí)，在亮度或諸如此類中的差異大并因此所述處理移至步驟S1340來確定閃光已發(fā)生以及圖像為閃光圖像。相反地，當(dāng)絕對(duì)值更小時(shí)，差異小并因此所述處理移至步驟S1350。在這種情況下，沒有確定閃光已發(fā)生或圖像為閃光圖像。在確定完成時(shí)，所述處理移至步驟S1360并結(jié)束。

能夠?qū)⒕哂型ㄟ^在步驟S1320處比較和提取而獲得的最小平均值的圖像確定為不具有閃光的圖像和校正參考圖像?；镜?，當(dāng)通過同步曝光拍攝兩個(gè)圖像時(shí)，圖像應(yīng)包含相同亮度下表現(xiàn)相同主體的重疊區(qū)域。然而，當(dāng)閃光發(fā)生在一個(gè)圖像中時(shí)，重疊區(qū)域中的平均值變得更高。因此，如上文所述設(shè)置閾值使得當(dāng)圖像具有比閾值更大的平均值時(shí)，將圖像確定為閃光圖像成為可能。具有最小平均值的圖像具有高可能性無閃光并因此能夠被用作校正參考圖像。

將參考圖14描述圖11中所示的在步驟S1130處校正映射的創(chuàng)建。當(dāng)確定存在閃光圖像時(shí)，在步驟S1400開始該處理。在步驟S1410處，創(chuàng)建校正排除映射來從校正中規(guī)定要被排除的分區(qū)。在校正排除映射中，校正排除值被存儲(chǔ)于與評(píng)估分區(qū)相對(duì)應(yīng)的位置處的模塊中，所述評(píng)估分區(qū)包含于根據(jù)多個(gè)構(gòu)成要被校正的圖像的像素的像素值來確定的要被校正的圖像的校正排除分區(qū)中，在所述校正排除分區(qū)中不做校正。非校正排除值存儲(chǔ)于其他模塊中。圖像處理系統(tǒng)可包含作為功能單元的分區(qū)確定部，其被配置來確定用于校正排除映射的創(chuàng)建的校正排除分區(qū)。

當(dāng)帶閃光的圖像要被基于具有最小平均值并且不帶閃光的圖像校正時(shí)，帶閃光的整體圖像被校正。對(duì)整體圖像做校正會(huì)整體地降低亮度并造成色彩改變。因此，合成的圖像會(huì)出現(xiàn)不自然。例如，光源的實(shí)際亮度和色彩被反映在帶閃光的圖像的亮度和色彩上，但是做校正以降低了亮度并使色彩變暗。因此，創(chuàng)建校正排除映射以使對(duì)不要被校正的(諸如光源)主體的圖像不做校正。

在步驟S1420處，從評(píng)估值(諸如與重疊區(qū)域相對(duì)應(yīng)的評(píng)估分區(qū)中的平均值或方差值)中計(jì)算對(duì)重疊區(qū)域的校正量。校正量旨在量化要降低的亮度的程度以及要改變的色彩的程度。在步驟S1430處，基于在步驟S1420處計(jì)算的校正量通過插值來計(jì)算對(duì)要被校正的整體圖像(即帶閃光的整體圖像)的校正量，并且使用計(jì)算的校正量創(chuàng)建校正映射。在所述校正映射中，計(jì)算的校正量存儲(chǔ)于與要被校正的圖像中的評(píng)估分區(qū)相對(duì)應(yīng)的位置處的模塊中。

在步驟S1440處，在步驟S1410處創(chuàng)建的校正排除映射被應(yīng)用于在步驟S1430處創(chuàng)建的校正映射以修正校正映射。然后在步驟S1450處，當(dāng)校正映射中的校正值包含任何極高或極低的值，平整處理(leveling process)，即，執(zhí)行低通濾波器(LPF)處理來平整這些值。LPF可以是高斯濾波器(Gaussian filter)。

可以一次或多次執(zhí)行LPF處理。盡管如此，LPF處理的迭代數(shù)量優(yōu)選地較小。這是因?yàn)?，?dāng)大量次數(shù)執(zhí)行LPF處理時(shí)，從校正中排除的圖像中的校正值很大地改變，這使校正排除沒有意義。在圖14中描述的實(shí)施例中，在步驟S1460處如描述的兩次執(zhí)行LPF處理。圖像處理系統(tǒng)可進(jìn)一步包含作為功能單元的、用于執(zhí)行平整處理的平整處理部。

在步驟S1460處，確定LPF處理是否已被執(zhí)行兩次。當(dāng)LPF處理尚未被執(zhí)行兩次時(shí)，所述處理回至步驟S1440。當(dāng)LPF處理已被執(zhí)行兩次時(shí)，所述處理移至步驟S1470。在步驟S1470處，執(zhí)行用于校正映射的尺寸調(diào)整處理。所述尺寸調(diào)整處理旨在將包含于校正映射中的評(píng)估分區(qū)的數(shù)量改變?yōu)橐恍Ｕ膱D像中像素的數(shù)量。因此，圖像處理系統(tǒng)可包含作為功能單元的尺寸調(diào)整部。

根據(jù)如圖12中所示的魚眼圖像的水平和垂直的劃分的數(shù)量，來給在步驟S1440和更早創(chuàng)建的校正映射調(diào)整尺寸。即，當(dāng)魚眼圖像被分為48×48時(shí)，校正映射的尺寸為48×48。在前述示例中，魚眼圖像的實(shí)際尺寸為1952(像素)×1932(像素)。因此，執(zhí)行調(diào)整尺寸處理以將尺寸從48×48改變到1952×1932。在調(diào)整尺寸處理完成的時(shí)，所述處理移至步驟S1480并結(jié)束。

可通過任何已知方法執(zhí)行所述調(diào)整尺寸。例如，通過例如雙線性、最近鄰或雙三次方法改變尺寸。

將參考圖15描述圖14中用于在步驟S1410處創(chuàng)建校正排除映射的方法。在圖15中，參考(a)，具有光源50的映像的圖像，表現(xiàn)光源50的圖像的部分被設(shè)置為要被從校正中排除的主體的圖像。首先，如圖15中(b)所示，整體圖像被分為多個(gè)評(píng)估分區(qū)，并計(jì)算在評(píng)估分區(qū)中的平均值或方差值，然后確定每個(gè)評(píng)估分區(qū)是否構(gòu)成校正排除分區(qū)。由上文描述的分區(qū)確定部可以做出該確定。

用于校正排除分區(qū)的條件可以是“高亮度以及非彩色色彩”或“高亮度以及亮度的最大值等于或大于閾值”。在作為條件1的“高亮度以及非彩色色彩”下，例如，亮度值屬于0至255內(nèi)的情況下，高亮度可被設(shè)置在200或更大，而在色彩差異值屬于-127至127內(nèi)的情況下，非彩色色彩可被設(shè)置-1至1。在作為條件2的“高亮度以及亮度的最大值等于或大于閾值”下，例如，在亮度值屬于0至255內(nèi)的情況下，高亮度可以被設(shè)置在230或更大，而在亮度值屬于0至255內(nèi)的情況下，閾值的值可以被設(shè)置在250。這些值為示例并且本發(fā)明不限于這些值。

理想地在條件1和2兩者下可以確定校正排除分區(qū)。當(dāng)一個(gè)整體評(píng)估分區(qū)具有統(tǒng)一的亮度和色彩時(shí)，僅在條件1下可以確定校正排除分區(qū)。然而，當(dāng)諸如光源50的高亮度的主體和諸如樹枝的低亮度的主體在一個(gè)評(píng)估分區(qū)中被看到時(shí)，條件1是不可應(yīng)用的并且因此光源50的圖像被校正并變成暗的、不自然的圖像。在條件2下也在條件1下做出確定使得適當(dāng)?shù)靥崛”憩F(xiàn)光源50和樹枝的部分作為校正排除分區(qū)成為可能。

參考圖15中的(b)，作為達(dá)到這些條件的分區(qū)，八個(gè)分區(qū)51被提取。以與將要被校正的圖像劃分為多個(gè)評(píng)估分區(qū)相同的方式格式化校正排除映射。如圖15中(c)所示，校正排除映射存儲(chǔ)“1”作為指示與達(dá)到條件的評(píng)估分區(qū)相對(duì)應(yīng)的位置處的模塊中校正排除的值。校正排除映射存儲(chǔ)“0”作為指示與未達(dá)到條件的評(píng)估分區(qū)相對(duì)應(yīng)的位置處的模塊中非校正排除的值。

將參考圖16描述在圖14中的步驟S1420處用于計(jì)算校正量的方法。在圖16中，(a)示出閃光圖像和參考圖像，而(b)包含由(a)中虛線顯示的、包含于重疊區(qū)域30中的評(píng)估分區(qū)35的放大視圖。與連接位置相對(duì)應(yīng)的評(píng)估分區(qū)35被給定了相同的參考代碼。具體地，在圖16中(b)左側(cè)視圖中從閃光圖像中提取的具有參考代碼a的評(píng)估分區(qū)與在圖16中(b)右側(cè)視圖中從參考圖像中提取的具有參考代碼a的評(píng)估分區(qū)要被連接。這是因?yàn)槿俺上裣鄼C(jī)10同時(shí)拍攝正面和背面?zhèn)鹊膱D像并因此重疊區(qū)域中的所述圖像相對(duì)于彼此被旋轉(zhuǎn)180度。

當(dāng)兩個(gè)圖像被連接時(shí)，具有參考代碼a的兩個(gè)評(píng)估分區(qū)的值，一個(gè)由于發(fā)生閃光較高而另一個(gè)由于未發(fā)生閃光較低。因此，做出校正以使這些值相等。通過下列等式(2)或(3)能夠計(jì)算在校正中使用的校正量c。在等式(2)中，E_b表示作為校正參考圖像的參考圖像的評(píng)估值，而Et表示要被校正的圖像，即閃光圖像，的評(píng)估值。

C＝E_b-Et (3)

通過前述等式(2)或(3)能夠計(jì)算校正量c。計(jì)算的校正量c作為與閃光圖像相對(duì)應(yīng)的評(píng)估分區(qū)的值被存儲(chǔ)。因此，當(dāng)對(duì)于圖16中(b)中所示的參考代碼a計(jì)算校正量c時(shí)，校正量c作為參考代碼a的值被存儲(chǔ)。

將參考圖17描述在圖14中步驟S1430處的校正量之間的插值。使用等式(2)或(3)計(jì)算對(duì)重疊區(qū)域的校正量c。對(duì)于在重疊區(qū)域之內(nèi)，對(duì)于在重疊區(qū)域中的多個(gè)評(píng)估分區(qū)35計(jì)算的校正量被用來，如圖17中(a)中箭頭顯示的，向圖像的中心對(duì)校正量插值，從而確定對(duì)內(nèi)部評(píng)估分區(qū)的校正量。后文將具體描述用于確定的方法。

對(duì)于在重疊區(qū)域外，在隨后的步驟S1450處執(zhí)行LPF處理。因此，需要在重疊區(qū)域中設(shè)置校正量，其即使當(dāng)執(zhí)行LPF處理時(shí)也不會(huì)很大地改變。如圖17中(b)中所示，例如，通過與緊接著上部的評(píng)估分區(qū)的校正量相同的校正量來校正每個(gè)評(píng)估分區(qū)x，并且通過與緊接著左邊的評(píng)估分區(qū)的校正量相同的校正量校正每個(gè)評(píng)估分區(qū)y。能夠預(yù)先確定對(duì)哪個(gè)要被使用的評(píng)估分區(qū)的校正量。

將參考圖18描述圖14中步驟S1440處的校正映射的修正。在圖18中，(a)示出由圖14中描述的處理所創(chuàng)建的校正映射的部分，而(b)示出圖15中(c)中所示的校正排除映射的部分。圖18中(a)所示的校正映射存儲(chǔ)由等式2表達(dá)的評(píng)估值之間的比率，作為對(duì)評(píng)估分區(qū)的校正量。

在圖18中(a)中所示的校正映射的修正處，對(duì)圖18中(b)中所示的校正排除映射做參考。當(dāng)在校正排除映射中的對(duì)相對(duì)應(yīng)的評(píng)估分區(qū)的校正量為“0”時(shí)，對(duì)于評(píng)估分區(qū)不做修正。相反地，當(dāng)校正排除映射中的校正量為“1”時(shí)，改變所述值以使對(duì)校正量不做校正。參考圖18中的(b)，在坐標(biāo)(x3,y2)、(x3,y3)以及(x4,y2)的評(píng)估分區(qū)中存儲(chǔ)1的校正量，并因此在與那些校正映射中相同位置處的模塊的值改變?yōu)?.00，從而修正校正映射。因此，能夠修正校正映射來在相對(duì)應(yīng)的校正排除分區(qū)中做出不太有效的校正。

借助于在執(zhí)行圖14中的尺寸調(diào)整處理之后的校正映射來校正閃光圖像。通過所述尺寸調(diào)整處理，校正映射具有帶有與那些閃光圖像相同數(shù)量的像素的圖像尺寸。當(dāng)校正映射存儲(chǔ)對(duì)使用由等式(2)計(jì)算的評(píng)估值之間的比率所確定的像素的校正量時(shí)，將閃光圖像中的像素的像素值乘以相對(duì)應(yīng)的對(duì)像素的校正量，從而來校正閃光圖像中像素的像素值。當(dāng)校正映射存儲(chǔ)對(duì)從由等式(3)計(jì)算的評(píng)估值中的差中確定的像素的校正量時(shí)，將相對(duì)應(yīng)的對(duì)像素的校正量加到閃光圖像中像素的像素值，從而來校正閃光圖像中像素的像素值。

在單色圖像的情況下，對(duì)于閃光圖像創(chuàng)建一個(gè)校正映射。在彩色圖像的情況下，閃光圖像由三個(gè)平面組成并因此創(chuàng)建三個(gè)校正映射。具體地，當(dāng)彩色圖像為RGB圖像時(shí)，閃光圖像由紅、藍(lán)和綠色的三個(gè)平面組成，并且對(duì)于所述平面的校正建立三個(gè)校正映射，并且所述三個(gè)校正映射用于閃光圖像的校正。

閃光圖像能夠以這樣的方式被校正，其允許在合成的圖像中的亮度和色彩的差異的降低。另外，能夠從校正中排除表現(xiàn)光源等的部分以致對(duì)表現(xiàn)光源等的部分不做出校正，其不引起表現(xiàn)光源的部分的變暗以防止色彩飽和部分中的色移。此外，在校正映射上執(zhí)行帶LPF的平整處理使消除校正量中的急劇改變，以及減輕在從校正中排除的光源與它的外圍分區(qū)之間的像素值中的差以防止不自然的校正成為可能。

將參考圖19描述圖13中步驟S1310處在重疊區(qū)域中平均值的計(jì)算的另一示例。在圖13的示例中，從重疊區(qū)域中的所有評(píng)估分區(qū)中計(jì)算平均值。與此同時(shí)，在圖19的示例中，在預(yù)先設(shè)置的條件下計(jì)算平均值用于評(píng)估分區(qū)的分類。具體地，在執(zhí)行所述處理之前，對(duì)于評(píng)估分區(qū)中的平均值預(yù)先設(shè)置閾值(上限T_up和下限T_dw)，并且將閾值設(shè)置為上限值和下限值。

在步驟S1900處開始這個(gè)處理。在步驟S1910處，選擇任何一個(gè)評(píng)估分區(qū)，并確定所述評(píng)估分區(qū)是否屬于重疊區(qū)域內(nèi)。例如，可以從圖像的左上角處順次選擇評(píng)估分區(qū)。這僅為示例并因此可以通過任何其他方法選擇所述評(píng)估分區(qū)。

當(dāng)評(píng)估分區(qū)不屬于重疊區(qū)域內(nèi)時(shí)，所述處理移至步驟S1920并且評(píng)估分區(qū)中的平均值從總和中被排除。即，平均值不隸屬于總和。相反地，當(dāng)評(píng)估分區(qū)屬于重疊區(qū)域內(nèi)時(shí)，所述處理移至步驟S1930以確定評(píng)估分區(qū)中的平均值是否大于上限T_up。當(dāng)平均值大于上限T_up時(shí)，所述處理移至步驟S1920并且評(píng)估分區(qū)中的平均值從總和中被排除。當(dāng)平均值等于或小于上限T_up時(shí)，所述處理移至步驟S1940以確定評(píng)估分區(qū)中的平均值是否小于下限T_dw。當(dāng)平均值小于下限T_dw時(shí)，所述處理移至步驟S1920并且評(píng)估分區(qū)中的平均值從總和中被排除。當(dāng)平均值等于或大于下限T_dw時(shí)，所述處理移至步驟S1950并且評(píng)估分區(qū)中的平均值隸屬于總和。

當(dāng)平均值在步驟S1920處從總和中被排除或在S1950處隸屬于總和時(shí)，所述處理移至步驟S1960以確定是否對(duì)于所有評(píng)估分區(qū)完成所述處理。當(dāng)尚未對(duì)所有評(píng)估分區(qū)完成所述處理時(shí)，所述處理回到步驟S1910來在下一個(gè)評(píng)估分區(qū)上執(zhí)行相同的處理。當(dāng)對(duì)所有評(píng)估分區(qū)完成所述處理時(shí)，所述處理移至步驟S1970以將平均值的總和除以評(píng)估分區(qū)的數(shù)量以計(jì)算重疊區(qū)域中的平均值。在步驟S1980處結(jié)束該處理。

考慮到對(duì)關(guān)于有或沒有閃光圖像的確定的影響，可以確定上限T_up和下限T_dw來允許評(píng)估分區(qū)的適當(dāng)?shù)呐懦祻目偤椭斜慌懦?/p>

仍將參考圖20描述在圖13中的步驟S1310處重疊區(qū)域中平均值的計(jì)算的另一示例。在圖19的示例中，將上限T_up和下限T_dw設(shè)置為閾值。在圖20的示例中，稱為重合度(匹配度)的指標(biāo)被設(shè)置為閾值，并且根據(jù)匹配度來確定評(píng)估分區(qū)隸屬于總和或從總和中排除。匹配度為指示在校正參考圖像的重疊區(qū)域中的每個(gè)評(píng)估分區(qū)與作為要被校正的圖像的閃光圖像的重疊區(qū)域中的每個(gè)評(píng)估分區(qū)之間的重合程度的指標(biāo)。所述圖像系統(tǒng)可包含作為功能單元的重合度計(jì)算器，其被配置來計(jì)算匹配度。

在步驟S2000處開始這個(gè)處理。在步驟S2010處，確定評(píng)估分區(qū)是否屬于重疊區(qū)域。當(dāng)評(píng)估區(qū)域不屬于重疊區(qū)域，所述處理移至步驟S2020并且重疊區(qū)域中的平均值從總和中排除。當(dāng)評(píng)估區(qū)域?qū)儆谥丿B區(qū)域，所述處理移至步驟S2030以計(jì)算評(píng)估分區(qū)的匹配度。后文將描述匹配度以及用于計(jì)算匹配度的方法。在步驟S2040處，確定計(jì)算的匹配度是否小于作為對(duì)于重合度預(yù)設(shè)的閾值的匹配度閾值T_m。

當(dāng)計(jì)算的匹配度大于匹配度閾值T_m時(shí)，所述處理移至步驟S2020并且評(píng)估分區(qū)中的平均值從總和中排除。當(dāng)計(jì)算的匹配度等于或小于匹配度閾值T_m時(shí)，所述處理移至步驟S2050以使評(píng)估分區(qū)中的平均值隸屬于總和。當(dāng)在步驟S2020處評(píng)估分區(qū)從總和中被排除時(shí)或當(dāng)在步驟S2050處評(píng)估分區(qū)隸屬于總和時(shí)，所述處理移至步驟S2060以確定是否對(duì)于所有評(píng)估分區(qū)完成所述處理。當(dāng)尚未完成所述處理時(shí)，所述處理回到步驟S2010以在下一個(gè)評(píng)估分區(qū)上執(zhí)行相同的處理。當(dāng)完成所述處理時(shí)，所述處理移至步驟S2070以將重疊區(qū)域的評(píng)估分區(qū)中的平均值的總和除以評(píng)估分區(qū)的數(shù)量以計(jì)算重疊區(qū)域中的平均值。在步驟S2080處結(jié)束該處理。

參考圖21，將描述匹配度和用于計(jì)算參考圖20使用的匹配度的方法。連接位置與評(píng)估分區(qū)之間的關(guān)系如圖16中所顯示。然而，圖像以水平和垂直方向被均勻地劃分，并且因此連接位置和評(píng)估分區(qū)與彼此不完全重合。

例如，如圖21所示，以灰色顯示評(píng)估分區(qū)35以及將評(píng)估分區(qū)中心處的坐標(biāo)設(shè)置在O₁和O₂。另外，通過模板匹配或諸如此類檢測的連接位置被指定為P₁和P₂，以及具與所述評(píng)估分區(qū)相同尺寸的、由虛線顯示的分區(qū)，所述分區(qū)以連接位置為中心，被指定為連接分區(qū)36。

連接分區(qū)36中的主體的圖像在閃光圖像與參考圖像之間相等。分別地，當(dāng)評(píng)估分區(qū)35中的中心O₁和連接分區(qū)36中的中心P₁與彼此重合，以及評(píng)估分區(qū)35中的中心O₂和連接分區(qū)36中的中心P₂與彼此重合時(shí)，評(píng)估分區(qū)35和連接分區(qū)36與彼此重合。因此，評(píng)估分區(qū)35中的主體的圖像與彼此重合。

然而，當(dāng)中心坐標(biāo)中的任何一個(gè)中存在不重合時(shí)，評(píng)估分區(qū)35中的主體的圖像與彼此不重合。在很少色彩漸變的主體(諸如天空或平的墻壁)的情況下，甚至當(dāng)主體的圖像與彼此不完全重合時(shí)，產(chǎn)生對(duì)評(píng)估值很小的影響。換言之，在很多色彩漸變的主體的情況下，圖像中輕微的偏移使在亮度和色彩上有差異，對(duì)評(píng)估值有很大影響。因此，匹配度作為被用來確定在評(píng)估分區(qū)35中主體的圖像是否與彼此重合的指標(biāo)。

使用對(duì)于每個(gè)評(píng)估分區(qū)35計(jì)算的方差值通過下列等式(4)或(5)能夠計(jì)算匹配度。在等式(4)中，m表示匹配度，σ₁為閃光圖像的方差值，以及σ₂為參考圖像的方差值。在等式(5)中，V₁表示閃光圖像的亮度值，以及V₂為參考圖像的亮度值。

m＝|σ₁-σ₂| (4)

m＝|V₁×V₂-V₂²| (5)

等式(4)中的匹配度m由閃光圖像和參考圖像的方差值的差的絕對(duì)值定義。通常，隨匹配度的增加，主體的圖像與彼此越重合。然而，在這個(gè)實(shí)例中，隨匹配度的減小，主體的圖像與彼此越重合。隨主體的圖像中越多的色彩漸變，方差值傾向于越高，而隨主體的圖像中越少的色彩漸變，方差值傾向于越低。因此，即使在更多色彩漸變的主體的圖像中的小偏移，也具有對(duì)匹配度更大的影響。換言之，即使在更少色彩漸變的主體的圖像中的大偏移，也具有對(duì)匹配度更小的影響。

用于在匹配度的計(jì)算中使用的像素值可以是所有像素的像素值。然而，使用所有的像素值會(huì)導(dǎo)致更高的計(jì)算成本。優(yōu)選地，僅使用對(duì)圖像的亮度有影響的像素的像素值。這樣的像素值可以是RGB圖像中G的值或YCbCr圖像中Y的值。

在等式(5)中，使用亮度值，而不使用方差值來計(jì)算匹配度。等式(5)中的匹配度m由亮度值中的差的絕對(duì)值定義，這意味著隨匹配度的減少主體的圖像與彼此更重合，如等式(4)的情況下。

將參考圖22描述圖17中用于在校正量之間插值的方法的一個(gè)示例。在圖22中(a)中以灰色顯示的重疊區(qū)域30中多個(gè)評(píng)估分區(qū)35中的平均值被平均以計(jì)算重疊區(qū)域中的平均值。計(jì)算的平均值被設(shè)置為對(duì)在重疊區(qū)域30中心處的斜線陰影部分的校正量。

如圖22中(b)中所示，中心被指定為C，從中心C向重疊區(qū)域水平和垂直延伸的線的交叉處的重疊分區(qū)被指定為O，在中心C與重疊分區(qū)O之間的要被計(jì)算的分區(qū)被指定為T，以及對(duì)分區(qū)T的校正量被指定為r_c,r_o和r_t。另外，中心C與分區(qū)T之間的距離被指定為d₁，以及分區(qū)T與重疊分區(qū)O之間的距離被指定為d₂。因此，能夠通過下列等式(6)表達(dá)對(duì)分區(qū)T的校正量r_t，在所述等式中以距離作為權(quán)重執(zhí)行加權(quán)平均。

使用等式(6)，計(jì)算圖22中(b)中的、對(duì)從中心C向重疊區(qū)域垂直和水平延伸的分區(qū)的校正量。已計(jì)算出對(duì)以灰色顯示的計(jì)算的分區(qū)之間的、以白色顯示的分區(qū)的校正量，并且根據(jù)計(jì)算的分區(qū)與重疊區(qū)域之間的距離能夠通過加權(quán)平均計(jì)算如圖22中(c)中所示的重疊區(qū)域。要被計(jì)算的分區(qū)被指定為T，以及從分區(qū)T向上垂直延伸的直線與計(jì)算的分區(qū)之間的交叉點(diǎn)被指定為H。另外，從分區(qū)T向下垂直延伸的直線與重疊區(qū)域之間的交叉點(diǎn)被指定為O₁，從分區(qū)T向右水平延伸的直線與計(jì)算的分區(qū)之間的交叉點(diǎn)被指定為V，以及從分區(qū)T向左水平延伸的直線與重疊區(qū)域之間的交叉點(diǎn)被指定為O₂。分區(qū)T與分區(qū)V之間的距離被指定為d_h1，分區(qū)T與分區(qū)O₂之間的距離被指定為d_h2，分區(qū)T與分區(qū)H之間的距離被指定為d_v1，以及分區(qū)T與與分區(qū)O₁之間的距離被指定為d_v2。另外，對(duì)分區(qū)T、H、V、O₁和O₂的校正量被分別指定為r_t,r_h,r_v,r_o1和r_o2。因此，通過下列等式(7)能夠計(jì)算對(duì)分區(qū)T的校正量r_t。

使用等式(6)和(7)，能夠計(jì)算對(duì)在重疊區(qū)域內(nèi)部的所有的評(píng)估分區(qū)的校正量。

根據(jù)用于圖22中所示的校正量之間插值的方法，在任意方向上統(tǒng)一地執(zhí)行插值。當(dāng)相同主體的圖像存在于要被連接的圖像之間的重疊區(qū)域中時(shí)，這樣的統(tǒng)一插值沒有問題。然而，當(dāng)由于有障礙物，例如，在一個(gè)具有如上文描述的作為主體的手指的反映的圖像的情況下，在重疊區(qū)域中存在不同的主體的圖像時(shí)，統(tǒng)一插值會(huì)引起問題。在這種情況下，插值不能被統(tǒng)一地執(zhí)行。因此，如該示例中以特定的方向執(zhí)行插值。將參考圖23描述用于插值的方法。

如圖23中(a)中所示，例如，重疊區(qū)域中的三個(gè)評(píng)估分區(qū)O₁,O₂和O₃被用來從在重疊區(qū)域垂直頂部下面的一階的分區(qū)向下順次地計(jì)算校正量。首先，與在圖23中(a)中所示的重疊區(qū)域頂部的評(píng)估分區(qū)接觸的、在重疊區(qū)域內(nèi)的分區(qū)T₁被設(shè)置為要被計(jì)算校正量的分區(qū)。使用對(duì)分區(qū)T₁上面一階的且與重疊區(qū)域內(nèi)部接觸的評(píng)估分區(qū)O₁、在分區(qū)T₁的右側(cè)和左側(cè)處且與重疊區(qū)域內(nèi)部接觸的評(píng)估分區(qū)O₂以及O₃的校正量r₁,r₂和r₃、分區(qū)T₁和分區(qū)O₂之間的距離的d₁，以及分區(qū)T₁與分區(qū)O₃之間的距離d₂來計(jì)算校正量。通過下列等式(8)能夠計(jì)算校正量r_t1。

使用等式(8)，對(duì)于在圖23中(b)中所示的分區(qū)T₁右側(cè)和左側(cè)處水平方向上的在重疊區(qū)域內(nèi)的所有的分區(qū)計(jì)算校正量。接下來，計(jì)算對(duì)于在重疊區(qū)域內(nèi)的分區(qū)T₁下面一階的分區(qū)T₂的校正量r_t2。通過使用對(duì)分區(qū)T₂上面一階的分區(qū)P的校正量r_p、對(duì)于在水平方向上與重疊區(qū)域內(nèi)接觸的評(píng)估分區(qū)O₄和O₅的校正量r₄和r₅、分區(qū)T₂與分區(qū)O₄之間的距離d₃，以及分區(qū)T₂與分區(qū)O₅之間的距離d₄計(jì)算校正量r_t2。通過下列等式(9)能夠計(jì)算校正量r_t2。重復(fù)在垂直向下方向上的計(jì)算使計(jì)算對(duì)在重疊區(qū)域內(nèi)部的所有分區(qū)的校正量成為可能。

當(dāng)在重疊區(qū)域中存在任何帶有極大或極低校正量的評(píng)估分區(qū)時(shí)，校正量可通過插值整體擴(kuò)展而造成不自然的圖像。

在圖14中步驟S1410處校正排除映射的創(chuàng)建上，可計(jì)算作為校正排除分區(qū)的模塊中的平均坐標(biāo)值以將平均坐標(biāo)值確定為校正排除分區(qū)的中心。設(shè)置校正量以使對(duì)包含確定的中心(中心區(qū)域)的預(yù)定區(qū)域不做出校正，并向中心區(qū)域執(zhí)行插值。這使最小化極大或極小的校正量的擴(kuò)散成為可能。

當(dāng)在校正排除分區(qū)之中的中心區(qū)域?yàn)槿鐖D24中所示的斜線陰影區(qū)域時(shí)，中心區(qū)域被設(shè)置為插值參考區(qū)域，并且通過重疊區(qū)域周圍與插值參考區(qū)域之間的插值來計(jì)算對(duì)在重疊區(qū)域內(nèi)的評(píng)估分區(qū)的校正量。通過如在前述等式6和7中表達(dá)的加權(quán)平均能夠計(jì)算校正量?？商鎿Q地，通過使用等式(8)和(9)可計(jì)算校正量。

參考圖24，通過從四個(gè)方向向插值參考區(qū)域插值來計(jì)算對(duì)重疊區(qū)域內(nèi)的評(píng)估分區(qū)的校正量。可替換地，通過從特定方向的插值可以計(jì)算校正量。在重疊區(qū)域中存在障礙物或隨統(tǒng)一插值發(fā)生的一些問題這樣的情況下，要從特定方向計(jì)算校正量。在圖25中所示的斜線陰影區(qū)域中，垂直延展插值參考區(qū)域60，以及指示沒有校正的值存儲(chǔ)于在插值參考區(qū)域60中。因此，通過插值參考區(qū)域60將在重疊區(qū)域內(nèi)的區(qū)域分為兩個(gè)。通過等式(6)和(7)中表達(dá)的加權(quán)平均能夠?qū)τ诿總€(gè)劃分的區(qū)域計(jì)算校正量?？商鎿Q地，通過使用等式(8)和(9)可以計(jì)算校正量。

具有高匹配度的重疊區(qū)域包含相同主體的圖像，并因此在圖像連接中為高可靠性的圖像。換言之，具有低匹配度的重疊區(qū)域包含不同主體的圖像，并因此在圖像連接中為低可靠性的圖像。因此，在具有低匹配度的重疊區(qū)域中，甚至當(dāng)計(jì)算校正值時(shí)很可能計(jì)算錯(cuò)誤的值。

參考圖26，將描述用于基于匹配度校正對(duì)重疊區(qū)域的校正量的處理。在圖14中描述的步驟S1420處計(jì)算對(duì)重疊區(qū)域的校正量后能夠做出該校正。在開始所述處理之前，對(duì)于匹配度設(shè)置閾值T_m。

在步驟S2600處開始該處理。在步驟S2610處，確定評(píng)估分區(qū)是否屬于重疊區(qū)域。當(dāng)所述評(píng)估分區(qū)不屬于重疊區(qū)域時(shí)，不校正對(duì)評(píng)估分區(qū)的校正量并且所述處理移至步驟S2650。當(dāng)所述評(píng)估分區(qū)屬于重疊區(qū)域時(shí)，所述處理移至步驟S2620以參考評(píng)估分區(qū)的匹配度。當(dāng)沒有匹配度被計(jì)算出時(shí)，通過上述方法計(jì)算所述匹配度。

在步驟S2630處，確定參考的匹配度是否大于對(duì)于匹配預(yù)設(shè)的閾值T_m。當(dāng)匹配度小于閾值T_m時(shí)，不校正對(duì)評(píng)估分區(qū)的校正量并且所述處理移至步驟S2650。相反地，當(dāng)匹配度大于閾值T_m時(shí)，所述處理移至步驟S2640來對(duì)評(píng)估分區(qū)的校正量做出校正。在那時(shí)，校正對(duì)評(píng)估分區(qū)的校正量以使沒有校正被做出。具體地，當(dāng)由上述的評(píng)估值之間的比率表現(xiàn)校正量時(shí)，校正量被校正為“1.0”，而當(dāng)由評(píng)估值之間的差表現(xiàn)校正量時(shí)，校正量被校正為“0”。

在步驟S2650，確定是否對(duì)于所有評(píng)估分區(qū)完成所述處理。當(dāng)尚未對(duì)于所有評(píng)估分區(qū)完成所述處理，所述處理回到步驟S2610以在下一個(gè)評(píng)估分區(qū)上執(zhí)行相同的處理。當(dāng)所述完成處理時(shí)，所述處理移至步驟S2660并結(jié)束。

在圖14中描述的步驟S1420處對(duì)重疊區(qū)域的校正量的計(jì)算時(shí)，一些計(jì)算的校正量會(huì)取到意料外的值。例如，在要被連接的圖像中重疊區(qū)域之間不存在相同主體的圖像的情況下，或在要被連接的圖像中重疊區(qū)域之間的亮度存在極大差異的情況下發(fā)生這樣的事件。在這樣情況下，能夠執(zhí)行用于限制校正量的處理以保持校正量在預(yù)定范圍內(nèi)不致于極其大或小。

參考圖27，將描述所述限制處理。在圖14中描述的步驟S1420處對(duì)重疊區(qū)域的校正量的計(jì)算后，或步驟1430處通過插值計(jì)算校正量后能夠執(zhí)行所述限制處理。在開始所述限制處理之前，準(zhǔn)備顯示閃光圖像的像素值與對(duì)于限制處理的閾值之間的關(guān)系的閾值表格。

閾值表格可以表現(xiàn)為如圖28中(a)或(b)所示的曲線圖，或例如表現(xiàn)為擁有來自曲線圖的數(shù)字值的表格。在圖28中，(a)顯示在其中的校正量為評(píng)估值之間的比率的表格，以及(b)顯示在其中的校正值為評(píng)估值中的差的表格。在閾值表格中，上限T_up和下限T_dw被確定為與作為閃光圖像的像素值的信號(hào)量相對(duì)應(yīng)的閾值。

當(dāng)閃光圖像的信號(hào)量被指定為s并且用于校正的信號(hào)量的限額被指定為a，通過下列等式(10)和(11)能夠表達(dá)圖28中(a)中的上限T_up和下限T_dw。

當(dāng)閃光圖像的信號(hào)量被指定為s以及用于校正的信號(hào)量的限額被指定為a時(shí)，通過下列等式(12)和(13)能夠表達(dá)圖28中(b)中上限T_up和下限T_dw。

T_up＝a (12)

T_dw＝-a (13)

在步驟S2700處開始該處理。在步驟S2700處，確定評(píng)估分區(qū)是否屬于重疊區(qū)域。當(dāng)評(píng)估分區(qū)不屬于重疊區(qū)域時(shí)，不校正對(duì)評(píng)估分區(qū)的校正量并且所述處理移至步驟S2750。當(dāng)評(píng)估分區(qū)屬于重疊區(qū)域時(shí)，所述處理移至步驟S2720以參考圖28中示出的閾值表格來獲取對(duì)于校正量的閾值T_up和T_dw。通過等式(10)和(11)或等式(12)和(13)能夠計(jì)算閾值T_up和T_dw。

在步驟S2730處，確定對(duì)評(píng)估分區(qū)的校正量是否大于閾值表格中的上限T_up或是否小于閾值表格中的下限T_dw。當(dāng)校正量大于上限T_up或小于下限T_dw時(shí)，在對(duì)評(píng)估分區(qū)的校正量上不執(zhí)行限制處理并且所述處理移至步驟2750。相反地，當(dāng)校正量等于或小于上限T_up，或等于或大于下限T_dw時(shí)，所述處理移至步驟S2740以在對(duì)評(píng)估分區(qū)的校正量上執(zhí)行限制處理。

限制處理旨在校正對(duì)評(píng)估分區(qū)的校正量以使沒有校正被做出。具體地，當(dāng)由上述的評(píng)估值之間的比率表現(xiàn)校正量時(shí)，校正量被校正為“1.0”，而當(dāng)由上述的評(píng)估值之間的差表現(xiàn)校正量時(shí)，校正量被校正為“0”。

在步驟S2750處，確定是否對(duì)于所有評(píng)估分區(qū)完成所述處理。當(dāng)尚未對(duì)于所有評(píng)估分區(qū)完成所述處理時(shí)，所述處理回到步驟S2710以在下一個(gè)評(píng)估分區(qū)上執(zhí)行相同的處理。當(dāng)完成所述處理時(shí)，所述處理移至步驟S2760并結(jié)束。

如上文所述，根據(jù)本發(fā)明的實(shí)施例允許對(duì)即使具有閃光發(fā)生的圖像做出適當(dāng)?shù)男ＵＴ谛Ｕ龝r(shí)，具有最低的發(fā)生閃光可能性的圖形被設(shè)置為校正參考圖像，并且校正其他圖像。另外，具有低匹配度的平均值(在等式(4)和(5)的情況下，具有高匹配度的平均值)通常不隸屬于總和，并因此僅使用帶閃光圖像與校正參考圖像之間高校正的平均值能夠計(jì)算所述重疊區(qū)域中的平均值。即使極其明亮的主體(諸如光源)或極其暗的主體被反映，在不使用這樣的主體的圖像中的平均值的情況下計(jì)算重疊區(qū)域中的平均值。這降低了對(duì)重疊區(qū)域中平均值的計(jì)算的影響。

執(zhí)行限制處理使得防止由極大的校正量做出校正成為可能。執(zhí)行平整處理使得防止部分地做出過度校正成為可能。在校正映射上執(zhí)行尺寸調(diào)整處理允許校正通過基于像素的算法操作而被做出，其消除了對(duì)于在校正映射中復(fù)雜的轉(zhuǎn)換的需求。通過加權(quán)平均計(jì)算對(duì)所有評(píng)估分區(qū)的校正量，使得防止由所述校正引起表現(xiàn)圖像中亮度或色彩的差異的信號(hào)電平的差異成為可能，這將實(shí)現(xiàn)自然的校正。通過上述的比率或差計(jì)算校正量，其在校正時(shí)不會(huì)引起信號(hào)電平的差異。

上文描述了圖像處理系統(tǒng)和圖像處理方法的實(shí)施例。然而，本發(fā)明不限于前述的實(shí)施例。通過利用另一實(shí)施例替換可修正本發(fā)明，或諸如添加、改變，或刪除，只要本領(lǐng)域技術(shù)人員能夠知曉的任何其他模式。只要所述修正能夠制造本發(fā)明的技術(shù)效果與優(yōu)點(diǎn)，任何方面的修正均包含于本發(fā)明的范圍內(nèi)。因此，本發(fā)明使得提供用于使計(jì)算機(jī)執(zhí)行圖像處理方法的程序、帶該程序存儲(chǔ)其中的計(jì)算機(jī)可讀記錄介質(zhì)、經(jīng)由網(wǎng)絡(luò)提供所述程序服務(wù)器設(shè)備等稱為可能。

根據(jù)上述實(shí)施例，在多個(gè)要被合成的圖像之間降低亮度和色彩中的差異是可能的。

雖然為完整并清楚的公開已關(guān)于特定實(shí)施例描述了本發(fā)明，所附權(quán)利要求并不因此被限制，而是被解釋為本領(lǐng)域技術(shù)人員可以想到的體現(xiàn)所有修正和替換結(jié)構(gòu)，其適當(dāng)?shù)貙儆诒疚年U述的基本教導(dǎo)之內(nèi)。