基于sift匹配的立體圖像彩色轉(zhuǎn)灰度校正方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種針對立體圖像的彩色轉(zhuǎn)灰度的方法，具體涉及基于SIFT匹配的 立體圖像彩色轉(zhuǎn)灰度校正方法。
【背景技術(shù)】
[0002] 彩色轉(zhuǎn)灰度是圖像處理中常用的圖像處理技術(shù)，同時也是灰度立體圖合成中的重 要預(yù)處理步驟。傳統(tǒng)的彩色轉(zhuǎn)灰度方法將色彩的亮度值作為灰度值，這種方法會將具有相 同的亮度的不同顏色轉(zhuǎn)化為相同的灰度，進(jìn)而導(dǎo)致圖像細(xì)節(jié)的丟失。針對圖像細(xì)節(jié)丟失的 問題，學(xué)者們提出了很多先進(jìn)的彩色轉(zhuǎn)灰度技術(shù)，然而這些算法只是針對普通二維圖像設(shè) 計的，如果將這些方法分別應(yīng)用于立體圖像的左右兩個視圖，可能會導(dǎo)致左右視圖之間對 應(yīng)點亮度不一致，從而引發(fā)視網(wǎng)膜競爭，影響立體視覺的體驗。
[0003] 彩色轉(zhuǎn)灰度技術(shù)是一項非常熱門的圖像處理技術(shù)，出于經(jīng)濟(jì)、技術(shù)等原因，許多打 印設(shè)備和顯示設(shè)備仍然使用灰度圖的形式顯示圖像，同時彩色轉(zhuǎn)灰度也是合成灰度立體圖 重要的預(yù)處理步驟。目前普遍應(yīng)用于合成灰度立體圖像的彩色轉(zhuǎn)灰度方法是，線性的將圖 像的亮度值映射到灰度值，這種方法雖然簡單高效，但是等亮度的不同顏色會被映射到同 一種灰度值，進(jìn)而可能導(dǎo)致圖像細(xì)節(jié)的丟失。如圖2a_圖2b所示，因為粉色球3與綠色桌 面具有相同的亮度，所以使用傳統(tǒng)彩色轉(zhuǎn)灰度算法后，粉色球與綠色桌面被賦予了相同的 灰度值，粉色色球的輪廓變得模糊。
[0004] 針對彩色轉(zhuǎn)灰度過程中細(xì)節(jié)丟失的問題，近些年來人們提出了許多先進(jìn)的彩色轉(zhuǎn) 灰度技術(shù)。根據(jù)映射方式的不同，這些方法可以分為兩類，局部映射和全局映射。
[0005] 然而無論是局部映射還是全局映射，目前的方法都是針對單張圖設(shè)計的，如果直 接使用這些方法對立體圖中的兩個視圖分別進(jìn)行優(yōu)化，雖然能夠很好的保留特征信息，但 是會導(dǎo)致兩張圖之間對應(yīng)點亮度不一致，從而引發(fā)視網(wǎng)膜競爭，影響立體效果。如圖2c-圖 2d所示，藍(lán)色12號球在輸入的彩色視圖中具有相同的顏色，然而本申請使用Kim[kim]方法 對左右視圖分別進(jìn)行彩色轉(zhuǎn)灰度映射，結(jié)果12號球在右視圖中被賦予了不同的亮度值。

【發(fā)明內(nèi)容】

[0006] 為解決現(xiàn)有技術(shù)存在的不足，本發(fā)明公開了基于SIFT匹配的立體圖像彩色轉(zhuǎn)灰 度校正方法，彩色轉(zhuǎn)灰度是灰度立體圖合成過程中的重要預(yù)處理步驟，本申請針對使用傳 統(tǒng)彩色轉(zhuǎn)灰度算法合成的灰度立體圖往往受到"區(qū)域合并問題"（細(xì)節(jié)丟失）以及"視網(wǎng)膜 競爭問題"（左右亮度不一致）的困擾，提出的方法是為左右視圖分別定義一個彩色轉(zhuǎn)灰度 全局映射函數(shù)，然后通過最小化輸入彩色圖像與輸出灰度圖像之間的梯度差異來保持原始 圖像的細(xì)節(jié)特征從而避免區(qū)域合并，同時通過規(guī)范立體匹配對應(yīng)點的灰度值，使其在轉(zhuǎn)化 后具有相似的灰度來避免視網(wǎng)膜競爭。實驗結(jié)果證明，使用該方法的轉(zhuǎn)化后合成的灰度立 圖像能夠較好的保持原始圖像的細(xì)節(jié)特征并保證左右視圖之間亮度的一致性。除此之外， 當(dāng)輸入源圖像左右視圖亮度差異較大時，該算法在轉(zhuǎn)化過程中可以有效的矯正左右視圖間 的亮度差異。
[0007] 為實現(xiàn)上述目的，本發(fā)明的具體方案如下：
[0008] 基于SIFT匹配的立體圖像彩色轉(zhuǎn)灰度校正方法，包括以下步驟：
[0009] 步驟一：輸入彩色圖像，為左右視圖分別定義一個彩色轉(zhuǎn)灰度的全局映射函數(shù)；
[0010] 步驟二：基于SIFT特征點的匹配算法，首先檢測出左右視圖中的特征點，然后將 兩個視圖之間的特征點進(jìn)行匹配；若特征點分布不夠理想，可手工點選指定特征點；
[0011] 步驟三：定義特征保留項，亮度一致項以及規(guī)范化項并根據(jù)定義的特征保留項，亮 度一致項以及規(guī)范化項構(gòu)建能量方程；
[0012] 步驟四：使用標(biāo)準(zhǔn)線性求解器，在線性時間內(nèi)求出該能量方程的最優(yōu)解，該最優(yōu)解 為步驟一中所定義的全局映射函數(shù)的未知參數(shù)，輸出灰色圖像。
[0013] 所述彩色轉(zhuǎn)灰度的全局映射函數(shù)為：
[0014]g(x,y) =aL+L0+f( 0 )
[0015] 其中，a是用于放縮原始顏色亮度的亮度放縮系數(shù)，Ltl是用于提高和減少亮度值 的平移量，g(x，y)是圖像在像素點（x，y)處的灰度值，L是像素點（x，y)的顏色在CIELCH 空間中的亮度，9是像素點（x，y)的顏色在CIELCH空間中的色調(diào)角值，f(0)是基于色 調(diào)角的亮度加成函數(shù)。
[0016]函數(shù)f( 0 )作為一個三角多項式模型被定義為：
[0017]f(0)=XI=I^Akcos(^61) +Bksin +A0
[0018] 其中，n是單幅視圖中的像素個數(shù)為已知參數(shù)，以f( 0 )中的Ak，Bk，以及Atl是需要 優(yōu)化計算求解的未知參數(shù)，通過優(yōu)化這些未知參數(shù)，彩色轉(zhuǎn)灰度過程中原始圖像的細(xì)節(jié)特 征得到了保持，k為從1到n的所有整數(shù)。
[0019] 所述圖像的特征保留項定義如下：
[0020] Ed =Zu., )e, |N(^, 7) - 7)f
[0021] 其中，U1,I1J是立體圖像的左視圖和右視圖，▽gi(x,y)表示灰度圖像]^在（x,y) 處的梯度，GiU,y)表示與之對應(yīng)的彩色圖像在（x，y)處的梯度值。
[0022] ▽gi(x，y)其定義如下，為了描述的簡潔性，在后面的描述中將省略代表左右視圖 的下標(biāo)i:
[0023]Vg(x,y) = (g(x+l,y)-g(x-l,y),g(x,y+l)-g(x,y-1))
[0024]g(x+l，y)是圖像在像素點（x+l，y)處的灰度值，g(x_l，y)是圖像在像素點（x-1， y)處的灰度值，g(x，y+1)是圖像在像素點（x，y+1)處的灰度值，g(x，y-1)是圖像在像素 點（x，y-1)處的灰度值。
[0025]GiOc,y)表示彩色圖像^在（X，y)處的梯度值，為了描述的簡潔性，在后面的描述 中將省略代表左右視圖的下標(biāo)i，其計算公式為：
【主權(quán)項】
1. 基于SIFT匹配的立體圖像彩色轉(zhuǎn)灰度校正方法，其特征是，包括W下步驟： 步驟一；輸入彩色圖像，為左右視圖分別定義一個彩色轉(zhuǎn)灰度的全局映射函數(shù)； 步驟二：基于SIFT特征點的匹配算法，首先檢測出左右視圖中的特征點，然后將兩個 視圖之間的特征點進(jìn)行匹配； 步驟定義特征保留項，亮度一致項W及規(guī)范化項并根據(jù)定義的特征保留項，亮度一 致項W及規(guī)范化項構(gòu)建能量方程； 步驟四；使用標(biāo)準(zhǔn)線性求解器，在線性時間內(nèi)求出該能量方程的最優(yōu)解，該最優(yōu)解為步 驟一中所定義的全局映射函數(shù)的未知參數(shù)，輸出灰色圖像。
2. 如權(quán)利要求1所述的基于SIFT匹配的立體圖像彩色轉(zhuǎn)灰度校正方法，其特征是，所 述彩色轉(zhuǎn)灰度的全局映射函數(shù)為： g(x,y) =aL+L〇+f( 0 ) 其中，a是用于放縮原始顏色亮度的亮度放縮系數(shù)，L。是用于提高和減少亮度值的平 移量，g(x，y)是圖像在像素點（X，y)處的灰度值，L是像素點（X，y)的顏色在CIELCH空 間中的亮度，0是像素點（X，y)的顏色在CIELCH空間中的色調(diào)角值，f(0)是基于色調(diào) 角的亮度加成函數(shù)。
3. 如權(quán)利要求2所述的基于SIFT匹配的立體圖像彩色轉(zhuǎn)灰度校正方法，其特征是，函 數(shù)f( 0 )作為一個=角多項式模型被定義為：
其中，n是用戶自定義的參數(shù)，Wf(0)中的Ak，Bk，W及A。是需要優(yōu)化計算求解的未知 參數(shù)，通過優(yōu)化該些未知參數(shù)，彩色轉(zhuǎn)灰度過程中原始圖像的細(xì)節(jié)特征得到了保持，k為從 1到n的所有整數(shù)。
4. 如權(quán)利要求1所述的基于SIFT匹配的立體圖像彩色轉(zhuǎn)灰度校正方法，其特征是，所 述圖像的特征保留項定義如下：
其中，是立體圖像的左視圖和右視圖，▽gi(x，y)表示圖像li灰度圖的梯度，Gi(x，y)表示彩色圖像li在（x，y)處的梯度值。
5. 如權(quán)利要求4所述的基于SIFT匹配的立體圖像彩色轉(zhuǎn)灰度校正方法，其特征是， ▽gi(x，y)其定義如下，為了描述的簡潔性，將省略代表左右視圖的下標(biāo)i: ▽g(x，y) =(g(x+1,y)-g(x-1,y),g(x,y+1)-g(x,y-1)) g(x+l，y)是圖像在像素點（x+1，y)處的灰度值，g(x-l，y)是圖像在像素點（x-1，y) 處的灰度值，g(x，y+1)是圖像在像素點（X，y+1)處的灰度值，g(x，y-1)是圖像在像素點 (X，y-1)處的灰度值。
6. 如權(quán)利要求4所述的基于SIFT匹配的立體圖像彩色轉(zhuǎn)灰度校正方法，其特征是， Gi(x，y)表示彩色圖像li在（x，y)處的梯度值，為了描述的簡潔性，省略代表左右視圖的下 標(biāo)i，其計算公式為：
其中d(c(x+l,y),c(x-l,y))表示c(x+l,y)與c(x-l,y)之間的顏色差異，d(c(x,y+1),c(x,y-1))表示c(x,y+1)與c(x,y-1)之間的顏色差異。
7. 如權(quán)利要求1所述的基于SIFT匹配的立體圖像彩色轉(zhuǎn)灰度校正方法，其特征是，視 圖亮度一致性是通過規(guī)范左右視圖轉(zhuǎn)化后的灰度值，使其立體匹配對應(yīng)點具有相同的灰度 來達(dá)到的，亮度一致能量項Es:
其中，Pii和P分別是左右視圖中的相關(guān)對應(yīng)點，g1 (Pii)表示左視圖在Pii點的灰度值，gf(pj表示右視圖在Pd點的灰度值，I|cii-cjI代表對應(yīng)點之間的顏色差異，5是一個小 的常數(shù)，用來避免除數(shù)為0,因為不同圖片的對應(yīng)點個數(shù)可能會不同，所W在氏的定義中加 入圖像像素數(shù)nt與特征點的個數(shù)nf的比值。
8. 如權(quán)利要求7所述的基于SIFT匹配的立體圖像彩色轉(zhuǎn)灰度校正方法，其特征是，對 亮度一致能量項氏進(jìn)行擴(kuò)展如下，使其能夠支持手動指定的對應(yīng)點；
其中，Pli和Pti分別是左右視圖中的通過手工指定得到的相關(guān)對應(yīng)點，IIcij.-Cfj.lI代表 手工指定的對應(yīng)點之間的顏色差異。
9. 如權(quán)利要求8所述的基于SIFT匹配的立體圖像彩色轉(zhuǎn)灰度校正方法，其特征是，為 了防止對原始亮度的過度修改，利用一個規(guī)范化項來限制基于色度角的亮度加成，亮度放 縮W及亮度平移對原始亮度的改變：
其中Li"，Lf。分別是控制左圖和右圖亮度平移的參數(shù)，a1，at分別是分別控制左圖和右 圖亮度放縮的參數(shù)，Aik，Bik，Afk，W及Bfk是在基于色度角的亮度加成改變函數(shù)中定義的參 數(shù)，W上參數(shù)同是也是在優(yōu)化問題中需要求出的變量，nt是輸入圖像中的像素個數(shù)，K，T1， Tf是用戶自定義的參數(shù)。
10. 如權(quán)利要求1或9所述的基于SIFT匹配的立體圖像彩色轉(zhuǎn)灰度校正方法，其特征 是，通過整合特征保留項，亮度一致項W及最后的規(guī)范化項，得到了最終的能量方程： E = Ed+ A Es+丫Er 其中，A和丫為用戶自定義的參數(shù)，其中n是在基于色度角的顏色改變函數(shù)中定義 的，通過使用標(biāo)準(zhǔn)線性求解器，在線性時間內(nèi)求出該優(yōu)化問題的最優(yōu)解。
【專利摘要】本發(fā)明公開了基于SIFT匹配的立體圖像彩色轉(zhuǎn)灰度校正方法，包括以下步驟：步驟一：輸入彩色圖像，為左右視圖分別定義一個彩色轉(zhuǎn)灰度的全局映射函數(shù)；步驟二：基于SIFT特征點的匹配算法，首先檢測出左右視圖中的特征點，然后將兩個視圖之間的特征點進(jìn)行匹配；步驟三：定義特征保留項，亮度一致項以及規(guī)范化項并根據(jù)定義的特征保留項，亮度一致項以及規(guī)范化項構(gòu)建能量方程；步驟四：使用標(biāo)準(zhǔn)線性求解器，在線性時間內(nèi)求出該能量方程的最優(yōu)解，該最優(yōu)解為步驟一中所定義的全局映射函數(shù)的未知參數(shù)，輸出灰色圖像。將彩色轉(zhuǎn)灰度問題轉(zhuǎn)化為能量優(yōu)化問題，合理的定義能量方程，從而能夠在線性時間內(nèi)求得最優(yōu)解。
【IPC分類】G06T5-00
【公開號】CN104794690
【申請?zhí)枴緾N201510152880
【發(fā)明人】耿玉杰, 呂冰彩, 郭志紅, 陳玉峰, 李程啟, 馬艷, 林穎, 楊祎, 白德盟, 朱文兵, 杜修明
【申請人】國家電網(wǎng)公司, 國網(wǎng)山東省電力公司電力科學(xué)研究院
【公開日】2015年7月22日
【申請日】2015年4月1日