一種基于結(jié)構(gòu)字典的稀疏表示深度圖像重建算法
【專利摘要】本發(fā)明公開(kāi)了一種基于結(jié)構(gòu)字典的稀疏表示深度圖像重建算法，屬于圖像處理技術(shù)領(lǐng)域。首先將對(duì)應(yīng)的深度圖和彩色圖像作為整體來(lái)考慮，在求解過(guò)程中，主要注重通過(guò)構(gòu)造具有邏輯對(duì)應(yīng)關(guān)系的結(jié)構(gòu)字典來(lái)提高深度圖像和彩色圖像的重建效果。在字典構(gòu)造的過(guò)程中，利用深度圖像和彩色圖像之間的邏輯對(duì)應(yīng)關(guān)系和深度圖像本身存在的相似關(guān)系，提升字典訓(xùn)練的效率和質(zhì)量。本發(fā)明在收集和整理大量國(guó)內(nèi)外相關(guān)資料的基礎(chǔ)上，結(jié)合稀疏編碼等相關(guān)理論，針對(duì)對(duì)應(yīng)的深度圖像與彩色圖像之間存在的密切關(guān)聯(lián)，分析數(shù)據(jù)之間的相關(guān)性，主要解決了基于結(jié)構(gòu)字典的稀疏表示深度圖的重建問(wèn)題，減小了運(yùn)算復(fù)雜度，提高了深度圖和對(duì)應(yīng)彩色圖的重建質(zhì)量。
【專利說(shuō)明】
一種基于結(jié)構(gòu)字典的稀疏表示深度圖像重建算法
技術(shù)領(lǐng)域
[0001] 本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，具體涉及一種基于結(jié)構(gòu)字典的稀疏表示深度圖像 重建算法。
【背景技術(shù)】
[0002] 稀疏表示（sparse representation)是一種信號(hào)表示方法，即給定的信號(hào)可以被 某個(gè)變換域內(nèi)的基線性稀疏重構(gòu)。變換域內(nèi)的基的集合稱之為字典。為了使得信號(hào)的表示 具有平移不變性，研究者又引入了冗余表示的概念，即要求信號(hào)在變換域內(nèi)表示系數(shù)的維 度大于信號(hào)本身的維度，即"超完備"。通過(guò)尋找一組"超完備"基向量來(lái)更高效的表示樣本 數(shù)據(jù)，將一個(gè)信號(hào)表示為一組基的線性組合。在超完備字典下，信號(hào)可以用幾個(gè)基元的線性 組合來(lái)表示信號(hào)本身，由于這種字典基元不在限定為正交完備的字典，因此對(duì)信號(hào)的表達(dá) 能力變得更強(qiáng)，而且通過(guò)訓(xùn)練得到的超完備字典能夠更加自適應(yīng)的表達(dá)信號(hào)特性。具有存 儲(chǔ)能力大、具有聯(lián)想記憶能力、使信號(hào)結(jié)構(gòu)更加清晰等優(yōu)點(diǎn)。在圖像去噪、圖像超分辨率、圖 像分割，圖像分類和人臉識(shí)別等領(lǐng)域都有著廣泛的應(yīng)用。
[0003] 假設(shè)D=[di，d2, . . .，dn]表示一個(gè)包含η個(gè)基元的超完備字典，一個(gè)信號(hào)y=[yi y2 ... yn]T表示成這些基元的線性組合，即
[0004]
(1)
[0005] a = [Ci1 α2 ... αη]τ是稀疏系數(shù)，該向量只包含很少的非零元素或者只有很少的 幾個(gè)遠(yuǎn)大于零的元素。稀疏編碼算法就是通過(guò)求解優(yōu)化問(wèn)題
[0006]
(2)
[0007] 找到系數(shù)α和字典D來(lái)重建目標(biāo)信號(hào)。
[0008] 稀疏表示的求解過(guò)程包括兩個(gè)部分，分別是字典訓(xùn)練（Training)和編碼 (Coding)。字典訓(xùn)練部分是在給定一系列圖像樣本X= [χι，Χ2,...，xn]的情況下，從樣本中 學(xué)習(xí)得到一組基DitcU，^，...，dn]即字典。訓(xùn)練的過(guò)程是一個(gè)重復(fù)迭代的過(guò)程，目標(biāo)函數(shù) 為
[0009； (3)
[001 0]通過(guò)交替更改α和D使得目標(biāo)函數(shù)最小。每次迭代分為兩個(gè)步驟：1)固定字典CU，i =1，2, . .，n調(diào)整系數(shù)α.使目標(biāo)函數(shù)最小，g卩求解Lasso問(wèn)題;2)固定系數(shù)ai，i = l，2, . . .，n， 調(diào)整D，使目標(biāo)函數(shù)最小，即求解凸QP問(wèn)題。兩個(gè)步驟交替執(zhí)行直至收斂，此時(shí)得到的字典D 即可以良好表達(dá)樣本信號(hào)的一組基。編碼部分就是給定新的圖像Y，由上部分訓(xùn)練得到的字 典D，通過(guò)求解Lasso問(wèn)題獲得稀疏向量a，該向量即輸入圖像Y的稀疏表達(dá)。通過(guò)y ? Da重建 目標(biāo)圖像。目前常用的字典訓(xùn)練算法有MOD算法和KSVD算法。
[0011]學(xué)習(xí)字典的結(jié)構(gòu)的不同，在應(yīng)用和計(jì)算方面也有很大差異。2014年，Tiezheng Ge
[3]等人提出在稀疏求解的過(guò)程中，可將其分解為兩個(gè)子問(wèn)題進(jìn)行求解，通過(guò)將原優(yōu)化問(wèn)題 的超完備字典表示為兩個(gè)規(guī)模較小的字典的笛卡爾積，并對(duì)其分別求解，將一個(gè)規(guī)模較大 的問(wèn)題分解成了兩個(gè)較小的子問(wèn)題，大大降低了運(yùn)算量，提升了運(yùn)算速度。因此找到結(jié)構(gòu)更 加合理的學(xué)習(xí)字典，是提升算法性能的一個(gè)重要突破口。
[0012] 深度圖是表示場(chǎng)景中各個(gè)點(diǎn)相對(duì)于攝像機(jī)的距離的圖像，即每個(gè)像素值表示場(chǎng)景 中某一點(diǎn)與攝像機(jī)之間的距離。在3D電視、增強(qiáng)實(shí)現(xiàn)和3D重建中，深度圖像都有非常重要的 作用。目前隨著RGB-D相機(jī)的發(fā)展，例如ToF相機(jī)和微軟公司研發(fā)的Kinect，使得普通用戶也 能同時(shí)獲得彩色圖像獲得深度圖像。但是由于用戶經(jīng)驗(yàn)不足或者設(shè)備本身的限制，獲得的 深度圖像往往存在噪聲和深度值缺失等問(wèn)題。因此獲得高質(zhì)量深度圖是計(jì)算機(jī)視覺(jué)系統(tǒng)的 重要任務(wù)之一。由于深度圖中的像素點(diǎn)記錄的是場(chǎng)景中點(diǎn)與攝像機(jī)的距離，即場(chǎng)景中處于 同一平面上的點(diǎn)擁有相同的深度信息。彩色圖是記錄場(chǎng)景中各個(gè)點(diǎn)顏色信息的圖像，根據(jù) 其性質(zhì)可知同一平面可以存在很多不同的顏色。由于對(duì)應(yīng)的深度和彩色圖像之間的關(guān)聯(lián)密 切，可以考慮在提升圖像質(zhì)量的方法中利用其相互關(guān)系來(lái)進(jìn)一步提升效果。而通過(guò)增加彩 色圖像的細(xì)節(jié)信息，利用低秩和回歸模型來(lái)增強(qiáng)深度圖像，取得了較好的實(shí)驗(yàn)結(jié)果。
[0013] 在本發(fā)明中，首先將對(duì)應(yīng)的深度圖和彩色圖像作為整體來(lái)考慮，在求解過(guò)程中，主 要注重通過(guò)構(gòu)造結(jié)構(gòu)字典來(lái)提高深度圖像和彩色圖像的重建效果。在字典訓(xùn)練的過(guò)程中， 利用深度圖像和彩色圖像之間的邏輯對(duì)應(yīng)關(guān)系和深度圖像本身存在的相似關(guān)系，提升字典 訓(xùn)練的效率和質(zhì)量。

【發(fā)明內(nèi)容】

[0014] 本發(fā)明在收集和整理大量國(guó)內(nèi)外相關(guān)資料的基礎(chǔ)上，結(jié)合稀疏表示等相關(guān)理論， 針對(duì)深度圖像與彩色圖像之間存在的密切關(guān)聯(lián)，分析數(shù)據(jù)之間的相關(guān)性，提出了一種基于 結(jié)構(gòu)字典的稀疏表示深度圖像重建算法，主要解決的技術(shù)問(wèn)題包括結(jié)構(gòu)字典的的設(shè)計(jì)與更 新，以及深度彩色圖像聯(lián)合重建。與普遍運(yùn)用的無(wú)結(jié)構(gòu)隨機(jī)字典相比較，結(jié)構(gòu)字典通過(guò)其深 度部分和彩色部分之間的邏輯關(guān)系對(duì)應(yīng)，提取了深度彩色圖像中的關(guān)鍵信息，壓縮了字典 的維度，減小了運(yùn)算復(fù)雜度，提高了深度圖像的重建質(zhì)量。
[0015] 為了實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案為一種基于結(jié)構(gòu)字典的稀疏表示深度 圖像重建算法，一個(gè)普通的稀疏表示優(yōu)化求解問(wèn)題可由如下公式表示：
[0016]
⑷
[0017] Y代表輸入圖像，D為字典，X是待求解的稀疏系數(shù)，λ為平衡求解精度與稀疏度之間 關(guān)系的參數(shù)?？紤]圖像Y由深度和彩色兩部分組成，即
中心表示深度部分，Υ2表示 彩色部分，優(yōu)化表達(dá)式可寫(xiě)成如下形式：
[0018]
(5)
[0019] 上述表達(dá)式可轉(zhuǎn)化成如下形式來(lái)表示：
[0020]
[0021]
[0022]
[0023]
[0024] 由【背景技術(shù)】可知，同一場(chǎng)景所拍攝的深度圖像中。同一平面的點(diǎn)具有相同的深度 信息，在對(duì)應(yīng)的彩色圖像中，同一平面的點(diǎn)則可以包含不同的彩色信息。根據(jù)深度圖像的特 點(diǎn)，場(chǎng)景中同一平面上的點(diǎn)具有相同的深度信息，則可知該深度圖像中只需要少量的深度 信息即可表示該圖像所包含的的信息?；谶@樣的經(jīng)驗(yàn)觀測(cè)，假設(shè)在同一場(chǎng)景拍攝的深度 圖像和彩色圖像中，同一個(gè)深度信息可對(duì)應(yīng)多個(gè)不同的彩色信息，即深度信息和彩色信息 之間存在一對(duì)多的關(guān)系。
[0025] 需要說(shuō)明的是，此對(duì)應(yīng)關(guān)系并不是線性關(guān)系而是邏輯對(duì)應(yīng)關(guān)系，旨在利用深度圖 像本身存在的具有大片深度值相同的區(qū)域的特點(diǎn)，找到對(duì)應(yīng)彩色圖中該區(qū)域所存在色彩值 的差異。利用彩色圖像中更加豐富的信息，在訓(xùn)練過(guò)程中增加深度字典更新的準(zhǔn)確程度。
[0028] 其中a為深度信息，b為彩色圖像中對(duì)應(yīng)位置的彩色信息，ω為平衡參數(shù)，mi是整體
[0026] 基于上述假設(shè)，Y1 = (Y1JIU, Y2 = 分別代表對(duì)應(yīng)的深度和彩色圖像樣 本，a和b分別代表心和^的樣本列，則a和b兩者之間對(duì)的邏輯對(duì)應(yīng)關(guān)系可以由如下矩陣來(lái)表 示：
[0027]
[0031 ] u和X之間的對(duì)應(yīng)關(guān)系可用矩陣Ω來(lái)表達(dá)，g卩U= Ω X。通過(guò)探究得到關(guān)系矩陣Ω之 后，系數(shù)u便可根據(jù)公式(10)的稀疏解得到。通過(guò)交替求解(9)(10)，并更新字典DjPD2,將最 終訓(xùn)練完成的字典行組合，得到結(jié)構(gòu)字典D。
【附圖說(shuō)明】
[0032] 圖1為深度平均PSNR曲線圖
[0033] 圖2為彩色平均PSNR曲線圖
[0034] 圖3為本發(fā)明探究對(duì)應(yīng)深度圖像和彩色圖像邏輯對(duì)應(yīng)關(guān)系矩陣實(shí)施例流程圖
[0035] 圖4為本發(fā)明基于結(jié)構(gòu)字典的稀疏表示深度圖像重建實(shí)施例流程圖
【具體實(shí)施方式】
[0036] 如圖1-4所示，為了驗(yàn)證所提方法的有效性，在matlab R2012a下進(jìn)行了基于稀疏 編碼的"深度-彩色"結(jié)構(gòu)字典構(gòu)造和訓(xùn)練并對(duì)目標(biāo)圖像進(jìn)行重建的模擬實(shí)驗(yàn)。在普通的重 建方法下，對(duì)使用無(wú)結(jié)構(gòu)的隨機(jī)字典(USRD)和結(jié)構(gòu)字典(SD)兩種方案進(jìn)行了比較。實(shí)驗(yàn)結(jié) 果的客觀評(píng)價(jià)采用峰值信噪比（Peak Signal to Noise Ratio，PSNR)度量，單位為分貝 (dB)〇
[0037]采用圖像集Middlebury_Dataset進(jìn)行實(shí)驗(yàn)，對(duì)圖像集中的30組對(duì)應(yīng)的深度和彩色 圖像進(jìn)行了重建。結(jié)果如表1所示。
[0038]表1通過(guò)不同的迭代次數(shù)訓(xùn)練字典重建的平均?3順((^)，采樣塊8乂8
[0040]實(shí)驗(yàn)結(jié)果表明，當(dāng)?shù)螖?shù)相同，使用普通的稀疏求解算法時(shí)，無(wú)結(jié)構(gòu)的隨機(jī)字典 則需要在較多的迭代次數(shù)下才會(huì)達(dá)到最優(yōu)效果，"深度-彩色"字典在較小的迭代次數(shù)即可 取得較穩(wěn)定的實(shí)驗(yàn)結(jié)果，且與無(wú)結(jié)構(gòu)隨機(jī)字典相比顯著提升了深度圖像和彩色圖像的重建 效果，獲得了非常明顯的PSNR增益，證明了 "深度-彩色"結(jié)構(gòu)字典方法的有效性。
[0041 ] 實(shí)施例
[0042]探究對(duì)應(yīng)深度和彩色圖像邏輯對(duì)應(yīng)關(guān)系矩陣Ω，具體包括：
[0043] 1)對(duì)對(duì)應(yīng)深度和彩色圖像進(jìn)行采樣
[0044] 利用普通采樣算法對(duì)對(duì)應(yīng)深度圖像Y1和彩色圖像Y2分別進(jìn)行采樣，得到深度樣本 Xi，彩色樣本X2。
[0045] 2)對(duì)深度樣本進(jìn)行聚類
[0046] 由于本發(fā)明將深度和彩色圖像作為整體進(jìn)行考慮，在采樣完成后將深度和彩色樣 本進(jìn)行組合得到整體樣本X，Sf
根據(jù)深度圖像的特點(diǎn)，場(chǎng)景中同一平面上的點(diǎn)具 有相同的深度信息，則可知該在樣本中只需要少量的深度信息即可抽取該圖像的特征。因 此根據(jù)整體樣本中的深度信息，利用普通聚類算法(如K-Means算法)對(duì)整體樣本X進(jìn)行聚類 操作，即聚類過(guò)程中計(jì)算每個(gè)樣本列到聚類中心的距離是只考慮深度樣本部分，彩色樣本 部分只做對(duì)應(yīng)的調(diào)整，保持與原始深度樣本的位置一致而不參與任何有關(guān)聚類的計(jì)算。聚 類完成后得到深度樣本
和彩色樣本Xf' = [Xi,Xi,，以及每類 樣本的數(shù)目m，i = l，2,...，m，m為類的數(shù)目。
[0047] 3)對(duì)每類彩色樣本進(jìn)行第二次聚類
[0048] 利用普通聚類算法對(duì)上一步驟操作完成的彩色樣本每類彩色樣本尤|4 =1,2, M 進(jìn)行聚類。得到第i類的聚類中心;4;_,i = 1,2m,j = 1_,2,...&41為第1類聚類所得到類的 數(shù)目，其中每類的樣本列的數(shù)目為qj，j = l，2, · · ·，pi。
[0049] 4)根據(jù)彩色樣本每類內(nèi)部的分類數(shù)目計(jì)算對(duì)應(yīng)關(guān)系矩陣Ω
[0050] 聚類完成之后的每類彩色樣本的聚類中心，即彩色圖對(duì)應(yīng)的深度圖提取的深度信 息所對(duì)應(yīng)的彩色信息。由于同一深度信息對(duì)應(yīng)多種彩色信息，并且每類彩色信息與深度信 息的邏輯對(duì)應(yīng)關(guān)系有強(qiáng)弱之分，因此采用系數(shù)β來(lái)描述不同彩色信息之間的比重。本發(fā)明中 采用加權(quán)值的方法來(lái)構(gòu)造關(guān)系矩陣Ω。根據(jù)彩色樣本每一類中的樣本列的數(shù)目計(jì)算其加權(quán) 值，確定其與深度信息之間邏輯關(guān)系的比重。其中第類彩色樣本中第k子類的加權(quán)值為： 是參數(shù)，根據(jù)經(jīng)驗(yàn)值設(shè)定。根據(jù)加權(quán)值，則可得到第i 類的參類
n，總體的關(guān)系矩陣）
[0051 ]本發(fā)明結(jié)構(gòu)字典訓(xùn)練和重建實(shí)施具體包括：
[0052] 1)利用普通稀疏求解算法(如0ΜΡ)求得彩色樣本的稀疏系數(shù)y
[0053]利用OMP算法進(jìn)行系數(shù)求解，得到稀疏系數(shù)y:y = argminy| |y| |i，s.t.D2y=X2。
[0054] 2)根據(jù)對(duì)應(yīng)關(guān)系矩陣Ω求出對(duì)應(yīng)深度樣本的稀疏系數(shù)u
[0055] 由假設(shè)可知U= Ω X，根據(jù)該公式求得深度樣本的系數(shù)系數(shù)u。
[0056] 3)利用普通字典更新算法根據(jù)系數(shù)y和u分別更新彩色字典D2和深度字典D 1
[0057] 4)對(duì)步驟1)_3)重復(fù)迭代直至收斂，得到訓(xùn)練完成的DllD2,將其組合得到結(jié)構(gòu)字典 D即先求得彩色稀疏系數(shù)y，根據(jù)y與u的關(guān)系矩陣Ω求得深度系數(shù)u，根據(jù)分別更新彩色 和深度字典D 2, D1，利用更新完成后的字典再進(jìn)行下一次迭代的稀疏求解。直至優(yōu)化問(wèn)題收 斂。"深度-彩色"結(jié)構(gòu)字典D即將深度字典D1和彩色字典出進(jìn)行邏輯對(duì)應(yīng)，D = 。
[0058] 5)通過(guò)訓(xùn)練得到的字典D重建目標(biāo)深度圖像Y1和彩色圖像Y2,包括稀疏求解和重建 兩部分。利用OMP算法進(jìn)行系數(shù)求解，得到稀疏系數(shù)Ot.:: a = 丨AtII1^LDa = Y,Y= ^ 〇 在結(jié)合信號(hào)的稀疏表達(dá)，Y= Da蘭Da，重建出原始深度圖像和彩色圖像。也可利用OMP算 法分別求解深度和彩色的稀疏系數(shù)y和u :，ft = argminu||w||i, s. t. D1U = Y1J = 3卬丨11丨4丨丨7丨丨1,5丄02￥ = ￥2,結(jié)合稀疏表達(dá)￥1=:〇111蘭010,￥ 2.= 027蘭027重建出原始 深度圖像和彩色圖像。
[0059]需要說(shuō)明的是：以上實(shí)施例僅用以說(shuō)明本發(fā)明的技術(shù)方案而非對(duì)其進(jìn)行限制，盡 管參照較佳實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說(shuō)明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解:其依然 可以對(duì)本發(fā)明的技術(shù)方案進(jìn)行修改或者等同替換，而這些修改或者等同替換亦不能使修改 后的技術(shù)方案脫離本發(fā)明技術(shù)方案的精神和范圍。
【主權(quán)項(xiàng)】
1. 一種基于結(jié)構(gòu)字典的稀疏表示深度圖像重建算法，稀疏表示是一種信號(hào)表示方法， 即給定的信號(hào)可W被某個(gè)變換域內(nèi)的基線性稀疏重構(gòu);變換域內(nèi)的基的集合稱之為字典； 為了使得信號(hào)的表示具有平移不變性，研究者又引入了冗余表示的概念，即要求信號(hào)在變 換域內(nèi)表示系數(shù)的維度大于信號(hào)本身的維度，即"超完備"；通過(guò)尋找一組超完備基向量來(lái) 更高效的表示樣本數(shù)據(jù)，將一個(gè)信號(hào)表示為一組冗余基的線性組合;在超完備字典下，信號(hào) 可W用幾個(gè)基元的線性組合來(lái)表示信號(hào)本身，由于運(yùn)種字典基元不在限定為正交完備的字 典，因此對(duì)信號(hào)的表達(dá)能力變得更強(qiáng)，而且通過(guò)訓(xùn)練得到的超完備字典能夠更加自適應(yīng)的 表達(dá)信號(hào)特性;具有存儲(chǔ)能力大、具有聯(lián)想記憶能力、使信號(hào)結(jié)構(gòu)更加清晰等優(yōu)點(diǎn)；在圖像 去噪、圖像超分辨率、圖像分割，圖像分類和人臉識(shí)別等領(lǐng)域都有著廣泛的應(yīng)用； 假設(shè)D=[di，d2，-，，dn]表示一個(gè)包含η個(gè)基元的超完備字典，一個(gè)信號(hào)y=[yi y2… yn]T表示成運(yùn)些基元的線性組合，即C1) α = [αι 02…αη]τ是稀疏系數(shù)，該向量只包含很少的非零元素或者只有很少的幾個(gè)遠(yuǎn) 大于零的元素;稀疏表示的優(yōu)化問(wèn)題如下：議) 通過(guò)求解(2)找到系數(shù)α和字典D來(lái)重建目標(biāo)信號(hào)； 稀疏表示模型的求解包括兩個(gè)部分，分別是字典訓(xùn)練(Training)和編碼(Coding);字 典訓(xùn)練部分是在給定一系列圖像樣本X=[Xl，X2，…，Xn]的情況下，從樣本中學(xué)習(xí)得到一組 基0=[山，(12，-，，山]，即字典；訓(xùn)練的過(guò)程是一個(gè)重復(fù)迭代的過(guò)程，目標(biāo)函數(shù)為(3) 通過(guò)交替更改α和D使得目標(biāo)函數(shù)最?。幻看蔚譃閮蓚€(gè)步驟：1)固定字典di，i = 1， 2，..，〇，調(diào)整系數(shù)日.使目標(biāo)函數(shù)最小，即求解1^曰33〇問(wèn)題;2)固定系數(shù)日1，1 = 1，2，。'，11，調(diào)整 D，使目標(biāo)函數(shù)最小，即求解凸QP問(wèn)題;兩個(gè)步驟交替執(zhí)行直至收斂，此時(shí)得到的字典D即可 W良好表達(dá)樣本信號(hào)的一組基;編碼部分就是給定新的圖像Y，由上部分訓(xùn)練得到的字典D， 通過(guò)求解Lasso問(wèn)題獲得稀疏向量α，該向量即輸入圖像Y的稀疏表達(dá);通過(guò)y a Da重建目標(biāo) 圖像；目前常用的字典訓(xùn)練算法有MOD算法和KSVD算法； 其特征在于： 一個(gè)普通的稀疏表示優(yōu)化求解問(wèn)題可由如下公式表示：(4) Y代表輸入圖像，D為字典，X是待求解的稀疏系數(shù)，λ為平衡求解精度與稀疏度之間關(guān)系 的參數(shù);考慮圖像Υ由深度和彩色兩部分組成，即其中Yi表示深度部分，Υ2表示彩色 部分，優(yōu)化表達(dá)式可寫(xiě)成如下形式：C5) 上述表達(dá)式可轉(zhuǎn)化成如下形式來(lái)表示：(6) 該問(wèn)題可分解成兩個(gè)子問(wèn)題進(jìn)行求解：同一場(chǎng)景所拍攝的深度圖像中，同一平面的點(diǎn)具有相同的深度信息，在對(duì)應(yīng)的彩色圖 像中，同一平面的點(diǎn)則可W包含不同的彩色信息;根據(jù)深度圖像的特點(diǎn)，場(chǎng)景中同一平面上 的點(diǎn)具有相同的深度信息，則可知該深度圖像中只需要少量的深度信息即可表示該圖像所 包含的的信息;基于運(yùn)樣的經(jīng)驗(yàn)觀測(cè)，假設(shè)在同一場(chǎng)景拍攝的深度圖像和彩色圖像中，同一 個(gè)深度信息可對(duì)應(yīng)多個(gè)不同的彩色信息，即深度信息和彩色信息之間存在一對(duì)多的關(guān)系； 需要說(shuō)明的是，此對(duì)應(yīng)關(guān)系并不是線性關(guān)系而是邏輯對(duì)應(yīng)關(guān)系，旨在利用深度圖像本 身存在的具有大片深度值相同的區(qū)域的特點(diǎn)，找到對(duì)應(yīng)彩色圖中該區(qū)域所存在色彩值的差 異;利用彩色圖像中更加豐富的信息，在訓(xùn)練過(guò)程中增加深度字典更新的準(zhǔn)確程度； 基于上述假設(shè)，馬二術(shù) =1，馬二iYzJLi分別代表對(duì)應(yīng)的深度和彩色圖像樣本，曰和 b分別代表Yi和Y2的樣本列，則a和b兩者之間對(duì)的邏輯對(duì)應(yīng)關(guān)系可W由如下矩陣來(lái)表示：其中a為深度信息，b為彩色圖像中對(duì)應(yīng)位置的彩色信息，ω為平衡參數(shù)，ΠΗ是 整體樣本中的一組樣本，1 < ΠΗ < η;令Xj二的X]'+l…Χηη]Τ, ? = 1.,…，打,y = 1,..,饑.j,，現(xiàn)J引入?yún)?shù)Ui，令，i = l，2，…，n，u=[山化…Un]T則（7)(8)可表示成如下形式：U和X之間的對(duì)應(yīng)關(guān)系可用矩陣Ω來(lái)表達(dá)，即u= Ω X;通過(guò)探究得到關(guān)系矩陣Ω之后，系 數(shù)U便可根據(jù)公式（10)的稀疏解得到;通過(guò)交替求解(9)(10)，并更新字典化和化，將最終訓(xùn) 練完成的字典化和化進(jìn)行組合，得到結(jié)構(gòu)字典D。2.根據(jù)權(quán)利要求1所述的一種基于結(jié)構(gòu)字典的稀疏表示深度圖重建算法，其特征在于： 探究對(duì)應(yīng)深度和彩色圖像邏輯對(duì)應(yīng)關(guān)系矩陣Ω，具體包括： 1) 對(duì)對(duì)應(yīng)深度和彩色圖像進(jìn)行采樣 利用普通采樣算法對(duì)對(duì)應(yīng)深度圖像Yi和彩色圖像Y2分別進(jìn)行采樣，得到深度樣本XI，彩 色樣本拉； 2) 對(duì)深度樣本進(jìn)行聚類 由于本發(fā)明將深度和彩色圖像作為整體進(jìn)行考慮，在采樣完成后將深度和彩色樣本進(jìn) 行組合得到整體樣本X，即根據(jù)深度圖像的特點(diǎn)，場(chǎng)景中同一平面上的點(diǎn)具有相同 的深度信息，則可知該在樣本中只需要少量的深度信息即可抽取該圖像的特征；因此根據(jù) 整體樣本中的深度信息，利用普通聚類算法(如K-Means算法)對(duì)整體樣本X進(jìn)行聚類操作， 即聚類過(guò)程中計(jì)算每個(gè)樣本列到聚類中屯、的距離是只考慮深度樣本部分，彩色樣本部分只 做對(duì)應(yīng)的調(diào)整，保持與原始深度樣本的位置一致而不參與任何有關(guān)聚類的計(jì)算;聚類完成 后得到深度樣本巧is = 1刮，乂12，...，巧^^和彩色樣本乂鮮二片:^巧,巧，W及每類樣本的 數(shù)目m，i = l，2，…，m，m為類的數(shù)目； 3) 對(duì)每類彩色樣本進(jìn)行第二次聚類 利用普通聚類算法對(duì)上一步驟操作完成的彩色樣本每類彩色樣本巧，i=l，2，...，m進(jìn)行 聚類;得到第i類的聚類中屯、二1,2，...，m，j二1,2，...&:化為第1類聚類所得到類的數(shù)目， 其中每類的樣本列的數(shù)目為qj，j = l，2,…，Pi; 4) 根據(jù)彩色樣本每類內(nèi)部的分類數(shù)目計(jì)算對(duì)應(yīng)關(guān)系矩陣Ω 聚類完成之后的每類彩色樣本的聚類中屯、，即彩色圖對(duì)應(yīng)的深度圖提取的深度信息所 對(duì)應(yīng)的彩色信息；由于同一深度信息對(duì)應(yīng)多種彩色信息，并且每類彩色信息與深度信息的 邏輯對(duì)應(yīng)關(guān)系有強(qiáng)弱之分，因此采用系數(shù)β來(lái)描述不同彩色信息之間的比重;本發(fā)明中采用 加權(quán)值的方法來(lái)構(gòu)造關(guān)系矩陣Ω ;根據(jù)彩色樣本每一類中的樣本列的數(shù)目計(jì)算其加權(quán)值， 確定其與深度信息之間邏輯關(guān)系的比重；其中第類彩色樣本中第k子類的加權(quán)值為：h是參數(shù)，根據(jù)經(jīng)驗(yàn)值設(shè)定;根據(jù)加權(quán)值，則可得到第i 類的參數(shù)巧二...，wy，:i =1,…，m，總體的關(guān)系矩陣夫3.根據(jù)權(quán)利要求1所述的一種基于結(jié)構(gòu)字典的深度圖重建算法，其特征在于:基于結(jié)構(gòu) 字典的稀疏表示深度圖重建實(shí)施具體包括， 1) 利用普通稀疏求解算法求得彩色樣本的稀疏系數(shù)y 利用OMP算法進(jìn)行系數(shù)求解，得到稀疏系數(shù)y: y = argminy I I y I 11，S. t.化y =拉； 2) 根據(jù)對(duì)應(yīng)關(guān)系矩陣Ω求出對(duì)應(yīng)深度樣本的稀疏系數(shù)u 由假設(shè)可知u= Ω X，根據(jù)該公式求得深度樣本的系數(shù)系數(shù)U; 3) 利用普通字典更新算法根據(jù)系數(shù)y和U分別更新彩色字典化和深度字典化 4) 對(duì)步驟1)-3)重復(fù)迭代直至收斂，得到訓(xùn)練完成的化，將其組合得到結(jié)構(gòu)字典D即 先求得彩色稀疏系數(shù)y，根據(jù)y與U的關(guān)系矩陣Ω求得深度系數(shù)U，根據(jù)y和U分別更新彩色和 深度字典化，Di，利用更新完成后的字典再進(jìn)行下一次迭代的稀疏求解;直至優(yōu)化問(wèn)題收斂； "深度-彩色"結(jié)構(gòu)字典加 P將深度字典化和彩色字典化進(jìn)行邏輯對(duì)應(yīng)5) 通過(guò)訓(xùn)練得到的字典D重建目標(biāo)深度圖像A和彩色圖像Y2,包括稀疏求解和重建兩部分； 利用OMP算法進(jìn)行系數(shù)求解，得到稀疏系數(shù)α : α = afgBito.Ja|li,s.t..Da = Y;在結(jié)合信號(hào) 的稀疏表達(dá)，Y = Da呈D化重建出原始深度圖像和彩色圖像;也可利用OMP算法分別求解深 度和彩色的稀疏系數(shù)y和U:，沿=argmhijlwlli ,s.t. D'lU = Υι,?；' = a巧minyllylli ,s.t. 13巧=Υζ,結(jié) 合稀疏表達(dá)Yi = Di.u = Di〔i，Y2 = Dzy = 〇2p，iRlI出原始深度圖像和彩色圖像。
【文檔編號(hào)】G06T7/00GK105844635SQ201610162303
【公開(kāi)日】2016年8月10日
【申請(qǐng)日】2016年3月21日
【發(fā)明人】尹寶才, 尹海真, 施云惠, 丁文鵬
【申請(qǐng)人】北京工業(yè)大學(xué)