專利名稱：一種基于仿射變換的正面人臉圖像超分辨率重建方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種人臉圖像重建方法，特別涉及一種基于仿射變換的正面人臉圖像
超分辨率重建方法。
背景技術(shù)：
在大多數(shù)數(shù)字圖像的應(yīng)用中，都希望獲得高分辨率的圖像。低分辨率正面人臉圖像的超分辨率重建，可得到帶有很多細(xì)節(jié)信息的高像素正面人臉圖像，便于在如監(jiān)控等多個(gè)領(lǐng)域的應(yīng)用。 正是由于高分辨率圖像的廣泛應(yīng)用，近年來出現(xiàn)了各種方法來改善所得圖像質(zhì)量。早期的超分辨率重建方法有雙三次插值，凸集投影法等。近年來基于學(xué)習(xí)的鄰域重構(gòu)的超分辨率重建方法比較流形，并且取得了很好的效果。但是鄰域重構(gòu)要求相應(yīng)的高低分辨率圖像特征具有相同的流形，因此若圖像特征空間尋找不合適時(shí)超分辨率重建結(jié)果噪聲較大，圖像稍有失真。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種基于仿射變換的正面人臉圖像超分辨率重建方法。
為達(dá)到上述目的，本發(fā)明采用的技術(shù)方案是 1)首先對(duì)低分辨率訓(xùn)練圖庫及低分辨率測(cè)試圖像進(jìn)行雙線性插值放大，然后將低分辨率訓(xùn)練圖庫、與低分辨率訓(xùn)練圖庫對(duì)應(yīng)的高分辨率訓(xùn)練圖庫及低分辨率測(cè)試圖像進(jìn)行分塊處理得到高、低分辨率訓(xùn)練塊和低分辨率測(cè)試圖像訓(xùn)練i央，各訓(xùn)練塊的大小為mXm，塊間上下左右四個(gè)方向各重疊n個(gè)像素，每幅圖像被分為p塊，即每幅圖像有p個(gè)塊位置；
2)對(duì)于每個(gè)訓(xùn)練塊位置，求解從該位置的低分辨率圖像塊到相應(yīng)的高分辨率圖像塊的映射矩陣Aj，再根據(jù)每個(gè)訓(xùn)練塊位置的映射矩陣Aj對(duì)相應(yīng)位置的測(cè)試圖像塊進(jìn)行高分辨率重建得到測(cè)試圖像塊每個(gè)塊位置上的高分辨率重建圖像； 3)參考LLE對(duì)測(cè)試圖像塊每個(gè)塊位置的高分辨率重建圖像進(jìn)行殘差補(bǔ)償?shù)玫狡浼?xì)節(jié)圖像塊，并將其與相應(yīng)位置上步驟2)得到的高分辨率重建結(jié)果相加，得到各位置相應(yīng)的超分辨率重建圖像塊； 4)將步驟3)所得的超分辨率重建圖像塊合成完整的圖像，得到最終的超分結(jié)果。
所說的高、低分辨率訓(xùn)練塊之間有下式關(guān)系
A 其中//為高分辨率訓(xùn)練圖庫中所有圖像的第j個(gè)訓(xùn)練塊位置上的圖像塊組成的矩陣，//為低分辨率訓(xùn)練圖庫中所有圖像的第j個(gè)訓(xùn)練塊位置上的圖像塊組成的矩陣，Aj為將要求解的映射矩陣，Ej為誤差； 所說的對(duì)于每個(gè)訓(xùn)練塊位置，求解從該位置的低分辨率圖像塊到相應(yīng)的高分辨率圖像塊的映射矩陣Aj是由Procrustes Analysis根據(jù)下式求解得到的
Aj = kjQj
其中、.=^(2/(//)"/)/"((//) /)，&(.)表示矩陣的跡，對(duì)(J/f/,進(jìn)行SVD分解得到(///// ，令Qj = UVT ; 根據(jù)得到的每個(gè)塊位置的映射矩陣Aj，則測(cè)試圖像的每個(gè)塊位置對(duì)應(yīng)的高分辨率
重建圖像塊可由下式求解 Wj 其中Iu.表示第j個(gè)塊位置上的低分辨率測(cè)試圖像塊，Ihj表示第j個(gè)塊位置上的高分辨率重建結(jié)果塊。 圖像超分辨率的核心問題是如何建立低分辨率圖像(特征)到高分辨率圖像(特征)之間的對(duì)應(yīng)關(guān)系。對(duì)通常的超分辨率問題，這是一個(gè)病態(tài)逆問題，直接建立低分辨率圖像到高分辨率圖像之間的映射是不現(xiàn)實(shí)的。但正面人臉圖像超分辨率是一個(gè)特殊問題，人臉圖像具有規(guī)則的結(jié)構(gòu)特征，由于在預(yù)處理過程中進(jìn)行了對(duì)準(zhǔn)和歸一化，使得在相同位置上的數(shù)據(jù)具有相似的特征，從而極大地壓縮了解空間。因此，正面人臉圖像超分辨率的問題可以看作有一個(gè)未知響應(yīng)的系統(tǒng)，已知一些對(duì)應(yīng)的輸入和輸出，給定一個(gè)輸出，估計(jì)對(duì)應(yīng)的輸入。本發(fā)明利用黑箱原理，使用數(shù)學(xué)的方法，從訓(xùn)練數(shù)據(jù)集中估計(jì)低分辨率圖像到高分辨率圖像之間的映射關(guān)系。仿射變換是矩陣變換中的一種最簡單的線性變換，它可以表達(dá)兩個(gè)數(shù)據(jù)之間的旋轉(zhuǎn)、平移和尺度關(guān)系?；谝陨险J(rèn)識(shí)，本發(fā)明假定低分辨率圖像到高分辨率圖像之間存在仿射變換關(guān)系，在兩步法框架下，第一步將高低分辨率圖像進(jìn)行分塊，分別求得各塊位置的映射關(guān)系，根據(jù)該映射關(guān)系，求得輸入低分辨率圖像塊對(duì)應(yīng)的各高分辨率圖像塊，進(jìn)而合成為對(duì)應(yīng)的高分辨率全局人臉圖像。第二步參考LLE(Locally LinearEmbedding)對(duì)全局臉進(jìn)行殘差補(bǔ)償。


所包括的附圖用于提供對(duì)本發(fā)明的進(jìn)一步理解，并構(gòu)成本申請(qǐng)的一部分，所屬

了本發(fā)明的實(shí)施例，與文字說明一起用來解釋本發(fā)明。
圖1給出了本發(fā)明對(duì)圖像進(jìn)行分塊處理的示意圖； 圖2 (a) ， 2 (b) ， 2 (c) ， 2 (d) ， 2 (e)是效果圖，它給出了采用CAS PEAL人臉數(shù)據(jù)庫時(shí)，本發(fā)明與其它三種超分方法的第一步全局臉結(jié)果的對(duì)比。從上到下每行分別對(duì)應(yīng)圖2(a)原始高分辨率圖像，圖2(b)低分辨率圖像，圖2(c)本發(fā)明的全局臉結(jié)果，圖2(d)莊越挺的方法的全局臉的結(jié)果，圖2(e)劉策的方法的全局臉結(jié)果。 圖3 (a) ， 3 (b) ， 3 (c) ， 3 (d) ， 3 (e) ， 3 (f)是效果圖，它給出了采用CAS—PEAL人臉數(shù)據(jù)庫時(shí)，本發(fā)明與其它三種超分方法的超分辨率重建結(jié)果的對(duì)比。從上到下每行分別對(duì)應(yīng)圖
3 (a)原始高分辨率圖像，圖3 (b)低分辨率圖像，圖3 (c)本發(fā)明的超分結(jié)果，圖3 (d)莊越挺的方法的超分結(jié)果，圖3(e)劉策的方法的超分結(jié)果(f)王的方法的超分結(jié)果。
圖4是效果圖，它給出了采用CAS_PEAL人臉數(shù)據(jù)庫時(shí)，本發(fā)明與其它三種超分方法對(duì)40幅測(cè)試圖像進(jìn)行超分后各方法超分結(jié)果的PSNR值對(duì)比。 圖5 (a) ， 5 (b) ， 5 (c) ， 5 (d) ， 5 (e) ， 5 (f) ， 5 (g)是效果圖，它給出了采用CAS—PEAL人
臉數(shù)據(jù)庫時(shí)，本發(fā)明采取不同分塊大小時(shí)超分辨率重建結(jié)果的對(duì)比。從上到下每行分別對(duì)應(yīng)圖5(a)原始高分辨率圖像，圖5(b)低分辨率圖像，圖5(c)分塊大小為4X4的結(jié)果，圖5(d)分塊大小為8X8的結(jié)果，圖5(e)分塊大小為16X 16的結(jié)果，圖5 (f)分塊大小為32X32的結(jié)果，圖5(g)分塊大小為46X46的結(jié)果。 圖6是效果圖，它給出了采用CAS_PEAL人臉數(shù)據(jù)庫時(shí)，在不同的分塊大小時(shí)，本發(fā)明對(duì)40幅測(cè)試圖像進(jìn)行超分后各條件下超分結(jié)果的PSNR值對(duì)比。 圖7 (a) ， 7 (b) ， 7 (c) ， 7 (d) ， 7 (e) ， 7 (f)是示意圖，它們給出了采用AR圖庫的第一表情的人臉圖像數(shù)據(jù)時(shí)，本發(fā)明及其它三種方法超分辨率重建結(jié)果的對(duì)比。從上到下每行分別對(duì)應(yīng):圖7(a)原始低分辨率圖像，圖7(b)高分辨率圖像，圖7(c)本發(fā)明的結(jié)果，圖7(d)莊越挺的結(jié)果，圖7(e)王的結(jié)果，圖7(f)劉策的結(jié)果。 圖8是效果圖，它給出了采用AR圖庫的第一表情的人臉圖像數(shù)據(jù)時(shí)，本發(fā)明與其它三種超分方法對(duì)28幅測(cè)試圖像進(jìn)行超分后各方法超分結(jié)果的PSNR值對(duì)比。
具體實(shí)施例方式
下面將根據(jù)附圖對(duì)本發(fā)明進(jìn)行詳細(xì)說明。
本發(fā)明主要分為四個(gè)步驟 1)首先對(duì)低分辨率訓(xùn)練圖庫及低分辨率測(cè)試圖像進(jìn)行雙線性插值放大，然后將低分辨率訓(xùn)練圖庫、與低分辨率訓(xùn)練圖庫對(duì)應(yīng)的高分辨率訓(xùn)練圖庫及低分辨率測(cè)試圖像進(jìn)行分塊處理得到高、低分辨率訓(xùn)練塊和低分辨率測(cè)試圖像訓(xùn)練i央，各訓(xùn)練塊的大小為mXm，塊間上下左右四個(gè)方向各重疊n個(gè)像素，每幅圖像被分為p塊，即每幅圖像有p個(gè)塊位置；
2)對(duì)于每個(gè)訓(xùn)練塊位置，求解從該位置的低分辨率圖像塊到相應(yīng)的高分辨率圖像塊的映射矩陣Aj，再根據(jù)每個(gè)訓(xùn)練塊位置的映射矩陣Aj對(duì)相應(yīng)位置的測(cè)試圖像塊進(jìn)行高分辨率重建得到測(cè)試圖像塊每個(gè)塊位置上的高分辨率重建圖像； 3)參考LLE對(duì)測(cè)試圖像塊每個(gè)塊位置的高分辨率重建圖像進(jìn)行殘差補(bǔ)償?shù)玫狡浼?xì)節(jié)圖像塊，并將其與相應(yīng)位置上步驟2)得到的高分辨率重建結(jié)果相加，得到各位置相應(yīng)的超分辨率重建圖像塊； 4)將步驟3)所得的超分辨率重建圖像塊合成完整的圖像，得到最終的超分結(jié)果。
本發(fā)明的第一步是采用了雙線性插值放大技術(shù)作為對(duì)低分辨率圖庫及測(cè)試圖像的預(yù)處理，使其放大到與高分辨率圖像同大小以便于超分重建，接著對(duì)高低分辨率訓(xùn)練圖庫及測(cè)試圖像的每幅圖像進(jìn)行分塊處理(如圖l)，每塊圖像的大小為wXw，塊間上下左右四個(gè)方向各重疊n個(gè)像素，則每幅圖像可分成p塊，即每幅圖像共有p個(gè)塊位置。
對(duì)每個(gè)塊位置對(duì)應(yīng)的高低分辨率圖像，本發(fā)明提出下式
[式1] g 上式中//為高分辨率訓(xùn)練圖庫中所有圖像的第j個(gè)訓(xùn)練塊位置上的圖像塊組成的矩陣，//為低分辨率訓(xùn)練圖庫中所有圖像的第」個(gè)訓(xùn)練塊位置上的圖像塊組成的矩陣^」為將要求解的映射矩陣，Ej為誤差； Aj的求解參考Procrustes analysis,由下式求得[式2] Aj = kjQj 可通過下式求解k :
5
[式3] <formula>formula see original document page 6</formula> 上式中tr (.)表示矩陣的跡。 可通過下兩式求解Qj : [式4] Qj = UVT [式5] <formula>formula see original document page 6</formula> 求得Aj后，可通過下式將第j個(gè)塊位置上的低分辨率測(cè)試圖像塊Iu.映射到高分辨率空間，得到對(duì)應(yīng)的第j個(gè)位置上的高分辨率重建結(jié)果Ihj :
[式6]
Ihj =工u.Aj 其中I"表示第j個(gè)塊位置上的低分辨率測(cè)試圖像塊，Ihj表示第j個(gè)塊位置上的高分辨率重建結(jié)果塊。 求解出低分辨率測(cè)試圖像所有p個(gè)塊位置對(duì)應(yīng)的超分辨率重建結(jié)果Ihj后，若按照分塊的反操作可將其合成完整的測(cè)試圖像對(duì)應(yīng)的全局臉I(yè)h。 根據(jù)每個(gè)位置上從低分辨率插值圖像塊到高分辨率圖像塊之間的映射矩陣Aj，可
根據(jù)下式求得訓(xùn)練集中所有低分辨率圖像塊對(duì)應(yīng)的高分辨率圖像塊
[式7] <formula>formula see original document page 6</formula> 上式中I".1表示低分辨率圖庫中第i幅圖像的第j塊，Iijh表示其相應(yīng)的高分辨率重建結(jié)果。記高分辨率圖庫中第i幅圖像的第j塊為Ii/，則可根據(jù)下式得到訓(xùn)練集的高分辨率殘差塊圖像庫
[式8] 相應(yīng)的，用I".1減去其對(duì)應(yīng)的重建高分辨率圖像塊I"11的下采樣，即得到訓(xùn)練集的低分辨率殘差塊圖像庫C^ = 。對(duì)測(cè)試圖像，同樣可以得到測(cè)試圖像的低分辨率殘差
<formula>formula see original document page 6</formula> 假設(shè)高低分辨率殘差圖像塊之間滿足局部線性保持關(guān)系，則可以利用LLE算法來
計(jì)算測(cè)試圖像的低分辨率殘差塊圖像0/對(duì)應(yīng)的高分辨率殘差塊圖像Ojh。 對(duì)于測(cè)試圖像的低分辨率殘差塊圖像0/，在訓(xùn)練集的低分辨率殘差塊圖像
庫中，根據(jù)歐氏距離得到相同位置的K個(gè)殘差塊近鄰圖像，并求得各其權(quán)值Wk，使得
最小，且有2^=1。 根據(jù)LLE可完成權(quán)值的求解，則測(cè)試圖像對(duì)應(yīng)的高分辨率殘差塊圖像為
[式9]<formula>formula see original document page 6</formula>
(1) " = S W《，其中0klH表示0klL相應(yīng)的高分辨率殘差塊。
(2)對(duì)于j = 2 : p，類似(1)中操作求得其它塊位置上測(cè)試圖像對(duì)應(yīng)的高分辨率
殘差塊。
通過下式求得超分結(jié)果圖像塊
[式10]
\=;+0; 最后將所有的超分結(jié)果塊合成完整的圖像，即測(cè)試圖像對(duì)應(yīng)的超分辨率重建結(jié) 果。 圖2 (a) ， 2 (b) ， 2 (c) ， 2 (d) ， 2 (e)是效果圖，它給出了采用CAS—PEAL人臉數(shù)據(jù)庫時(shí)， 本發(fā)明與其它三種超分方法的第一步全局臉結(jié)果的對(duì)比。圖3 (a) ， 3 (b) ， 3 (c) ， 3 (d) ， 3 (e)， 3(f)是效果圖，它給出了采用CAS—PEAL人臉數(shù)據(jù)庫時(shí)，本發(fā)明與其它三種超分方法的超分 辨率重建結(jié)果的對(duì)比。圖4是效果圖，它給出了采用CAS—PEAL人臉數(shù)據(jù)庫時(shí)，本發(fā)明與其 它三種超分方法對(duì)40幅測(cè)試圖像進(jìn)行超分后各方法超分結(jié)果的PSNR值對(duì)比。從視覺效果 看，本發(fā)明的全局臉結(jié)果很好的得到了人臉的結(jié)構(gòu)信息，噪聲較小。超分結(jié)果中本發(fā)明人臉 五官輪廓清晰，細(xì)節(jié)豐富，臉部輪廓以及五官周圍噪聲較小，較之其它方法所得結(jié)果更接近 原始高分辨率圖像。從圖4的數(shù)值效果亦可以看出本文方法的優(yōu)勢(shì)。 圖5 (a) ， 5 (b) ， 5 (c) ， 5 (d) ， 5 (e) ， 5 (f) ， 5 (g)是效果圖，它給出了采用CAS—PEAL人 臉數(shù)據(jù)庫時(shí)，本發(fā)明采取不同分塊大小時(shí)超分辨率重建結(jié)果的對(duì)比。圖6是效果圖，它給出 了采用CAS_PEAL人臉數(shù)據(jù)庫時(shí)，在不同的分塊大小時(shí)，本發(fā)明對(duì)40幅測(cè)試圖像進(jìn)行超分后 各條件下超分結(jié)果的PSNR值對(duì)比。從視覺效果和數(shù)值效果都可以看出，當(dāng)分塊太小時(shí)，塊 效應(yīng)明顯，人臉特有的結(jié)構(gòu)特征未能體現(xiàn)；分塊太大時(shí)，整體輪廓噪聲較大；當(dāng)分塊適中時(shí) 可得到較好的結(jié)果。 圖7 (a) ， 7 (b) ， 7 (c) ， 7 (d) ， 7 (e) ， 7 (f)是示意圖，它們給出了采用AR圖庫的第一表 情的人臉圖像數(shù)據(jù)時(shí)，本發(fā)明及其它三種方法超分辨率重建結(jié)果的對(duì)比。圖8是效果圖，它 給出了采用AR圖庫的第一表情的人臉圖像數(shù)據(jù)時(shí)，本發(fā)明與其它三種超分方法對(duì)28幅測(cè) 試圖像進(jìn)行超分后各方法超分結(jié)果的PSNR值對(duì)比。從二者結(jié)合我們可以看出，在訓(xùn)練庫較 小時(shí)，本發(fā)明無論在視覺還是數(shù)據(jù)效果上亦可以取得不錯(cuò)的效果，同時(shí)當(dāng)圖庫中部分人臉 上有眼鏡時(shí)本發(fā)明超分結(jié)果的質(zhì)量不受影響。 盡管已經(jīng)參考附圖對(duì)本發(fā)明進(jìn)行了解釋和描述，專業(yè)技術(shù)人員應(yīng)該理解，在不脫 離本發(fā)明精神和范圍的情況下，可以在其中或?qū)ζ溥M(jìn)行各種其他改變，增刪。
權(quán)利要求
一種基于仿射變換的正面人臉圖像超分辨率重建方法，包括以下步驟1)首先對(duì)低分辨率訓(xùn)練圖庫及低分辨率測(cè)試圖像進(jìn)行雙線性插值放大，然后將低分辨率訓(xùn)練圖庫、與低分辨率訓(xùn)練圖庫對(duì)應(yīng)的高分辨率訓(xùn)練圖庫及低分辨率測(cè)試圖像進(jìn)行分塊處理得到高、低分辨率訓(xùn)練塊和低分辨率測(cè)試圖像訓(xùn)練塊，各訓(xùn)練塊的大小為m×m，塊間上下左右四個(gè)方向各重疊n個(gè)像素，每幅圖像被分為p塊，即每幅圖像有p個(gè)塊位置；2)對(duì)于每個(gè)訓(xùn)練塊位置，求解從該位置的低分辨率圖像塊到相應(yīng)的高分辨率圖像塊的映射矩陣Aj，再根據(jù)每個(gè)訓(xùn)練塊位置的映射矩陣Aj對(duì)相應(yīng)位置的測(cè)試圖像塊進(jìn)行高分辨率重建得到測(cè)試圖像塊每個(gè)塊位置上的高分辨率重建圖像；3)參考LLE對(duì)測(cè)試圖像塊每個(gè)塊位置的高分辨率重建圖像進(jìn)行殘差補(bǔ)償?shù)玫狡浼?xì)節(jié)圖像塊，并將其與相應(yīng)位置上步驟2)得到的高分辨率重建結(jié)果相加，得到各位置相應(yīng)的超分辨率重建圖像塊；4)將步驟3)所得的超分辨率重建圖像塊合成完整的圖像，得到最終的超分結(jié)果。
2. 如權(quán)利要求1所述的基于仿射變換的正面人臉圖像超分辨率重建方法，其特征在 于所說的高、低分辨率訓(xùn)練塊之間有下式關(guān)系其中//為高分辨率訓(xùn)練圖庫中所有圖像的第j個(gè)訓(xùn)練塊位置上的圖像塊組成的矩 陣，//為低分辨率訓(xùn)練圖庫中所有圖像的第j個(gè)訓(xùn)練塊位置上的圖像塊組成的矩陣，Aj為 將要求解的映射矩陣，Ej為誤差。
3. 如權(quán)利要求1所述的基于仿射變換的正面人臉圖像超分辨率重建方法，其特征在 于所說的對(duì)于每個(gè)訓(xùn)練塊位置，求解從該位置的低分辨率圖像塊到相應(yīng)的高分辨率圖像 塊的映射矩陣Aj是由Procrustes Analysis根據(jù)下式求解得到的<formula>formula see original document page 2</formula>其中<formula>formula see original document page 2</formula>表示矩陣的跡，對(duì)(//戶//進(jìn)行SVD分解得到<formula>formula see original document page 2</formula>根據(jù)得到的每個(gè)塊位置的映射矩陣Aj，則測(cè)試圖像的每個(gè)塊位置對(duì)應(yīng)的高分辨率重建 圖像塊可由下式求解<formula>formula see original document page 2</formula>其中iu表示第j個(gè)塊位置上的低分辨率測(cè)試圖像塊，ihj表示第j個(gè)塊位置上的高分 辨率重建結(jié)果塊。
全文摘要
一種基于仿射變換的正面人臉圖像超分辨率重建方法，采取近期較為流行的兩步法對(duì)圖像進(jìn)行超分辨率重建。第一步重建出測(cè)試低分辨率圖像的中低頻信息(全局結(jié)構(gòu))，首先對(duì)所有圖像進(jìn)行分塊處理，分別建立每個(gè)塊位置上高低分辨率像素空間的映射關(guān)系，通過得到的映射矩陣對(duì)低分辯測(cè)試圖像進(jìn)行超分辨率重建，得到各塊位置的第一步高分辨率重建圖像塊；第二步重建高頻信息(細(xì)節(jié)信息)，根據(jù)LLE對(duì)第一步得到的重建圖像塊進(jìn)行殘差補(bǔ)償，得到各塊位置上的殘差圖像塊，接著將每個(gè)塊位置上的高分辨率重建圖像塊及其相應(yīng)的殘差圖像塊相加得到超分辨率重建圖像塊。最后將所有的超分辨率重建圖像塊合成完整的圖像，即得到測(cè)試圖像對(duì)應(yīng)的超分辨率重建結(jié)果。
文檔編號(hào)G06T3/40GK101719266SQ20091025453
公開日2010年6月2日 申請(qǐng)日期2009年12月25日 優(yōu)先權(quán)日2009年12月25日
發(fā)明者吳寧, 黃華 申請(qǐng)人:西安交通大學(xué)