待估高分辨率人臉圖像y。
[0062] 待處理低分辨率人臉圖像X通常是在含噪嚴(yán)重環(huán)境獲得的低分辨率人臉圖像。對(duì) 于作為輸入的待處理低分辨率人臉圖像，一般要經(jīng)過(guò)預(yù)處理，包括剪切出符合統(tǒng)一規(guī)定的 人臉部分，即將待處理低分辨率人臉圖像X進(jìn)行上采樣，使其與訓(xùn)練庫(kù)中人臉圖像大小相 同。對(duì)待處理低分辨率人臉圖像X進(jìn)行特征點(diǎn)標(biāo)注，最后采用步驟1中記載的仿射變換法使 待處理低分辨率人臉圖像X與平均臉位置對(duì)齊。運(yùn)樣，使得訓(xùn)練庫(kù)中人臉圖像和待處理低分 辨率人臉圖像X在尺寸、眉毛高度處于相同的水平。若待處理低分辨率人臉圖像X采集時(shí)光 線不足，則可對(duì)位置對(duì)齊后的待處理低分辨率人臉圖像X進(jìn)行自動(dòng)亮度對(duì)比度調(diào)整，使其與 訓(xùn)練庫(kù)中低分辨率人臉圖像處于相近亮度水平。
[0063] 步驟2:采用相同的分塊方式將待處理低分辨率人臉圖像和訓(xùn)練庫(kù)中圖像劃分為 具交疊部分的邊長(zhǎng)為PSize的正方形圖像塊；
[0064] 本步驟中，將訓(xùn)練庫(kù)中各圖像位置均劃分為N個(gè)正方形圖像塊；同時(shí)，將待處理低 分辨率人臉圖像X也劃分為N個(gè)圖像塊。采用圖像塊集表示相應(yīng)的人臉圖像，待估高分辨率 人臉圖像y將通過(guò)對(duì)待處理低分辨率人臉圖像X的圖像塊恢復(fù)獲得。將待處理低分辨率人臉 圖像X、待估高分辨率人臉圖像y、訓(xùn)練庫(kù)中低分辨率人臉圖像L、訓(xùn)練庫(kù)中高分辨率人臉圖 像H的圖像塊集分別記為{'請(qǐng),)}三1、{/(;"}:1、{據(jù)')欄i，k表示圖像塊編號(hào)， 4,,、令。、A;,,,分別表示待處理低分辨率人臉圖像X、待估高分辨率人臉圖像y、訓(xùn) 練庫(kù)中低分辨率人臉圖像L、訓(xùn)練庫(kù)中高分辨率人臉圖像H中在位置(i，j)的圖像塊。
[0065] 請(qǐng)見(jiàn)圖2,對(duì)人臉圖像進(jìn)行分塊的主要依據(jù)是局部流形的思想，即人臉圖像是一類(lèi) 特殊圖像，運(yùn)些圖像具有特定的結(jié)構(gòu)意義，比如在某個(gè)位置上所有的小塊都是眼睛、或者某 個(gè)位置上都是鼻子，也就是說(shuō)圖像中每一個(gè)位置的局部小塊都處于一個(gè)特定的局部幾何流 形當(dāng)中。為保證運(yùn)個(gè)局部流形，需要將圖像分為若干正方形的圖像塊。圖像塊的大小需要有 合適尺寸，若分塊太大，則會(huì)由于微小的對(duì)齊問(wèn)題引起重影現(xiàn)象;若分塊太小，會(huì)模糊、淡化 每個(gè)小塊的位置特征。此外，還需要選擇圖像塊之間交疊塊的尺寸。因?yàn)槿绻?jiǎn)單的將圖像 分為不含交疊塊的若干正方形小塊，那么運(yùn)些正方形塊與塊之間會(huì)因?yàn)椴患嫒輪?wèn)題出現(xiàn)網(wǎng) 格效應(yīng)。而且人臉圖像并不總是正方形，那么交疊塊的尺寸選擇需要注意使得圖像盡可能 充分的分塊。
[0066] 采用相同的分塊方式將待處理低分辨率人臉圖像和訓(xùn)練庫(kù)中圖像劃分為具交疊 部分的圖像塊，縱軸方向得到U個(gè)圖像塊，橫軸方向得到V個(gè)圖像塊;所述圖像塊為正方形， 其邊長(zhǎng)為psize;U = Ceil ((r〇w-dd)/(psize-dd)) ,V= = Ceil ((column-dd)/(psize-dd))， 其中ceil(.)代表取整操作，dd是交疊像素?cái)?shù)目，row是圖像的長(zhǎng)，column是圖像的寬；
[0067] 本實(shí)施例中，psize取 12, d取 SoColumn是96 ,row是112。
[0068] 步驟3:對(duì)待處理低分辨率人臉圖像中的圖像塊X，確定其位置(i，j)，其中i = l，2， 3，...U，j = 1，2，3，... V;從待處理低分辨率人臉圖像上，找到該圖像塊位于n近鄰范圍內(nèi)的 郵鄰塊，郵鄰塊邊長(zhǎng)為PSize;通過(guò)計(jì)算(i，j)位置的圖像塊與郵鄰塊之間的相關(guān)性，確定該 郵鄰塊的權(quán)重，將權(quán)重與該郵鄰塊，作為新的郵鄰塊;對(duì)于低分辨率人臉圖像庫(kù)，在（i，j)位 置上的每一個(gè)在庫(kù)圖像塊，W相同的方法確定其郵鄰塊；
[0069] 步驟4:用（i，j)位置的圖像塊的每一個(gè)郵鄰塊，輔助估計(jì)出對(duì)應(yīng)的高分辨率(i，j) 位置的圖像塊;其具體實(shí)現(xiàn)過(guò)程包括W下子步驟：
[0070] 步驟4.1:對(duì)于待處理低分辨率的輸入塊，與權(quán)重的郵鄰塊做拼接;對(duì)于在低分辨 率人臉圖像庫(kù)的每一個(gè)(i，j)位置的圖像塊，與其權(quán)重的郵鄰塊做拼接，得到待處理低分辨 率拼接塊；
[0071 ]步驟4.2:在低分辨率人臉圖像庫(kù)中，查找得到待處理低分辨率拼接塊的近鄰；
[0072] 步驟4.3:利用待處理低分辨率拼接塊的近鄰，線性權(quán)重表示出待處理低分辨率拼 接塊；
[0073] 其中權(quán)重
其中Wpq,k是Wpq的第k個(gè)元 素，k取值為巧化，K為近鄰最大個(gè)數(shù);B(IJ)是待處理低分辨率拼接塊，馬,,,= ，X(IJ) _ "V." 一 是待處理低分辨率塊，卻。是義(1^)位于位置99的郵鄰塊，9代表9〇3；[1:;[0]1，9是變量，9表示取 近鄰的個(gè)數(shù)，q=l，2，-'Nq;如果取四近鄰，q取值范圍就是巧Ij4,如果取八近鄰，q取值范圍 就是巧IjS;化是最大郵鄰位置個(gè)數(shù)，如果化取4,那么pl = (i，j-1)，p2=(i+l，j)，p3 = (i，j+ 1)，94=。-1，^。〇表示^。。和^(1,山的相關(guān)性；今1^^是對(duì)應(yīng)位置的在低分辨率人臉圖像庫(kù)的 拼接塊，嘴.4二^，巧表示(i，j)位置的"低分辨率人臉圖像庫(kù)"中的圖像塊，k=l， L /('..八」 2，...K，K表示近鄰總數(shù)；4表示塔,々在pq位置的近鄰塊，錢(qián)表示垢乃和弓9之間的相關(guān)性； Wpq表示表示的權(quán)重;D是一個(gè)對(duì)角線方陣，對(duì)角線值為B(i,"距離所有拼接近鄰 馬巧,&的距罔，D = diag(dpq,l, . . . ,dpq,K)，dpq,l表不距罔度重參數(shù)，其中
Dis(.)是歐氏距離計(jì)算，exp(.)表示指數(shù)運(yùn)算； ?M=(璋/端+炒瑪/巧，,,，T表示經(jīng)驗(yàn)值獲得的平衡參數(shù)；
[0074] 步驟4.4:將求得的COpq和近鄰集合相乘，得到對(duì)應(yīng)高分辨率估計(jì)ypq: =乏今U知;嘴,*的高分辨率空間的對(duì)應(yīng)塊，即是近鄰集合巧乂- 克=I
[0075] 步驟4.5:利用步驟4.1到步驟4.4處理完每一個(gè)郵鄰塊，得到高分辨率估計(jì)的集 合:儀心.
[0076] 步驟5:求取權(quán)重鴻=;如踩+(1 - J媽f ;
[0077] 其中，
是 在pq位置上的所有低分辨率人臉圖像庫(kù)中的圖像塊的平均值，貨 是在（i，j)位置上的所 有低分辨率人臉圖像庫(kù)中的圖像塊的平均值，A是經(jīng)驗(yàn)權(quán)重值，取值在[0，1];
[007引步驟6:融合高分辨率估計(jì)的集合為一個(gè)高分辨率估計(jì)， 4 少'(,.,'二 堿"； 0=:1
[0079] 步驟7:拼接高分辨率人臉圖像塊y(i,^，得高分辨率人臉圖像。
[0080] 為驗(yàn)證本發(fā)明技術(shù)效果，使用中國(guó)人臉數(shù)據(jù)庫(kù)CAS-PEAL進(jìn)行驗(yàn)證。從中選擇510個(gè) 人臉樣本，分辨率是11巧96,用仿射變換法對(duì)齊人臉。從人臉樣本中選取40幅圖像下采樣4 倍(分辨率為24巧8)后加上0.015的高斯噪聲后作為測(cè)試圖像。將人臉樣本剩余圖像作為訓(xùn) 練庫(kù)，使用雙=次插值方法將測(cè)試圖像放大4倍得到主觀圖像;分別采用傳統(tǒng)局部臉人臉超 分辨率方法(方法1 )、[文獻(xiàn)4]中的方法Lan(方法2)、[文獻(xiàn)5]中的基于輪廓先驗(yàn)的魯棒性人 臉超分辨率處理方法(方法3)得到主觀圖像。
[0081] 從實(shí)驗(yàn)結(jié)果可知，方法1~3雖然比插值方法在分辨率上有所提升，但出現(xiàn)了較嚴(yán) 重誤差，與原始圖像的相似度很低。方法2中的結(jié)果由于是全局臉架構(gòu)，基于全局的方法往 往具有細(xì)節(jié)恢復(fù)上的短板，所W在運(yùn)方面稍遜于本發(fā)明方法。本發(fā)明方法所恢復(fù)圖像的質(zhì) 量相比于方法1~3和雙=次插值方法都有顯著提高。
[0082] 表1展示了各圖像對(duì)應(yīng)的客觀質(zhì)量，包括PSNR(峰值信噪比）和SSIM值(結(jié)構(gòu)相似性 準(zhǔn)則）。從表1中可W看出，本發(fā)明方法在恢復(fù)圖像的客觀質(zhì)量上，也有較為明顯的穩(wěn)定提 升。
[0083] 表1恢復(fù)圖像客觀質(zhì)量的對(duì)比

[0085] 本發(fā)明方法通過(guò)從原始低分辨率人臉圖像中自動(dòng)提取的上下文線性模型與原始 尺度的圖像特征進(jìn)行組合，對(duì)低質(zhì)量人臉圖像進(jìn)行恢復(fù)。實(shí)驗(yàn)結(jié)果從主觀質(zhì)量到客觀質(zhì)量 均證明了本發(fā)明的有效性，即上下文信息的引入有效減弱了嚴(yán)重噪聲對(duì)超分辨率重建的影 響，自動(dòng)提取的特征避免了人工干預(yù)帶來(lái)的負(fù)面效果(如處理結(jié)果不穩(wěn)定、不精確等問(wèn)題）， 從而提升了人臉超分辨率處理結(jié)果。
[0086] 本發(fā)明還提供了一種基于上下文線性模型的人臉超分辨率處理系統(tǒng)，包括訓(xùn)練庫(kù) 構(gòu)建模塊、分塊模塊、郵鄰塊構(gòu)建模塊、高分辨率估計(jì)