專利名稱：一種基于樣本學(xué)習(xí)的人臉圖像超分辨率重建方法
技術(shù)領(lǐng)域：
本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，涉及一種基于樣本學(xué)習(xí)的人臉圖像超分辨率重建 方法，具體涉及一種利用樣本學(xué)習(xí)，對低分辨率人臉圖像進行超分辨率重建獲得高分辨率 人臉圖像，以及針對人臉特征進行優(yōu)化。
背景技術(shù)：
人臉圖像超分辨率重建技術(shù)的目標是對待超分辨率的人臉圖像進行增強，雖然現(xiàn) 有的圖像插值算法可以比較平滑地放大圖像，但是因為插值算法無法恢復(fù)圖像縮小時所損 失的信息，因此放大的圖像比較模糊、使用價值不高。人臉圖像超分辨率重建技術(shù)主要可以適應(yīng)于如下情況1、對現(xiàn)有IC卡中存儲的照片進行放大，便于查看、打印等。在更換現(xiàn)有(存儲。采 集)設(shè)備的成本較高、重新采集可行性低等多種情況下，超分辨率重建技術(shù)尤其適用；2、對從監(jiān)控設(shè)備中獲取的人臉圖像進行超分辨率處理，以便于識別。由于硬件工 藝、成本等限制，在監(jiān)控領(lǐng)域可能無法采集到清晰的高分辨率圖像，使用超分辨率重建技術(shù) 可以降低對硬件設(shè)備的依賴和提高系統(tǒng)的可用性?，F(xiàn)有的有代表性的人臉超分辨率方法主要是Liu等人提出的兩步超分辨率法。該 方法將人臉超分辨率重建分解為全局重建和局部重建兩部分，其中全局重建使用主成份分 析(Principal Components Analysis, PCA)法重建人臉的全局特征；而后根據(jù)訓(xùn)練步驟中 學(xué)習(xí)到的全局特征與局部細節(jié)的關(guān)系，從訓(xùn)練樣本中選取合適的局部細節(jié)信息疊加到全局 重建的人臉圖像上，最終得到人臉超分辨率重建的結(jié)果。該方法的特點在于得到的圖像平 滑，有比較好的視覺效果；但其也有比較明顯的缺點，例如全局重建的時損失損失了大量的 信息，使得重建結(jié)果與輸入圖像之間相似度較低。另外其局部重建也未充分考慮人臉的結(jié) 構(gòu)，因此算法的效果和效率還有很大的提升空間。

發(fā)明內(nèi)容
為了解決現(xiàn)有技術(shù)的問題，本發(fā)明的目的是使超分辨率重建后的圖像與原圖像有 較高的相似度，且充分利用人臉的結(jié)構(gòu)進行重建，提高人臉超分辨率重建的效果，為此，本 發(fā)明是要提供一種基于樣本學(xué)習(xí)的人臉圖像超分辨率重建方法。為達成所述目的，本發(fā)明提供一種基于樣本學(xué)習(xí)的人臉圖像超分辨率重建方法的 技術(shù)方案，該方案的步驟如下所述步驟Sl 進入訓(xùn)練部分，首先設(shè)有由大小相同的m幅高分辨率人臉樣本圖像組 成的樣本圖像集{IH}m，其中Ih表示樣本圖像，樣本圖像集中的第i幅樣本圖像表示為/嚴， 1 ^ i <m，使用人臉標定算法或手工對m幅樣本圖像中的人臉結(jié)構(gòu)進行標定，得到每幅樣 本圖像的人臉特征，并依據(jù)人臉特征對m幅樣本圖像進行對齊處理，使相同的人臉特征位 于樣本圖像中大致相同的位置；步驟S2 利用公式/尸二/嚴-似/^召^…個"=/ -^個η對第i幅樣本圖像/產(chǎn)進行處理，得到第i幅樣本圖像在縮小η倍時所損失的殘差圖像矽，其中丨為上采樣運 算，丨為下采樣運算，η為上采樣或下采樣的倍數(shù)，斤為對第i幅樣本圖像進行η倍下采 樣后得到的低分辨率圖像，對m幅樣本圖像進行處理，得到的殘差圖像和低分辨率圖像可 分別組成殘差圖像集UT和低分辨率圖像集{IT;步驟S3 對低分辨率圖像集{ Γ中所有的圖像放大η倍，并對得到的圖像進行高 通濾波得到中頻圖像集UM}m;步驟S4:對中頻圖像集{IM}m和殘差圖像集{ID}m中的圖像進行重疊分塊，分別建 立中頻圖像塊數(shù)據(jù)庫和殘差圖像塊數(shù)據(jù)庫，訓(xùn)練結(jié)束；步驟S5 進入超分辨率重建處理部分，設(shè)輸入圖像為I，首先對輸入圖像I按人臉 結(jié)構(gòu)進行標定與對齊，標定和對齊與訓(xùn)練部分中的相同；
步驟S6 在圖像放大倍數(shù)η取與訓(xùn)練部分中相同的值時，有I丨η圖像與訓(xùn)練圖 像大小相同，對I丨η進行高通濾波，獲得中頻圖像Im;步驟S8 對中頻圖像Im進行重疊分塊，得到中頻圖像塊集{ΡΜ}η，η為分塊總數(shù)，if 表示中頻圖像塊集中的第i個塊，其中KiSn;步驟S9 對中頻圖像塊if，1 < i Sn，根據(jù)人臉標定信息在中頻圖像塊數(shù)據(jù)庫中 搜索若干最相關(guān)的候選中頻圖像塊，取出與搜索得到的中頻圖像塊對應(yīng)的殘差圖像塊，因 此對每個小塊/f得到一個候選中頻圖像塊集{/f’}"和殘差圖像塊集{if廣，其中N，N彡1， 為每個輸入中頻圖像塊的候選塊個數(shù)，第i個中頻圖像塊的第j個候選中頻圖像塊和候選 殘差圖像塊分別記為和^ ；步驟SlO 使用最大后驗概率(Maximum A Posterior,MAP)算法進行全局優(yōu)化，最 終為每一個中頻圖像塊if選擇殘差圖像塊集中的一個最優(yōu)殘差圖像塊if ；步驟Sll 對得到的最優(yōu)的殘差圖像塊進行拼接，得到殘差圖像ID，將殘差圖像Id 疊加到圖像I丨η上，獲得合成的圖像；步驟S12 對合成的圖像進行平滑且保持邊緣的濾波算法處理，得到最終的超分 辨率圖像，完成超分辨率處理。其中，所述分塊的步驟如下步驟a 從圖像左上角起進行分塊；步驟b 每塊的寬度為wP像素，重疊寬度為W。像素；步驟c 完成一次分塊后，將分塊的起點向右下方向偏移Ws個像素，并按步驟a重 復(fù)分塊「v^ / ws "!次，其中「·1為向下取整符號。本發(fā)明的有益效果本發(fā)明利用圖像處理技術(shù)對待超分辨率的人臉圖像進行超分 辨率重建處理，從而得到優(yōu)于插值算法的放大圖像。其基本原理是從待超分辨率圖像中提 取出在圖像縮小時未損失且與細節(jié)信息相關(guān)的中頻信息，并利用其與細節(jié)信息的相關(guān)性， 在數(shù)據(jù)庫中搜索并重建與低分辨率圖像局部相關(guān)的殘差圖像，補充到由低分辨率圖像插值 放大后的高分辨率圖像中，實現(xiàn)人臉圖像的超分辨率重建。本發(fā)明可針對人臉的結(jié)構(gòu)進行 優(yōu)化，大大提高算法的速度和超分辨率的效果。本發(fā)明成功地提升了人臉圖像超分辨率重 建的效果。


圖1是本發(fā)明人臉圖像超分辨率重建系統(tǒng)的結(jié)構(gòu)示意圖。圖2訓(xùn)練圖像分塊方法，粗線代表第一次分塊，細線代表對分塊起點進行偏移后 的分塊。其中《P、^和Ws分別為分塊寬度、重疊寬度和分塊起點偏移量。
具體實施例方式為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚明白，以下結(jié)合具體實施例，并參照 附圖，對本發(fā)明進一步詳細說明。基于本發(fā)明，如圖1示出了人臉圖像超分辨率重建方法的流程圖，包括步驟 如下步驟Sl 進入訓(xùn)練部分，首先設(shè)有由大小相同的m幅高分辨率人臉樣本圖像組 成的樣本圖像集{IH}m，其中Ih表示樣本圖像，樣本圖像集中的第i幅樣本圖像表示為/f， 1 ^ i <m，使用人臉標定算法或手工對m幅樣本圖像中的人臉結(jié)構(gòu)進行標定，得到每幅樣 本圖像的人臉特征，并依據(jù)人臉特征對m幅樣本圖像進行對齊處理，使相同的人臉特征位 于樣本圖像中大致相同的位置；步驟S2 利用公式/嚴=If - {{If * 5) i ”)個《 = /嚴-/f個《對第i幅樣本圖像/嚴進
行處理，得到第i幅樣本圖像/嚴在縮小η倍時所損失的殘差圖像/Ζ3 ,其中丨為上采樣運算， I為下采樣運算，η為上采樣或下采樣的倍數(shù)，斤為對第i幅樣本圖像/嚴進行η倍下采樣后 得到的低分辨率圖像，對m幅樣本圖像進行處理，得到的殘差圖像和低分辨率圖像可分別 組成殘差圖像集UT和低分辨率圖像集{IT;步驟S3 對低分辨率圖像集{IT中所有的圖像放大η倍，并對得到的圖像進行高 通濾波得到中頻圖像集UM}m;步驟S4 對中頻圖像集{IM}m和殘差圖像集{ID}m中的圖像進行重疊分塊，分別建 立中頻圖像塊數(shù)據(jù)庫和殘差圖像塊數(shù)據(jù)庫，訓(xùn)練結(jié)束；步驟S5 進入超分辨率重建處理部分，設(shè)輸入圖像為I，首先對輸入圖像I按人臉 結(jié)構(gòu)進行標定與對齊，標定與對齊方法與訓(xùn)練部分中的相同；步驟S6 在圖像放大倍數(shù)η取與訓(xùn)練部分中相同的值時，有I丨η圖像與訓(xùn)練圖 像大小相同，對I丨η進行高通濾波，獲得中頻圖像Im;步驟S8 對中頻圖像Im進行重疊分塊，得到中頻圖像塊集{ΡΜ}η，η為分塊總數(shù)，if 表示中頻圖像塊集中的第i個塊，其中KiSn;步驟S9 對中頻圖像塊if，1 < i Sn，根據(jù)人臉標定信息在中頻圖像塊數(shù)據(jù)庫中 搜索若干最相關(guān)的候選中頻圖像塊，取出與搜索得到的中頻圖像塊對應(yīng)的殘差圖像塊，因 此對每個小塊Zf得到一個候選中頻圖像塊集{if ’廣和殘差圖像塊集{if廣，其中N，N彡1， 為每個輸入中頻圖像塊的候選塊個數(shù)，第i個中頻圖像塊的第j個候選中頻圖像塊和候選 殘差圖像塊分別記為Op^ ；步驟SlO 使用最大后驗概率(Maximum A Posterior,MAP)算法進行全局優(yōu)化，最 終為每一個中頻圖像塊if選擇殘差圖像塊集中的一個最優(yōu)殘差圖像塊if ；步驟Sll 對得到的最優(yōu)的殘差圖像塊進行拼接，得到殘差圖像ID，將殘差圖像Id 疊加到圖像I丨η上，獲得合成的圖像；
步驟S12 對合成的圖像進行平滑且保持邊緣的濾波算法處理，得到最終的超分辨率圖像，完成超分辨率處理。該方法運行于一臺計算機上，輸入102像素*126像素大小的人臉圖像，經(jīng)過運算 輸出超分辨率重建后的人臉圖像(204像素*252像素)。訓(xùn)練部分第一步獲取樣本圖像。例如最終要進行超分辨率處理的圖像大小為102像素 *126像素，需超分辨率到204像素*252像素，我們使用300幅204像素*252像素的人臉圖 像組成訓(xùn)練樣本集進行訓(xùn)練。將這些圖像導(dǎo)入PC機，存成BMP格式文件。第二步使用常用人臉標定算法對訓(xùn)練樣本集中的樣本進行標定，例如標出眼睛 的位置，然后計算出雙眼中點的位置，并移動圖像，使所有樣本圖像中人臉雙眼的中點位于 圖像中相同的位置，從而實現(xiàn)樣本圖像的對齊。第三步縮放倍數(shù)η的值為2，對樣本圖像/f高斯模糊后進行2倍下采樣，得到與 待超分辨率圖像相同大小的低分辨率圖像。將得到的低分辨率圖像進行雙線性插值放大2 倍，得到與樣本圖像相同大小的圖像，記為/f。從/f到斤的處理過程中，圖像損失了細節(jié)信 息因此變得模糊，計算/f -If，即可得到殘差圖像矽，殘差圖像即為圖像在縮小過程中所損 失的信息，也即超分辨率重建所需要恢復(fù)的信息。對/f進行高通濾波，可得到中頻圖像/廣。 計算得到所有樣本圖像的中頻圖像和殘差圖像，并分別組成中頻圖像集和殘差圖像集。第四步將第三步中得到殘差圖像集和中頻圖像集中的圖像進行分塊處理。分塊 方式如圖2所示，例如此處我們可以取Wp = 5，w0 = 1和ws = 2，即可得到大小為5*5，重疊 1像素的分塊。在對整幅圖像進行分塊后，將分塊的起點向右和向下(假設(shè)圖像的原點為左 上角點)分別移動像素并重復(fù)進行分塊，共需重復(fù)「％ 次。第五步保存對中頻圖像和殘差圖像進行分塊操作得到的圖像塊，建立中頻圖像 塊數(shù)據(jù)庫和殘差圖像塊數(shù)據(jù)庫，并記錄從相同樣本圖像中相同位置計算得到的中頻圖像塊 和殘差圖像塊之間的對應(yīng)關(guān)系，在此只需要保證得到的分塊按順序存儲在數(shù)據(jù)庫，則對應(yīng) 的分塊分別處于各自數(shù)據(jù)庫的相同位置，對指定的中頻圖像塊可以迅速地找到對應(yīng)的殘差 圖像塊，反之亦然。訓(xùn)練部分結(jié)束。超分辨率處理部分第一步使用與訓(xùn)練步驟相同的人臉標定方法對輸入圖像進行標定對齊；第二步取參數(shù)η的值為2，對輸入圖像進行插值放大2倍并進行高通濾波，得到 與期望超分辨率重建結(jié)果等大小的中頻圖像；第三步將中頻圖像分為與訓(xùn)練部分相同的5*5，重疊1像素的小塊。與訓(xùn)練部分 中不同的是，超分辨率處理部分不需要進行重復(fù)分塊；第四步對每一個中頻圖像塊，在訓(xùn)練步驟中建立的中頻圖像塊數(shù)據(jù)庫中進行局 部搜索，獲得前N(此處我們?nèi)= 10)個最相關(guān)的(此處使用高斯加權(quán)的平方差總和計算， 計算值越小則相關(guān)度越高)的中頻圖像塊，并取出對應(yīng)的殘差圖像塊；第五步計算各候選中頻圖像塊與對應(yīng)的輸入中頻圖像塊的相關(guān)度以及鄰接候選 殘差圖像塊間的相容度(相容度為相鄰殘差圖像分塊重疊區(qū)域像素的平方差和)，并根據(jù) 相關(guān)度和塊間相容度使用最大后驗概率(Maximum A Posterior, MAP)算法進行全局優(yōu)化，最終為輸入圖像的每個中頻圖像塊確定一個近似最優(yōu)的殘差圖像塊；第六步將最終選取的殘差圖像塊進行拼接，重疊部分像素的值取各重疊殘差圖像塊對應(yīng)位置像素值的平均值，得到204像素*252像素的殘差圖像，將得到的殘差圖像疊 加到插值放大到204像素*252像素的輸入圖像上。第七步對上一步得到的圖像進行雙邊濾波，得到最終的超分辨率重建圖像。以上所述，僅為本發(fā)明中的具體實施方式
，但本發(fā)明的保護范圍并不局限于此，任 何熟悉該技術(shù)的人在本發(fā)明所揭露的技術(shù)范圍內(nèi)，可理解想到的變換或替換，都應(yīng)涵蓋在 本發(fā)明的包含范圍之內(nèi)。
權(quán)利要求
一種基于樣本學(xué)習(xí)的人臉圖像超分辨率重建方法，其特征在于包含以下步驟步驟S1進入訓(xùn)練部分，首先設(shè)有由大小相同的m幅高分辨率人臉樣本圖像組成的樣本圖像集{IH}m，其中IH表示樣本圖像，樣本圖像集中的第i幅樣本圖像表示為1≤i≤m，使用人臉標定算法或手工對m幅樣本圖像中的人臉結(jié)構(gòu)進行標定，得到每幅樣本圖像的人臉特征，并依據(jù)人臉特征對m幅樣本圖像進行對齊處理，使相同的人臉特征位于樣本圖像中大致相同的位置；步驟S2利用公式↑n對第i幅樣本圖像進行處理，得到第i幅樣本圖像在縮小n倍時所損失的殘差圖像其中↑為上采樣運算，↓為下采樣運算，n為上采樣或下采樣的倍數(shù)，為對第i幅樣本圖像進行n倍下采樣后得到的低分辨率圖像，對m幅樣本圖像進行處理，得到的殘差圖像和低分辨率圖像可分別組成殘差圖像集{ID}m和低分辨率圖像集{IL}m；步驟S3對低分辨率圖像集{IL}m中所有的圖像放大n倍，并對得到的圖像進行高通濾波得到中頻圖像集{IM}m；步驟S4對中頻圖像集{IM}m和殘差圖像集{ID}m中的圖像進行重疊分塊，分別建立中頻圖像塊數(shù)據(jù)庫和殘差圖像塊數(shù)據(jù)庫，訓(xùn)練結(jié)束；步驟S5進入超分辨率重建處理部分，設(shè)輸入圖像為I，首先對輸入圖像I按人臉結(jié)構(gòu)進行標定與對齊，標定和對齊與訓(xùn)練部分中的相同；步驟S6在圖像放大倍數(shù)n取與訓(xùn)練部分中相同的值時，有I↑n圖像與訓(xùn)練圖像大小相同，對I↑n進行高通濾波，獲得中頻圖像IM；步驟S8對中頻圖像IM進行重疊分塊，得到中頻圖像塊集{PM}n，n為分塊總數(shù)，表示中頻圖像塊集中的第i個塊，其中1≤i≤n；步驟S9對中頻圖像塊1≤i≤n，根據(jù)人臉標定信息在中頻圖像塊數(shù)據(jù)庫中搜索若干最相關(guān)的候選中頻圖像塊，取出與搜索得到的中頻圖像塊對應(yīng)的殘差圖像塊，因此對每個小塊得到一個候選中頻圖像塊集和殘差圖像塊集其中N，N≥1，為每個輸入中頻圖像塊的候選塊個數(shù)，第i個中頻圖像塊的第j個候選中頻圖像塊和候選殘差圖像塊分別記為和步驟S10使用最大后驗概率算法進行全局優(yōu)化，最終為每一個中頻圖像塊選擇殘差圖像塊集中的一個最優(yōu)殘差圖像塊步驟S11對得到的最優(yōu)的殘差圖像塊進行拼接，得到殘差圖像ID，將殘差圖像ID疊加到圖像I↑n上，獲得合成的圖像；步驟S12對合成的圖像進行平滑且保持邊緣的濾波算法處理，得到最終的超分辨率圖像，完成超分辨率處理。FSA00000159573600011.tif,FSA00000159573600012.tif,FSA00000159573600013.tif,FSA00000159573600014.tif,FSA00000159573600015.tif,FSA00000159573600016.tif,FSA00000159573600017.tif,FSA00000159573600018.tif,FSA00000159573600019.tif,FSA000001595736000110.tif,FSA000001595736000111.tif,FSA000001595736000112.tif,FSA00000159573600021.tif,FSA00000159573600022.tif,FSA00000159573600023.tif,FSA00000159573600024.tif
2.根據(jù)權(quán)利要求1所述的一種基于樣本學(xué)習(xí)的人臉圖像超分辨率重建方法，其特征在 于，所述分塊的步驟如下步驟a 從圖像左上角起進行分塊；步驟b 每塊的寬度為wP像素，重疊寬度為w。像素；步驟c 完成一次分塊后，將分塊的起點向右下方向偏移ws個像素，并按步驟a重復(fù)分塊「，/ % "i次，其中「 "!.為向下取整符號。
全文摘要
本發(fā)明是一種基于樣本學(xué)習(xí)的人臉圖像超分辨率重建方法，基于樣本學(xué)習(xí)并針對人臉結(jié)構(gòu)特征進行優(yōu)化的人臉圖像超分辨率重建，本發(fā)明的特征在于具有以下處理步驟(1)分為訓(xùn)練和超分辨率重建兩個部分；(2)對輸入圖像進行標定、分塊等處理；(3)在訓(xùn)練得到的數(shù)據(jù)庫中根據(jù)標定結(jié)果按鄰域搜索殘差人臉圖像；(4)利用殘差圖像計算輸入圖像的。本發(fā)明所提供的算法，由其適用于人臉圖像的超分辨率處理。在保持較好效果的同時，該方法還具有處理速度快，魯棒性強等特點。
文檔編號G06T5/50GK101872472SQ20101019617
公開日2010年10月27日 申請日期2010年6月2日 優(yōu)先權(quán)日2010年6月2日
發(fā)明者劉東昌, 安聞川, 王欣剛 申請人:中國科學(xué)院自動化研究所