基于反向流形約束的魯棒性人臉超分辨率處理方法及系統(tǒng)的制作方法
【技術領域】
[0001] 本發(fā)明涉及圖像處理和圖像恢復技術領域，具體涉及一種基于反向流形約束的魯 棒性人臉超分辨率處理方法及系統(tǒng)。
【背景技術】
[0002] 人臉超分辨率技術是通過輔助訓練庫，學習高低分辨率對應關系，進而達到從已 有的低分辨率人臉圖像中估計出高分辨率人臉圖像的目的。人臉超分辨率現(xiàn)在被廣泛應用 于多個領域，其中最具代表性的領域之一就是監(jiān)控錄像中的人臉圖像增強。隨著監(jiān)控系統(tǒng) 的廣泛普及，監(jiān)控視頻在刑事取證和刑偵調(diào)查過程中發(fā)揮著越來越重要的作用。而人臉圖 像作為直接證據(jù)之一，在案件分析和法庭取證中占據(jù)著重要的位置。然而，由于現(xiàn)有條件 下，目標嫌疑人與攝像頭距離相對較遠，捕捉到的監(jiān)控人臉可用像素非常少，兼之真實情況 下由于惡劣天氣（例如：雨霧）、光照（例如：光照過強、過暗、明暗不均）、器件等因素對捕 獲的圖像引發(fā)的嚴重損毀（例如：嚴重的模糊和噪聲），圖像恢復、放大和辨識往往受到嚴 重的干擾。這就需要用到人臉超分辨率技術提升圖像分辨率，從低分辨率圖像恢復到高分 辨率圖像。
[0003] 近年來，流形學習逐漸成為了人臉超分辨率的主流方法。這類方法的核心思想是： 描述低分辨率圖像的流形空間關系，尋找出每個低分辨率圖像數(shù)據(jù)點周圍的局部性質(zhì)，然 后將低分辨率圖像的流形非線性地映射到高分辨率圖像的流形空間中，在高分辨率對應空 間上做投影，從而合成高分辨圖像。具有代表性的有以下幾種方法：2004年，Chang[1]等首 次將流形學習法引入圖像超分辨率重構(gòu)中，提出了一種鄰域嵌入的圖像超分辨率重構(gòu)法。 SungWonPark[2]提出一種基于局部保持投影的自適應流形學習方法，從局部子流形分析 人臉的內(nèi)在特征，重構(gòu)出低分辨率圖像缺失的高頻成分。2005年，Wang[3]提出一種基于 PCA(Principalcomponentanalysis，主成分分析）分解的方法，把低分辨率待處理圖像用 低分辨率空間的主成分的線性組合表示，投影系數(shù)到對應的高分辨率主成分空間獲得最終 結(jié)果。該方法對噪聲具有較好的魯棒性，但是仍然在結(jié)果圖像的邊緣存在鬼影、混疊的現(xiàn) 象。2014年，Dong[4]提出基于局部特征分解的人臉超分辨率方法，通過局部空間采用主成 分分析的方法，將全局空間的結(jié)果分解到，間延伸至CCA空間，進一步解決了這個問題。同 年，Lan[5]針對監(jiān)控環(huán)境下嚴重的模糊和噪聲導致的圖像像素損毀嚴重的問題，提出在傳統(tǒng) PCA架構(gòu)中添加形狀約束作為相似度度量準則，利用人眼睛識別形狀時對干擾的魯棒性來 人工添加形狀特征點作為約束。
[0004] 綜上所述，現(xiàn)有的這些流形方法大多僅按照傳統(tǒng)的技術思路以低分辨率空間的信 息為基礎，而相比較高分辨率空間而言，低分辨率空間的建立本身已經(jīng)丟失了非常多的信 息，缺乏針對性的篩選和有效約束。因此恢復出的圖像包含有較多的信息偏差，當待處理圖 像含有較嚴重的毀壞混疊時，圖像恢復效果并不令人滿意。
[0005] 文中涉及如下參考文獻：
[0006] [1]H.Chang,D. -Y.Yeung,andY.Xiong,αSuper-resolutionthroughneighbor embedding,'，inProc.IEEEConf.Comput.Vis.PatternRecog. ,Jul. 2004,pp. 275 - 282.
[0007] [2]SungWonPark,Savvides,M.^BreakingtheLimitationofManifold AnalysisforSuper-ResolutionofFacialImages"，ICASSP,pp:573-576, 2007.
[0008] [3]XiaogangWangandXiaoouTang,"Hallucinatingfacebyeigentrans formation,'，Systems,Man,andCybernetics,PartC:ApplicationsandReviews,IEEE Transactionson,vol. 35,no. 3,pp. 425 - 434, 2005.
[0009] [4]XiaohuiDong,RuiminHu,JunjunJiang,ZhenHan,Liang Chen,andGeGao,NoiseFaceImageHallucinationviaData-DrivenLocal Eigentransformation,SpringerInternationalPublishing, 2014.
[0010] [5]CLan,RHu,ZHan,Afacesuper-resolutionapproachusingshape semanticmoderegularization.IEEEInternationalConferenceonImage Processing(ICIP), 2021 - 2024, 26-29Sept. 2010.

【發(fā)明內(nèi)容】

[0011] 針對現(xiàn)有技術存在的問題，本發(fā)明提供了一種基于反向流形約束的魯棒性人臉超 分辨率處理方法及系統(tǒng)，尤其適用于損毀嚴重的人臉圖像恢復。
[0012] 為了解決上述技術問題，本發(fā)明采用如下的技術方案：
[0013] -、一種基于反向流形約束的魯棒性人臉超分辨率處理方法，包括：
[0014]S1構(gòu)建包含高分辨率人臉圖像庫及其對應的低分辨率人臉圖像庫的訓練庫；
[0015]S2采用相同的分塊方式將待處理低分辨率人臉圖像和訓練庫中圖像劃分為具交 疊部分的正方形圖像塊；劃分待處理低分辨率人臉圖像所得圖像塊稱為待處理圖像塊，劃 分訓練庫中高分辨率人臉圖像和低分辨率人臉圖像所得圖像塊分別稱為高分辨率圖像塊 和低分辨率圖像塊；對高分辨率圖像塊和低分辨率圖像塊分別編號，并使高分辨率圖像塊 和其對應的低分辨率圖像塊編號相同；
[0016]S3在訓練庫中找尋各高分辨率圖像塊少f在歐式空間的K近鄰高分辨率圖像塊，該 K近鄰高分辨率圖像塊的編號集為得對應的低分辨率圖像塊彳的高分辨率局部流 行空間{χΓ?#和低分辨率局部流行空間·(#1胃,，K為經(jīng)驗值，Pl表示高分辨率圖像塊 和低分辨率圖像塊的編號；
[0017]S4在訓練庫中找尋各待處理圖像塊xf在歐式空間的K'近鄰低分辨率圖像塊，各 κ'近鄰低分辨率圖像塊的高分辨率局部流行空間和低分辨率局部流行空間構(gòu)成.yf的局部 流行空間，根據(jù)<的局部流行空間構(gòu)建投影矩陣；κ'為經(jīng)驗值，與κ相等或不相等；
[0018]S5 :采用投影矩陣恢復對應的待處理圖像塊，獲得待估圖像塊；
[0019]S6 :拼接待估圖像塊得待估高分辨率人臉圖像。
[0020]S1具體為：
[0021] 將高分辨率人臉圖像庫中高分辨率人臉圖像位置對齊，并進行降質(zhì)處理，得對應 的低分辨率人臉圖像庫，高分辨率人臉圖像庫和低分辨率人臉圖像庫構(gòu)成訓練庫；
[0022] 同時，在S2之前，使待處理低分辨率人臉圖像與訓練庫中圖像大小相同，且位置 對齊。
[0023] 所述的位置對齊采用仿射變換法將進行位置對齊。
[0024] S5中所獲得待估圖像塊J'f ，其中，彳表示待處理圖像塊，Mp表示彳的投 影矩陣。
[0025] 二、一種基于反向流形約束的魯棒性人臉超分辨率處理系統(tǒng)，包括：
[0026]訓練庫構(gòu)建模塊，用來構(gòu)建包含高分辨率人臉圖像庫及其對應的低分辨率人臉圖 像庫的訓練庫；
[0027]圖像塊劃分模塊，用來采用相同的分塊方式將待處理低分辨率人臉圖像和訓練庫 中圖像劃分為具交疊部分的正方形圖像塊；劃分待處理低分辨率人臉圖像所得圖像塊稱為 待處理圖像塊，劃分訓練庫中高分辨率人臉圖像和低分辨率人臉圖像所得圖像塊分別稱為 高分辨率圖像塊和低分辨率圖像塊；對高分辨率圖像塊和低分辨率圖像塊分別編號，并使 高分辨率圖像塊和其對應的低分辨率圖像塊編號相同；
[0028]局部流行空間建立模塊，用來在訓練庫中找尋各高分辨率圖像塊在歐式空間 的κ近鄰高分辨率圖像塊，該κ近鄰高分辨率圖像塊的編號集為MMlvf對應的低分辨率 圖像塊彳的高分辨率局部流行空間·[# 和低分辨率局部流行空間:，K為經(jīng) 驗值，P1表示高分辨率圖像塊和低分辨率圖像塊的編號；
[0029] 投影矩陣構(gòu)建模塊，用來在訓練庫中找尋各待處理圖像塊<在歐式空間的K'近 鄰低分辨率圖像塊，各K'近鄰低分辨率圖像塊的高分辨率局部流行空間和低分辨率局部 流行空間構(gòu)成4的局部流行空間，根據(jù)<