專利名稱：一種自適應在線字典學習的圖像超分辨率方法
技術領域：
本發(fā)明涉及信號處理和多媒體數(shù)據(jù)處理領域的圖像超分辨率技術，尤其是涉及一種自適應在線字典學習的圖像超分辨率方法。
背景技術：
圖像超分辨率(super resolution, SR)是指單幅或多幅低分辨率圖像恢復成高分辨率(high resolution, HR)圖像的過程。隨著圖像在各行各業(yè)日益廣泛的應用，人們對圖像分辨率的要求也越來越高，因為HR圖像意味著圖像具有高像素密度，可以為人們提供更多的細節(jié)，而且這些細節(jié)往往在圖像實際應用中起到關鍵作用。目前圖像超分辨率技術在醫(yī)學成像、遙感偵測、公共安全等領域都已經(jīng)取得了廣泛的應用，甚至在某些圖像應用領域，圖像的分辨率已經(jīng)成為衡量圖像質(zhì)量的一個重要指標。因此深入研究圖像超分辨率技術，具有十分重要的實際意義。獲得高分辨率圖像最直接的方法就是使用高分辨率圖像傳感器，但高分辨率圖像傳感器的制作往往受到工藝水平以及成本的限制，因此在不改變傳感器的前提下，使用軟件的方法去改善圖像的分辨率成為當前計算機視覺領域的熱門研究方向。圖像超分辨率技術可以分為三個主要范疇基于插值、基于重建和基于學習的方法，其中基于模型重建和基于學習的方法是近年來主要的研究方向?；谥亟ǖ姆椒ㄖ饕菢?gòu)建一個低分辨率圖像到高分辨率圖像的映射模型，重構(gòu)效率較高，但是很難找到一個統(tǒng)一的映射模型，而且在進行高放大因子的圖像超分辨率重構(gòu)時重構(gòu)圖像質(zhì)量會急劇下降。而基于學習的方法因具有重構(gòu)準確、魯棒性高等優(yōu)點，是目前最流行的圖像超分辨率技術?；趯W習的超分辨率算法思想最早是由Freeman等人于2002年提出，他們利用馬爾可夫網(wǎng)絡來學習高頻和低頻信息之間的關系，相比于之前基于插值和基于重建的方法，這種利用樣本學習的方法可以獲得更多的高頻信息，解決了由于先驗信息提供能力不足而導致高放大因子下重建圖像失真嚴重的問題。不過這種方法的缺點也比較明顯，就是對訓練樣本的選擇要求比較高，而且對圖像中的噪聲極為敏感。隨后Chang等人提出了基于鄰域嵌入的圖像超分辨率方法，此種方法的基本思想是假設對應的高低分辨率圖像塊可以在它們的特征空間形成具有相同局部幾何結(jié)構(gòu)的流形。該算法相對需要更少的樣本，且具有較好的抗噪性能。但是算法存在的問題是高低分辨率圖像塊在鄰域嵌入時較難建立鄰域保持關系，為了改進這一問題，出現(xiàn)了基于直方圖匹配的訓練樣本選擇算法和基于局部殘差嵌入等方法。Karl等人提出使用支持向量回歸(SVR)實現(xiàn)圖像超分辨率，SVR通過對樣本的自動選擇，使用了更小的訓練集，但是使得圖像的對比度相對下降。2010年，Yang等人在壓縮感知(CS)框架下，采用稀疏表示理論提出了一種基于學習的圖像超分辨率重構(gòu)方法，他們從一組高分辨率圖像及其對應的低分辨率訓練圖像學習一組稀疏表示基，這組基集合構(gòu)成一個過完備字典，通過線性規(guī)劃使得訓練集中每一個圖像塊都可由該過完備字典稀疏表示，隨后在超分辨率圖像重建過程中，首先得到原始低分辨率圖像在過完備字典下的稀疏表示系數(shù)，然后用這組稀疏表示系數(shù)加權重構(gòu)出高分辨率圖像。該算法開創(chuàng)性的將CS理論用于圖像超分辨率技術，克服了鄰域嵌入方法中對于鄰域大小的選擇問題，即在求解稀疏表示的時候，無需指定重構(gòu)所需要基的個數(shù)，其表示系數(shù)和基個數(shù)同時通過線性規(guī)劃求解得到。但是該算法存在訓練樣本過大、字典對建立過程過于復雜、字典選擇不具有自適應性等缺陷。同年，浦劍等又提出在字典學習中使用了 BP稀疏編碼及K-SVD字典更新的算法，取得了比前者更好的超分辨率效果；但是，該算法仍然存在著訓練樣本時間長等缺陷。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術問題是提供一種訓練樣本時間短，圖像質(zhì)量高的自適應在線字典學習的圖像超分辨率方法。本發(fā)明解決上述技術問題所采用的技術方案為一種自適應在線字典學習的圖像超分辨率方法，包括以下步驟①選取一組高分辨率圖像及其對應的一組低分辨率圖像作為訓練樣本；②提取訓練樣本的高頻特征，得到一組高分辨率樣本特征圖像和其對應的一組低分辨率樣本特征圖像，隨機抽取高分辨率樣本特征圖像中的Q個高分辨率樣本特征圖像小塊構(gòu)成矩陣M，抽取低分辨率樣本特征圖像中與抽取的高分辨率樣本特征圖像小塊對應的低分辨率特征圖像小塊構(gòu)成矩陣M'，其中Q大于等于3萬且小于等于10萬，將矩陣M和矩陣M'均分成k類，其中k彡2，得到矩陣M'的k個聚類中心…，mk以及初始子字典集合{(D11, Dhl)，(D12, Dh2)，(D13, Dh3)，…，(Dlk, Dhk)},其中 D11, D12, D13,…，Dlk 表示 k 個初始低分辨率子字典，Dhl, Dh2, Dh3,…，Dhk表示k個初始高分辨率子字典；③利用在線算法對初始子字典集合進行優(yōu)化，得到最優(yōu)目標子字典集合{(D
權利要求
1. 一種自適應在線字典學習的圖像超分辨率方法，其特征在于包括以下步驟 ①選取一組高分辨率圖像及其對應的一組低分辨率圖像作為訓練樣本； ②提取訓練樣本的高頻特征，得到一組高分辨率樣本特征圖像和其對應的一組低分辨率樣本特征圖像，隨機抽取高分辨率樣本特征圖像中的Q個高分辨率樣本特征圖像小塊構(gòu)成矩陣M，抽取低分辨率樣本特征圖像中與抽取的高分辨率樣本特征圖像小塊對應的低分辨率特征圖像小塊構(gòu)成矩陣M'，其中Q大于等于3萬且小于等于10萬，將矩陣M和矩陣W均分成k類，其中k彡2，得到矩陣M'的k個聚類中心…，mk以及初始子字典集合{(D11, Dhl)，(D12, Dh2)，(D13, Dh3)，…，(Dlk, Dhk)},其中 D11, D12, D13,…，Dlk 表示 k 個初始低分辨率子字典，Dhl, Dh2, Dh3,…，Dhk表示k個初始高分辨率子字典； ③利用在線算法對初始子字典集合進行優(yōu)化，得到最優(yōu)目標子字典集合{(Dn_best,Dhl_best)，(D]_2—best，D^2—best)，^13-bestJ ^h3-best^， ，(D]_k—best，^hk-best^ ^中 ^11-best ^12-best ^13-best ，^lk-best表示k個最優(yōu)低分辨率目標子字典，Dhl_best，Dh2_best, Dh3_best,…，Dhk_best表示k個最優(yōu)高分辨率目標子字典； ④輸入需要進行超分辨率放大的低分辨率圖像X，提取低分辨率圖像X的高頻特征，得到低分辨率圖像X對應的低分辨率特征圖像X’，然后選取低分辨率特征圖像X’的第q個圖像小塊\，q > I，圖像小塊Xti對應 的矩陣記為Xtl,分別計算矩陣Xti和聚類中心Hi1, m2, m3,…，mk的歐氏距離，比較Xq與各個聚類中心的歐氏距離的大小，得到歐式距離最小的聚類中心mn, I ^ n ^ k，選擇以mn為聚類中心的初始低分辨率子字典對應的最優(yōu)低分辨率目標子字典，記作 D]_q— best ⑤利用SP算法計算矩陣Xtl在Dltrbest下的稀疏表示系數(shù)ayaq=argmin | | xq-Dlq_best αql Ι2+λ 11α q 11，α <!=sp(Dlq_best，xq)，具體步驟如下 ⑤-1將Dltrbest中與矩陣Xq相關性最大的K列原子的列號索引記為I； ,表示Dlp_best里列號為1、的原子組成的矩陣，表示矩陣Xq在/η上的投影，X=Dllm Il , , , X ,其中/); , f, , )lD； t t γ * 表示矩陣的轉(zhuǎn)置；fIq-bes1-l^ Jq-best-1^ H!q hes1-1 \ Iq bes1-1ii Iq best-Jq / Iq hesi J0⑤-2初始化定義初始狀態(tài)投影i,的初始殘差向量為a，-< =丨)’h hnr ，初始狀態(tài)下X ' 中元素最大值所對應的K個序列原子的列號索引記為Itl, I11=I0 rQ =Tesid(XqJ)k^i /rJ=x9-1v d\th,sl卩,表示Dlp_best里列號為I。的原子組成的矩陣； ⑤-3設當前迭代次數(shù)為ω，ω > I，當前迭代中投影七的殘差向量為Γω，令 = Di , j X */Χ , = il) , ψ D1 , , ) IX , !■當 ill 迭代中 X' ρ 中兀素最大值所fH Iq ηνκι ξι \ !q Hvst--1m !q-hesi Jus βhd Imp對應的K個序列原子的列號索引為Ιω，結(jié)合公式Jw : .ι U {Dlq_best中與rn相關性最大的K列原子的列號索引}和/ )更新 和L，L1表示投影'在第ω-l次迭代中的殘差向量,表示Dlp_be;st里列號為Ιω的原子組成的矩陣，,!^表示Dlp_best里列號為I的原子組成的矩陣； ⑤-4比較Γω與！·^，若Γω| IPhJ I2，則迭代結(jié)束，否則，將ω加I后作為當前迭代次數(shù)返回步驟⑤_3中進行迭代更新；⑤-5迭代完成后，使用最小二乘法求得Xq在字典Dltrbest的最優(yōu)稀疏表示系數(shù)aq ； ⑥選擇與Dltrbest對應的高分辨率目標子字典Dhtrbest，利用稀疏表示系數(shù)aq和Dhtrbest求解Xq在Dhtrbest對應下的高分辨率圖像重構(gòu)小塊
2.根據(jù)權利要求1所述的一種自適應在線字典學習的圖像超分辨率方法，其特征在于所述的步驟③對初始子字典集合進行優(yōu)化的具體步驟如下 ③-1對低分辨率子字典D11進行優(yōu)化，具體步驟為 a、假設優(yōu)化的總迭代次數(shù)為T，在第t次迭代中，輸入低分辨率樣本特征圖像中的任意一個特征圖像塊f1; I < t < T ; b、固定第t-1迭代得到的目標子字典[)、 使用子空間追蹤法求解
3.根據(jù)權利要求1所述的一種自適應在線字典學習的圖像超分辨率方法，其特征在于所述的步驟⑧中去塊處理方法為對每次迭代后重疊部分的像素取均值 。
全文摘要
本發(fā)明公開了一種自適應在線字典學習的圖像超分辨率方法，首先選定一組高分辨率和低分辨率訓練圖像集，然后在高/低訓練圖像集上建立一種對應關系，通過高/低分辨率字典對為重構(gòu)圖像提供了更多的先驗信息，在高放大因子下也能獲得較好的重構(gòu)效果；同時本發(fā)明使用了SP稀疏編碼算法，克服了傳統(tǒng)貪婪算法重構(gòu)精確度不高的缺點，同時保持了較低的計算復雜度；優(yōu)點是服了當下主流字典學習算法中(如MOD、K-SVD等)計算復雜、訓練速度慢的缺點，在總體上縮短了圖像重構(gòu)時間，與現(xiàn)有的基于學習圖像超分辨率技術相比，本發(fā)明提出的方法具有更高的重構(gòu)精度和更短的算法時間。
文檔編號G06T5/50GK103020935SQ20121053587
公開日2013年4月3日 申請日期2012年12月10日 優(yōu)先權日2012年12月10日
發(fā)明者符冉迪, 石大維, 金煒, 李綱, 尹曹謙 申請人:寧波大學