專利名稱：一種圖像信息處理方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理技術(shù)，特別地涉及一種圖像信息處理方法及裝置。
背景技術(shù)：
隨著移動終端的功能日益強大，人們對手機相機的分辨率等性能的需求越來越高。因此尋求有效的方法提高相機的分辨率具有很大的應(yīng)用價值。從硬件上提升相機設(shè)備的制造工藝水平是最直接的方法，但是受到成像系統(tǒng)制造工藝水平提升的技術(shù)限制和難題，難以滿足終端應(yīng)用的需求，而且必然會帶來資金成本的較大增長。因此，在不增加成本的基礎(chǔ)上提升圖像的分辨率，是一個待解決的技術(shù)問題。

發(fā)明內(nèi)容
本發(fā)明解決的技術(shù)問題在于提供了一種圖像信息處理方法及裝置，以解決提升終端拍攝圖片的分辨率問題。本發(fā)明提供了一種圖像信息處理方法，包括，對待配準(zhǔn)圖像進行配準(zhǔn)處理，所述待配準(zhǔn)圖像指用戶拍出的一組位移或旋轉(zhuǎn)角度相同的降質(zhì)圖片；對所述配準(zhǔn)后的圖片進行插值運算形成一高分辨率圖像；將所述高分辨率圖像進行融合并恢復(fù)為高質(zhì)量圖像。上述方法中，其中，所述進行配準(zhǔn)處理具體為，對待配準(zhǔn)圖像及參考圖像進行下采樣，構(gòu)成一個多尺度的高斯金字塔圖像，所述參考圖像指該組圖片中位移最小或旋轉(zhuǎn)角度最小的質(zhì)量較高的圖片；從粗的第一層高斯金字塔圖片開始，根據(jù)互信息配準(zhǔn)模型計算出估計參數(shù)集合；根據(jù)已經(jīng)求的估計參數(shù)對第二層高斯圖像進行相應(yīng)的平移和旋轉(zhuǎn)；重復(fù)繼續(xù)求解新的估計參數(shù)集合，并對上層的高斯圖像進行相應(yīng)的平移和旋轉(zhuǎn)， 直至得到最優(yōu)的估計參數(shù)。上述方法中，其中，所述金字塔各層圖像具有不同尺寸和分辨率，其中，第一層尺寸最大、分辨率最高。上述方法中，其中，所述進行插值運算具體為，采用雙線性插值法對所述配準(zhǔn)后的圖像進行插值運算，在雙線性插值中，新創(chuàng)造的象素值是由原圖像位置在它附近的4個鄰近象素的值通過加權(quán)平均計算得出的。上述方法中，其中，所述進行融合并恢復(fù)具體為，以圖像像素為出發(fā)點，根據(jù)像素點的變換首先定義空間域的觀測模型，并且在求解運動模型中加入目標(biāo)圖像的相關(guān)先驗約束信息，并輸出高質(zhì)量圖像。本發(fā)明還提供了一種圖像信息處理裝置，包括，圖像配準(zhǔn)模塊，用于對待配準(zhǔn)圖像進行配準(zhǔn)處理，所述待配準(zhǔn)圖像指用戶拍出的一組位移或旋轉(zhuǎn)角度相同的降質(zhì)圖片；
圖像插值模塊，用于對所述配準(zhǔn)后的圖片進行插值運算形成一高分辨率圖像；圖像恢復(fù)模塊，用于將所述高分辨率圖像進行融合并恢復(fù)為高質(zhì)量圖像。上述裝置中，其中，所述圖像配準(zhǔn)模塊具體用于，用于對待配準(zhǔn)圖像及參考圖像進行下采樣，構(gòu)成一個多尺度的高斯金字塔圖像， 所述參考圖像指該組圖片中位移最小或旋轉(zhuǎn)角度最小的質(zhì)量較高的圖片；用于從粗的第一層高斯金字塔圖片開始，根據(jù)互信息配準(zhǔn)模型計算出估計參數(shù)集合，根據(jù)所述估計參數(shù)對第二層高斯圖像進行相應(yīng)的平移和旋轉(zhuǎn)；以及，用于重復(fù)繼續(xù)求解新的估計參數(shù)集合，并對上層的高斯圖像進行相應(yīng)的平移和旋轉(zhuǎn)，直至得到最優(yōu)的估計參數(shù)。上述裝置中，其中，所述金字塔各層圖像具有不同尺寸和分辨率，其中，第一層尺寸最大、分辨率最高。上述裝置中，其中，所述圖像插值模塊具體用于，用于采用雙線性插值法對所述配準(zhǔn)后的圖像進行插值運算，在雙線性插值中，新創(chuàng)造的象素值是由原圖像位置在它附近的4個鄰近象素的值通過加權(quán)平均計算得出的。上述裝置中，其中，所述圖像恢復(fù)模塊具體用于以圖像像素為出發(fā)點，根據(jù)像素點的變換首先定義空間域的觀測模型，并且在求解運動模型中加入目標(biāo)圖像的相關(guān)先驗約束信息，并輸出高質(zhì)量圖像。采用上述技術(shù)方案，基于軟件方法來提升相機的分辨率，充分利用多幅圖片之間的互補信息，使用戶能夠從提高清晰度的特定圖片中獲得更多有用信息，為更高級別圖像處理功能，例如人臉識別等提供較高質(zhì)量的圖片，從而提高相機圖片的信息價值的利用率， 讓用戶更滿意。


此處所說明的附圖用來提供對本發(fā)明的進一步理解，構(gòu)成本發(fā)明的一部分，本發(fā)明的示意性實施例及其說明用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的不當(dāng)限定。在附圖中圖1是本發(fā)明第一實施例流程圖；圖2是本發(fā)明第一實施例金字塔結(jié)構(gòu)圖；圖3是本發(fā)明第一實施例的設(shè)計配準(zhǔn)架構(gòu)圖；圖4是圖像提升分辨率的實例圖；圖5是本發(fā)明第二實施例結(jié)構(gòu)圖。
具體實施例方式為了使本發(fā)明所要解決的技術(shù)問題、技術(shù)方案及有益效果更加清楚、明白，以下結(jié)合附圖和實施例，對本發(fā)明進行進一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。如圖1所示，是本發(fā)明第一實施例流程圖，提供了一種圖像信息處理方法，具體包括，步驟S101，對拍攝某一場景的多幅圖片進行配準(zhǔn)處理；具體地，對待配準(zhǔn)圖像及參考圖像按照一定的下采樣比例進行下采樣，構(gòu)成一個由粗到細(xì)的多尺度的高斯金字塔圖片，如圖2所示，是本發(fā)明第一實施例金字塔結(jié)構(gòu)圖；配準(zhǔn)級別越低，將獲得分辨率更低的高斯金字塔圖像；假設(shè)高斯金字塔共為η層，則對應(yīng)于第 m級配準(zhǔn)級別的圖像，其分辨率下降的比例為2(n_m)；所述待配準(zhǔn)圖像指用戶拍出的一組位移或旋轉(zhuǎn)角度相同的降質(zhì)圖片，參考圖像指該組圖片中位移最小或旋轉(zhuǎn)角度最小的質(zhì)量較高的圖片；首先從粗的第一層根據(jù)信息配準(zhǔn)模型計算出估計參數(shù)集合；根據(jù)已經(jīng)求的估計參數(shù)對第二層高斯圖像進行相應(yīng)的平移和旋轉(zhuǎn)；重復(fù)繼續(xù)求解新的估計參數(shù)集合，并對上層的高斯圖像進行相應(yīng)的平移和旋轉(zhuǎn)， 直至得到最優(yōu)的估計參數(shù)。在該步驟中，輸入是η副圖片，輸出為η幅經(jīng)過配準(zhǔn)后的，及去除旋轉(zhuǎn)、平移降質(zhì)因素的圖像。在該步驟中，使用的是多分辨率方法進行配準(zhǔn)，多分辨率方法又稱為多尺度法或多格法，其配準(zhǔn)的基本思想是首先對原始輸入圖像進行下采樣獲得低分辨率圖像，對低分辨率圖像配準(zhǔn)后獲得最優(yōu)的運動變換參數(shù)集合(即估計參數(shù)集合)；并將此變換參數(shù)集合作為初始值，對更高分辨率的圖像進行配準(zhǔn)。由此可知，在后面的配準(zhǔn)中多分辨率配準(zhǔn)可以有效的減少變換參數(shù)的搜索范圍，減少了配準(zhǔn)迭代次數(shù)，從而提高了配準(zhǔn)速度。在上述步驟中，對圖像可借助多種分辨率的表達獲得圖像的多尺度表達。例如，對一幅NXN的圖像，在兩個方向上進行1 2的下采樣，可得到一個較粗略的縮略圖，重復(fù)進行這個過程，即可得一系列不同分辨率的圖像，可以抽象為一個金字塔結(jié)構(gòu)。金字塔各層圖像具有不同的尺寸和分辨率，第1層尺寸最大，分辨率最高。接近底層的圖像(對應(yīng)于細(xì)的尺度)可給出圖像中很多小尺度的細(xì)節(jié)，而接近頂層的圖像(對應(yīng)粗的尺度)可能僅表達了圖像中(大尺度)主要目標(biāo)的特點。如圖3所示，是本發(fā)明第一實施例的設(shè)計配準(zhǔn)架構(gòu)圖，其主要組成成員為參考圖像，待配準(zhǔn)圖像，變換函數(shù)，成員路徑選擇，校對機和優(yōu)化器。該架構(gòu)的作用是描述如何計算出所需的估計參數(shù)集合。其輸入是第η層高斯金字塔圖片，其輸出是經(jīng)過第η次配準(zhǔn)后的待配準(zhǔn)圖片。其中變換函數(shù)的作用是在獲得第η層高斯金字塔圖片后，將用變換函數(shù)來描述第η層的參考圖像和待配準(zhǔn)圖像之間的變換關(guān)系，并基于此變換函數(shù)對待配準(zhǔn)圖片進行相應(yīng)的旋轉(zhuǎn)和平移，變換函數(shù)具體表示從參考圖像上的點到待配準(zhǔn)圖像上的點的空間映射關(guān)系，如平移、旋轉(zhuǎn)、縮放等；在獲得第η層高斯金字塔圖片后，用成員路徑來衡量待配準(zhǔn)函數(shù)被配準(zhǔn)的程度，可將其看作是一個度量值；成員路徑選擇提供了一種參考圖像被待配準(zhǔn)圖像配準(zhǔn)的程度，例如可用相關(guān)尺度信息來衡量匹配相似性程度，主要是通過比較圖像亮度的灰度值來估計變換后的待配準(zhǔn)圖像與參考圖像的配準(zhǔn)質(zhì)量。校對機的輸入是一組經(jīng)過優(yōu)化的變化參數(shù)集合(平移大小，旋轉(zhuǎn)角度等)，作用對象是待配準(zhǔn)圖像，其輸出是經(jīng)過第η 次配準(zhǔn)后的待配準(zhǔn)圖片；校對機(即插值)用來評估配準(zhǔn)圖像在非網(wǎng)格位置的程度。配準(zhǔn)過程是一個運算量很大的迭代過程，因此需要相應(yīng)的優(yōu)化措施使得相似性度量更快、更好地達到最優(yōu)解，因此，需要優(yōu)化器對成員路徑選擇過程進行優(yōu)化，從而輸出較優(yōu)的估計參數(shù)
皇A
朱口 ο步驟S102，對所述配準(zhǔn)后的圖片進行插值運算形成一副高分辨率圖像；具體地，采用雙線性插值法對所述配準(zhǔn)后的圖像進行插值運算，在雙線性插值中，新創(chuàng)造的象素值是由原圖像位置在它附近的4個鄰近象素的值通過加權(quán)平均計算得出的。 這種平均算法具有放鋸齒效果，創(chuàng)造出來的圖像擁有平滑的邊緣，鋸齒難以察覺；對于一個目的像素& = [xi yJT，可由原圖像中坐標(biāo)為(Xi, Yi) > (xi; yi+1)、(xi+1， yi)> (xi+1, yi+1)對應(yīng)的四個像素點決定，則計算公式為= (式)
iWi為各鄰近點的權(quán)值，與到Xi的距離成反比f(Xi+dx, yi+dy) = (l-dx) (l-dy)f (xi; yi) + (l-dx)dyf (xi; yi+1)+dx(l-dy)f (xi+1, Yi) +dxdyf (xi+1, yi+1)所述插值(Interpolation/resampling)是一種圖像處理方法，它可以為數(shù)碼圖像增加或減少象素的數(shù)目。某些數(shù)碼運用插值的方法創(chuàng)造出象素比傳感器實際能產(chǎn)生象素多的圖像，或創(chuàng)造數(shù)碼變焦產(chǎn)生的圖像。實際上，幾乎所有的圖像處理軟件支持一種或以上插值方法。圖像放大后鋸齒現(xiàn)象的強弱直接反映了圖像處理器插值運算的成熟程度。步驟S103，將所述高分辨率圖像進行融合并恢復(fù)為高質(zhì)量圖像；具體地，以圖像像素為出發(fā)點，根據(jù)像素點的變換首先定義空間域的觀測模型，并且在求解運動模型中加入目標(biāo)圖像的相關(guān)先驗約束信息，并輸出高質(zhì)量圖像。該過程基于數(shù)字圖像處理技術(shù)以及概率統(tǒng)計學(xué)，一般來說，在圖像的獲取過程中往往會受到一些退化因素的影響，例如圖片拍攝過程中可能遇到的光學(xué)模糊、運動模糊、隨機噪聲、配準(zhǔn)誤差、下采樣因素等退化因素，所以獲取的圖像不可能都與目標(biāo)場景的原始真實信息符合，誤差是難以避免的，空間域處理的思路就是通過有效的計算方法，對誤差進行改正，使誤差的趨勢接近0，從而可以獲得一幅分辨率提高的清晰的高質(zhì)量圖像。如圖4所示，是圖像提升分辨率的實例圖，在該圖中，登記描述為配準(zhǔn)插值，可對應(yīng)為前述的配準(zhǔn)和插值算法，融合對應(yīng)于簽署的去除模糊噪聲。對同一場景的且存在亞像素相對位移的4幅低分辨率圖像，如果低分辨率圖像之間存在整數(shù)單位的相對位移，那么當(dāng)不考慮圖像模糊、隨機噪聲等退化因素影響時，每幅低分辨率圖像包含相同的信息，沒有互補信息可以用來重建高分辨率圖像。反之，如果低分辨率圖像之間存在亞像素相對位移， 由于圖像感光器的低分辨率水平造成的頻譜混疊，每幅低分辨率圖像的每個像素點所含的信息都具有互補性，每幅低分辨率圖像都不能從其它低分辨率圖像獲得，從而能夠利用所有低分辨率圖像包含的非冗余信息進行重建。在圖3中，兩幅低分辨率圖像之間的水平和垂直方向的亞像素位移為(0.5，0. 5)。如圖5所示，是本發(fā)明第二實施例結(jié)構(gòu)圖，提供了一種圖像信息處理裝置，包括，圖像配準(zhǔn)模塊501，用于對待配準(zhǔn)圖像進行配準(zhǔn)處理，所述待配準(zhǔn)圖像指用戶拍出的一組位移或旋轉(zhuǎn)角度相同的降質(zhì)圖片；具體地，用于對待配準(zhǔn)圖像及參考圖像進行下采樣，構(gòu)成一個多尺度的高斯金字塔圖像，所述參考圖像指該組圖片中位移最小或旋轉(zhuǎn)角度最小的質(zhì)量較高的圖片；所述金字塔各層圖像具有不同尺寸和分辨率，其中，第一層尺寸最大、分辨率最高；用于從粗的第一層高斯金字塔圖片開始，根據(jù)互信息配準(zhǔn)模型計算出估計參數(shù)集合，根據(jù)所述估計參數(shù)對第二層高斯圖像進行相應(yīng)的平移和旋轉(zhuǎn)；以及，用于重復(fù)繼續(xù)求解新的估計參數(shù)集合，并對上層的高斯圖像進行相應(yīng)的平移和旋轉(zhuǎn)，直至得到最優(yōu)的估計參數(shù)。
7
圖像插值模塊502，用于對所述配準(zhǔn)后的圖片進行插值運算形成一高分辨率圖像；具體地，用于采用雙線性插值法對所述配準(zhǔn)后的圖像進行插值運算，在雙線性插值中，新創(chuàng)造的象素值是由原圖像位置在它附近的4個鄰近象素的值通過加權(quán)平均計算得出的。圖像恢復(fù)模塊503，用于將所述高分辨率圖像進行融合并恢復(fù)為高質(zhì)量圖像。所述圖像恢復(fù)模塊具體用于以圖像像素為出發(fā)點，根據(jù)像素點的變換首先定義空間域的觀測模型，并且在求解運動模型中加入目標(biāo)圖像的相關(guān)先驗約束信息，并輸出高質(zhì)量圖像。上述說明示出并描述了本發(fā)明的一個優(yōu)選實施例，但如前所述，應(yīng)當(dāng)理解本發(fā)明并非局限于本文所披露的形式，不應(yīng)看作是對其他實施例的排除，而可用于各種其他組合、 修改和環(huán)境，并能夠在本文所述發(fā)明構(gòu)想范圍內(nèi)，通過上述教導(dǎo)或相關(guān)領(lǐng)域的技術(shù)或知識進行改動。而本領(lǐng)域人員所進行的改動和變化不脫離本發(fā)明的精神和范圍，則都應(yīng)在本發(fā)明所附權(quán)利要求的保護范圍內(nèi)。
權(quán)利要求
1.一種圖像信息處理方法，其特征在于，包括，對待配準(zhǔn)圖像進行配準(zhǔn)處理，所述待配準(zhǔn)圖像指用戶拍出的一組位移或旋轉(zhuǎn)角度相同的降質(zhì)圖片；對所述配準(zhǔn)后的圖片進行插值運算形成一高分辨率圖像； 將所述高分辨率圖像進行融合并恢復(fù)為高質(zhì)量圖像。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述進行配準(zhǔn)處理具體為，對待配準(zhǔn)圖像及參考圖像進行下采樣，構(gòu)成一個多尺度的高斯金字塔圖像，所述參考圖像指該組圖片中位移最小或旋轉(zhuǎn)角度最小的質(zhì)量較高的圖片；從粗的第一層高斯金字塔圖片開始，根據(jù)互信息配準(zhǔn)模型計算出估計參數(shù)集合； 根據(jù)已經(jīng)求的估計參數(shù)對第二層高斯圖像進行相應(yīng)的平移和旋轉(zhuǎn)； 重復(fù)繼續(xù)求解新的估計參數(shù)集合，并對上層的高斯圖像進行相應(yīng)的平移和旋轉(zhuǎn)，直至得到最優(yōu)的估計參數(shù)。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述金字塔各層圖像具有不同尺寸和分辨率，其中，第一層尺寸最大、分辨率最高。
4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述進行插值運算具體為，采用雙線性插值法對所述配準(zhǔn)后的圖像進行插值運算，在雙線性插值中，新創(chuàng)造的象素值是由原圖像位置在它附近的4個鄰近象素的值通過加權(quán)平均計算得出的。
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述進行融合并恢復(fù)具體為，以圖像像素為出發(fā)點，根據(jù)像素點的變換首先定義空間域的觀測模型，并且在求解運動模型中加入目標(biāo)圖像的相關(guān)先驗約束信息，并輸出高質(zhì)量圖像。
6.一種圖像信息處理裝置，其特征在于，包括，圖像配準(zhǔn)模塊，用于對待配準(zhǔn)圖像進行配準(zhǔn)處理，所述待配準(zhǔn)圖像指用戶拍出的一組位移或旋轉(zhuǎn)角度相同的降質(zhì)圖片；圖像插值模塊，用于對所述配準(zhǔn)后的圖片進行插值運算形成一高分辨率圖像； 圖像恢復(fù)模塊，用于將所述高分辨率圖像進行融合并恢復(fù)為高質(zhì)量圖像。
7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述圖像配準(zhǔn)模塊具體用于，用于對待配準(zhǔn)圖像及參考圖像進行下采樣，構(gòu)成一個多尺度的高斯金字塔圖像，所述參考圖像指該組圖片中位移最小或旋轉(zhuǎn)角度最小的質(zhì)量較高的圖片；用于從粗的第一層高斯金字塔圖片開始，根據(jù)互信息配準(zhǔn)模型計算出估計參數(shù)集合， 根據(jù)所述估計參數(shù)對第二層高斯圖像進行相應(yīng)的平移和旋轉(zhuǎn)；以及，用于重復(fù)繼續(xù)求解新的估計參數(shù)集合，并對上層的高斯圖像進行相應(yīng)的平移和旋轉(zhuǎn)， 直至得到最優(yōu)的估計參數(shù)。
8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述金字塔各層圖像具有不同尺寸和分辨率，其中，第一層尺寸最大、分辨率最高。
9.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述圖像插值模塊具體用于，用于采用雙線性插值法對所述配準(zhǔn)后的圖像進行插值運算，在雙線性插值中，新創(chuàng)造的象素值是由原圖像位置在它附近的4個鄰近象素的值通過加權(quán)平均計算得出的。
10.根據(jù)權(quán)利要求9所述的方法，其特征在于，所述圖像恢復(fù)模塊具體用于以圖像像素為出發(fā)點，根據(jù)像素點的變換首先定義空間域的觀測模型，并且在求解運動模型中加入目標(biāo)圖像的相關(guān)先驗約束信息，并輸出高質(zhì)量圖像。
全文摘要
本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，提供了一種圖像信息處理方法，包括，對待配準(zhǔn)圖像進行配準(zhǔn)處理，所述待配準(zhǔn)圖像指用戶拍出的一組位移或旋轉(zhuǎn)角度相同的降質(zhì)圖片；對所述配準(zhǔn)后的圖片進行插值運算形成一高分辨率圖像；將所述高分辨率圖像進行融合并恢復(fù)為高質(zhì)量圖像。本發(fā)明還提供了一種圖像信息處理方法。采用上述技術(shù)方案，基于軟件方法來提升相機的分辨率，充分利用多幅圖片之間的互補信息，使用戶能夠從提高清晰度的特定圖片中獲得更多有用信息，為更高級別圖像處理功能，例如人臉識別等提供較高質(zhì)量的圖片，從而提高相機圖片的信息價值的利用率，讓用戶更滿意。
文檔編號G06T7/00GK102496158SQ201110378728
公開日2012年6月13日 申請日期2011年11月24日 優(yōu)先權(quán)日2011年11月24日
發(fā)明者吳小亮 申請人:中興通訊股份有限公司