專利名稱：超分辨率裝置和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及超分辨率裝置和方法。
背景技術(shù)：
具有大量像素和高分辨率的電視或顯示器正在被廣泛使用。這些電視或顯示器在 顯示圖像時(shí)將圖像數(shù)據(jù)中的多個(gè)像素轉(zhuǎn)換成顯示面板的多個(gè)像素。在增加像素?cái)?shù)目的 超分辨率轉(zhuǎn)換中，通常采用復(fù)幀劣化逆轉(zhuǎn)換法(multiple frame deterioration reverse conversion method)來獲得比傳統(tǒng)線性內(nèi)差法(linear interpolation method)更清晰的 圖像(例如，參見USP 6， 285, 804， S. Park等人，"Super resolution Image Reconstruction: A Technical Overview (超分辨率圖像重建技術(shù)綜述)"，IEEE Signal Processing Magazine (IEEE信號(hào)處理雜志)，USA, IEEE 2003年5月，第21-36頁，其內(nèi)容通過 引用包含在此)。利用在參考幀中出現(xiàn)的被拍攝對(duì)象也出現(xiàn)在別的幀中這一事實(shí)，復(fù)幀劣化逆轉(zhuǎn)換 法以像素間隔以下的高精確度檢測(cè)被拍攝對(duì)象的移動(dòng)，并且獲得多個(gè)采樣值，采樣值 的位置相對(duì)于被拍攝對(duì)象的同一局部位置發(fā)生微小移位。在復(fù)幀劣化逆轉(zhuǎn)換法中，需要很多低分辨率圖像，以獲得足夠數(shù)目的采樣值，因 而導(dǎo)致存儲(chǔ)器數(shù)量增加。另外，還有一個(gè)問題是需要通過塊匹配搜索處理獲得多個(gè)對(duì) 應(yīng)點(diǎn)的關(guān)系，因而導(dǎo)致計(jì)算量增加。發(fā)明內(nèi)容在這種情況下，本發(fā)明的目的是提供超分辨率裝置和方法，用較少的存儲(chǔ)器和計(jì) 算量獲得清晰的超分辨率圖像。為實(shí)現(xiàn)上述目的，本發(fā)明的一個(gè)方面是一種超分辨率裝置，包括-候補(bǔ)區(qū)域設(shè)定單元，將圖像數(shù)據(jù)中包含的多個(gè)像素中的至少一個(gè)像素設(shè)定為目標(biāo)
像素，該圖像數(shù)據(jù)包括分布在屏幕中的多個(gè)像素和代表像素亮度的像素值，將包括目 標(biāo)像素以及目標(biāo)像素周邊像素的區(qū)域設(shè)定為目標(biāo)像素區(qū)域，以及設(shè)定搜索區(qū)域用于在 屏幕中搜索目標(biāo)像素區(qū)域中所包含像素的像素值的多個(gè)變化樣式；匹配差值計(jì)算單元，計(jì)算目標(biāo)像素區(qū)域中所包含像素的像素值的變化樣式與包含 搜索區(qū)域中的搜索像素和搜索像素周邊像素的區(qū)域中所包含像素的像素值的變化樣式 之間的差值；差值比較單元，比較由匹配差值計(jì)算單元計(jì)算得到的搜索區(qū)域中各個(gè)像素的變化 樣式的差值，獲得具有最小差值的第一像素位置，以及具有第二差值在第一像素位置 周邊的第二像素位置；存儲(chǔ)器，存儲(chǔ)由差值比較單元計(jì)算得到的第一像素位置及其第一差值，以及第二 像素位置及其第二差值；十進(jìn)制精度向量計(jì)算單元，根據(jù)存儲(chǔ)在存儲(chǔ)器中的第一像素位置及其第一差值， 以及第二像素位置及其第二差值，以十進(jìn)制精度計(jì)算搜索區(qū)域中具有最小差值的位置， 并且計(jì)算從目標(biāo)像素開始并終止于具有最小差值的位置的十進(jìn)制精度向量；外插向量計(jì)算單元，利用十進(jìn)制精度向量計(jì)算十進(jìn)制精度向量的外插向量，該外 插向量終止于不包括在搜索區(qū)域中的屏幕上的像素；以及超分辨率像素值計(jì)算單元，根據(jù)十進(jìn)制精度向量、外插向量以及從圖像數(shù)據(jù)獲得 的像素值，計(jì)算像素?cái)?shù)目大于圖像數(shù)據(jù)中所包括像素?cái)?shù)目的超分辨率圖像的像素值。


圖1是根據(jù)本發(fā)明的實(shí)施例的超分辨率裝置的框圖；圖2是根據(jù)本發(fā)明的實(shí)施例的超分辨率裝置的框圖；圖3是根據(jù)本發(fā)明的實(shí)施例的超分辨率裝置的操作實(shí)例的流程圖；圖4是顯示低分辨率圖像數(shù)據(jù)的屏幕和像素之間的位置關(guān)系的示意圖；圖5是顯示通過對(duì)圖4所示圖像進(jìn)行超分辨率處理所獲得的超分辨率圖像的示意圖；圖6是顯示通過匹配圖4中圖像的像素間隔和圖5中圖像的像素間隔所獲得的低 分辨率圖像的示意圖；圖7是顯示圖4和圖5中的像素之間的位置關(guān)系的示意圖；圖8是顯示被拍攝數(shù)據(jù)的位置坐標(biāo)和亮度之間的關(guān)系的示意圖； 圖9是顯示目標(biāo)像素和目標(biāo)圖像區(qū)域的設(shè)定的示意圖； 圖IO是顯示目標(biāo)像素和搜索區(qū)域的設(shè)定的示意圖； 圖11是說明拋物線擬合法的示意圖；圖12是顯示通過匹配處理計(jì)算自相一致位置的示意圖； 圖13是顯示通過外插估算生成自相一致位置的示意圖； 圖14是顯示通過內(nèi)插估算生成自相一致位置的示意圖； 圖15是顯示通過復(fù)制生成自相一致位置的示意圖；圖16是顯示在屏幕空間內(nèi)計(jì)算得到的多個(gè)自相一致位置的示意圖； 圖17是顯示通過重疊法獲得超分辨率圖像的像素值時(shí)的操作實(shí)例的流程圖； 圖18是顯示用于說明初步估算的超分辨率圖像的樣本值的計(jì)算方法的屏幕、像素 以及矩形的示意圖；圖19是顯示通過為每個(gè)樣本值確立條件式的超分辨率的操作實(shí)例的流程圖；圖20是顯示在超分辨率處理之后位置坐標(biāo)和亮度之間的關(guān)系的示意圖。
具體實(shí)施方式
以下參考附圖，對(duì)本發(fā)明實(shí)施例所對(duì)應(yīng)的超分辨率裝置和方法進(jìn)行說明。 圖1是根據(jù)本發(fā)明的實(shí)施例的超分辨率裝置的框圖。如圖1所示，超分辨率裝置包括存儲(chǔ)器101，候補(bǔ)區(qū)域設(shè)定單元102，匹配差值計(jì) 算單元103，差值比較單元104，存儲(chǔ)器105，拋物線擬合單元107，存儲(chǔ)器108，自 相一致位置估算單元109。在本說明書中，術(shù)語"自相一致(self-congruent)"表示在 同一幀中像素的亮度變化樣式相似。術(shù)語"自相一致位置(self-congruent position)"是用向量表示的自相一致位置。存儲(chǔ)器101獲取并存儲(chǔ)低分辨率圖像數(shù)據(jù)。低分辨率圖像數(shù)據(jù)可以是電影或靜止 圖像，是通過在屏幕中配置多個(gè)像素獲得的并以像素值表示像素亮度的圖像數(shù)據(jù)。在 本實(shí)施例中，低分辨率圖像數(shù)據(jù)獲取自圖像源，即諸如照相機(jī)或電視機(jī)的圖像數(shù)據(jù)生 成單元(未顯示)。具體而言，低分辨率圖像數(shù)據(jù)是由照相機(jī)攝取的或者由電視機(jī)接收 的圖像數(shù)據(jù)。候補(bǔ)區(qū)域設(shè)定單元102將低分辨率圖像數(shù)據(jù)中的多個(gè)像素中的至少一個(gè)像素設(shè)定
為目標(biāo)像素，并將包括目標(biāo)像素和目標(biāo)像素周邊像素的區(qū)域設(shè)定為目標(biāo)像素區(qū)域，還 設(shè)定搜索區(qū)域用來在屏幕中搜索目標(biāo)像素區(qū)域中所包含像素的像素值的多個(gè)變化樣 式。之后，候補(bǔ)區(qū)域設(shè)定單元102生成信號(hào)，指示目標(biāo)像素、目標(biāo)區(qū)域和搜索區(qū)域， 并且將這些信號(hào)輸出到存儲(chǔ)器101和存儲(chǔ)器105?；谥甘灸繕?biāo)像素、目標(biāo)區(qū)域和搜索區(qū)域的信號(hào)，存儲(chǔ)器101將來自低分辨率像 素圖像數(shù)據(jù)的包括目標(biāo)像素的目標(biāo)像素區(qū)域的圖像數(shù)據(jù)，以及搜索區(qū)域中的圖像數(shù)據(jù) 輸出到匹配差值計(jì)算單元103。存儲(chǔ)器101向超分辨率像素值計(jì)算單元106逐個(gè)提供 低分辨率圖像數(shù)據(jù)。匹配差值計(jì)算單元103計(jì)算目標(biāo)像素區(qū)域中所包含像素的像素值的變化樣式和搜 索區(qū)域中所包含像素的像素值的變化樣式之間的差值，搜索區(qū)域中所包含像素是指包 含搜索區(qū)域中的搜索像素和搜索像素周邊像素的區(qū)域中的像素。匹配差值計(jì)算單元103計(jì)算目標(biāo)像素區(qū)域中的圖像數(shù)據(jù)和搜索區(qū)域中的圖像數(shù)據(jù) 之間的差值。例如，可以通過對(duì)各像素值的絕對(duì)距離求和或平方距離求和來計(jì)算差值。 目標(biāo)像素區(qū)域的圖像數(shù)據(jù)可以是，例如，目標(biāo)塊的數(shù)據(jù)。匹配差值計(jì)算單元103依次 改變搜索區(qū)域中要計(jì)算差值的圖像部分，并且獲得要計(jì)算差值的目標(biāo)像素區(qū)域中圖像 部分的圖像數(shù)據(jù)的差值。差值比較單元104計(jì)算出在搜索區(qū)域中由匹配差值計(jì)算單元103計(jì)算得到的多個(gè) 差值中具有最小差值的像素位置。存儲(chǔ)器105從候補(bǔ)區(qū)域設(shè)定單元102獲取位置信息，并存儲(chǔ)由差值比較單元104 計(jì)算得到的具有最小差值的像素位置和匹配差值，還存儲(chǔ)圍繞在具有最小差值的像素 位置周圍的像素位置以及這些位置的匹配差值。拋物線擬合單元107根據(jù)存儲(chǔ)在存儲(chǔ)器105中的具有最小差值的像素位置和匹配 差值，以及圍繞在具有最小差值的像素位置周圍的像素位置和這些位置的匹配差值， 運(yùn)用對(duì)稱函數(shù)，以十進(jìn)制精度計(jì)算具有最小差值的像素位置，并且將計(jì)算得到的位置 確定為自相一致位置。對(duì)一個(gè)目標(biāo)像素至少獲得一個(gè)自相一致位置。在下文中將對(duì)拋 物線擬合單元107進(jìn)行詳細(xì)說明。自相一致位置估算單元109根據(jù)由拋物線擬合單元107計(jì)算得到的自相一致位置 的變化量，估計(jì)和計(jì)算至少一個(gè)自相一致位置。 存儲(chǔ)器108存儲(chǔ)自相一致位置的信息，該位置由拋物線擬合單元107和自相一致 位置估算單元109獲得。在為低分辨率圖像的預(yù)定像素獲得自相一致位置之后，超分辨率像素值計(jì)算單元 106從存儲(chǔ)器101獲得低分辨率圖像的圖像數(shù)據(jù)，并從存儲(chǔ)器108獲得自相一致位置， 同時(shí)利用低分辨率圖像的每個(gè)像素?cái)?shù)據(jù)的自相一致位置，確立條件式，從而獲得方案， 確定超分辨率圖像的像素值，并輸出像素值數(shù)據(jù)。接下來，參考圖2，對(duì)采用過采樣法替代拋物線擬合法的超分辨率裝置進(jìn)行說明。圖2中的超分辨率裝置配置為此種方式，去除了圖1中的拋物線擬合單元107，而 用過采樣單元110和存儲(chǔ)器111替代。候補(bǔ)區(qū)域設(shè)定單元102將圖像數(shù)據(jù)中所包含的多個(gè)像素中的至少一個(gè)像素設(shè)定為 目標(biāo)像素，該圖像數(shù)據(jù)包括屏幕上分布的多個(gè)像素和表示像素亮度的像素值，并將包 括目標(biāo)像素以及目標(biāo)像素周邊像素的區(qū)域設(shè)定為目標(biāo)像素區(qū)域，還設(shè)定搜索區(qū)域用來 搜索目標(biāo)像素區(qū)域中所包含像素的像素值的多個(gè)變化樣式。過采樣單元110在圖像數(shù)據(jù)的像素之間插入另一像素，該圖像數(shù)據(jù)的目標(biāo)像素區(qū) 域和搜索區(qū)域被設(shè)置為生成內(nèi)插圖像數(shù)據(jù)。換句話說，過采樣單元uo根據(jù)差值計(jì)算 的間隔增加低分辨率數(shù)據(jù)的數(shù)據(jù)量。存儲(chǔ)器111暫時(shí)存儲(chǔ)由過采樣單元110采樣的數(shù)據(jù)，并向匹配差值計(jì)算單元103 提供該數(shù)據(jù)。匹配差值計(jì)算單元103計(jì)算目標(biāo)像素區(qū)域中所包括像素的像素值的變化樣式與包 括搜索區(qū)域中的搜索像素和搜索像素周邊像素的區(qū)域中所包括像素的像素值的變化樣 式之間的差值。差值比較單元104計(jì)算出搜索區(qū)域中由匹配差值計(jì)算單元103計(jì)算得到的多個(gè)差 值中具有最小差值的像素的位置。存儲(chǔ)器105從候補(bǔ)區(qū)域設(shè)定單元102獲取由差值比較單元104計(jì)算得到的具有最 小差值的計(jì)算像素位置的位置信息，并且存儲(chǔ)從目標(biāo)像素開始到具有最小匹配差值的 像素結(jié)束的積分精度向量。自相一致位置估算單元109根據(jù)匹配差值計(jì)算單元103計(jì)算得到的差值和存儲(chǔ)器 105計(jì)算得到的積分精度向量的變化量，估計(jì)和計(jì)算一個(gè)或多個(gè)自相一致位置。存儲(chǔ)器108存儲(chǔ)由自相一致位置估算單元109獲得的自相一致位置。
在為低分辨率圖像的預(yù)定像素獲得自相一致位置之后，超分辨率像素值計(jì)算單元106從存儲(chǔ)器101獲得低分辨率圖像的圖像數(shù)據(jù)，并從存儲(chǔ)器108獲得自相一致位置， 同時(shí)利用低分辨率圖像的每個(gè)像素?cái)?shù)據(jù)的自相一致位置確立條件式，求解確定超分辨 率圖像的像素值，并輸出像素值數(shù)據(jù)。以下參考圖3，結(jié)合圖1對(duì)超分辨率裝置的操作實(shí)施例進(jìn)行說明。在下述說明中圖 像可以稱為幀。如圖3所示，在步驟S201中，候補(bǔ)區(qū)域設(shè)定單元102按照預(yù)定順序?qū)⒌头直媛蕡D 像數(shù)據(jù)的像素設(shè)定為目標(biāo)像素。對(duì)于靜止圖像，該順序是光柵順序，例如，在屏幕上 從左上像素向右，從最上一行向下。然后，在步驟S202中，匹配差值計(jì)算單元103，差值比較單元104，和拋物線擬 合單元107在低分辨率圖像數(shù)據(jù)的屏幕范圍內(nèi)檢測(cè)對(duì)應(yīng)于目標(biāo)像素的點(diǎn)(自相一致位 置)。接下來，在步驟S203中，自相一致位置估算單元109根據(jù)拋物線擬合單元107計(jì) 算的自相一致位置的變化量，估算并生成新的自相一致位置。接下來，在步驟S204中，匹配差值計(jì)算單元103確定是否已為高分辨率處理所用 的低分辨率圖像數(shù)據(jù)的每個(gè)像素獲得自相一致位置。如果否，處理返回到步驟S201， 在其中處理下一個(gè)像素，如果是，處理前進(jìn)到步驟S205。接下來，在步驟S205中，超分辨率像素值計(jì)算單元106利用低分辨率圖像數(shù)據(jù)的 像素值以及檢測(cè)到的自相一致位置，計(jì)算對(duì)應(yīng)于低分辨率圖像數(shù)據(jù)的超分辨率圖像數(shù) 據(jù)的像素值，并且終止處理。將參考圖16對(duì)超分辨率圖像數(shù)據(jù)的像素值的計(jì)算進(jìn)行說 明。圖4顯示低分辨率圖像的屏幕301和像素302之間的位置關(guān)系。 該圖像的亮度在屏幕范圍中基本上連續(xù)分布。然而，對(duì)于此處處理的數(shù)碼圖像數(shù)據(jù)，像素在屏幕空間內(nèi)分布為離散的采樣點(diǎn)，并且其周圍的亮度由每個(gè)像素本身的亮度代表。圖4顯示屏幕被分為橫向6個(gè)、縱向4個(gè)的24個(gè)正方形，并且24個(gè)像素301分 布在上述各個(gè)正方形的中心作為采樣點(diǎn)302。接下來圖5顯示通過使圖4所示屏幕橫向2倍、縱向2倍，對(duì)圖4所示屏幕應(yīng)用 超分辨率處理的狀態(tài)。超分辨率圖像數(shù)據(jù)中的像素的采樣點(diǎn)401由空心圓表示。在這
種方式下，像素的采樣點(diǎn)401的間隔是低分辨率圖像數(shù)據(jù)的一半。圖6用與超分辨率圖像數(shù)據(jù)的間隔相同的間隔顯示原始低分辨率圖像數(shù)據(jù)的像素。在這種情況下，低分辨率圖像數(shù)據(jù)的尺寸小于超分辨率圖像數(shù)據(jù)的尺寸。在這種情況下，當(dāng)調(diào)整低分辨率圖像數(shù)據(jù)的屏幕尺寸以匹配超分辨率圖像數(shù)據(jù)的屏幕時(shí)，像素的采樣點(diǎn)間隔將增加，并且當(dāng)調(diào)整像素的采樣點(diǎn)間隔以匹配超分辨率圖像數(shù)據(jù)的采樣點(diǎn)間隔時(shí)，屏幕的尺寸將減少。然而，這些現(xiàn)象說明同一件事，所以在本說明書中，為了便于說明，低分辨率圖像如圖4和圖6所示。圖7是利用實(shí)心圓顯示低分辨率圖像數(shù)據(jù)的像素的采樣點(diǎn)，并且以空心圓顯示超分辨率圖像數(shù)據(jù)的像素的采樣點(diǎn)的示意圖。超分辨率的處理是根據(jù)由實(shí)心圓表征的采樣點(diǎn)的亮度值，獲取由空心圓表示的采樣點(diǎn)的亮度值。接下來，利用圖8到圖11，以具體實(shí)例對(duì)圖3中說明的步驟S202進(jìn)行說明。 在相關(guān)技術(shù)的復(fù)幀劣化逆轉(zhuǎn)換法中，執(zhí)行超分辨率處理是通過以子像素精度計(jì)算多個(gè)幀中的對(duì)應(yīng)相同點(diǎn)，增加低分辨率圖像數(shù)據(jù)的采樣點(diǎn)的數(shù)目。換句話說，需要在多個(gè)幀中通過對(duì)具有相同亮度變化的部分以不同相位進(jìn)行采樣獲得大量像素值，因此需要很大的存儲(chǔ)器。圖8顯示實(shí)際圖片的數(shù)據(jù)。橫軸代表像素的橫坐標(biāo)，縱軸代表亮度。5行數(shù)據(jù)分別用不同的曲線表示。如圖所 示，在同一幀中存在有即使行不同但亮度非常相近的位置。圖像的這種特性被稱為在 局部樣式上具有自相一致特性，并且在特定目標(biāo)像素周圍存在的自相一致位置被稱為 自相一致位置。在本發(fā)明中，由于利用被拍攝對(duì)象在幀內(nèi)的自相一致特性實(shí)現(xiàn)超分辨率，因此不 再需要在存儲(chǔ)器中保持多個(gè)低分辨率圖像數(shù)據(jù)，從而能夠以較小的存儲(chǔ)容量實(shí)現(xiàn)超分 辨率。圖9是顯示圖1和圖2所示的候補(bǔ)區(qū)域設(shè)定單元102設(shè)定目標(biāo)像素和目標(biāo)區(qū)域的 狀態(tài)的示意圖。如圖9所示，候補(bǔ)區(qū)域設(shè)定單元102提取一些正方形像素，例如，從目標(biāo)像素801 位于中心的幀802中提取具有5x5像素或3x3像素的正方形方塊803。圖IO是顯示圖1和圖2所示的候補(bǔ)區(qū)域設(shè)定單元102設(shè)定搜索區(qū)域901的狀態(tài)的 示意圖。在該圖中表示的實(shí)例是將搜索區(qū)域設(shè)定為y坐標(biāo)固定、在x方向上設(shè)定6個(gè)
像素。匹配差值計(jì)算單元103為搜索區(qū)域901中包括的各個(gè)像素搜索像素值的變化樣 式接近圖9所示的目標(biāo)圖像區(qū)域803的部分。匹配差值計(jì)算單元103計(jì)算的各個(gè)圖像區(qū)域的匹配差值可以是SSD(平方距離和)， 即圖像區(qū)域中各個(gè)像素值之間的平方距離之和，或者SAD (絕對(duì)距離和)，即絕對(duì)距 離之和。在這種情況下，搜索區(qū)域在y坐標(biāo)固定的情況下設(shè)定于x方向。用這種方式獲取 子像素估算的方法在低分辨率圖像數(shù)據(jù)的亮度在橫向發(fā)生變化時(shí)尤為有效。雖然沒有在圖中顯示，但是當(dāng)?shù)头直媛蕡D像數(shù)據(jù)的亮度在縱向發(fā)生變化時(shí)，固定x 坐標(biāo)、將搜索區(qū)域設(shè)定為y方向并且獲取子像素估算的方法也是有效的。因此，如果邊緣為縱向，就用候補(bǔ)區(qū)域設(shè)定單元102將至少一個(gè)搜索區(qū)域設(shè)定在 與邊緣垂直的橫向，如果邊緣為橫向，則用候補(bǔ)區(qū)域設(shè)定單元102將至少一個(gè)搜索區(qū) 域設(shè)定在縱向的方法是有效的。換句話說，檢測(cè)目標(biāo)像素的像素值的傾斜方向，用以 在傾斜方向上搜索自相一致位置。調(diào)用來自候補(bǔ)區(qū)域設(shè)定單元102的像素的位置信息，通過比較匹配差值計(jì)算單元 103計(jì)算得到的匹配差值，獲得具有最小差值的像素位置，并且將具有最小差值的像 素位置及其匹配差值、以及圍繞在具有最小差值的像素位置周圍的像素的位置和這些 位置的匹配差值存儲(chǔ)在存儲(chǔ)器中。接下來，對(duì)在預(yù)設(shè)搜索區(qū)域中的子像素(具有十進(jìn)制精度)的估算進(jìn)行說明。估 算子像素的一個(gè)方法是拋物線擬合法(例如，見"Signification and Property of Sub pixel Estimation in Image Matching (圖像匹配中子像素估算的含義和性質(zhì))"，Shimizu, Okutomi，其內(nèi)容通過引用包含在此)。拋物線擬合法根據(jù)目標(biāo)像素區(qū)域和預(yù)設(shè)搜索區(qū)域內(nèi)像素周圍的候補(bǔ)圖像區(qū)域之間 的具有積分精度的匹配差值，計(jì)算具有十進(jìn)制精度的最小匹配差值的位置。通過在搜索區(qū)域中以積分精度移動(dòng)候補(bǔ)圖像區(qū)域的位置計(jì)算匹配差值，并且計(jì)算 搜索區(qū)域空間內(nèi)具有積分精度的匹配差值地圖。圖11是顯示拋物線擬合法的匹配方法的曲線圖，其中橫軸表示像素，縱軸表示匹 配差值。如圖11所示，通過在具有最小匹配差值的積分精度的位置移位量(x = m)周圍 應(yīng)用拋物線(或者對(duì)稱連續(xù)函數(shù))，可以計(jì)算出子像素精度的位置移位量，作為應(yīng)用到 積分精度的離散匹配差值圖的拋物線(或者對(duì)稱連續(xù)函數(shù))的頂點(diǎn)位置。 圖12是利用拋物線擬合法計(jì)算十進(jìn)制精度向量的狀態(tài)的示意圖。如圖12所示，根據(jù)在搜索區(qū)域901中的每個(gè)像素上計(jì)算得到的匹配差值，在搜索 區(qū)域卯l中以十進(jìn)制精度計(jì)算出具有最小差值的位置，并且計(jì)算出從目標(biāo)像素801開 始并終止于該位置的具有十進(jìn)制精度的向量1101。除了拋物線擬合法，也可以采用Shimizu， Okutomi在"Signification and Property of Sub pixel Estimation in Image Matching (圖像匹配中子像素估算的含義和性質(zhì))"中提 出的等角擬合法。在利用結(jié)合圖2所說明的過采樣單元110的方法中，低分辨率圖像數(shù)據(jù)被放大， 例如，通過諸如線性內(nèi)插或立方巻積法的放大方法放大到兩倍。當(dāng)在該狀態(tài)下搜索像 素精度時(shí)，相當(dāng)于用原始低分辨率圖像數(shù)據(jù)中的0.5個(gè)像素的精度計(jì)算移位量。以這 種方式，在過采樣法中，必需加倍數(shù)據(jù)量使精度(獲得差值的間隔)減半，并且使數(shù) 據(jù)量增加到四倍，而使精度降到四分之一。以下參考圖13到圖15，對(duì)圖3中步驟S203所執(zhí)行的估算生成自相一致位置進(jìn)行 說明。由于需要計(jì)算搜索區(qū)域中的圖像區(qū)域之間的匹配差值，并且計(jì)算次數(shù)與獲得自相 一致位置的數(shù)量相對(duì)應(yīng)，所以在步驟S202中執(zhí)行的自相一致位置計(jì)算需要很大的處 理量。因此，在步驟S203中，根據(jù)步驟S202中計(jì)算的自相一致位置，通過外插估算、 內(nèi)插估算和復(fù)制估算，用很小的處理量生成新的自相一致位置。這里外插估算是指從由匹配計(jì)算得到的一個(gè)或多個(gè)自相一致位置以外的搜索區(qū)域 中估算的新的自相一致位置。內(nèi)插估算是指從由匹配計(jì)算得到的兩個(gè)或多個(gè)自相一致位置以內(nèi)的搜索區(qū)域中估 算的新的自相一致位置。復(fù)制估算是指估算通過匹配計(jì)算得到的目標(biāo)像素的自相一致位置作為附近的目標(biāo) 像素的自相一致位置。圖13是顯示通過外插估算生成自相一致位置的示意圖；如圖13所示，用圖3中的步驟S202計(jì)算得到目標(biāo)像素1201上一行上的自相一致 位置1202。通過外插，目標(biāo)像素1201上兩行上的自相一致位置可以估算為將目標(biāo)像 素1201上一行上的自相一致位置1202的變化量的兩倍。參考標(biāo)號(hào)1203代表通過外插 估算獲得的目標(biāo)像素1201上兩行上的自相一致位置。外插的執(zhí)行不僅可以從一個(gè)自相一致位置估算一個(gè)位置，還可以估算多個(gè)自相一 致位置。同樣可以將新的自相一致位置估算在十進(jìn)制倍乘變化量的位置，以及積分倍 乘變化量的位置上。換句話說，通過利用由圖1中的拋物線擬合單元107在搜索區(qū)域中以十進(jìn)制精度 計(jì)算的具有十進(jìn)制精度的向量1202，該向量從目標(biāo)像素開始并且終止于具有最小差值 的位置，或者通過利用在圖像數(shù)據(jù)的像素之間內(nèi)插另一個(gè)像素而獲得的具有積分精度 的向量1202，在該圖像數(shù)據(jù)中設(shè)定目標(biāo)像素區(qū)域和搜索區(qū)域以生成內(nèi)插圖像數(shù)據(jù)，并 且之后用圖2中的過采樣單元110計(jì)算具有最小差值的位置，計(jì)算出具有十進(jìn)制精度、 終止于屏幕上不包括在搜索區(qū)域中的像素的外插向量1203。圖14是用于說明通過內(nèi)插估算生成自相一致位置的示意圖。如圖14所示，目標(biāo)像素1301上一行上的自相一致位置1302以及目標(biāo)像素1301 上三行上的自相一致位置1303通過圖3中的步驟S202計(jì)算得到。在目標(biāo)像素1301 上兩行上的自相一致位置1302可以通過內(nèi)插，估算為從目標(biāo)像素位置1301到一行之 上的自相一致位置1302的變化量，與從目標(biāo)像素位置1301到三行之上的自相一致位 置1303的變化量之間的內(nèi)部劃分點(diǎn)。內(nèi)插估算不僅可以從兩個(gè)自相一致位置1302， 1303估算單個(gè)自相一致位置1304， 而且可以通過內(nèi)部劃分為n個(gè)相等的塊，獲得多個(gè)自相一致位置。換句話說，通過利用由圖1中的拋物線擬合單元107在搜索區(qū)域中以十進(jìn)制精度 計(jì)算的具有十進(jìn)制精度的向量1202，該向量從目標(biāo)像素開始并且終止于具有最小差值 的位置，或者通過利用在圖像數(shù)據(jù)的像素之間內(nèi)插另一個(gè)像素得到的具有積分精度的 向量1302、 1303，在該圖像數(shù)據(jù)中設(shè)置目標(biāo)像素區(qū)域和搜索區(qū)域以生成內(nèi)插圖像數(shù)據(jù)， 并且之后用圖2中的過采樣單元UO計(jì)算具有最小差值的位置，計(jì)算出具有十進(jìn)制精 度、終止于屏幕上不包括在搜索區(qū)域中的像素的內(nèi)插向量1304。圖15是說明通過復(fù)制估算生成自相一致位置的示意圖。如圖15所示，用圖3中的步驟S202計(jì)算得到目標(biāo)像素1401上一行上的自相一致 位置1402。通過將目標(biāo)像素位置1401的變化量復(fù)制到自相一致位置1402，可以生成 目標(biāo)像素位置1401上一行上的自相一致位置1404以及目標(biāo)像素位置1401下一行上的 自相一致位置1406。
換句話說，通過利用由圖1中的拋物線擬合單元107在搜索區(qū)域中以十進(jìn)制精度 計(jì)算的具有十進(jìn)制精度的向量1202，該向量從目標(biāo)像素開始并且終止于具有最小差值 的位置，或者通過利用由在圖像數(shù)據(jù)的像素之間內(nèi)插另一個(gè)像素而獲得的具有積分精 度的向量1402，在該圖像中設(shè)定目標(biāo)像素區(qū)域和搜索區(qū)域以生成內(nèi)插圖像數(shù)據(jù)，并且 之后用圖2中的過采樣單元110計(jì)算具有最小差值的位置，并計(jì)算具有十進(jìn)制精度、 終止于屏幕上不包括在搜索區(qū)域中的像素的自相一致向量。如上所述，通過在圖3中的步驟S203估算自相一致位置，可以用較小的處理量計(jì) 算出自相一致位置。另外，自相一致位置可以被緩沖，以提高圖像質(zhì)量。此外，由于 自相一致位置在更靠近目標(biāo)像素的位置，從而可以在目標(biāo)像素位置1401上一行的自相 一致位置之上的0.5行和1.5行生成自相一致位置，從而實(shí)現(xiàn)圖像質(zhì)量的提高。以下參考圖16，對(duì)圖3中的步驟S205中執(zhí)行的超分辨率圖像數(shù)據(jù)的像素值計(jì)算進(jìn) 行說明。當(dāng)圖3中的步驟S204的步驟結(jié)束時(shí)，可以獲得圖16中交叉符號(hào)指示的自相一致 位置。在這種方式下，盡管存在多種方式從分布不均勻的采樣點(diǎn)獲得以晶格樣式分布 的像素的值，例如，當(dāng)采用重疊法(例如，非均勻內(nèi)插，見S. Park等人"Super resolution Image Reconstruction: A Technical Overview (超分辨率圖像重建技術(shù)綜述)"第25 頁)可以通過預(yù)測(cè)接近的采樣值，獲得超分辨率圖像數(shù)據(jù)的像素值，并且找到超分辨 率圖像數(shù)據(jù)像素的最接近位置的采樣值，并且確定該采樣值為超分辨率圖像數(shù)據(jù)的像 素值。另一方面，可以隨著距離超分辨率圖像數(shù)據(jù)的像素的距離減少，增加采樣值的 權(quán)重，并且將采樣值的加權(quán)平均值確定為超分辨率圖像數(shù)據(jù)的像素值。再另一方面， 可以采用一定距離之內(nèi)的采樣值的平均值作為超分辨率圖像數(shù)據(jù)的像素值。接下來參考圖17，對(duì)通過重疊法獲得超分辨率圖像數(shù)據(jù)的像素值的流程圖進(jìn)行說明。如圖17所示，在步驟S1601中，對(duì)超分辨率圖像數(shù)據(jù)的每個(gè)像素獲得到各個(gè)采樣 點(diǎn)的距離。接下來，在步驟S1602中，作為采樣值的加權(quán)平均值，獲得各個(gè)像素值。此時(shí)， 采樣值到各個(gè)像素的距離越近，其權(quán)重越大。當(dāng)采用POCS法(例如，見S. Park等，"Super resolution Image Reconstruction: A Technical Overview (超分辨率圖像重建技術(shù)綜述)"第29頁)替代重疊法時(shí)，過程
將更復(fù)雜，不過可以獲得更清晰的圖像。在POCS法中，通過雙線性內(nèi)插法或者立方巻積法，對(duì)超分辨率圖像數(shù)據(jù)的每個(gè)像素提供初步估算的超分辨率圖像。然后，將計(jì)算出當(dāng)使用超分辨率圖像數(shù)據(jù)的初始 估算超分辨率圖像的像素值時(shí)各個(gè)采樣值位置處的估算超分辨率圖像。以下參考圖18，對(duì)初步采樣值的計(jì)算方法進(jìn)行說明。如圖18所示，屏幕1701被分成多個(gè)正方形1702。代表各個(gè)正方形的亮度分布的 像素值是其中央的像素值1703。正方形的尺寸由像素密度決定。例如，當(dāng)分辨率在橫 向和縱向方向上減半時(shí)，正方形的尺寸將在橫向和縱向方向上增加一倍。在圖18中，超分辨率圖像數(shù)據(jù)的像素由空心圓表示，并且與分辨率減半的低分辨 率圖像數(shù)據(jù)對(duì)應(yīng)的采樣點(diǎn)用實(shí)心圓表示。當(dāng)初步估算的超分辨率圖像的像素值被應(yīng)用到超分辨率圖像數(shù)據(jù)的像素時(shí)，將計(jì) 算初步估算的超分辨率圖像在采樣點(diǎn)1704處的采樣值，作為從1705到1708的像素的 像素值的平均值。此為采樣點(diǎn)1704位于超分辨率圖像數(shù)據(jù)的像素中央的情況。當(dāng)位于采樣點(diǎn)1709的位置時(shí)，將確定該采樣點(diǎn)所示正方形1710交疊部分的加權(quán) 平均值作為初始估算的超分辨率圖像的采樣值。例如，過將陰影部分1702的表面積轉(zhuǎn) 化為權(quán)重，確定像素1711的權(quán)重。與正方形1710交疊的9個(gè)正方形進(jìn)行加權(quán)，以致 正比于交疊的表面積，并且然后從9個(gè)像素值獲得加權(quán)平均值，作為初步估算的超分 辨率圖像的采樣值。如果超分辨率圖像數(shù)據(jù)精確，作為低分辨率圖像數(shù)據(jù)成像的采樣值必須匹配初步 估算的超分辨率圖像的采樣值。然而，它們一般不匹配。因此需要更新初步估算的超分辨率圖像的采樣值以達(dá)到 匹配。要獲得采樣值與初始釆樣值之間的差值，并且將該差值加上或者減去初步估算 的超分辨率圖像的像素值以消除差值。由于存在很多像素值，差值被除以采樣中所用 的權(quán)重，并且被加到每個(gè)像素值上或從其上減去。相應(yīng)而言，在這時(shí)計(jì)算的采樣點(diǎn)上， 采樣值與初步估算的超分辨率圖像的采樣值匹配。然而，在另一個(gè)采樣點(diǎn)上的更新處 理中，相同超分辨率圖像的像素?cái)?shù)據(jù)可以被更新。因此，該更新步驟對(duì)每個(gè)采樣點(diǎn)重 復(fù)很多次。由于通過這種重復(fù)處理，超分辨率圖像數(shù)據(jù)逐漸接近精確值，在重復(fù)預(yù)定 次數(shù)之后獲得的圖像被輸出為超分辨率圖像數(shù)據(jù)。在這種方式下，POCS法是一種獲得超分辨率圖像數(shù)據(jù)的像素值的方法，使用超
分辨率圖像數(shù)據(jù)的像素值作為未知值，求解條件表達(dá)式，其給出從未知值獲得的估算 超分辨率圖像的采樣值等于實(shí)際成像的低分辨率圖像數(shù)據(jù)的像素值的采樣值的條件，并且可以使用迭代反投射法(見S. Park等，"Super resolution Image Reconstruction: A Technical Overview (超分辨率圖像重建技術(shù)綜述)"第31頁)或MAP法(見S.Park 等，"Super resolution Image Reconstruction: A Technical Overview (超分辨率圖像重建 技術(shù)綜述)"第28頁)作為替代方法，求解出這些條件表達(dá)式。 圖19是為超分辨率確立條件表達(dá)式的流程圖。如圖19所示，在步驟S1801中，對(duì)低分辨率圖像數(shù)據(jù)的像素，即對(duì)各個(gè)采樣值 建立上述條件表達(dá)式。接下來，在步驟S1802中，通過聯(lián)立方程求解條件表達(dá)式，得到超分辨率圖像數(shù) 據(jù)的像素值。圖20顯示在通過向固定圖像采用相關(guān)技術(shù)中的立方巻積法以及本實(shí)施例的對(duì)應(yīng) 方法，得到的超分辨率圖像中的特定行的亮度值的狀態(tài)。橫軸代表像素，縱軸代表亮 度值。這是大幅光影圖像中白線的放大部分。如圖20所示，y坐標(biāo)中633所示暗部中的暗度得到加強(qiáng)，y坐標(biāo)中637所示亮部 中的亮度得到加強(qiáng)。
權(quán)利要求
1.一種超分辨率裝置，其特征在于，包括候補(bǔ)區(qū)域設(shè)定單元，將圖像數(shù)據(jù)中包含的多個(gè)像素中的至少一個(gè)像素設(shè)定為目標(biāo)像素，該圖像數(shù)據(jù)包括分布在屏幕中的多個(gè)像素和代表像素亮度的對(duì)應(yīng)像素值，在屏幕中設(shè)定包括目標(biāo)像素以及目標(biāo)像素周邊像素的區(qū)域作為目標(biāo)像素區(qū)域，以及設(shè)定搜索區(qū)域用于在屏幕中搜索目標(biāo)像素區(qū)域中所包含像素的像素值的多個(gè)變化樣式；匹配差值計(jì)算單元，計(jì)算至少一個(gè)以下兩者之間的差值目標(biāo)像素區(qū)域中所包含像素的像素值的第一變化樣式，和包含搜索像素和搜索像素周邊像素的區(qū)域中所包含像素的像素值的第二變化樣式；差值比較單元，比較第一和第二變化樣式之間的至少一個(gè)差值，獲得具有第一最小差值的第一像素位置，以及具有第二差值在第一像素位置周邊的第二像素位置；存儲(chǔ)器，存儲(chǔ)第一像素位置及其第一最小差值，以及第二像素位置及其第二差值；十進(jìn)制精度向量計(jì)算單元，根據(jù)存儲(chǔ)在存儲(chǔ)器中的第一像素位置及其第一最小差值，以及第二像素位置及其第二差值，以十進(jìn)制精度計(jì)算搜索區(qū)域中具有最小差值的位置，并且計(jì)算從目標(biāo)像素開始并終止于具有最小差值的位置的十進(jìn)制精度向量；外插向量計(jì)算單元，利用十進(jìn)制精度向量計(jì)算十進(jìn)制精度向量的外插向量，該外插向量從具有最小差值的位置開始并終止于不包括在搜索區(qū)域中的屏幕上的像素；以及超分辨率像素值計(jì)算單元，根據(jù)十進(jìn)制精度向量、外插向量以及從圖像數(shù)據(jù)獲得的像素值，計(jì)算像素?cái)?shù)目大于圖像數(shù)據(jù)中所包括像素?cái)?shù)目的超分辨率圖像的像素值。
2. —種超分辨率裝置，其特征在于，包括-候補(bǔ)區(qū)域設(shè)定單元，將圖像數(shù)據(jù)中包含的多個(gè)像素中的至少一個(gè)像素設(shè)定為目標(biāo)像素，該圖像數(shù)據(jù)包括分布在屏幕中的多個(gè)像素和代表像素亮度的對(duì)應(yīng)像素值，在屏幕中設(shè)定包括目標(biāo)像素以及目標(biāo)像素周邊像素的區(qū)域作為目標(biāo)像素 區(qū)域，以及設(shè)定第一和第二搜索區(qū)域用于在屏幕中搜索目標(biāo)像素區(qū)域中所包含像素 的像素值的多個(gè)變化樣式；匹配差值計(jì)算單元，計(jì)算目標(biāo)像素區(qū)域中所包含像素的像素值的第一變化樣式與 第一和第二搜索區(qū)域中所包含像素的像素值的第一和第二變化樣式之間的第一和第二 差值，第一和第二區(qū)域中所包含的像素包括第一和第二搜索像素以及第一和第二搜索 像素周邊的像素；差值比較單元，比較第一和第二變化樣式之間的差值，獲得具有第一和第二最小差值的第一和第二像素位置，具有第三差值在第一搜索像素周邊的第三像素位置，以 及具有第四差值在第二搜索像素周邊的第四像素位置；存儲(chǔ)器，存儲(chǔ)由差值比較單元計(jì)算的第一像素位置及其第一最小差值，第二像素 位置及其第二差值，第三像素位置及其第三差值，以及第四像素位置及其第四差值；十進(jìn)制精度向量計(jì)算單元，根據(jù)存儲(chǔ)在存儲(chǔ)器中的第一像素位置及其第一最小差 值，第二像素位置及其第二差值，第三像素位置及其第三差值，以及第四像素位置及 其第四差值，以十進(jìn)制精度計(jì)算第一和第二搜索區(qū)域中具有最小差值的位置，并且計(jì) 算從目標(biāo)像素開始并終止于具有最小差值的位置的第一十進(jìn)制精度向量和第二十進(jìn)制 精度向量；內(nèi)插向量計(jì)算單元，利用第一和第二十進(jìn)制精度向量計(jì)算第一和第二十進(jìn)制精度 向量的內(nèi)插向量，該內(nèi)插向量從具有最小差值的位置開始并終止于不包括在第一和第 二搜索區(qū)域中的屏幕上的像素；以及超分辨率像素值計(jì)算單元，根據(jù)十進(jìn)制精度向量、內(nèi)插向量以及從圖像數(shù)據(jù)獲得 的像素值，計(jì)算像素?cái)?shù)目大于圖像數(shù)據(jù)中所包括像素?cái)?shù)目的超分辨率圖像的像素值。
3. —種超分辨率裝置，其特征在于，包括 候補(bǔ)區(qū)域設(shè)定單元，將圖像數(shù)據(jù)中包含的多個(gè)像素中的至少一個(gè)像素設(shè)定為目標(biāo)像素，該圖 像數(shù)據(jù)包括分布在屏幕中的多個(gè)像素和代表像素亮度的對(duì)應(yīng)像素值，在屏幕中設(shè)定包括目標(biāo)像素以及目標(biāo)像素周邊像素的區(qū)域作為目標(biāo)像素 區(qū)域，以及設(shè)定搜索區(qū)域用于在屏幕中搜索目標(biāo)像素區(qū)域中所包含像素的像素值的 多個(gè)變化樣式；匹配差值計(jì)算單元，計(jì)算目標(biāo)像素區(qū)域中所包含像素的像素值的第一變化樣式與 包含搜索區(qū)域中的搜索像素和搜索像素周邊像素的區(qū)域中所包含像素的像素值的第二 變化樣式之間的差值；差值比較單元，比較第一和第二變化樣式之間的至少一個(gè)差值，獲得具有第一最 小差值的第一像素位置，以及具有第二差值在第一像素位置周邊的第二像素位置；存儲(chǔ)器，存儲(chǔ)由差值比較單元計(jì)算的第一像素位置及其第一最小差值，以及第二 像素位置及其第二差值；十進(jìn)制精度向量計(jì)算單元，根據(jù)存儲(chǔ)在存儲(chǔ)器中的第一像素位置及其第一最小差 值，以及第二像素位置及其第二差值，以十進(jìn)制精度計(jì)算搜索區(qū)域中具有最小差值的 位置，并且計(jì)算從目標(biāo)像素開始并終止于具有最小差值的位置的十進(jìn)制精度向量；一致向量計(jì)算單元，利用十進(jìn)制精度向量計(jì)算十進(jìn)制精度向量的一致向量，該一 致向量從具有最小差值的位置開始并終止于不包括在搜索區(qū)域中的屏幕上的像素；以及超分辨率像素值計(jì)算單元，根據(jù)十進(jìn)制精度向量、 一致向量以及從圖像數(shù)據(jù)獲得 的像素值，計(jì)算像素?cái)?shù)目大于圖像數(shù)據(jù)中所包括像素?cái)?shù)目的超分辨率圖像的像素值。
4. 一種超分辨率裝置，其特征在于，包括 候補(bǔ)區(qū)域設(shè)定單元，將圖像數(shù)據(jù)中包含的多個(gè)像素中的至少一個(gè)像素設(shè)定為目標(biāo)像素，該圖 像數(shù)據(jù)包括分布在屏幕中的多個(gè)像素和代表像素亮度的對(duì)應(yīng)像素值，在屏幕中設(shè)定包括目標(biāo)像素以及目標(biāo)像素周邊像素的區(qū)域作為目標(biāo)像素 區(qū)域，以及設(shè)定搜索區(qū)域用于在屏幕中搜索目標(biāo)像素區(qū)域中所包含像素的像素值的 多個(gè)變化樣式；過采樣單元，在圖像數(shù)據(jù)的像素之間內(nèi)插另一像素；匹配差值計(jì)算單元，計(jì)算目標(biāo)像素區(qū)域中所包含像素的像素值的第一變化樣式與 包含搜索區(qū)域中的搜索像素和搜索像素周邊像素的區(qū)域中所包含像素的像素值的第二 變化樣式之間的差值；積分精度向量計(jì)算單元，比較由匹配差值計(jì)算單元計(jì)算得到的搜索區(qū)域中的各個(gè) 像素的變化樣式的差值，以獲得具有最小差值的像素位置，并且計(jì)算從目標(biāo)像素開始 并終止于搜索像素的積分精度向量；外插向量計(jì)算單元，利用積分精度向量計(jì)算積分精度向量的外插向量，該外插向 量從搜索像素開始并終止于不包括在搜索區(qū)域中的屏幕上的像素；以及超分辨率像素值計(jì)算單元，根據(jù)十進(jìn)制精度向量、外插向量以及從圖像數(shù)據(jù)獲得 的像素值，計(jì)算像素?cái)?shù)目大于圖像數(shù)據(jù)中所包括像素?cái)?shù)目的超分辨率圖像的像素值。
5.—種超分辨率裝置，其特征在于，包括 候補(bǔ)區(qū)域設(shè)定單元，將圖像數(shù)據(jù)中包含的多個(gè)像素中的至少一個(gè)像素設(shè)定為目標(biāo)像素，該圖 像數(shù)據(jù)包括分布在屏幕中的多個(gè)像素和代表像素亮度的對(duì)應(yīng)像素值，在屏幕中設(shè)定包括目標(biāo)像素以及目標(biāo)像素周邊像素的區(qū)域作為目標(biāo)像素 區(qū)域，以及設(shè)定第一和第二搜索區(qū)域用于在屏幕中搜索目標(biāo)像素區(qū)域中所包含像素 的像素值的多個(gè)變化樣式；過采樣單元，在圖像數(shù)據(jù)的像素之間內(nèi)插另一像素；匹配差值計(jì)算單元，在內(nèi)插圖像數(shù)據(jù)中計(jì)算目標(biāo)像素區(qū)域中所包含像素的像素值 的變化樣式與第一和第二區(qū)域中所包含像素的像素值的第一和第二變化樣式之間的第 一和第二差值，第一和第二區(qū)域中所包含的像素包括第一和第二搜索區(qū)域中的第一和 第二搜索像素以及第一和第二搜索像素周邊的像素；積分精度向量計(jì)算單元，比較由匹配差值計(jì)算單元計(jì)算得到的第一和第二搜索區(qū) 域的各個(gè)差值，以分別獲得具有最小差值的第一像素位置和第二像素位置，并且計(jì)算 從目標(biāo)像素開始并分別終止于第一和第二像素位置的第一和第二積分精度向量；內(nèi)插向量計(jì)算單元，利用第一和第二積分精度向量計(jì)算第一和第二積分精度向量 的內(nèi)插向量，該內(nèi)插向量從具有最小差值的位置開始并終止于不包括在第一和第二搜 索區(qū)域中的屏幕上的像素；以及超分辨率像素值計(jì)算單元，根據(jù)積分精度向量、內(nèi)插向量以及從圖像數(shù)據(jù)獲得的 像素值，計(jì)算像素?cái)?shù)目大于圖像數(shù)據(jù)中所包括像素?cái)?shù)目的超分辨率圖像的像素值。
6. —種超分辨率裝置，其特征在于，包括 候補(bǔ)區(qū)域設(shè)定單元，將圖像數(shù)據(jù)中包含的多個(gè)像素中的至少一個(gè)像素設(shè)定為目標(biāo)像素，該圖 像數(shù)據(jù)包括分布在屏幕中的多個(gè)像素和代表像素亮度的對(duì)應(yīng)像素值，在屏幕中設(shè)定包括目標(biāo)像素以及目標(biāo)像素周邊像素的區(qū)域作為目標(biāo)像素 區(qū)域，以及設(shè)定搜索區(qū)域用于在屏幕中搜索目標(biāo)像素區(qū)域中所包含像素的像素值的 多個(gè)變化樣式；過采樣單元，在圖像數(shù)據(jù)的像素之間內(nèi)插另一像素；匹配差值計(jì)算單元，計(jì)算目標(biāo)像素區(qū)域中所包含像素的像素值的第一變化樣式與 包含搜索區(qū)域中的搜索像素和搜索像素周邊像素的區(qū)域中所包含像素的像素值的第二 變化樣式之間的差值；積分精度向量計(jì)算單元，比較由匹配差值計(jì)算單元計(jì)算得到的第一和第二變化樣 式的差值，以獲得具有最小差值的像素位置，并且計(jì)算從目標(biāo)像素開始并終止于搜索 像素的積分精度向量；一致向量計(jì)算單元，利用積分精度向量計(jì)算積分精度向量的一致向量，該一致向 量從具有最小差值的位置開始并終止于不包括在搜索區(qū)域中的屏幕上的像素；以及超分辨率像素值計(jì)算單元，根據(jù)積分精度向量、 一致向量以及從圖像數(shù)據(jù)獲得的 像素值，計(jì)算像素?cái)?shù)目大于圖像數(shù)據(jù)中所包括像素?cái)?shù)目的超分辨率圖像的像素值。
7. —種超分辨率方法，其特征在于，包括將圖像數(shù)據(jù)中包含的多個(gè)像素中的至少一個(gè)像素設(shè)定為目標(biāo)像素，該圖像數(shù)據(jù)包 括分布在屏幕中的多個(gè)像素和代表像素亮度的對(duì)應(yīng)像素值，在屏幕中設(shè)定包括目標(biāo)像素以及目標(biāo)像素周邊像素的區(qū)域作為目標(biāo)像素區(qū)域， 設(shè)定搜索區(qū)域用于在屏幕中搜索目標(biāo)像素區(qū)域中所包含像素的像素值的多個(gè)變化 樣式；計(jì)算目標(biāo)像素區(qū)域中所包含像素的像素值的變化樣式與包含搜索區(qū)域中的搜索像 素和搜索像素周邊像素的區(qū)域中所包含像素的像素值的變化樣式之間的差值；比較搜索區(qū)域中的各個(gè)像素的變化樣式的差值，獲得具有最小差值的第一像素位 置，以及具有第二差值在第一像素周邊的第二像素位置；存儲(chǔ)第一像素位置及其第一最小差值，以及第二像素位置及其第二差值；根據(jù)第一像素位置及其第一差值以及第二像素位置及其第二差值，以十進(jìn)制精度 計(jì)算搜索區(qū)域中具有最小差值的位置，并且計(jì)算從目標(biāo)像素開始并終止于具有最小差 值的位置的十進(jìn)制精度向量；利用十進(jìn)制精度向量計(jì)算十進(jìn)制精度向量的外插向量，該外插向量從具有最小差 值的位置開始并終止于不包括在搜索區(qū)域中的屏幕上的像素；以及根據(jù)十進(jìn)制精度向量、外插向量以及從圖像數(shù)據(jù)獲得的像素值，計(jì)算像素?cái)?shù)目大 于圖像數(shù)據(jù)中所包括像素?cái)?shù)目的超分辨率圖像的像素值。
8. —種超分辨率方法，其特征在于，包括將圖像數(shù)據(jù)中包含的多個(gè)像素中的至少一個(gè)像素設(shè)定為目標(biāo)像素，該圖像數(shù)據(jù)包括分布在屏幕中的多個(gè)像素和代表像素亮度的對(duì)應(yīng)像素值，在屏幕中設(shè)定包括目標(biāo)像素以及目標(biāo)像素周邊像素的區(qū)域作為目標(biāo)像素區(qū)域， 設(shè)定第一和第二搜索區(qū)域用于在屏幕中搜索目標(biāo)像素區(qū)域中所包含像素的像素值的多個(gè)變化樣式；計(jì)算目標(biāo)像素區(qū)域中所包含像素的像素值的第一變化樣式與第一和第二區(qū)域中所 包含像素的像素值的第一和第二變化樣式之間的第一和第二差值，第一和第二區(qū)域中 所包含的像素包括第一和第二搜索區(qū)域中的第一和第二搜索像素以及第一和第二搜索 像素周邊的像素；通過差值比較單元比較第一和第二搜索區(qū)域中各像素的第一和第二變化樣式之間 的差值，獲得具有最小差值的第一和第二像素位置，具有第三差值在第一像素周邊的 第三像素位置，以及具有第四差值在第二像素周邊的第四像素位置；存儲(chǔ)計(jì)算得到的第一像素位置及其第一差值，第二像素位置及其第二差值，第三像素位置及其第三差值，以及第四像素位置及其第四差值； 根據(jù)存儲(chǔ)在存儲(chǔ)器中的第一像素位置及其第一差值，第二像素位置及其第二差值， 第三像素位置及其第三差值，以及第四像素位置及其第四差值，以十進(jìn)制精度計(jì)算第 一和第二搜索區(qū)域中具有最小差值的位置，并且計(jì)算從目標(biāo)像素開始并終止于具有最 小差值的位置的第一十進(jìn)制精度向量和第二十進(jìn)制精度向量；利用第一和第二十進(jìn)制精度向量計(jì)算第一和第二十進(jìn)制精度向量的內(nèi)插向量，該 內(nèi)插向量從具有最小差值的位置開始并終止于不包括在第一和第二搜索區(qū)域中的屏幕 上的像素；以及根據(jù)十進(jìn)制精度向量、內(nèi)插向量以及從圖像數(shù)據(jù)獲得的像素值，計(jì)算像素?cái)?shù)目大 于圖像數(shù)據(jù)中所包括像素?cái)?shù)目的超分辨率圖像的像素值。
9.一種超分辨率方法，其特征在于，包括將圖像數(shù)據(jù)中包含的多個(gè)像素中的至少一個(gè)像素設(shè)定為目標(biāo)像素，該圖像數(shù)據(jù)包括分布在屏幕中的多個(gè)像素和代表像素亮度的對(duì)應(yīng)像素值，在屏幕中設(shè)定包括目標(biāo)像素以及目標(biāo)像素周邊像素的區(qū)域作為目標(biāo)像素區(qū)域， 設(shè)定搜索區(qū)域用于在屏幕中搜索目標(biāo)像素區(qū)域中所包含像素的像素值的多個(gè)變化樣式；對(duì)搜索區(qū)域中的各像素計(jì)算目標(biāo)像素區(qū)域中所包含像素的像素值的變化樣式與包 含搜索區(qū)域中的搜索像素和搜索像素周邊像素的區(qū)域中所包含像素的像素值的變化樣 式之間的差值；由差值比較單元比較由匹配差值計(jì)算單元計(jì)算得到的搜索區(qū)域中各像素的變化樣 式的差值，獲得具有最小差值的第一像素位置；在存儲(chǔ)器中存儲(chǔ)第一像素位置及其第一差值，以及在第一像素周邊的第二像素位 置及其第二差值；根據(jù)存儲(chǔ)在存儲(chǔ)器中的第一像素位置及其第一差值，以及第二像素位置及其第二 差值，以十進(jìn)制精度計(jì)算搜索區(qū)域中具有最小差值的位置，并且計(jì)算從目標(biāo)像素開始 并終止于具有最小差值的位置的十進(jìn)制精度向量；利用十進(jìn)制精度向量計(jì)算十進(jìn)制精度向量的一致向量，該一致向量從具有最小差 值的位置開始并終止于不包括在搜索區(qū)域中的屏幕上的像素；以及根據(jù)十進(jìn)制精度向量、 一致向量以及從圖像數(shù)據(jù)獲得的像素值，計(jì)算像素?cái)?shù)目大 于圖像數(shù)據(jù)中所包括像素?cái)?shù)目的超分辨率圖像的像素值。
10. —種超分辨率方法，其特征在于，包括將圖像數(shù)據(jù)中包含的多個(gè)像素中的至少一個(gè)像素設(shè)定為目標(biāo)像素，該圖像數(shù)據(jù)包括分布在屏幕中的多個(gè)像素和代表像素亮度的對(duì)應(yīng)像素值，在屏幕中設(shè)定包括目標(biāo)像素以及目標(biāo)像素周邊像素的區(qū)域作為目標(biāo)像素區(qū)域， 設(shè)定搜索區(qū)域用于在屏幕中搜索目標(biāo)像素區(qū)域中所包含像素的像素值的多個(gè)變化樣式；在圖像數(shù)據(jù)的像素之間內(nèi)插另一像素，設(shè)定目標(biāo)像素區(qū)域和搜索區(qū)域生成內(nèi)插圖 像數(shù)據(jù)；計(jì)算目標(biāo)像素區(qū)域中所包含像素的像素值的變化樣式與包含搜索區(qū)域中的搜索像 素和搜索像素周邊像素的區(qū)域中所包含像素的像素值的變化樣式之間的差值；比較搜索區(qū)域中的各個(gè)像素的變化樣式的差值，以獲得具有最小差值的第一像素 位置，并且計(jì)算從目標(biāo)像素開始并終止于搜索像素的積分精度向量；利用積分精度向量計(jì)算積分精度向量的外插向量，該外插向量從搜索像素開始并 終止于不包括在搜索區(qū)域中的屏幕上的像素；以及根據(jù)十進(jìn)制精度向量、外插向量以及從圖像數(shù)據(jù)獲得的像素值，計(jì)算像素?cái)?shù)目大 于圖像數(shù)據(jù)中所包括像素?cái)?shù)目的超分辨率圖像的像素值。
11. 一種超分辨率方法，其特征在于，包括將圖像數(shù)據(jù)中包含的多個(gè)像素中的至少一個(gè)像素設(shè)定為目標(biāo)像素，該圖像數(shù)據(jù)包括分布在屏幕中的多個(gè)像素和代表像素亮度的對(duì)應(yīng)像素值，在屏幕中設(shè)定包括目標(biāo)像素以及目標(biāo)像素周邊像素的區(qū)域作為目標(biāo)像素區(qū)域， 設(shè)定第一和第二搜索區(qū)域用于在屏幕中搜索目標(biāo)像素區(qū)域中所包含像素的像素值的多個(gè)變化樣式；在圖像數(shù)據(jù)的像素之間內(nèi)插另一像素，設(shè)定目標(biāo)像素區(qū)域以及第一和第二搜索區(qū) 域生成內(nèi)插圖像數(shù)據(jù)；在內(nèi)插圖像數(shù)據(jù)中計(jì)算目標(biāo)像素區(qū)域中所包含像素的像素值的變化樣式與第一和 第二區(qū)域中所包含像素的像素值的第一和第二變化樣式之間的第一和第二差值，第一 和第二區(qū)域中所包含的像素包括第一和第二搜索區(qū)域中的第一和第二搜索像素以及第 一和第二搜索像素周邊的像素；比較第一和第二搜索區(qū)域的變化樣式的各個(gè)差值，以分別獲得具有最小差值的第 一像素位置和第二像素位置，并且計(jì)算從目標(biāo)像素開始并分別終止于第一和第二像素 的第一和第二積分精度向量；利用第一和第二積分精度向量計(jì)算第一和第二積分精度向量的內(nèi)插向量，該內(nèi)插 向量從具有最小差值的位置開始并終止于不包括在第一和第二搜索區(qū)域中的屏幕上的 像素；以及根據(jù)積分精度向量、內(nèi)插向量以及從圖像數(shù)據(jù)獲得的像素值，計(jì)算像素?cái)?shù)目大于 圖像數(shù)據(jù)中所包括像素?cái)?shù)目的超分辨率圖像的像素值。
12.—種超分辨率方法，其特征在于，包括將圖像數(shù)據(jù)中包含的多個(gè)像素中的至少一個(gè)像素設(shè)定為目標(biāo)像素，該圖像數(shù)據(jù)包括分布在屏幕中的多個(gè)像素和代表像素亮度的對(duì)應(yīng)像素值，在屏幕中設(shè)定包括目標(biāo)像素以及目標(biāo)像素周邊像素的區(qū)域作為目標(biāo)像素區(qū)域， 設(shè)定搜索區(qū)域用于在屏幕中搜索目標(biāo)像素區(qū)域中所包含像素的像素值的多個(gè)變化樣式；在圖像數(shù)據(jù)的像素之間內(nèi)插另一像素，設(shè)定目標(biāo)像素區(qū)域和搜索區(qū)域生成內(nèi)插圖像數(shù)據(jù)；計(jì)算目標(biāo)像素區(qū)域中所包含像素的像素值的變化樣式與包含搜索區(qū)域中的搜索像 素和搜索像素周邊像素的區(qū)域中所包含像素的像素值的變化樣式之間的差值；比較搜索區(qū)域中的各個(gè)像素的變化樣式的差值，以獲得具有最小差值的第一像素 位置，并且計(jì)算從目標(biāo)像素開始并終止于搜索像素的積分精度向量；利用積分精度向量計(jì)算積分精度向量的一致向量，該一致向量從具有最小差值的 位置開始并終止于不包括在搜索區(qū)域中的屏幕上的像素；以及根據(jù)積分精度向量、 一致向量以及從圖像數(shù)據(jù)獲得的像素值，計(jì)算像素?cái)?shù)目大于 圖像數(shù)據(jù)中所包括像素?cái)?shù)目的超分辨率圖像的像素值。
全文摘要
一種超分辨率裝置和方法，包括將圖像數(shù)據(jù)中包含的多個(gè)像素中的至少一個(gè)像素設(shè)定為目標(biāo)像素，該圖像數(shù)據(jù)包括分布在屏幕中的多個(gè)像素和代表像素亮度的像素值，設(shè)定包括目標(biāo)像素及其周邊像素的區(qū)域作為目標(biāo)區(qū)域，設(shè)定用于在目標(biāo)像素區(qū)域中搜索像素值變化樣式的區(qū)域；計(jì)算第一變化樣式和第二變化樣式之間的差值；比較第一和第二變化樣式之間的差值；根據(jù)十進(jìn)制精度向量、外插向量以及從圖像數(shù)據(jù)獲得的像素值，計(jì)算像素?cái)?shù)目大于圖像數(shù)據(jù)中所包括像素?cái)?shù)目的超分辨率圖像的像素值。
文檔編號(hào)H04N7/01GK101163224SQ20071018190
公開日2008年4月16日 申請(qǐng)日期2007年10月10日 優(yōu)先權(quán)日2006年10月10日
發(fā)明者五十川賢造, 井田孝, 松本信幸, 田口安則, 竹島秀則 申請(qǐng)人:株式會(huì)社東芝