專利名稱：圖像處理設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理設(shè)備，并且特別地涉及一種用于生成補(bǔ)償了原始圖像的高頻分量的輸出圖像的圖像處理設(shè)備、用于此的方法、和使計(jì)算機(jī)執(zhí)行該方法的程序。
背景技術(shù)：
已知在利用線性濾波器等通過簡單執(zhí)行線性插值而放大由多個(gè)像素組成的原始數(shù)字圖像時(shí)，輸出圖像容易模糊。因此，已經(jīng)利用了用于基于圖像自身相似性通過執(zhí)行增大處理具有最高相似性的塊而防止圖像降級(jí)的技術(shù)。
例如，已經(jīng)提出了執(zhí)行塊圖像增大處理的圖像處理設(shè)備(例如參看，日本未審查專利申請(qǐng)公開No.2003-283811(圖2))。圖像處理設(shè)備采集增大的偽區(qū)域塊圖像，該偽區(qū)域塊圖像是根據(jù)原始圖像中的區(qū)域塊圖像和區(qū)域塊圖像附近的排列塊圖像之間關(guān)系而增大的排列塊圖像，并且用增大的偽區(qū)域塊圖像來替換增大的區(qū)域塊圖像，由此來執(zhí)行塊圖像增大處理。

發(fā)明內(nèi)容
在上述已知的技術(shù)中，當(dāng)生成增大的圖像時(shí)，具有最高相似性的塊圖像被選擇并用于增大處理。但是，由于在圖像之間存在輕微差異時(shí)選擇了另一塊圖像，因此圖像立刻改變。更具體地，當(dāng)將已知技術(shù)應(yīng)用于移動(dòng)圖像的圖像處理時(shí)，被執(zhí)行了增大處理的塊圖像與另一個(gè)頻繁切換，這引起了閃爍。
由此，根據(jù)本發(fā)明的實(shí)施例，生成分辨率等于或高于原始圖像分辨率的輸出圖像的圖像處理設(shè)備能生成比原始圖像質(zhì)量更高的穩(wěn)定輸出圖像。
本發(fā)明的實(shí)施例解決了上述缺點(diǎn)。根據(jù)本發(fā)明的實(shí)施例，一種圖像處理設(shè)備生成分辨率等于或高于原始圖像分辨率的輸出圖像，該圖像處理設(shè)備包括第一圖像轉(zhuǎn)換裝置，用于將原始圖像的分辨率轉(zhuǎn)換為與輸出圖像相同的分辨率以便生成輸出分辨率圖像；第二圖像轉(zhuǎn)換裝置，用于將原始圖像的分辨率轉(zhuǎn)換為與輸出圖像不同的分辨率以便生成中間分辨率圖像；相似性信息生成裝置，用于在與輸出分辨率圖像中預(yù)定的部分區(qū)域相對(duì)應(yīng)的中間分辨率圖像的塊中檢測(cè)多個(gè)相似區(qū)域，這些相似區(qū)域與所述部分區(qū)域類似，并用于生成相似性信息，包括多個(gè)相似區(qū)域的每一個(gè)在中間分辨率圖像中的位置以及位置的權(quán)重；紋理生成裝置，用于根據(jù)相似性信息所指示的權(quán)重，通過合并中間分辨率圖像在相似性信息所指示的位置處的高頻分量來生成紋理圖像；和紋理混合裝置，用于混合輸出的分辨率圖像和紋理圖像以便生成輸出圖像。該結(jié)構(gòu)有利地允許圖像處理設(shè)備通過用紋理圖像補(bǔ)償輸出圖像中的高頻分量來生成質(zhì)量比原始圖像高的穩(wěn)定輸出圖像，所述紋理圖像是通過組合中間分辨率圖像的多個(gè)相似區(qū)域中的高頻分量而得到的。
此外，根據(jù)本實(shí)施例，第二圖像轉(zhuǎn)換裝置可生成多個(gè)分辨率彼此不同的中間分辨率圖像。相似性信息生成裝置可為多個(gè)中間分辨率圖像的每一個(gè)生成相似性信息。紋理生成裝置可為多個(gè)中間分辨率圖像的每一個(gè)生成紋理圖像。紋理混合裝置可混合多個(gè)紋理圖像和輸出分辨率圖像以便生成輸出圖像。該結(jié)構(gòu)有利地允許圖像處理設(shè)備基于多個(gè)分辨率利用紋理圖像來生成高質(zhì)量的輸出圖像。
此外，根據(jù)本實(shí)施例，相似性信息生成裝置可選擇多個(gè)區(qū)域作為部分區(qū)域，每個(gè)區(qū)域具有彼此不同的尺寸。紋理生成裝置可為具有不同尺寸的多個(gè)部分區(qū)域的每一個(gè)生成紋理圖像。紋理混合裝置可混合多個(gè)紋理圖像和輸出分辨率圖像以便生成輸出圖像。該結(jié)構(gòu)有利地允許圖像處理設(shè)備基于根據(jù)中間圖像特征的多個(gè)檢測(cè)尺寸利用紋理圖像來生成高質(zhì)量的輸出圖像。
此外，根據(jù)本實(shí)施例，相似性信息生成裝置可選擇一個(gè)位置作為相似區(qū)域的位置，在該位置處基于與部分區(qū)域的亮度差的值是相對(duì)最小值。
此外，根據(jù)本實(shí)施例，紋理生成裝置可根據(jù)相似性信息所指示的權(quán)重，通過合并中間分辨率圖像在相似性信息所指示的位置處的高頻分量來在塊中生成紋理塊，并且可通過鋪設(shè)紋理塊來生成紋理圖像。該結(jié)構(gòu)有利地允許圖像處理設(shè)備基于高質(zhì)量的紋理圖像來生成輸出圖像。
進(jìn)而，根據(jù)本發(fā)明的另一個(gè)實(shí)施例，一種用于圖像處理設(shè)備的圖像處理方法，該圖像處理設(shè)備生成分辨率等于或高于原始圖像分辨率的輸出圖像，該方法或者使計(jì)算機(jī)執(zhí)行該方法的程序包括步驟將原始圖像的分辨率轉(zhuǎn)換為與輸出圖像相同的分辨率以便生成輸出分辨率圖像；將原始圖像的分辨率轉(zhuǎn)換為與輸出圖像不同的分辨率以便生成中間分辨率圖像；在與輸出分辨率圖像中預(yù)定的部分區(qū)域相對(duì)應(yīng)的中間分辨率圖像的塊中檢測(cè)多個(gè)相似區(qū)域，這些相似區(qū)域與所述部分區(qū)域類似，并生成相似性信息，包括多個(gè)相似區(qū)域的每一個(gè)在中間分辨率圖像中的位置以及位置的權(quán)重；根據(jù)相似性信息所指示的權(quán)重，通過合并中間分辨率圖像在相似性信息所指示的位置處的高頻分量來生成紋理圖像；并且混合輸出的分辨率圖像和紋理圖像以便生成輸出圖像。這有利地允許通過用紋理圖像補(bǔ)償輸出圖像中的高頻分量來生成質(zhì)量比原始圖像高的穩(wěn)定輸出圖像，所述紋理圖像是通過組合中間分辨率圖像的多個(gè)相似區(qū)域中的高頻分量而得到的。
本發(fā)明的實(shí)施例提供了良好的優(yōu)點(diǎn)，該優(yōu)點(diǎn)允許生成質(zhì)量比原始圖像高的穩(wěn)定輸出圖像。


圖1是示出根據(jù)本發(fā)明的實(shí)施例的圖像處理設(shè)備結(jié)構(gòu)例子的圖示；圖2是示出根據(jù)本發(fā)明的實(shí)施例的檢測(cè)相似位置方式的圖示；圖3是示出根據(jù)本發(fā)明的實(shí)施例的檢測(cè)塊和相似位置例子的圖示；圖4是示出根據(jù)本發(fā)明的實(shí)施例的相似性信息數(shù)據(jù)結(jié)構(gòu)例子的圖示；圖5是示出根據(jù)本發(fā)明的實(shí)施例的相似性信息生成部分200-i結(jié)構(gòu)的例子的圖示；圖6是示出根據(jù)本發(fā)明的實(shí)施例的相似位置檢測(cè)單元230-j結(jié)構(gòu)的例子的圖示；圖7是示出根據(jù)本發(fā)明的實(shí)施例的由相似位置檢測(cè)單元230執(zhí)行的圖像比較的例子的圖示；圖8是示出根據(jù)本發(fā)明的實(shí)施例的相似性評(píng)估單元240-j結(jié)構(gòu)的例子的圖示；圖9A和9B是示出根據(jù)本發(fā)明的實(shí)施例的由相似位置可靠性確定部件242-q執(zhí)行的確定相似位置可靠性245-q的例子的圖示；圖10A到10D是示出根據(jù)本發(fā)明的實(shí)施例的由像素可靠性確定部件241-q執(zhí)行的確定像素可靠性的例子的圖示；圖11是示出根據(jù)本發(fā)明的實(shí)施例的紋理生成部分300-i結(jié)構(gòu)的例子的圖示；圖12是示出根據(jù)本發(fā)明的實(shí)施例的紋理鋪設(shè)單元320-j結(jié)構(gòu)的例子的圖示；圖13是示出根據(jù)本發(fā)明的實(shí)施例的由紋理決生成部件321-p執(zhí)行的生成紋理塊的例子的圖示；圖14是示出根據(jù)本發(fā)明的實(shí)施例的由塊鋪設(shè)部件322執(zhí)行的鋪設(shè)操作方式的圖示；圖15是示出根據(jù)本發(fā)明的實(shí)施例的紋理結(jié)合單元330結(jié)構(gòu)的例子的圖示；圖16A和16B是示出根據(jù)本發(fā)明的實(shí)施例的由紋理結(jié)合單元330執(zhí)行的示例控制操作的圖示；圖17是示出根據(jù)本發(fā)明的實(shí)施例的圖像處理方法的整個(gè)過程的流程圖；圖18是示出根據(jù)本發(fā)明的實(shí)施例的紋理生成操作過程的流程圖；和圖19是示出根據(jù)本發(fā)明的實(shí)施例的相似性信息生成操作過程(步驟S940)的流程圖。
具體實(shí)施例方式
接下來參考附圖來詳細(xì)描述本發(fā)明的實(shí)施例。
圖1是示出根據(jù)本發(fā)明的實(shí)施例的圖像處理設(shè)備結(jié)構(gòu)例子的圖示。該圖像處理設(shè)備生成分辨率等于或高于原始圖像101分辨率的輸出圖像409。該圖像處理設(shè)備具有(N+1)個(gè)(N是大于0的整數(shù))分辨率轉(zhuǎn)換部分100、N個(gè)相似性信息生成裝置200、N個(gè)紋理生成部分300、和一個(gè)紋理混合部分400。在下面的描述中，將標(biāo)示數(shù)字附加到參考數(shù)字來識(shí)別具有相同結(jié)構(gòu)的元件。例如，相似性信息生成裝置200-N表示第N個(gè)相似性信息生成裝置200。
每個(gè)分辨率轉(zhuǎn)換部分100-0到100-N將原始圖像的分辨率轉(zhuǎn)換為預(yù)定的分辨率。在分辨率轉(zhuǎn)換中可利用例如使用Lanezos濾波器的線性插值，以及非線性插值。在(N+1)個(gè)分辨率轉(zhuǎn)換部分100中，第0個(gè)分辨率轉(zhuǎn)換部分100-0將原始圖像101的分辨率轉(zhuǎn)換為與輸出圖像409相同的分辨率，以便生成輸出分辨率圖像109-0。另一方面，其它分辨率轉(zhuǎn)換部分100-1到100-N將原始圖像101的分辨率轉(zhuǎn)換為與輸出圖像409不同的分辨率，以便分別生成中間分辨率圖像109-1到109-N。
分辨率轉(zhuǎn)換部分100-0到100-N使用的增大比率可以是任何值。即是，該比率不僅可以大于100％而且可以是100％或更小。如果增大比率被設(shè)置為100％，則分辨率轉(zhuǎn)換部分100-0到100-N的操作可以被省略。當(dāng)在分辨率轉(zhuǎn)換部分100-0中增大比率被設(shè)置為100％時(shí)，原始圖像101不被增大并且輸出圖像409的分辨率與原始圖像101的分辨率匹配。但是，即使在分辨率轉(zhuǎn)換部分100-0中增大比率被設(shè)置為100％，圖像處理設(shè)備也能利用中間分辨率圖像109-1到109-N生成天然外觀的高質(zhì)量圖像，中間分辨率圖像109-1到109-N具有其它分辨率轉(zhuǎn)換部分100-1到100-N按給定增大比率轉(zhuǎn)換的分辨率。
相似性信息生成部分200-1到200-N分別檢測(cè)與輸出分辨率圖像109-0中檢測(cè)模板的位置相似的中間分辨率圖像109-1到109-N中區(qū)域的位置，并在評(píng)估相似性之后生成相似性信息。
檢測(cè)模板是設(shè)置在輸出分辨率圖像109-0處的區(qū)域。用戶可自由地設(shè)置該區(qū)域?？蔀闄z測(cè)模板設(shè)置一個(gè)或多個(gè)尺寸。為檢測(cè)模板設(shè)置的K(K是大于0的整數(shù))尺寸被稱為“檢測(cè)尺寸”。
紋理生成部分300-1到300-N基于由相似性信息生成部分200生成的相似性信息，分別通過組合中間分辨率圖像109-1到109-N的高頻分量來生成紋理圖像。紋理生成部分300-1到300-N，類似相似性信息生成部分200-1到200-N，根據(jù)K個(gè)檢測(cè)尺寸來執(zhí)行處理，并且分別生成與中間分辨率圖像109-1到109-N相對(duì)應(yīng)的N個(gè)紋理圖像309-1到309-N。
紋理混合部分400混合輸出分辨率圖像109-0和紋理圖像309-1到309-N以便生成輸出圖像409。即是，具有中間分辨率圖像109-1到109-N的高頻分量的紋理圖像309-1到309-N與輸出分辨率圖像109-0混合，由此在輸出圖像409中補(bǔ)償了高頻分量。
圖2是示出根據(jù)本發(fā)明的實(shí)施例的檢測(cè)相似位置方式的圖示。相似性信息生成部分200-1到200-N中的第i(i是整數(shù)，1≤i≤N)個(gè)相似性信息生成部分200-i執(zhí)行在第i個(gè)中間分辨率圖像109-i中的圖像檢測(cè)操作。如下所述，相似性信息生成部分200-i具有K個(gè)相似位置檢測(cè)單元230-1到230-K。第j(j是整數(shù)，1≤j≤N)個(gè)相似位置檢測(cè)單元230-j利用檢測(cè)模板601-j來執(zhí)行圖像檢測(cè)操作，檢測(cè)模板601-j具有存在于輸出分辨率圖像109-0中的第j個(gè)檢測(cè)尺寸。
中間分辨率圖像109-i中與檢測(cè)模板601-j對(duì)應(yīng)的區(qū)域被稱為檢測(cè)塊。對(duì)應(yīng)于檢測(cè)尺寸，存在C(j)個(gè)檢測(cè)塊。這里C(j)是j的函數(shù)，并表示大于0的整數(shù)。此后，C(j)可以簡寫為Cj。在該圖中，示出第p(p是整數(shù)，1≤p≤C(j))個(gè)檢測(cè)塊602-p。
相似位置檢測(cè)單元230-j利用檢測(cè)模板601-j來執(zhí)行檢測(cè)塊602-p中的圖像檢測(cè)操作，并且根據(jù)檢測(cè)尺寸來檢測(cè)L(j)個(gè)相似位置。這里L(fēng)(j)是j的函數(shù)，并表示大于0的整數(shù)。此后，L(j)可以簡寫為Lj。在該圖中，示出第q(q是整數(shù)，1≤q≤L(j))個(gè)相似位置603-q。
在以上述方式利用具有K個(gè)檢測(cè)尺寸的檢測(cè)模板來執(zhí)行在N個(gè)中間分辨率圖像中的圖像檢測(cè)操作后，在C(j)個(gè)檢測(cè)塊的每一個(gè)中檢測(cè)L(j)個(gè)相似位置。此時(shí)檢測(cè)的相似位置和相似位置的權(quán)重共同稱作為相似性信息。
圖3是示出根據(jù)本發(fā)明的實(shí)施例的檢測(cè)塊和相似位置例子的圖示。在該圖中，在第i個(gè)中間分辨率圖像109-i中存在三個(gè)檢測(cè)塊602-1到602-3。
在第一檢測(cè)塊602-1中檢測(cè)三個(gè)相似位置603-1到603-3。類似地，在第二檢測(cè)塊602-2中檢測(cè)三個(gè)相似位置603-1到603-3，而在第三檢測(cè)塊602-3中檢測(cè)兩個(gè)相似位置603-1和603-2。盡管在本例中，將相同的參考數(shù)字(例如603-1到603-3)分配給不同檢測(cè)塊中的相似位置，但這些相似位置彼此不同。
圖4是示出根據(jù)本發(fā)明的實(shí)施例的相似性信息數(shù)據(jù)結(jié)構(gòu)例子的圖示。相似性信息可被表示為具有i、j、p和q索引的四維陣列。更具體地，當(dāng)在第i個(gè)中間分辨率圖像中利用具有第j個(gè)檢測(cè)尺寸的檢測(cè)模板來執(zhí)行圖像檢測(cè)操作時(shí)，與在第p個(gè)檢測(cè)塊中檢測(cè)的第q個(gè)相似位置有關(guān)的相似性信息被表示為“相似性信息(i，j，p，q)”。
圖5是示出根據(jù)本發(fā)明的實(shí)施例的相似性信息生成部分200-i結(jié)構(gòu)的例子的圖示。第i個(gè)相似性信息生成部分200-i生成第i個(gè)中間分辨率圖像109-i的相似性信息。第i個(gè)相似性信息生成部分200-i具有檢測(cè)模板提取單元210、檢測(cè)塊提取單元220、K個(gè)相似位置檢測(cè)單元230-1到230-K、和K個(gè)相似性評(píng)估單元240-1到240-K。
檢測(cè)模板提取單元210提取輸出分辨率圖像109-0中的檢測(cè)模板。如前所述，對(duì)于檢測(cè)模板存在K個(gè)檢測(cè)尺寸。因此，K個(gè)檢測(cè)模板216-1到216-K分別被提供給相似位置檢測(cè)單元230-1到230-K和相似性評(píng)估單元240-1到240-K。
檢測(cè)塊提取單元220提取中間分辨率圖像109-i中與由檢測(cè)模板提取單元210提取的檢測(cè)模板相對(duì)應(yīng)的檢測(cè)塊。與K個(gè)檢測(cè)模板216-1到216-K相對(duì)應(yīng)的K個(gè)檢測(cè)塊226-1到226-K被分別提供給相似位置檢測(cè)單元230-1到230-K和相似性評(píng)估單元240-1到240-K。
相似位置檢測(cè)單元230-1到230-K分別利用檢測(cè)模板216-1到216-K來執(zhí)行檢測(cè)塊226-1到226-K中的圖像檢測(cè)操作。相似位置檢測(cè)單元230-1到230-K分別輸出相似位置236-1到236-K的信息和相似位置237-1到237-K的相似性以作為圖像檢測(cè)結(jié)果。
相似性評(píng)估單元240-1到240-K基于從相似位置檢測(cè)單元230-1到230-K提供的相似位置236-1到236-K的信息和相似位置237-1到237-K的相似性來評(píng)估相似性，并且分別與相似位置246-1到246-K一起輸出相似位置236-1到236-K的權(quán)重248-1到248-K。相似位置246-1到246-K及其權(quán)重248-1到248-K被提供給紋理生成部分300以作為相似性信息。
圖6是示出根據(jù)本發(fā)明的實(shí)施例的相似位置檢測(cè)單元230-j結(jié)構(gòu)的例子的圖示。第j個(gè)相似位置檢測(cè)單元230-j具有頻帶轉(zhuǎn)換部件231和圖像比較部件232。
頻帶轉(zhuǎn)換部件231通過變化檢測(cè)塊226-j的特定頻帶來生成檢測(cè)塊235-j。例如，頻帶轉(zhuǎn)換部件231例如利用低通濾波器來移除高頻分量。通過該操作，檢測(cè)模板216-j和檢測(cè)塊235-j的頻帶可被調(diào)整到相等級(jí)別。
圖像比較部件232執(zhí)行檢測(cè)塊235-j中的圖像比較操作，頻帶轉(zhuǎn)換部件231相對(duì)于檢測(cè)模板216-j來轉(zhuǎn)換檢測(cè)塊235-j的頻帶。通過該圖像比較操作，檢測(cè)相似位置236-j，并且輸出相似位置236-j及其相似性237-j。
圖7是示出根據(jù)本發(fā)明的實(shí)施例的由相似位置檢測(cè)單元230執(zhí)行的圖像比較操作的例子的圖示。這里，示出一個(gè)例子，其中SAD(絕對(duì)差之和)被用作為相似性的評(píng)估指示符。SAD是檢測(cè)塊235-j和檢測(cè)模板216-j之間亮度差的和。在該圖中，SAD在二維平面中被繪制。白色部分表示大的SAD值(即，低的相似性)，而黑色部分表示小的SAD值(即，高的相似性)。
相似位置檢測(cè)單元230-j檢測(cè)一個(gè)或多個(gè)最小值以作為每個(gè)檢測(cè)塊中的相位位置。在該圖中，由于存在四個(gè)黑色區(qū)域，因此檢測(cè)到四個(gè)相似位置。相似位置檢測(cè)單元230-j輸出四個(gè)相似位置處的SAD值以作為相似性。
盡管這里SAD被用作為相似性的評(píng)估指示符，但是也可使用SAD之外的諸如SSD(平方差之和)的其它評(píng)估指示符。此外，可根據(jù)分析諸如邊緣和轉(zhuǎn)角點(diǎn)的特征量之后的匹配程度來評(píng)估相似性。此外，可使用通過組合SAD和特征量獲得的特征向量。
圖8是示出根據(jù)本發(fā)明的實(shí)施例的相似性評(píng)估單元240-j結(jié)構(gòu)的例子的圖示。相似性評(píng)估單元240-j具有L(j)個(gè)像素可靠性確定部件241-1到241-Lj、L(j)個(gè)相似位置可靠性確定部件242-1到242-Lj、和L(j)個(gè)相似位置權(quán)重確定部件243-1到243-Lj。
存在從相似位置檢測(cè)單元230-j提供的L(j)對(duì)相似位置236-j及其相似性237-j。為了識(shí)別這些對(duì)，第q對(duì)的位置被表述為相似位置236-j-q，并且其相似性被表示為相似性237-j-q。
像素可靠性確定部件241-q以逐個(gè)像素為基礎(chǔ)來確定相似位置236-j-q處的像素可靠性244-q。另一方面，相似位置可靠性確定部件242-q確定相似位置可靠性245-q，其表示相似位置236-j-q的實(shí)體的可靠性。即是，相似位置可靠性指明相似位置相對(duì)于其它相似位置的可靠程度。相似位置權(quán)重確定部件243-q根據(jù)像素可靠性244-q和相似位置可靠性245-q來確定相似位置236-j-q的權(quán)重248-j-q。
相似性評(píng)估單元240-j輸出相似位置236-j-q以作為相似位置246-j-q，而不用對(duì)相似位置236-j-q執(zhí)行任何操作。
圖9A和9B是示出根據(jù)本發(fā)明的實(shí)施例的由相似位置可靠性確定部件242-q執(zhí)行的確定相似位置可靠性245-q的過程例子的圖示。圖9A示出一個(gè)例子，其中SAD被用作為相似性的評(píng)估指示符。在該圖中，在水平方向上示出每個(gè)位置，而在垂直方向上示出每個(gè)位置處的SAD。
下面的線表示最小值，而上面的線表示最大值。此外，在最大和最小值之間示出平均等級(jí)。在該圖中，在位置1示出來自最小值的相對(duì)值d1，而在位置2示出來自最小值的相對(duì)值d2。
為了根據(jù)這種SAD值來確定表示整個(gè)相似位置可靠性的相似位置可靠性245-q，設(shè)置圖9B中的確定標(biāo)準(zhǔn)。更具體地，如位置2，當(dāng)相對(duì)SAD值大于平均值時(shí)，相似位置可靠性被確定為0％。另一方面，如位置1，當(dāng)相對(duì)SAD值等于或低于平均值時(shí)，相似位置可靠性被如此設(shè)置使得隨著相對(duì)SAD值逼近最小值而使可靠性逼近100％。
圖10A到10D是示出根據(jù)本發(fā)明的實(shí)施例的由像素可靠性確定部件241-q執(zhí)行的確定像素可靠性的過程例子的圖示。圖10A示出輸出分辨率圖像109-0中的示例檢測(cè)模板216-j。圖10B示出檢測(cè)塊226-j中的相似位置236-j-q處的示例圖像。
像素可靠性確定部件241-q確定圖10A中每個(gè)像素和圖10B中的對(duì)應(yīng)像素之差的絕對(duì)值，并且根據(jù)圖10C所示的確定標(biāo)準(zhǔn)來確定每個(gè)像素的像素可靠性。更具體地，當(dāng)像素之差的絕對(duì)值超過預(yù)定閾值時(shí)，像素可靠性被設(shè)置為0％。另一方面，當(dāng)絕對(duì)值不超過該閾值時(shí)，像素可靠性可如此被設(shè)置使得可靠性隨絕對(duì)值變得更小而逼近100％。由此，確定了圖10D中所示的像素可靠性。在該圖中，白色部分表示高像素可靠性，而黑色部分表示低像素可靠性。
相似位置權(quán)重確定部件243-j根據(jù)按上述方式確定的像素可靠性244-q和相似位置可靠性245-q來確定相似位置236-j-q的權(quán)重248-j-q。例如，通過將每個(gè)像素的像素可靠性244-q與相似位置可靠性245-q相乘來確定相似位置236-j-q處每個(gè)像素的權(quán)重248-j-q，相似位置可靠性245-q表示整個(gè)相似位置的可靠性。
圖11是示出根據(jù)本發(fā)明的實(shí)施例的紋理生成部分300-i結(jié)構(gòu)的例子的圖示。紋理生成部分300-i具有K個(gè)紋理分量提取單元310-1到310-K、K個(gè)紋理鋪設(shè)單元320-1到320-K、和紋理結(jié)合單元330。
紋理分量提取單元310-j提取中間分辨率圖像109-i中的紋理分量316-j。例如，可使用根據(jù)每個(gè)檢測(cè)尺寸而具有不同頻帶峰值頻率的帶通濾波器。
紋理鋪設(shè)單元320-j根據(jù)由相似性信息生成部分200-i生成的相似性信息(246-j和248-j)來生成C(j)個(gè)紋理塊，并通過鋪設(shè)紋理塊為每個(gè)檢測(cè)尺寸生成紋理圖像。
紋理結(jié)合單元330對(duì)于紋理鋪設(shè)單元320-j生成的每個(gè)檢測(cè)尺寸將紋理圖像結(jié)合。紋理生成部分300-i的紋理結(jié)合單元330對(duì)應(yīng)于第i個(gè)中間分辨率圖像的紋理圖像309-i。
圖12是示出根據(jù)本發(fā)明的實(shí)施例的紋理鋪設(shè)單元320-j結(jié)構(gòu)的例子的圖示。紋理鋪設(shè)單元320-j具有C(j)個(gè)紋理塊生成部件321-1到321-Cj，和塊鋪設(shè)部件322。
紋理塊生成部件321-p根據(jù)由相似性評(píng)估單元240-j生成的相似性信息(246-j-p和248-j-p)用紋理分量316-j來生成紋理塊325-p。
塊鋪設(shè)部件322分別對(duì)由紋理塊生成部件321-1到321-Cj生成的C(j)個(gè)紋理塊325-j到325-Cj執(zhí)行鋪設(shè)處理。
圖13是示出根據(jù)本發(fā)明的實(shí)施例的由紋理塊生成部件321-p執(zhí)行的生成紋理塊的過程例子的圖示。紋理塊生成部件321-p提取紋理分量316-j中L(j)個(gè)相似位置246-j-p-1到246-j-p-Lj的圖像(灰色部分)。
紋理塊生成部件321-p以如圖所示方式來組合L(j)個(gè)圖像，該L(j)個(gè)圖像是通過將相似位置246-j-p-1到246-j-p-Lj的每個(gè)圖像與相似位置的對(duì)應(yīng)權(quán)重248-j-p-1到248-j-p-Lj相乘而得到的，由此生成紋理塊325-p。在該圖中，盡管每個(gè)灰色區(qū)域的左上角處的坐標(biāo)表示相似位置，但是其它坐標(biāo)可被分配給相似位置。
圖14是示出根據(jù)本發(fā)明的實(shí)施例的由塊鋪設(shè)部件322執(zhí)行的鋪設(shè)操作例子的圖示。不用任何操作而將由紋理塊生成部件321-p生成的紋理塊鋪設(shè)在一起。但是，在該情況下，存在紋理塊的接合處在強(qiáng)邊緣上尤其突出的可能性。
由此，這個(gè)例子使用在四個(gè)紋理塊605-1到605-4彼此移動(dòng)以便與另一個(gè)紋理塊重疊一半時(shí)獲得的公共部分，以作為用于鋪設(shè)的紋理分量606。通過在整個(gè)圖像上鋪設(shè)以如此方式生成的紋理分量606，生成了紋理圖像326-j。
圖15是示出根據(jù)本發(fā)明的實(shí)施例的紋理結(jié)合單元330結(jié)構(gòu)的例子的圖示。紋理結(jié)合單元330包括特征量確定部件331和紋理添加部件332。
特征量確定部件331檢測(cè)輸出分辨率圖像109-0中的局部特征量。例如，邊緣強(qiáng)度可被檢測(cè)作為局部特征量。根據(jù)該局部特征量，紋理添加部件332對(duì)于K個(gè)檢測(cè)尺寸添加紋理圖像326-1到326-K，以便生成第i分辨率的紋理圖像309-i。
圖16A和16B是示出根據(jù)本發(fā)明的實(shí)施例的由紋理結(jié)合單元330執(zhí)行的示例控制操作的圖示。在特征量確定部件331例如將邊緣強(qiáng)度用作為局部特征量的情況下，隨著邊緣強(qiáng)度變高使用更小的檢測(cè)尺寸是可能的。因?yàn)楦叩倪吘墢?qiáng)度可指示包含了對(duì)象的邊界而不是其圖案。因此，在該情況下，可想到應(yīng)用較小的檢測(cè)尺寸來排除邊界是更有效的。
例如，當(dāng)如圖16B所示存在三個(gè)檢測(cè)尺寸時(shí)，計(jì)算權(quán)重使得當(dāng)邊緣強(qiáng)度變得更高時(shí)使用更小的檢測(cè)尺寸。紋理添加部件332接著根據(jù)權(quán)重按如下等式所示那樣來執(zhí)行添加操作。在等式中，T表示已經(jīng)進(jìn)行了添加操作的紋理圖像，而TA、TB和TC分別表示大、中和小的檢測(cè)尺寸的紋理圖像。WA、WB和WC分別表示大、中和小的檢測(cè)尺寸的紋理圖像的權(quán)重(圖16B)。
T＝WA·TA+WB·TB+WC·TC紋理混合部分400將與以這種方式獲得的每個(gè)分辨率相對(duì)應(yīng)的紋理圖像309-1到309-N和輸出分辨率圖像109-0混合。紋理混合部分400例如根據(jù)下面等式來執(zhí)行混合。系數(shù)αi，β，和γ根據(jù)經(jīng)驗(yàn)來確定。
假設(shè)在這里使用分別具有100％、200％和400％分辨率的三個(gè)紋理圖像#1到#3。例如在該情況下，系數(shù)αi被設(shè)置為如下α1＝2；α2＝1并且α3＝1。此外，系數(shù)β可被設(shè)置為1，而系數(shù)γ可被設(shè)置為大約0.3。
以如此方式，生成包括原始圖像101的高頻分量的輸出圖像409。
接下來參考附圖來詳細(xì)描述根據(jù)本發(fā)明的實(shí)施例的圖像處理設(shè)備的操作。
圖17是示出根據(jù)本發(fā)明的實(shí)施例的圖像處理方法的整個(gè)過程的流程圖。首先，分辨率轉(zhuǎn)換部分100-0將原始圖像101轉(zhuǎn)換為輸出分辨率圖像109-0(步驟S911)。
在將索引變量i初始化為“1”(步驟S912)后，第i個(gè)分辨率轉(zhuǎn)換部分100-i將原始圖像101轉(zhuǎn)換為中間分辨率圖像109-i(步驟S913)。相似性信息生成部分200-i和紋理生成部分300-i根據(jù)中間分辨率圖像109-i和輸出分辨率圖像109-0來生成紋理圖像309-i(步驟S920)。接著將索引變量i遞增1(步驟S916)，并且重復(fù)步驟S913到S917，直到遞增的索引變量i超過N(步驟S917)。
紋理混合部分400將以這種方式生成的N個(gè)紋理圖像309-1到309-N與輸出分辨率圖像混合(步驟S918)以便生成輸出圖像409。
圖18是示出根據(jù)本發(fā)明的實(shí)施例的紋理生成操作過程(步驟S920)的流程圖。首先，將索引變量j和p初始化為“1”(步驟S921和S922)。在上層處理中確定索引變量i的值(圖17)。
相似性信息生成部分200對(duì)于第i個(gè)分辨率生成具有第j個(gè)檢測(cè)尺寸的第p個(gè)檢測(cè)塊的相似性信息(246-j-q和248-j-q)(步驟S940)。此外，紋理分量提取單元310-j對(duì)于第i個(gè)分辨率提取第j個(gè)檢測(cè)尺寸的紋理分量316-j(步驟S923)。紋理塊生成部件321-p根據(jù)這些相似性信息和紋理分量來生成紋理塊325-p(步驟S924)。
接著，將索引變量p遞增“1”(步驟S925)，并且重復(fù)步驟S940到S926，直到遞增的索引變量p超過C(j)(步驟S926)。
在生成C(j)個(gè)紋理塊325-1到325-Cj后，塊鋪設(shè)部件322執(zhí)行紋理塊的鋪設(shè)操作(步驟S927)以便對(duì)于第i個(gè)分辨率生成第j個(gè)檢測(cè)塊的紋理圖像326-j。隨后，將索引變量j遞增“1”(步驟S928)，并且重復(fù)步驟S922到S929，直到遞增的索引變量j超過K(步驟S929)。
在以這種方式生成K個(gè)紋理圖像326-1到326-K后，紋理結(jié)合單元330結(jié)合這些紋理圖像(步驟S930)以便對(duì)于第i個(gè)分辨率生成紋理圖像309-i。
圖19是示出根據(jù)本發(fā)明的實(shí)施例的相似性信息生成操作過程(步驟S940)的流程圖。檢測(cè)模板提取單元210提取輸出分辨率圖像109-0中的檢測(cè)模板(步驟S941)。檢測(cè)塊提取單元220提取與中間分辨率圖像109-i中的檢測(cè)模板相對(duì)應(yīng)的檢測(cè)塊(步驟S942)。
在將索引變量q初始化為“1”(步驟S943)后，相似位置檢測(cè)單元230-j對(duì)于第i個(gè)分辨率檢測(cè)具有第j個(gè)檢測(cè)尺寸的第p個(gè)檢測(cè)塊中第q個(gè)相似位置(步驟S944)。索引變量i、j和p的值在上層處理中被設(shè)置(圖17和18)。
相似性評(píng)估單元240-j對(duì)于第i個(gè)分辨率評(píng)估具有第j個(gè)檢測(cè)尺寸的第p個(gè)檢測(cè)塊中第q個(gè)相似位置的相似性(步驟S945)以便確定相似位置的權(quán)重。
接著，將索引變量q遞增1(步驟S946)，并且重復(fù)步驟S944到S947，直到遞增的索引變量q超過L(j)(步驟S947)。
如上所述，根據(jù)本發(fā)明的實(shí)施例，生成分辨率等于或高于原始圖像101分辨率的輸出圖像409的圖像處理設(shè)備可通過添加紋理圖像來生成比原始圖像質(zhì)量更高的穩(wěn)定輸出圖像，所添加的紋理圖像包括中間分辨率圖像109-1到109-N的高頻分量，中間分辨率圖像109-1到109-N具有的分辨率與輸出圖像409的分辨率不同，從而輸出分辨率與輸出圖像409相等的輸出分辨率圖像109-0。
本發(fā)明的實(shí)施例只是體現(xiàn)本發(fā)明的例子，并具有與權(quán)利要求中所述特征的隨后對(duì)應(yīng)關(guān)系。但是，應(yīng)當(dāng)注意，本發(fā)明不限于這些實(shí)施例，并且在不偏離本發(fā)明的精神和范圍的情況下可做出各種修改。
更具體地，根據(jù)本發(fā)明，第一圖像轉(zhuǎn)換裝置例如對(duì)應(yīng)于分辨率轉(zhuǎn)換部分100-0。此外，第二圖像轉(zhuǎn)換裝置例如對(duì)應(yīng)于分辨率轉(zhuǎn)換部分100-1到100-N。另外，相似性信息生成裝置和紋理生成裝置例如分別對(duì)應(yīng)于相似性信息生成部分200-1到200-N和紋理生成部分300-1到300-N。此外，紋理混合裝置例如對(duì)應(yīng)于紋理混合部件400。此外，輸出分辨率圖像中的預(yù)定部分區(qū)域和中間分辨率圖像中的塊例如分別對(duì)應(yīng)于檢測(cè)模板和檢測(cè)塊。
根據(jù)本發(fā)明的另一個(gè)實(shí)施例，將原始圖像的分辨率轉(zhuǎn)換為與輸出圖像相同的分辨率以便生成輸出分辨率圖像的步驟例如對(duì)應(yīng)于步驟S911。此外，將原始圖像的分辨率轉(zhuǎn)換為與輸出圖像不同的分辨率以便生成中間分辨率圖像的步驟例如對(duì)應(yīng)于步驟S913。此外，在與輸出分辨率圖像中預(yù)定的部分區(qū)域相對(duì)應(yīng)的中間分辨率圖像的塊中檢測(cè)多個(gè)相似區(qū)域，這些相似區(qū)域與所述部分區(qū)域類似，并生成相似性信息，包括多個(gè)相似區(qū)域的每一個(gè)在中間分辨率圖像中的位置以及位置的權(quán)重的步驟例如對(duì)應(yīng)于步驟S940。此外，根據(jù)相似性信息所指示的權(quán)重，通過合并中間分辨率圖像在相似性信息所指示的位置處的高頻分量來生成紋理圖像的步驟例如對(duì)應(yīng)于步驟S920。此外，混合輸出的分辨率圖像和紋理圖像以便生成輸出圖像的步驟例如對(duì)應(yīng)于步驟S918。
本發(fā)明的實(shí)施例中描述的過程可被當(dāng)作為具有該步驟序列的方法。可替換地，該過程可被當(dāng)作為使計(jì)算機(jī)執(zhí)行該步驟序列的程序或存儲(chǔ)該程序的存儲(chǔ)介質(zhì)。
權(quán)利要求
1.一種用于生成分辨率等于或高于原始圖像分辨率的輸出圖像的圖像處理設(shè)備，該圖像處理設(shè)備包括第一圖像轉(zhuǎn)換裝置，用于將原始圖像的分辨率轉(zhuǎn)換為與輸出圖像相同的分辨率以便生成輸出分辨率圖像；第二圖像轉(zhuǎn)換裝置，用于將原始圖像的分辨率轉(zhuǎn)換為與輸出圖像不同的分辨率以便生成中間分辨率圖像；相似性信息生成裝置，用于在與輸出分辨率圖像中預(yù)定的部分區(qū)域相對(duì)應(yīng)的中間分辨率圖像的塊中檢測(cè)多個(gè)相似區(qū)域，這些相似區(qū)域與所述部分區(qū)域類似，并用于生成相似性信息，包括多個(gè)相似區(qū)域的每一個(gè)在中間分辨率圖像中的位置以及位置的權(quán)重；紋理生成裝置，用于根據(jù)相似性信息所指示的權(quán)重，通過合并中間分辨率圖像在相似性信息所指示的位置處的高頻分量來生成紋理圖像；和紋理混合裝置，用于混合輸出的分辨率圖像和紋理圖像以便生成輸出圖像。
2.根據(jù)權(quán)利要求1的設(shè)備，其中第二圖像轉(zhuǎn)換裝置可生成多個(gè)分辨率彼此不同的中間分辨率圖像，并且其中相似性信息生成裝置為多個(gè)中間分辨率圖像的每一個(gè)生成相似性信息，并且其中紋理生成裝置為多個(gè)中間分辨率圖像的每一個(gè)生成紋理圖像，并且其中紋理混合裝置混合多個(gè)紋理圖像和輸出分辨率圖像以便生成輸出圖像。
3.根據(jù)權(quán)利要求1的設(shè)備，其中相似性信息生成裝置選擇多個(gè)區(qū)域作為部分區(qū)域，每個(gè)區(qū)域具有彼此不同的尺寸，并且其中紋理生成裝置為具有不同尺寸的多個(gè)部分區(qū)域的每一個(gè)生成紋理圖像，并且其中紋理混合裝置混合多個(gè)紋理圖像和輸出分辨率圖像以便生成輸出圖像。
4.根據(jù)權(quán)利要求1的設(shè)備，其中相似性信息生成裝置選擇一個(gè)位置作為相似區(qū)域的位置，在該位置處基于與部分區(qū)域的亮度差的值是相對(duì)最小值。
5.根據(jù)權(quán)利要求1的設(shè)備，其中紋理生成裝置根據(jù)相似性信息所指示的權(quán)重，通過合并中間分辨率圖像在相似性信息所指示的位置處的高頻分量來在塊中生成紋理塊，并且通過鋪設(shè)紋理塊來生成紋理圖像。
6.一種用于圖像處理設(shè)備的圖像處理方法，該圖像處理設(shè)備生成分辨率等于或高于原始圖像分辨率的輸出圖像，該圖像處理方法包括步驟將原始圖像的分辨率轉(zhuǎn)換為與輸出圖像相同的分辨率以便生成輸出分辨率圖像；將原始圖像的分辨率轉(zhuǎn)換為與輸出圖像不同的分辨率以便生成中間分辨率圖像；在與輸出分辨率圖像中預(yù)定的部分區(qū)域相對(duì)應(yīng)的中間分辨率圖像的塊中檢測(cè)多個(gè)相似區(qū)域，這些相似區(qū)域與所述部分區(qū)域類似，并生成相似性信息，包括多個(gè)相似區(qū)域的每一個(gè)在中間分辨率圖像中的位置以及位置的權(quán)重；根據(jù)相似性信息所指示的權(quán)重，通過合并中間分辨率圖像在相似性信息所指示的位置處的高頻分量來生成紋理圖像；并且混合輸出的分辨率圖像和紋理圖像以便生成輸出圖像。
7.一種用于圖像處理設(shè)備的程序，該圖像處理設(shè)備生成分辨率等于或高于原始圖像分辨率的輸出圖像，該程序使計(jì)算機(jī)執(zhí)行一個(gè)過程，該過程包括步驟將原始圖像的分辨率轉(zhuǎn)換為與輸出圖像相同的分辨率以便生成輸出分辨率圖像；將原始圖像的分辨率轉(zhuǎn)換為與輸出圖像不同的分辨率以便生成中間分辨率圖像；在與輸出分辨率圖像中預(yù)定的部分區(qū)域相對(duì)應(yīng)的中間分辨率圖像的塊中檢測(cè)多個(gè)相似區(qū)域，這些相似區(qū)域與所述部分區(qū)域類似，并生成相似性信息，包括多個(gè)相似區(qū)域的每一個(gè)在中間分辨率圖像中的位置以及位置的權(quán)重；根據(jù)相似性信息所指示的權(quán)重，通過合并中間分辨率圖像在相似性信息所指示的位置處的高頻分量來生成紋理圖像；并且混合輸出的分辨率圖像和紋理圖像以便生成輸出圖像。
8.一種用于生成分辨率等于或高于原始圖像分辨率的輸出圖像的圖像處理設(shè)備，該圖像處理設(shè)備包括第一圖像轉(zhuǎn)換部分，用于將原始圖像的分辨率轉(zhuǎn)換為與輸出圖像相同的分辨率以便生成輸出分辨率圖像；第二圖像轉(zhuǎn)換部分，用于將原始圖像的分辨率轉(zhuǎn)換為與輸出圖像不同的分辨率以便生成中間分辨率圖像；相似性信息生成部分，用于在與輸出分辨率圖像中預(yù)定的部分區(qū)域相對(duì)應(yīng)的中間分辨率圖像的塊中檢測(cè)多個(gè)相似區(qū)域，這些相似區(qū)域與所述部分區(qū)域類似，并用于生成相似性信息，包括多個(gè)相似區(qū)域的每一個(gè)在中間分辨率圖像中的位置以及位置的權(quán)重；紋理生成部分，用于根據(jù)相似性信息所指示的權(quán)重，通過合并中間分辨率圖像在相似性信息所指示的位置處的高頻分量來生成紋理圖像；和紋理混合部分，用于混合輸出的分辨率圖像和紋理圖像以便生成輸出圖像。
全文摘要
一種圖像處理設(shè)備包括第一圖像轉(zhuǎn)換部分，用于將原始圖像轉(zhuǎn)換為輸出分辨率圖像；第二圖像轉(zhuǎn)換部分，用于將原始圖像轉(zhuǎn)換為中間分辨率圖像；相似性信息生成部分，用于在與輸出分辨率圖像中預(yù)定的部分區(qū)域相對(duì)應(yīng)的中間分辨率圖像的塊中檢測(cè)多個(gè)相似區(qū)域，這些相似區(qū)域與所述部分區(qū)域類似，并用于生成相似性信息，包括多個(gè)相似區(qū)域的每一個(gè)在中間分辨率圖像中的位置以及位置的權(quán)重；紋理生成部分，用于根據(jù)權(quán)重通過合并中間分辨率圖像在位置處的高頻分量來生成紋理圖像；和紋理混合部分，用于混合輸出的分辨率圖像和紋理圖像以便生成輸出圖像。
文檔編號(hào)H04N5/14GK101013501SQ20071000616
公開日2007年8月8日 申請(qǐng)日期2007年1月31日 優(yōu)先權(quán)日2006年1月31日
發(fā)明者畠澤泰成, 五味信一郎, 緒形昌美 申請(qǐng)人:索尼株式會(huì)社