專利名稱：圖像放大裝置及程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像放大裝置及程序。
背景技術(shù)：
近年來，希望將便攜電話機等所攝影的原圖像精美地印刷、顯示這樣的要求越來越高，因此就需要高品質(zhì)的圖像放大技術(shù)。
所謂圖像放大是指在像素和像素之間內(nèi)插新的像素的處理，以使用基于雙線性、雙三次法的插值函數(shù)為代表。但是，使用這種插值函數(shù)的方法中，具有在放大圖像中產(chǎn)生輪廓模糊的(不能正確保存邊緣信息)問題。
因此，提出了利用子波信號還原理論的圖像放大方法(中靜等，「多重スケ一ル輝度こう配平面における畫像高解像度化」，電子情報通信學(xué)會論文誌，vol.J-81-DII，第2249-2258頁，1998年10月)。相關(guān)方法根據(jù)原圖像的多級亮度斜率(gradient)來推定原圖像輪廓上的利普茲(Lipchitz)指數(shù)，并基于該結(jié)果，對未知高分辨率圖像的多級亮度斜率付與約束條件來推定高分辨率的圖像。
但是，在該圖像放大方法中，為了正確保存邊緣信息，必需進行包含子波變換、逆變換的巨大計算量的反復(fù)運算。
因此，公開了使用按照使距用于構(gòu)成二維圖像的抽樣點的距離相等點的函數(shù)值相等的方式所生成的二維抽樣函數(shù)(平滑化函數(shù))來進行濃度值內(nèi)插，由此生成放大圖像的技術(shù)(特開2000-875865號公報)。
根據(jù)該特許公開公報記載的技術(shù)，在以較少數(shù)據(jù)處理量進行放大處理之際，也可以得到高品質(zhì)的重組圖像。
平滑化函數(shù)序列是事先由次數(shù)m-1的B-仿樣函數(shù)(spline function)來定義的，從臺階狀(m＝1)到傅里葉函數(shù)(m＝∞)為止的平滑度不同的函數(shù)的集合。認(rèn)為根據(jù)圖像特征來選擇最適合的平滑化函數(shù)，而使高品質(zhì)圖像放大成為可能。
然而，在上述特許公開公報所記載的技術(shù)中，沒有進行根據(jù)圖像特征來選擇濃度值內(nèi)插所使用的平滑化函數(shù)的次數(shù)。而且，關(guān)于上述情況的平滑化函數(shù)的選擇方法已明確記載的現(xiàn)有技術(shù)，在本申請?zhí)峤粫r還不存在。

發(fā)明內(nèi)容
因此，本發(fā)明的目的在于提供一種圖像放大裝置，其特征在于，根據(jù)圖像特征來選擇濃度值內(nèi)插所使用的平滑化函數(shù)。
本發(fā)明的某形態(tài)涉及圖像放大裝置。該圖像放大裝置包括輸入用于表現(xiàn)圖像的數(shù)字圖像數(shù)據(jù)的輸入裝置；從上述數(shù)字圖像數(shù)據(jù)中檢測出邊緣的檢測機構(gòu)；推定出上述檢測機構(gòu)所檢測的連續(xù)微分可能次數(shù)的推定機構(gòu)；基于由上述推定機構(gòu)所推定的連續(xù)微分可能次數(shù)，選擇插值函數(shù)的選擇機構(gòu)；和基于由上述選擇機構(gòu)所選擇的插值函數(shù)，進行上述邊緣附近的像素內(nèi)插處理的內(nèi)插機構(gòu)。
本發(fā)明的其它形態(tài)還涉及圖像放大裝置。該圖像放大裝置包括輸入用于表現(xiàn)圖像的數(shù)字圖像數(shù)據(jù)的輸入裝置；從上述數(shù)字圖像數(shù)據(jù)中檢測出邊緣的檢測機構(gòu)；計算出由上述檢測機構(gòu)所檢測的邊緣的Lipchitz指數(shù)的演算裝置；基于由上述演算裝置計算出的Lipchitz指數(shù)，選擇插值函數(shù)的選擇機構(gòu)；和基于由上述選擇機構(gòu)所選擇的插值函數(shù)，進行上述邊緣附近的像素內(nèi)插處理的內(nèi)插機構(gòu)。
本發(fā)明的其它形態(tài)涉及程序。該程序使計算機發(fā)揮從數(shù)字圖像數(shù)據(jù)中檢測出邊緣的檢測功能；推定出在上述檢測功能中所檢測的邊緣的連續(xù)微分可能次數(shù)的推定功能；基于在上述推定功能中所推定的連續(xù)微分可能次數(shù)，選擇插值函數(shù)的選擇功能；和基于在上述選擇功能中所選擇的插值函數(shù)，進行上述邊緣附近的像素內(nèi)插處理的內(nèi)插功能。
本發(fā)明的其它形態(tài)還涉及程序。該程序使計算機發(fā)揮從數(shù)字圖像數(shù)據(jù)中檢測出邊緣的檢測功能；計算在上述邊緣檢測功能所檢測的邊緣的Lipchitz指數(shù)的演算功能；基于在上述演算功能中所計算的Lipchitz指數(shù)，選擇插值函數(shù)的選擇功能；和基于由上述選擇功能所選擇的插值函數(shù)，進行上述邊緣附近的像素內(nèi)插處理的內(nèi)插功能。


圖1為對分別將圖像的縱橫像素數(shù)放大為2倍時的圖像放大進行說明的圖。
圖2為用于表示圖像放大順序的一例的圖。
圖3表示針對Lena圖像的各像素(x，y)所推定的Lipchitz指數(shù)。
圖4表示Lipchitz指數(shù)、和所選擇的內(nèi)插平滑化函數(shù)的關(guān)系的一例。
圖5為用于表示平滑化函數(shù)的數(shù)量大小的圖。
圖6為用于表示平滑化函數(shù)中抽樣點等的圖。
圖7為用于表示圖像放大裝置100的功能模塊的圖。
圖8為用于表示計算機裝置200的結(jié)構(gòu)的圖。
圖9為用于表示照相機300的結(jié)構(gòu)的圖。
圖10為用于表示以縱橫256像素所構(gòu)成的Lena圖像的圖。
圖11表示圖10的Lena圖像中的、位于眼睛附近的由縱橫32像素構(gòu)成的原圖像。
圖12為放大圖11圖像后生成的縱橫63像素的圖像。
圖13為用于表示實施例1的放大處理整體流程的流程圖。
圖14為用于表示圖13的步驟S20中所內(nèi)插生成的像素、和圖13的步驟S30中所內(nèi)插生成的像素的圖。
圖15為用于表示水平方向的放大處理(步驟S20)順序的流程圖。
圖16為用于表示插值函數(shù)的選擇處理(步驟S207)順序的流程圖。
圖17為用于表示水平方向的子波變換系數(shù)為特定值以上的原像素的圖。
圖18為用于表示選擇m＝1、m＝2的平滑化函數(shù)后的內(nèi)插像素一例的圖。
圖19為用于表示垂直方向的放大處理(步驟S30)的詳細順序的流程圖。
圖20為用于表示插值函數(shù)的選擇處理(步驟S307)的順序的流程圖。
圖21為用于表示垂直方向的子波變換系數(shù)為特定值以上的原像素的圖。
圖22為用于表示選擇m＝1、m＝2的平滑化函數(shù)后的內(nèi)插像素的一例的圖。
圖23為用于表示通過各種方法所生成的放大圖像的圖。
圖24為用于表示通過各種方法所生成的放大圖像的性能評價結(jié)果的圖。
圖25為對內(nèi)插像素位置上存在傾斜方向的邊緣時的內(nèi)插進行說明的圖。
圖26為用于表示實施例2的放大處理順序的流程圖。
圖27為用于表示步驟S612的內(nèi)插處理順序的流程圖。
圖28為用于表示基于左右原像素的內(nèi)插處理順序的流程圖。
圖29為用于表示基于上下原像素的內(nèi)插處理順序的流程圖。
圖30為用于表示基于傾斜方向原像素的內(nèi)插處理順序的流程圖。
圖31為用于表示基于左下、右上方向原像素的內(nèi)插處理順序的流程圖。
具體實施例方式
參照圖1對分別將圖像縱橫像素數(shù)放大為2倍時的圖像放大進行說明。圖1的黑點為放大前圖像的像素。以后，將放大前的圖像稱之為“原圖像”，將放大前圖像的像素稱之為“原像素”。圖1的白點是通過放大處理，即在上述原像素和原像素間進行內(nèi)插所得到的像素。以后，將其稱為“內(nèi)插像素”。
這里，用于表示各像素位置的坐標(biāo)系是以放大后圖像為基準(zhǔn)的坐標(biāo)系。
即，假設(shè)原像素的x坐標(biāo)、y坐標(biāo)均為偶數(shù)。
圖2表示圖像放大順序的一例。
在步驟S02中，進行邊緣坐標(biāo)的檢測處理。作為邊緣坐標(biāo)檢測方法具有多種方法，例如具有以下方法，即計算出各原像素的子波變換系數(shù)，且將該變換系數(shù)為特定值以上的像素當(dāng)作邊緣。在步驟S04中，進行S02中所檢測出的原圖像邊緣像素連續(xù)微分可能次數(shù)的推定。
例如，基于邊緣像素中的Lipchitz指數(shù)來推定連續(xù)微分可能次數(shù)。在步驟S06中，選擇S04中推定的連續(xù)微分可能次數(shù)所對應(yīng)的插值函數(shù)。例如，將平滑化函數(shù)系列作為插值函數(shù)。在步驟S08中，基于S06中所決定的插值函數(shù)，進行用于生成內(nèi)插像素亮度值的處理。
以下，對于詳細的各步驟處理內(nèi)容進行說明。
(步驟S02邊緣坐標(biāo)檢測處理)在步驟S02的邊緣坐標(biāo)檢測處理中，計算各原像素的子波變換系數(shù)，如果子波變換系數(shù)為特定值以上就認(rèn)為邊緣位于此位置。關(guān)于該原理敘述如下。
按照文獻“中靜等，「多重スケ一ル輝度こう配平面における畫像高解像度化」，電子情報通信學(xué)會論文誌，vol.J-81-DII，第2249-2258頁，1998年10月”，通過信號f(x)和子波基底函數(shù)φj(x)的卷積演算，如公式1那樣定義一維離散二進制子波變換。
Wj(f(x))＝ψj*f(x)這里，子波基底函數(shù)(basic function)是根據(jù)基本子波函數(shù)φ(x)如公式2那樣被導(dǎo)出的。這里，j為正整數(shù)，表示子波基底函數(shù)的標(biāo)度。

ψj(x)=12jψ(x2j)]]>信號f(x)通過子波變換(Wj(x))j∈Z來表現(xiàn)。在實際數(shù)值計算中，由于不可能計算無限小的子波變換，所以導(dǎo)入尺度函數(shù)φ(x)，最小標(biāo)度為1。
分別按照公式3定義接收了2的j次方的尺度函數(shù)，按照公式4定義由尺度函數(shù)所平滑化的信號f(x)。
φj(x)=12jφ(x2j)]]>[公式4]Sj(f(x))＝φj*f(x)標(biāo)度2j的平滑化信號Sj(f(x))通過子波變換系數(shù)Wj+1(x)、標(biāo)度2j+1的平滑化信號Sj+1(x)這兩個信號來表現(xiàn)。
這里，通過相對子波基底函數(shù)來定義合成子波基底函數(shù)χ(x)，能夠根據(jù)子波變換和平滑化信號來再構(gòu)成Sj(f(x))。在合成子波基底函數(shù)、子波基底函數(shù)、尺度函數(shù)中具有由公式5所示的關(guān)系。
|Φ(ω)|2=Σj=1+∞Ψ(2jω)X(2jω)]]>這里，Φ(ω)、Ψ(ω)、X(ω)分別表示φ(x)、ψ(x)、χ(x)的傅立葉變換。
按照公式6再構(gòu)成平滑化信號Sj(f(x))。
Sj(f(x，y))＝xj+1*Wj+1(f(x))+φ*j+1*Sj+1(f(x))這里，φ*j+1(x)表示φj+1(-x)。
在相對于二維信號的二維二進制子波變換中，按照公式7定義平滑化信號Sj(f(x，y))。
Sj(f(x，y))＝φj′*f(x，y)該平滑化信號是對原圖像沿水平方向、垂直方向進行一維尺度函數(shù)卷積所得到的信號，二維尺度函數(shù)按照公式8定義。
φj′(x，y)＝φj(x)φj(y)二維子波變換能夠以一維的子波基底函數(shù)在水平方向上卷積所獲得的成份(公式9)、以及在垂直方向上卷積所獲得的成份(公式10)這樣的兩個成份來計算。
Wj1(f(x,y))=Ψj1*f(x,y)]]>[公式10]Wj2(f(x,y))=Ψj2*f(x,y)]]>這里，二個子波基底函數(shù)分別為公式11、12。
ψj1(x,y)=φj-1(x)ψj(y)]]>[公式12]ψj2(x,y)=φj-1(y)ψj(x)]]>在子波基底函數(shù)與關(guān)于原點對稱的平滑化函數(shù)一階微分一致的情況下(公式13、14)，可知水平、垂直方向的子波變換的平方和的平均根(子波變換系數(shù)、公式15)在圖像邊緣中為最大值。
ψ(x)=dφ(x)dx]]>[公式14]ψ(y)=dφ(y)dy]]>[公式15]Mj(f(x,y))=Wj1(f(x,y))2+Wj2(f(x,y))2]]>而且，所檢測的邊緣的方向能夠按照公式16表現(xiàn)。
θ(x,y)=tan-1Wj1(f(x,y))Wj2(f(x,y))]]>(步驟S04連續(xù)微分可能次數(shù)的推定)在步驟S04中，進行S02中所檢測的原圖像邊緣像素中連續(xù)微分可能次數(shù)的推定。這里，通過計算邊緣像素的Lipchitz指數(shù)，就可推定連續(xù)微分可能次數(shù)。
按照文獻[Mallet et.al.，“Singularity detection and processing with wavelets，”IEEE Trans.Inf.Theory，vol.38，pp.617-643，Mar 1992]，多級亮度斜率平面M(f(x，y))的各值在標(biāo)度參數(shù)j充分小時，存在某K＞0，變?yōu)楣?7。
Mj(f(x，y))＝K×2jα而且，二維子波變換W1(f(x，y))的各值在標(biāo)度參數(shù)j充分小時，存在某K1＞0，變?yōu)楣?8。而且，二維子波變換W2(f(x，y))各值在標(biāo)度參數(shù)j充分小時，存在某K2＞0，變?yōu)楣?9。
Wj1(f(x,y))=K1×2ja]]>[公式19]Wj2(f(x,y))=K2×2ja]]>
這里，α稱為Lipchitz指數(shù)，f為可連續(xù)微分的與不超過α的最大整數(shù)相等次數(shù)。從而，如果計算各邊緣像素內(nèi)的Lipchitz指數(shù)就能夠推定連續(xù)微分可能次數(shù)。根據(jù)公式17，如公式20那樣推定充分小的標(biāo)度j、j+1中(二維相關(guān))的Lipchitz指數(shù)。
ajj+1(x,y)=log2Mj+1fMjf]]>而且，分別根據(jù)公式18、19如公式21、22那樣推定一維相關(guān)的(水平、垂直方向)的Lipchitz指數(shù)。
aj1j+1(x,y)=log2Wj+11(f(x,y))Wj1(f(x,y))]]>[公式22]aj2j+1(x,y)=log2Wj+12(f(x,y))Wj+12(f(x,y))]]>一般地，亮度值變化越平滑，Lipchitz指數(shù)就越大。圖3表示針對Lena圖像的各像素(x，y)所推定的Lipchitz指數(shù)。在亮度值變化平滑的像素(24、104)中Lipchitz指數(shù)大至4.7，在邊緣像素(132、135)中其小至0.6。而且，邊緣的方向不定的圖像(94、124)中Lipchitz指數(shù)為負(fù)(-5.0)，判斷為噪音。
(步驟S06插值函數(shù)的選擇)在步驟S06中，根據(jù)S04所推定的連續(xù)微分可能次數(shù)來選擇插值函數(shù)。具體地如圖4所示，根據(jù)Lipchitz指數(shù)α，選擇內(nèi)插所使用的平滑化函數(shù)。
平滑化理論作為用于進行D/A變換的方式之一被公知。原來，作為D/A變換的代表性方法，主要是根據(jù)由香農(nóng)(SHANNON)提出的抽樣法定理，將數(shù)字信號移動到限制于模擬頻帶內(nèi)的傅立葉信號空間。但是，作為能夠無限次微分且連續(xù)的信號的集合的傅立葉信號空間存在不適于表現(xiàn)包含不連續(xù)點、不能夠微分點的信號的問題。因此，平滑化理論是為了高精度地進行包含這樣不連續(xù)、不能夠微分的點的數(shù)字信號的D/A變換而建立的。
在平滑化理論中，準(zhǔn)備了由m-1次仿樣函數(shù)所構(gòu)成的信號空間mS(以下，稱為平滑化信號空間)。按照文獻“鐮田等，「一般次數(shù)のスプライン関數(shù)からなる信號空間における標(biāo)本化基底について」，信學(xué)論(A，Vol.J71-A)，昭和63年”，平滑化信號空間mS中的抽樣基底函數(shù)，按照數(shù)學(xué)公式23表現(xiàn)。
{φk[s]m}k=-∞∞]]>其中，[公式24]φk[s]m≅Σl=-∞∞mβ[l-k][b]mφl]]>k＝0，±1，±2，...，[公式25]φl[b]m(t)≅∫-∞∞[sin(πfh)/(πfh)]mexp(j2πf(t-lh))df,]]>l＝0，±1，±2，...，m＝0，1，2，..，[公式26]βm[p]=h∫fm-1/2h1/2hB(f)exp(j2πfph)df,]]>p＝0，±1，±2，…，[公式27]βfm[f]=h/{Σq=-∞∞[sin(π(fh-q))/π(fh-q)]m}]]>以下，將公式28所表現(xiàn)的函數(shù)序列稱為在平滑化空間mS中的平滑化抽樣基底函數(shù)。
{φk[s]m}k=-∞∞]]>而且，將公式28中的各函數(shù)(公式29)稱為平滑化函數(shù)。
φk[s]m]]>在使用平滑化抽樣基底函數(shù)對信號進行近似時，根據(jù)作為對象的信號的性質(zhì)，設(shè)定次數(shù)參數(shù)m。這里，能夠從1～∞中選擇m。這里，m＝1～3的平滑化抽樣基底函數(shù)(公式30)表現(xiàn)如公式31到33那樣。
φk[s]m]]>[公式31]φk[s]1(t)=h[b]1φk(t)]]>[公式32]φk[s]2(t)=h[b]2φk(t)]]>[公式33]φk[s]3(t)=2hΣl=-∞∞(-3+22)|l-k|φl[b]3(t)]]>并且，在文獻“寅市等，「スプライン信號空間と帶域制限信號空間との関係について」、電子情報通信學(xué)會論文誌(Vol.73)，Sep.1990”中，當(dāng)m＝∞時，平滑化函數(shù)表示為與sinc函數(shù)一致。
綜上所述，在平滑化理論中，平滑化函數(shù)能夠為從臺階狀函數(shù)(m＝1)到sinc函數(shù)(m＝∞)為止的平滑度不同的函數(shù)的集合。
現(xiàn)有信號處理，根據(jù)SHANNON抽樣理論，基于信號的頻帶的頻率，設(shè)定頻帶信號限制空間H，將sinc函數(shù)的近似函數(shù)作為抽樣基礎(chǔ)來進行。從平滑化理論的觀點而言，成為僅使用∞S信號空間。
但是，信號有時包含局部不可微分或連續(xù)微分次數(shù)有限的點。能夠無限次連續(xù)微分的sinc函數(shù)不適宜處理這樣信號。
與此相對，平滑化理論中根據(jù)對象信號的局部連續(xù)微分可能次數(shù)來設(shè)定參數(shù)m，選擇適應(yīng)信號表現(xiàn)的信號空間mS，由此可進行更有效的處理。
再者，參照圖4，對基于Lipchitz指數(shù)α來選擇內(nèi)插時所使用的平滑化函數(shù)的順序進行說明。
在本實施例中，從圖4所示的四種類型的函數(shù)中選擇插值函數(shù)。插值函數(shù)(a)、(b)、(c)、(d)的次數(shù)m-1分別為0、1、2、3，能夠連續(xù)微分的次數(shù)為0、0、1、2。Lipchitz指數(shù)α是在充分小的標(biāo)度j、j+1中使用公式20來推定的。
如果與內(nèi)插像素鄰近的兩鄰的原像素均為非邊緣座標(biāo)，則選擇圖4的函數(shù)(d)，即m＝4的平滑化函數(shù)?；蛘哌M行單純的雙線性內(nèi)插或雙三次內(nèi)插也可。
如果與內(nèi)插像素鄰近的兩鄰的原像素中的、任意一方為邊緣像素，則基于邊緣像素一方的原像素的Lipchitz指數(shù)α，從圖4的函數(shù)(a)、(b)、(c)中選擇一個(m＝1、m＝2、m＝3的平滑化函數(shù)中的一個)。這里，因為函數(shù)(a)、(b)能夠連續(xù)微分可能次數(shù)均為0，直接不能進行函數(shù)選擇。因此，準(zhǔn)備選擇基準(zhǔn)參數(shù)k1(0＜k＜1)，以α是否為K以下來決定選擇(a)、(b)中哪一個。即，如果0＜α≤k1則將m＝1的平滑化函數(shù)選擇為插值函數(shù)，如果k1＜α＜1則將m＝2的平滑化函數(shù)選擇為插值函數(shù)。而且，也可以準(zhǔn)備第二選擇基準(zhǔn)參數(shù)k2，如果1≤α＜k2則將m＝3的平滑化函數(shù)選擇為插值函數(shù)，如果k2≤α則將m＝4的平滑化函數(shù)選擇為插值函數(shù)也可。而且，在α＜0的情況下也將m＝4的平滑化函數(shù)選擇為插值函數(shù)。
在α＜0的情況下，公知所對應(yīng)邊緣的亮度信息是噪聲。在α≤k2的情況下，可認(rèn)為該像素鄰近的亮度值的變化全部是平滑的(不存在邊緣)。作為參數(shù)k1、k2的一例為大約k1＝0.5、k2＝1.75。例如根據(jù)圖像整體邊緣座標(biāo)的Lipchitz指數(shù)的平均值來選擇這些參數(shù)。
而且，如果與內(nèi)插像素鄰近的兩鄰像素中的、兩鄰像素為邊緣像素，則基于兩鄰原像素的Lipchitz指數(shù)α的平均值，選擇平滑化函數(shù)?；蛘呋趦舌徳袼刂腥我庖粋€原像素的Lipchitz指數(shù)α，選擇平滑化函數(shù)也可。例如，還可以基于較大一方的Lipchitz指數(shù)α，選擇平滑化函數(shù)。
(步驟S08內(nèi)插處理的執(zhí)行)在步驟S08中，基于S06所選擇的平滑化函數(shù)，進行內(nèi)插處理。
首先最初決定在內(nèi)插時所使用的原像素的點的個數(shù)。所使用的個數(shù)依賴于各平滑化函數(shù)數(shù)量范圍的大小。各平滑化函數(shù)具有如圖5這樣不同大小的數(shù)量范圍。所謂數(shù)量范圍的大小是指在以特定取樣間隔對平滑化函數(shù)進行抽樣時，函數(shù)值為非零的抽樣點的個數(shù)。而且，該數(shù)量大小也可以是在內(nèi)插處理時所參照的原圖像周邊像素的數(shù)目。
例如，在m＝1的情況下，參照圖6(a)，x＝0時抽樣點的函數(shù)f(x)為1，但在其以外的抽樣點(白點)中函數(shù)值f(x)為0。因為函數(shù)值為非零的抽樣點的個數(shù)為1，所以數(shù)量范圍為1。在該情況下，內(nèi)插像素Q(x)的亮度值I(x)或者為與位于內(nèi)插像素Q(x)左側(cè)的原像素P(x-1)的亮度值I(x-1)相同，或者為與位于內(nèi)插像素Q(x)右側(cè)的原像素P(x+1)的亮度值I(x+1)相同的亮度值。
在m＝2的情況下，參照圖6(b)，x＝±1時抽樣點的函數(shù)f(x)為0.5，但在其以外的抽樣點(白點)函數(shù)值f(x)為0。因為函數(shù)值為非零的抽樣點的個數(shù)為2，所以數(shù)量范圍為2。在此情況下，基于與內(nèi)插像素Q(x)鄰近的兩個原像素的亮度值I(x-1)、I(x+1)來決定內(nèi)插像素Q(x)的亮度值I(x)。即按照公式34表示。
I(x)＝f(x-1)*I(x-1)+f(x+1)*I(x+1)在m＝3的情況下，參照圖6(c)，x＝±7、±5、±3、±1時抽樣點的函數(shù)f(x)為非零，但在其以外的抽樣點(白點)中函數(shù)值f(x)為0。因此數(shù)量范圍為8。在此情況下，使用相鄰的八個原像素的亮度值I(x-7)、I(x-5)、I(x-3)、I(x-1)、I(x+1)、I(x+3)、I(x+5)、I(x+7)來決定內(nèi)插像素Q(x)的亮度值I(x)。即按照公式35、36表示。
I(x)=Σn=-4n=3f(2n+1)*I(2n+1)]]>[公式36]Σn=-4n=3f(2n+1)=1]]>圖7是用于進行上述所說明的圖像放大的圖像放大裝置結(jié)構(gòu)的示意圖。圖像放大裝置100由圖像輸入部10、邊緣檢測部12、連續(xù)微分可能次數(shù)推定部14、插值函數(shù)選擇部16、內(nèi)插處理執(zhí)行部18、圖像輸出部20構(gòu)成。
圖像輸入部10接收低分辨率圖像文件的輸入。邊緣檢測部12檢測低分辨率圖像的邊緣。連續(xù)微分可能次數(shù)推定部14如上述對原像素進行Lipchitz指數(shù)的計算。插值函數(shù)選擇部16根據(jù)連續(xù)微分可能推定部14所計算的Lipchitz指數(shù)進行插值函數(shù)(平滑化函數(shù))的選擇。內(nèi)插處理執(zhí)行部18根據(jù)所選擇的插值函數(shù)進行內(nèi)插處理。圖像輸出部20輸出通過內(nèi)插所生成的放大圖像文件。
上述所說明的圖像放大處理，如圖8所示，由個人計算機等計算機裝置200的CPU21執(zhí)行加載到存儲器24的程序來執(zhí)行也可。或者是通過計算機裝置200的CPU21執(zhí)行記錄在CD-ROM驅(qū)動器23所裝載的CD-ROM600中的程序來執(zhí)行也可。
該程序包括對從因特網(wǎng)經(jīng)由I/F(InterFace)25所獲得的低分辨率圖像、或者記錄到HDD(Hard Disk Drive)22的低分辨率圖像進行邊緣座標(biāo)的檢測處理的步驟S02；進行推定S02所檢測的原圖像邊緣像素中的連續(xù)微分可能次數(shù)的步驟S04；選擇由S04推定的連續(xù)微分可能次數(shù)所對應(yīng)的插值函數(shù)的步驟S06；根據(jù)S06所決定的插值函數(shù)，生成內(nèi)插像素的亮度值的步驟S08。將步驟S08所生成的放大圖像或記錄到HDD22，或經(jīng)由I/F(InterFace接口)24在計算機裝置200附屬的顯示器上顯示。
上述所說明的圖像放大處理，通過圖9的照相機300的CPU31執(zhí)行加載到內(nèi)部存儲器32的程序來完成也可。
該程序包括對攝像部35所攝像的低分辨率圖像的邊緣座標(biāo)進行檢測處理的步驟S02；對S02所檢測的原圖像邊緣的連續(xù)微分可能次數(shù)進行推定的步驟S04；選擇由S04推定的連續(xù)微分可能次數(shù)所對應(yīng)的插值函數(shù)的步驟S06；根據(jù)S06所決定的插值函數(shù)，生成內(nèi)插像素亮度值的步驟S08。將步驟S08所生成的放大圖像或記錄到外部存儲器驅(qū)動器33所裝載的半導(dǎo)體存儲器700中，或經(jīng)由I/F36傳送到計算機裝置。
(實施例1)如圖10所示，使用Lena圖像進行本實施方式相關(guān)的圖像放大的實驗。其是由縱橫256像素所構(gòu)成的圖像，但這里對將位于眼睛旁邊的縱橫32像素(參照圖11)作為原圖像而生成了縱橫63像素的圖像(圖12)的示例進行說明。
圖13為用于表示圖像放大整體流程的流程圖。
首先，進行水平方向(圖11的x方向)的放大處理(步驟S20)。在步驟S20中根據(jù)位于內(nèi)插像素左右的原像素的亮度值，決定內(nèi)插像素的亮度值。這樣，進行水平方向的放大處理，其結(jié)果暫時生成縱32像素、橫63像素的圖像。
接著，進行垂直方向(圖11的y方向)的放大處理(步驟S30)。其結(jié)果生成縱橫63像素的圖像。在步驟S30中，根據(jù)位于內(nèi)插像素的上下的原像素的亮度值，決定內(nèi)插像素的亮度值。
圖14為原像素P(原圖像的像素)和內(nèi)插像素的位置關(guān)系的示意圖。由黑點所示的點示意原像素，由白點所示的點為步驟S20所生成的內(nèi)插像素，由斜劃線涂抹的點所示的點為步驟S30所生成的內(nèi)插像素。這樣由原像素和內(nèi)插像素構(gòu)成的放大圖像的亮度值排列為f(x，y)(但是，x，y為整數(shù)，0≤x≤62，0≤y≤62)。在該排列f(x，y)中，原像素的x座標(biāo)值、y座標(biāo)值均為偶數(shù)。內(nèi)插像素的x座標(biāo)值、y座標(biāo)值的任意一方或為奇數(shù)、或雙方為奇數(shù)。
圖15為用于表示水平方向放大處理(步驟S20)的詳細順序的流程圖。
在步驟S201中，將0代入j。在步驟S202中，計算原像素P(0，2j)的水平方向的子波變換系數(shù)W1(0，2j)。
在步驟S203中，將1代入i。
在步驟S204中，計算原像素P(2i，2j)水平方向的子波變換系數(shù)W1(2i，2j)。在i＝0、j＝0的情況下，計算原像素P(2，0)水平方向的子波變換系數(shù)W1(2，0)。所謂原像素P(2，0)是指具有x＝2、y＝0座標(biāo)值的原像素。這里，W1(x，y)將公式9的j(標(biāo)度參數(shù))設(shè)為1，可如以下那樣可進行計算。
首先，公式11的子波變換基底函數(shù)φj(y)與相對原點對稱的平滑化函數(shù)(公式37)的一階微分的公式38一致。
φj(y)=12jπexp(-y22j)]]>[公式38]ψj(y)=-2y2jπexp(-y22j)]]>而且，公式11的φj-1(x)設(shè)為公式39。

φj-1(x)=12j-1πexp(-x22j-1)]]>此時，如將公式40代入公式9中，能夠計算W1(x，y)。
ψj=11(x,y)=φ0(x)ψ1(y)=1πexp(-x2)×(-2y2π)exp(-y22)]]>這樣，如果計算的W1(2，0)為特定值以上(步驟S205為yes)，可認(rèn)為垂直方向的邊緣位于原像素P(2，0)的位置。
在步驟S205為yes的情況下，計算原像素P(2，0)的Lipchitz指數(shù)α(2，0)(步驟S206)。對該α(2，0)將j＝0代入到公式21后進行計算。接著在步驟S207中，選擇用于生成位于P(2，0)左側(cè)的內(nèi)插像素Q(1，0)的亮度值的內(nèi)插平滑化函數(shù)m(1，0)。對于該內(nèi)插平滑化函數(shù)的選擇順序，參照圖16在后進行詳細敘述。
而且，在步驟S205為no的情況下，省略步驟S206進入到步驟S207。
在步驟S208中進行水平方向的內(nèi)插處理。即根據(jù)步驟S207中所選擇的內(nèi)插平滑化函數(shù)m(1，0)，生成內(nèi)插像素Q(1，0)的亮度值(步驟S208)。所謂內(nèi)插像素Q(1，0)是指具有x＝1，y＝0的座標(biāo)值的內(nèi)插像素。
在步驟S211中，將i加1。在步驟S212中判斷i是否未滿32。如果為32以上(步驟S212為yes)則進入到步驟S213。
在步驟S212為no的情況下，再次返回到步驟S204，計算位于上述原像素P(2，0)右側(cè)的原像素P(4，0)的子波變換系數(shù)等，內(nèi)插生成內(nèi)插像素Q(3，0)的亮度值。
以下，同樣地進行第一行的內(nèi)插像素Q(5，0)、…、Q(61，0)的生成。在第一行內(nèi)插像素生成結(jié)束時(步驟S212Yes)，將j加1后(步驟S213)，從步驟S214返回到步驟S202，進行第三行內(nèi)插像素Q(1，2)、…、Q(61，2)的生成(第二行的內(nèi)插像素Q(1，1)、…、Q(61，1)的生成由后述的步驟S30進行)。同樣地至第32行為止進行這樣的內(nèi)插處理(步驟S214Yes)。
圖16為步驟S207的內(nèi)插平滑化函數(shù)選擇處理順序的示意圖。
在步驟S401中評價原像素P(2i，2j)位置的W1(2i，2j)是否為特定值以上。即判斷原像素P(2i，2j)中是否存在垂直方向邊緣。
在步驟S402中評價W1(2i-2，2j)是否為特定值以上。如果W1(2i-2，2j)為特定值以上(步驟S402為yes)，根據(jù)α(2i-2，2j)和α(2i，2j)的平均值，選擇用于生成內(nèi)插像素Q(2i-1，2j)的亮度值的插值函數(shù)。
在此情況下，夾持內(nèi)插像素Q(2i-1，2j)的兩側(cè)的原像素P(2i-2，2j)、(2i，2j)中存在邊緣。根據(jù)圖15，在步驟S205中如果W1(2i，2j)為特定值以上，由于在步驟S206中計算Lipchitz指數(shù)α(2i，2j)，所以在此情況下計算內(nèi)插像素Q(2i-1，2j)兩側(cè)的原像素位置有關(guān)的Lipchitz指數(shù)α(2i-2，2j)、α(2i，2j)。從而，這里根據(jù)α(2i-2，2j)和α(2i，2j)的平均值選擇插值函數(shù)。
在步驟S402為no的情況下，計算內(nèi)插像素Q(2i-1，2j)的右側(cè)的原像素的Lipchitz指數(shù)α(2i，2j)，但由于不計算左側(cè)的原像素Lipchitz指數(shù)α(2i-2，2j)，所以根據(jù)α(2i，2j)選擇插值函數(shù)。
在步驟S401為no的情況下，進入到步驟S403。在步驟S403中評價W1(2i-2，2j)是否為特定值以上。如果為特定值以上(步驟S403為yes)，計算內(nèi)插像素Q(2i-1，2j)的左側(cè)的原像素Lipchitz指數(shù)α(2i-2，2j)，但由于不計算右側(cè)的原像素的Lipchitz指數(shù)α(2i，2j)，所以根據(jù)α(2i-2，2j)選擇插值函數(shù)(步驟S406)。
在步驟S403為no的情況下，由于不計算內(nèi)插像素Q(2i-1，2j)左右兩側(cè)的原像素Lipchitz指數(shù)，將m＝4的平滑化函數(shù)選擇為插值函數(shù)(步驟S406)。
圖17表示W(wǎng)1(i，j)為特定值以上的原像素P(i，j)。由黑點表示的點相對于此。
圖18是這樣的水平方向內(nèi)插處理后的內(nèi)插像素的例子的示意圖。黑點表示步驟S207中選擇m＝1的平滑化函數(shù)所生成的內(nèi)插像素，白點表示在步驟S207中選擇m＝2的平滑化函數(shù)所生成的內(nèi)插像素。對于沒有黑點、白點的像素，選擇m＝4平滑化函數(shù)來生成內(nèi)插像素。
圖19是表示垂直方向放大處理(步驟S30)的詳細順序的流程圖。在步驟S301中將0代入i。
在步驟S302中，計算原像素P(i，0)中垂直方向子波變換系數(shù)W2(i，0)。
在步驟S303中，將1代入j。
在步驟S304中，計算原像素P(i，2j)中垂直方向子波變換系數(shù)W2(i，2j)。在i＝0、j＝1情況下，計算原像素P(0，2)中的垂直方向的子波變換系數(shù)W2(0，2)。所謂原像素P(0，2)為具有x＝0、y＝2座標(biāo)值的原像素。這里，W2(x，y)將公式10中j(標(biāo)度參數(shù))設(shè)為1，與W(x，y)情況同樣地能進行計算。即能夠通過將公式41代入到公式10來計算W2(x，y)。
ψj=12(x,y)=φ0(y)ψ1(x)=1πexp(-y2)×(-2x2π)exp(-x22)]]>如果這樣計算的W2(0，2)為特定值以上(步驟S305為yes)，則可認(rèn)為在水平方向邊緣位于原像素P(0，2)位置。
在步驟S305為yes的情況下，計算原像素P(0，2)的Lipchitz指數(shù)α(0，2)(步驟S306)。將j＝0代入公式22進行計算該α(0，2)。接著在步驟S307中選擇用于生成位于P(0，2)上側(cè)的內(nèi)插像素Q(0，1)的亮度值的內(nèi)插平滑化函數(shù)m(0，1)。對于該內(nèi)插平滑化函數(shù)的選擇順序參照圖20在后面進行詳細敘述。
而且，在步驟S305為no的情況下，省略步驟S306進入到步驟S307。
在步驟S310中，進行垂直方向的內(nèi)插處理。即基于在步驟S307中所選擇的內(nèi)插平滑化函數(shù)m(0，1)，生成內(nèi)插像素Q(0，1)的亮度值(步驟S308)。所謂內(nèi)插像素Q(0，1)是指具有x＝0，y＝1的座標(biāo)值的內(nèi)插像素。
在步驟S311中，將j加1。在步驟S312中判斷j是否為32以上。在j未滿32(在步驟S312中no)的情況下，再次返回到S304，計算位于上述原像素P(0，2)下側(cè)的原像素P(0，4)的子波變換系數(shù)等，內(nèi)插生成內(nèi)插像素Q(0，3)的亮度值。以下按相同方式，進行第一列內(nèi)插像素Q(0，5)、…、Q(0，61)的生成。
如果j為32以上(步驟S312為yes)則進行到步驟S313。在步驟S313中將i加1。在步驟S314中，判斷i是否為63以上。在i不滿63(在步驟S314為no)的情況下，返回到步驟S302，接著進行第二列的內(nèi)插像素Q(1，1)、…、Q(1，61)的生成。
如果i為63以上(步驟S314為yes)，結(jié)束步驟S30的一連處理。
圖20為步驟S307的內(nèi)插平滑化函數(shù)選擇處理順序的示意圖。
在步驟S501中評價原像素P(i，2j)位置的W2(i，2j)是否為特定值以上。即判斷在原像素P(i，2j)中是否存在水平方向的邊緣。
在步驟S502中評價W2(i，2j-2)是否為特定值以上。如果W2(i，2j-2)為特定值以上，(步驟S502為yes)，基于α(i，2j)和α(i，2j-2)的平均值，選擇用于生成內(nèi)插像素Q(i，2j-1)的亮度值的插值函數(shù)(步驟S504)。
在步驟502為no的情況下，計算內(nèi)插像素Q(i，2j-1)下側(cè)的原像素的Lipchitz指數(shù)α(i，2j)，但由于不計算上側(cè)的原像素Lipchitz指數(shù)α(i，2j-2)，基于α(i，2j)選擇插值函數(shù)(步驟S505)。
在步驟501為no的情況下，進入到步驟S503。在步驟S503評價W2(i，2j-2)是否為特定值以上。如果為特定值以上(步驟S503為yes)，則計算內(nèi)插像素Q(i，2j-1)的上側(cè)的原像素Lipchitz指數(shù)α(i，2j-2)，但由于不計算下側(cè)原像素的Lipchitz指數(shù)α(i，2j)，基于α(i，2j-1)選擇插值函數(shù)(步驟S506)。
在步驟S503為no的情況下，由于不計算內(nèi)插像素Q(i，2j)上下兩側(cè)的原像素Lipchitz指數(shù)，將m＝4的平滑化函數(shù)選擇為插值函數(shù)(步驟S506)。
圖21表示W(wǎng)2(i，j)為特定值以上的原像素P(i，j)。由黑點所示的點相對于此。該點為判斷為存在水平方向邊緣的點。
圖22表示進行這樣的垂直方向的內(nèi)插處理后的內(nèi)插像素的例子。黑點示意在步驟S307中選擇m＝1的平滑化函數(shù)所生成的內(nèi)插像素，白點示意在步驟S307中選擇m＝2的平滑化函數(shù)所生成的內(nèi)插像素。對于沒有黑點、白點的像素，選擇m＝4平滑化函數(shù)生成內(nèi)插像素。
圖23示意通過各種方法所生成的放大圖像。這里是通過(b)的零次內(nèi)插、(c)的雙線型內(nèi)插、(d)的雙三次內(nèi)插、(e)的本方法從縱橫32像素的原圖像所生成的縱橫63像素的放大圖像。
并且，(a)的高分辨率圖像為縱橫63像素的高分辨率圖像，不是由內(nèi)插所生成的圖像。按照(b)的零次內(nèi)插法，雖然能夠清晰表現(xiàn)眼睛輪廓，但眼睛的中心部分變得粗糙。按照(c)的雙線型內(nèi)插法、(d)的雙三次內(nèi)插法則使眼睛的輪廓模糊。相對于此，按照(e)的本方法，可以明白輪廓沒有模糊，特別是在中心部分沒有喪失平滑性。
圖24表示通過各種方法所生成的放大圖像的性能評價結(jié)果。這里根據(jù)對圖23(a)的高分辨率圖像的PSNR(Peak Signal to Nose Ratio)、均方差來評價。從其結(jié)果，可知本方法在PSNR、均方差上均是最優(yōu)的。
(實施例2)在上述實施例1中，首先進行水平方向的放大處理，一旦生成橫長的圖像起，進行垂直方向的放大處理。通過該方法，在內(nèi)插像素位置具有邊緣，該邊緣方向有時相對x方向(水平方向)接近45度、或有時接近135度，有時不能夠正確推定該內(nèi)插像素亮度值。
例如，如圖25所示，所配置的原圖像的像素A、B、C、D點的亮度值分別設(shè)為100、50、100、100。而且，假設(shè)以橫切像素A和像素D的方式存在邊緣?？紤]通過內(nèi)插生成在該像素A和像素D間存在的像素P。即在像素P的位置具有45度方向的邊緣。
首先推定亮度值未確定的像素E、F、G、H的亮度值。像素E的亮度值為像素A和像素B的亮度值的平均值75。像素F的亮度值為像素A和像素C的亮度值的平均值100。像素G的亮度值為像素B和像素D的亮度值的平均值75。像素H的亮度值為像素C和像素D亮度值的平均值100。
在這樣的情況下，如果像素P的亮度值為像素E和像素H的亮度值的平均值，則為87.5。而且，像素P的亮度值為像素F和像素G的亮度值的平均值，也為87.5。但是，由于在像素P位置具有45度方向的邊緣，由于像素P的亮度值為像素A和像素D亮度值的平均值，所以也可考慮其應(yīng)當(dāng)為100。
特別地，在生成位于原像素對角線位置的內(nèi)插像素的情況下，可認(rèn)為這樣的問題易于產(chǎn)生。
在實施例1的方法，僅基于水平方向的像素、或者是垂直方向像素的亮度值推定內(nèi)插像素的亮度值，但考慮上述這樣的情況，優(yōu)選也使用傾斜方向像素亮度值來生成內(nèi)插像素。
在本實施例中，在各內(nèi)插像素位置，首先調(diào)查是否存在邊緣。如果在該位置存在邊緣，通過計算求得邊緣的方向。于是，對應(yīng)該邊緣方向，而使內(nèi)插方法變化。
參照圖26，說明本實施例放大處理的順序。其是將原圖像放大到兩倍的情況。而且，原像素和內(nèi)插像素的座標(biāo)如圖14所示，原像素座標(biāo)的x座標(biāo)和y座標(biāo)均為偶數(shù)，內(nèi)插像素座標(biāo)的x座標(biāo)值、y座標(biāo)值至少一方為奇數(shù)。
首先，在步驟S601將j設(shè)為0，在步驟S602中將0代入i。這里，j是表示y座標(biāo)值的變量，i是表示x座標(biāo)值的變量。在步驟S603中調(diào)查在原像素P(i，j)位置是否具有邊緣。對于這里的邊緣檢測方法可以使用任何方法。也可以使用拉普拉斯濾波器，也可以根據(jù)公式15的水平、垂直方向的子波變換的平方和的平方根(子波變換系數(shù)M(i，j))。
在步驟S603中，當(dāng)判斷原像素P(i，j)位置存在邊緣時，計算該位置的邊緣的法線角度θ(i，j)(步驟S604)。這里θ(i，j)為從x軸方向(水平方向)逆時針旋轉(zhuǎn)的角度。例如如果θ(i，j)為0表示原像素P(i，j)存在垂直方向的邊緣(邊緣法線角度是水平方向)。作為θ(i，j)的計算方法具有各種各樣，但例如也可以如公式16所示這樣，將水平方向的子波變換系數(shù)、和垂直方向的子波變換系數(shù)之比的ArcTan值作為邊緣的法線角度。
在步驟S605中，使用原像素上的子波變換系數(shù)M(i，j)來計算二維Lipchitz指數(shù)α(i，j)。
在步驟S606中，將i加2。在步驟S607中調(diào)查i是否為N以上。這里N為將原圖像放大兩倍時的水平方向的總像素數(shù)。如果i未滿N再次返回到步驟S603，計算原像素P右側(cè)的原像素邊緣法線角度或Lipchitz指數(shù)(步驟S604、步驟S605)。
如果i為N，進入到步驟S608，將j加2。在步驟S609中調(diào)查j是否為M以上。這里M為將原圖像放大兩倍時垂直方向的總像素數(shù)。如果j未滿M(步驟S609為No)再次返回到步驟S602，計算j＝2行原像素有關(guān)的法線角度或Lipchitz指數(shù)α。如果j為N以上(步驟S609為Yes)再次進入到步驟S610。
從步驟S610到步驟S616中，進行生成由N像素×M像素構(gòu)成的內(nèi)插圖像的各內(nèi)插像素亮度值的處理。對于進行內(nèi)插處理的步驟S612，參照圖27進行說明。
參照圖27，在步驟S703中調(diào)查j是否為偶數(shù)、在步驟S704和步驟S711調(diào)查i是否為偶數(shù)。如果j為偶數(shù)(步驟S703為yes)、i為偶數(shù)(步驟S704為yes)，因為座標(biāo)(i，j)為原像素座標(biāo)，不進行內(nèi)插處理，進入到步驟S705。如果j為偶數(shù)(步驟S703為yes)，如果i為奇數(shù)(步驟S704為no)，因為座標(biāo)(i，j)為在左右存在原像素的內(nèi)插像素的座標(biāo)。從而，基于左右原像素進行內(nèi)插處理(步驟S710)。對于在該步驟S710中的處理參照圖28在后詳細敘述。
如果j為奇數(shù)(步驟S703為no)、i為偶數(shù)(步驟S711為yes)，座標(biāo)(i，j)為在上下存在原像素的內(nèi)插像素的座標(biāo)。從而，基于上下原像素進行內(nèi)插處理(步驟S712)。對于在該步驟S712的處理參照圖29在后詳細敘述。
如果j為奇數(shù)(步驟S703為no)、i為奇數(shù)(步驟S711為no)，座標(biāo)(i，j)為沿傾斜相鄰方向存在原像素的內(nèi)插像素座標(biāo)。從而，基于傾斜方向原像素進行內(nèi)插處理(步驟S713)。對于在該步驟S713的處理參照圖20在后詳細敘述。
參照圖28，對于基于左右原像素進行內(nèi)插處理的步驟S710進行說明。
在步驟S801中，調(diào)查位于原像素左右的原像素中任意一個是否為邊緣像素。所謂為邊緣像素是指在上述的圖26的步驟S603中認(rèn)定為邊緣的像素。如果左右任意一個原像素為邊緣像素則進入到步驟S802。
在步驟S802中如果內(nèi)插像素左右像素均為邊緣像素，調(diào)查邊緣法線角度θ是否均為0度。這里，所謂為0度是指邊緣法線角度θ為0度、45度、90度、135度之中的、最接近0度的角度。如果內(nèi)插像素的左右像素均為邊緣像素，邊緣法線角度θ均為0度(步驟S802為yes)，在步驟S804中進行插值函數(shù)的選擇。在步驟S804中，基于左右邊緣像素中各個Lipchitz指數(shù)平均值選擇插值函數(shù)。
如果在步驟S802中判斷為no，則進入到步驟S803。在步驟S803中，調(diào)查右像素是否為邊緣法線方向θ為0度的邊緣像素。如果在步驟S803判斷為yes，則進入到步驟S805。
在步驟S805中，基于右側(cè)邊緣像素中Lipchitz指數(shù)選擇插值函數(shù)m。
在步驟S803中如果判斷右像素不是邊緣，或者右像素是邊緣但法線角度不為0度，則進入到步驟S806。
在步驟S806中，調(diào)查左像素是否是邊緣法線方向為0度的邊緣像素。如果在步驟S806判斷為yes，進入到步驟S807。在步驟S807中基于左側(cè)的邊緣像素的Lipchitz指數(shù)選擇插值函數(shù)。
在步驟S803中如果判斷左像素不是邊緣，或者左像素是邊緣但法線角度不為0度(步驟S806為no)，則進入到步驟S808。在步驟S808中選擇m＝4的插值函數(shù)。
在步驟S809中基于左右原像素的亮度值、在步驟S804、步驟S805、步驟S807、步驟S808等所選擇的插值函數(shù)進行內(nèi)插處理。
參照圖29對基于上下原像素進行內(nèi)插處理的步驟S712進行說明。
在步驟S831中調(diào)查位于內(nèi)插像素上下的原像素中任意一個是否為邊緣像素。所謂為邊緣像素是指在上述的圖26的步驟S603中認(rèn)定為邊緣的像素。如果上下任意一個原像素為邊緣像素則進入到步驟S832。
在步驟S832中調(diào)查內(nèi)插像素的上下像素均為邊緣像素且邊緣法線角度θ是否均為90度。這里，所謂為90度是指邊緣法線角度θ為0度、45度、90度、135度中的、最接近90度的角度。如果內(nèi)插像素的上下像素均為邊緣像素，邊緣法線角度θ均90度(步驟S832為yes)，在步驟S834中進行插值函數(shù)選擇。在步驟S834中基于上下邊緣像素中的各個Lipchitz指數(shù)平均值選擇插值函數(shù)。
如果在步驟S832中判斷為no，則進入步驟S833。在步驟S833中，調(diào)查下像素是否是法線方向θ為90度的邊緣像素。如果在步驟S833判斷為yes，則進入到步驟S835。
在步驟S835中基于下側(cè)邊緣像素的Lipchitz指數(shù)選擇插值函數(shù)m。
在步驟S833中，如果判斷下像素不是邊緣，或者下像素是邊緣但法線角度不是90度，則進入步驟S836。
在步驟S836中，調(diào)查上像素是否是邊緣法線方向為90度的邊緣像素。在步驟S836中判斷為yes，進入到步驟S837。在步驟S837中，基于上側(cè)邊緣像素的Lipchitz指數(shù)選擇插值函數(shù)。
如果判斷上像素不是邊緣，或者上像素為邊緣但法線角度不是90度(步驟S836為no)，則進入到步驟S838。在步驟S838中選擇m＝4的插值函數(shù)。
在步驟S839中，基于上下原像素的亮度值、和在步驟S834、步驟S835、步驟S837、步驟S838中所選擇的插值函數(shù)m進行內(nèi)插處理。
參照圖30，對于基于傾斜的原像素進行內(nèi)插處理的步驟S713進行說明。
在步驟S861中，調(diào)查位于內(nèi)插像素的傾斜方向的原像素中任意一個(左上、右上、左下、右下這四個像素中任意一個)是否為邊緣像素。所謂為邊緣像素是指在上述圖26的步驟S603中認(rèn)定為邊緣的像素。如果任意原像素為邊緣像素則進入到步驟S862。
在步驟S862中，調(diào)查左上、右下原像素中任意一個是否為邊緣像素。如果左上、右下原像素任意一個為邊緣(步驟S862為yes)，則進入到步驟S863。
在步驟S863中，調(diào)查內(nèi)插像素的左上、右下像素均為邊緣像素且邊緣法線角度θ是否均為45度。這里，所謂為45度是指邊緣法線角度θ為0度、45度、90度、135度中的最接近45度的角度。
如果內(nèi)插像素的左上、右下像素均為邊緣像素，邊緣法線角度θ均為45度(步驟S863為yes)，在步驟S865中進行插值函數(shù)的選擇。在步驟S865中，基于各個左上、右下邊緣像素的Lipchitz指數(shù)的平均值來選擇插值函數(shù)。
如果在步驟S863中判斷為no，在步驟S864中調(diào)查左上像素是否為邊緣法線方向θ為45度的邊緣像素。如果在步驟S864中判斷為yes，則進入到步驟S866。在步驟S866中，基于左上側(cè)邊緣像素的Lipchitz指數(shù)來選擇插值函數(shù)。
在步驟S864中，如果判斷為左上像素不是邊緣，或者是左上像素為邊緣、但法線角度不為45度，則進入到步驟S868。
在步驟S868中，調(diào)查右下像素是否為邊緣法線方向為45度的邊緣像素。如果在步驟S868中判斷為yes，則進入到步驟S869。在步驟S869中基于右下側(cè)像素的Lipchitz指數(shù)選擇插值函數(shù)。
如果右下側(cè)邊緣像素法線角度不為45度(步驟S868為no)，則進入到步驟S871。在步驟S871中，將左上、右下、右上、左下這四個像素亮度值的平均值作為內(nèi)插像素的亮度值進行處理。
而且，在步驟S862中，在判斷為左上、右下像素任意一個不為邊緣的情況下，進入到基于左下·右下原像素進行內(nèi)插處理的步驟S870。對于該步驟S870處理參照圖31在后進行詳細說明。
在步驟S867中基于左上、右下原像素亮度值、和步驟S865、步驟S866、步驟S869等所選擇的插值函數(shù)m進行內(nèi)插處理。參照圖31，對于基于左下、右上原像素進行內(nèi)插處理的步驟S870進行說明。
在步驟S902中，調(diào)查內(nèi)插像素的左下、右上像素是否均為邊緣像素，邊緣法線角度θ是否均為135度。這里，所謂為135度是指邊緣法線角度θ為0度、45度、90度、135度中的、最接近135度的角度。
如果內(nèi)插像素的左下、右上像素均為邊緣像素，邊緣法線角度θ均為135度(步驟S902為yes)，則在步驟S904中進行插值函數(shù)的選擇。在步驟S904中，進行插值函數(shù)的選擇。在步驟S904中，基于左下、右上邊緣像素中各個Lipchitz指數(shù)的平均值選擇插值函數(shù)。
如果在步驟S902中判斷為no，在步驟S903中調(diào)查左下像素是否為邊緣法線角度θ為135度的邊緣像素。如果在步驟S903中判斷為yes，進入到步驟S905。在步驟S905中，根據(jù)左下側(cè)邊緣像素的Lipchitz指數(shù)來選擇插值函數(shù)。
在步驟S903中，如果判斷左下像素不是邊緣，或者是左下像素是邊緣但法線角度不是135度，則進入到步驟S906。
在步驟S906中，調(diào)查右上像素是否為邊緣法線角度θ為135度的邊緣像素。如果在步驟S906中判斷為yes，則進入到步驟S907。在步驟S907中，基于右上側(cè)邊緣像素的Lipchitz指數(shù)來選擇插值函數(shù)。
在步驟S906中，如果判斷右上像素不是邊緣，或者右上像素為邊緣但法線角度不是135度，則進入到步驟S908。
在步驟S908中，將左上、右下、右上、左下這四個像素亮度值的平均值作為內(nèi)插像素亮度值進行處理。
在步驟S909中，基于左上、右下原像素的亮度值、和在步驟S904、步驟S905、步驟S907中所選擇的插值函數(shù)進行內(nèi)插處理。
應(yīng)該考慮此次所公開的實施方式其全部要點僅是例示，但并不是限制性的。本發(fā)明范圍并非是上述實施方式的說明，而是由權(quán)利要求范圍所表示的，也包括與權(quán)利要求均等的全部思想以及范圍內(nèi)的所有的變更。
權(quán)利要求
1.一種圖像放大裝置，根據(jù)原圖像數(shù)據(jù)的像素值來設(shè)定內(nèi)插像素的亮度值，獲得放大圖像的圖像數(shù)據(jù)，該圖像放大裝置具備檢測機構(gòu)，從上述原圖像數(shù)據(jù)中檢測出邊緣；推定機構(gòu)，對上述檢測機構(gòu)所檢測出的邊緣位置的連續(xù)微分可能次數(shù)進行推定；選擇機構(gòu)，基于上述推定機構(gòu)所推定的連續(xù)微分可能次數(shù)，選擇插值函數(shù)；和內(nèi)插機構(gòu)，基于上述選擇機構(gòu)所選擇的插值函數(shù)，進行上述邊緣附近的像素內(nèi)插處理。
2.如權(quán)利要求1所述圖像放大裝置，其特征在于上述推定機構(gòu)基于上述邊緣位置的利普茲指數(shù)來推定連續(xù)微分可能次數(shù)。
3.一種圖像放大裝置，根據(jù)原圖像數(shù)據(jù)的像素值來設(shè)定內(nèi)插像素的亮度值，獲得放大圖像的圖像數(shù)據(jù)，該圖像放大裝置具備檢測機構(gòu)，從上述原圖像數(shù)據(jù)中檢測出邊緣；演算機構(gòu)，計算在由上述檢測機構(gòu)所檢測出的邊緣位置的利普茲指數(shù)；選擇機構(gòu)，基于上述演算裝置所計算的利普茲指數(shù)，選擇插值函數(shù)；和內(nèi)插機構(gòu)，基于上述選擇機構(gòu)所選擇的插值函數(shù)，進行上述邊緣附近的像素內(nèi)插處理。
4.如權(quán)利要求1至3任意一項所述的圖像放大裝置，其特征在于上述插值函數(shù)為平滑化函數(shù)。
5.如權(quán)利要求1至4任意一項所述的圖像放大裝置，其特征在于上述選擇機構(gòu)基于上述邊緣的法線角度最接近0度、45度、90度、135度哪一個來選擇插值函數(shù)。
6.如權(quán)利要求5所述圖像放大裝置，其特征在于，上述選擇機構(gòu)，在上述內(nèi)插像素由原像素沿左右方向夾持，且這些原像素任意一個存在邊緣的情況下，在該邊緣的法線角度最接近0度時，基于該原像素中的連續(xù)微分可能次數(shù)或利普茲指數(shù)來選擇插值函數(shù)；在上述內(nèi)插像素由原像素沿上下方向夾持，且這些原像素任意一個存在邊緣的情況下，在該邊緣的法線角度最接近90度時，基于該原像素的連續(xù)微分可能次數(shù)或利普茲指數(shù)來選擇插值函數(shù)；在上述內(nèi)插像素由原像素沿傾斜45度方向夾持，且這些原像素任意一個存在邊緣的情況下，在該邊緣的法線角度最接近135度時，基于該原像素的連續(xù)微分可能次數(shù)或利普茲指數(shù)來選擇插值函數(shù)；在上述內(nèi)插像素由原像素沿傾斜135方向夾持，且這些原像素任意一個存在邊緣的情況下，在該邊緣的法線角度最接近45度時，基于該原像素的連續(xù)微分可能次數(shù)或利普茲指數(shù)來選擇插值函數(shù)。
7.如權(quán)利要求1至6任意一項所述的圖像放大裝置，其特征在于上述內(nèi)插機構(gòu)根據(jù)上述內(nèi)插像素由原像素夾持的方向，選擇在內(nèi)插處理時所參照的像素。
8.如權(quán)利要求7所述的圖像放大裝置，其特征在于，上述內(nèi)插機構(gòu)，在上述內(nèi)插像素由原像素沿左右方向夾持的情況下，參照該左右的原像素進行內(nèi)插處理；在上述內(nèi)插像素由原像素沿上下方向夾持的情況下，參照該上下的原像素進行內(nèi)插處理；在上述內(nèi)插像素由原像素沿傾斜方向夾持的情況下，參照該傾斜方向的原像素進行內(nèi)插處理。
9.一種程序，使計算機發(fā)揮從數(shù)字圖像數(shù)據(jù)中檢測出邊緣的檢測功能；對上述檢測功能中所檢測出的邊緣位置的連續(xù)微分可能次數(shù)進行推定的推定功能；基于上述推定功能中所推定的連續(xù)微分可能次數(shù)，選擇插值函數(shù)的選擇功能；和基于上述選擇功能所選擇的插值函數(shù)，進行上述邊緣附近的像素內(nèi)插處理的內(nèi)插功能。
10.如權(quán)利要求9所述的程序，其特征在于上述推定功能中，基于上述邊緣位置的利普茲指數(shù)來推定連續(xù)微分可能次數(shù)。
11.一種程序，使計算機發(fā)揮從數(shù)字圖像數(shù)據(jù)中檢測出邊緣的檢測功能；計算在上述邊緣檢測功能中所檢測的邊緣位置的利普茲指數(shù)的演算功能；基于在上述演算功能中所計算的利普茲指數(shù)來選擇插值函數(shù)的選擇功能；和基于上述選擇功能中所選擇的插值函數(shù)，進行上述邊緣附近的像素內(nèi)插處理的內(nèi)插功能。
12.如權(quán)利要求9至11任意一項所述的程序，其特征在于上述插值函數(shù)為平滑化函數(shù)。
13.如權(quán)利要求9至12任意一項所述的程序，其特征在于上述選擇功能基于上述邊緣的法線角度最接近0度、45度、90度、135度哪一個來選擇插值函數(shù)。
14.如權(quán)利要求13所述的程序，其特征在于，上述選擇功能，在上述內(nèi)插像素由原像素沿左右方向夾持，且這些原像素任意一個存在邊緣的情況下，當(dāng)該邊緣的法線角度最接近0度時，基于該原像素的連續(xù)微分可能次數(shù)或利普茲指數(shù)來選擇插值函數(shù)；在上述內(nèi)插像素由原像素沿上下方向夾持，且這些原像素任意一個存在邊緣的情況下，當(dāng)該邊緣的法線角度最接近90度時，基于該原像素的連續(xù)微分可能次數(shù)或利普茲指數(shù)來選擇插值函數(shù)；在上述內(nèi)插像素由原像素沿傾斜45度方向夾持，且這些原像素任意一個存在邊緣的情況下，當(dāng)該邊緣的法線角度最接近135度時，基于該原像素的連續(xù)微分可能次數(shù)或利普茲指數(shù)來選擇插值函數(shù)；在上述內(nèi)插像素由原像素沿傾斜135方向夾持，且這些原像素任意一個存在邊緣的情況下，當(dāng)該邊緣的法線角度最接近45度時，基于該原像素的連續(xù)微分可能次數(shù)或利普茲指數(shù)來選擇插值函數(shù)。
15.如權(quán)利要求9至14任意一項所述的程序，其特征在于上述內(nèi)插功能，根據(jù)上述內(nèi)插像素由原像素夾持的方向，選擇在內(nèi)插處理時所參照的像素。
16.如權(quán)利要求15所述程序，其特征在于，上述內(nèi)插功能，在上述內(nèi)插像素由原像素沿左右方向夾持的情況下，參照該左右的原像素進行內(nèi)插處理；在上述內(nèi)插像素由原像素沿上下方向夾持的情況下，參照該上下的原像素進行內(nèi)插處理；在上述內(nèi)插像素由原像素沿傾斜方向夾持的情況下，參照該傾斜方向的原像素進行內(nèi)插處理。
全文摘要
圖像輸入部(10)接收低分辨率圖像文件的輸入。邊緣檢測部(12)對低分辨率圖像的邊緣進行檢測。連續(xù)微分可能次數(shù)推定部(14)進行Lipchitz指數(shù)(對應(yīng)于連續(xù)微分可能次數(shù))的計算。插值函數(shù)選擇部(16)根據(jù)連續(xù)微分可能次數(shù)推定部(14)所計算的Lipchitz指數(shù)，進行插值函數(shù)(平滑化函數(shù))的選擇。內(nèi)插處理執(zhí)行部(18)根據(jù)所選擇的插值函數(shù)進行內(nèi)插處理。圖像輸出部(20)輸出通過內(nèi)插所生成的放大圖像的文件。具有這種結(jié)構(gòu)的圖像放大裝置(100)無需進行重復(fù)演算就能夠正確保存邊緣信息。
文檔編號H04N1/393GK101052990SQ20058001485
公開日2007年10月10日 申請日期2005年5月12日 優(yōu)先權(quán)日2004年5月12日
發(fā)明者竹內(nèi)悟 申請人:三洋電機株式會社