專利名稱：圖像信號(hào)處理裝置、圖像高分辨率化方法、圖像顯示裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于使圖像信號(hào)高分辨率的技術(shù)，特別是涉及通過合 成多個(gè)圖像幀，增加構(gòu)成圖像幀的像素?cái)?shù)的同時(shí)去除不要的折疊成分 而進(jìn)行高分辨率化的技術(shù)。
背景技術(shù)：
最近電視接收機(jī)正在發(fā)展大畫面， 一般并不是直接顯示從廣播或 者通信、存儲(chǔ)媒體等輸入的圖像信號(hào)而是通過數(shù)字信號(hào)處理，增加水 平-垂直方向的像素?cái)?shù)進(jìn)行顯示。這時(shí)，僅是根據(jù)使用了一般眾所周知的sine函數(shù)的內(nèi)插低通濾波器或者樣條函數(shù)增加像素?cái)?shù)，不能夠提高 分辨率。因此，如在特開平8 — 336046號(hào)、特開平9一69755號(hào)、非專利文 獻(xiàn)1 (青木伸"基于多個(gè)數(shù)字的圖像數(shù)據(jù)的超清晰處理"，Ricoh Technical Report pp. 19—25， No.24， NOVEMBER, 1998)中記載的那樣，通過 合成所輸入的多個(gè)圖像幀(以下，簡記為幀)構(gòu)成一個(gè)幀，進(jìn)行高分 辨率的同時(shí)增加像素?cái)?shù)的技術(shù)(以下，稱為現(xiàn)有技術(shù))。發(fā)明內(nèi)容在這些技術(shù)中，通過(1)位置推定、(2)寬帶內(nèi)插、(3)加權(quán)和 的三個(gè)處理進(jìn)行高分辨率化。這里，(1)位置推定是使用所輸入的多 個(gè)圖像幀的各圖像數(shù)據(jù)，推定各圖像數(shù)據(jù)的抽樣相位(抽樣位置)的 差的技術(shù)。(2)寬帶內(nèi)插是使各圖像數(shù)據(jù)把折疊成分也包括在內(nèi)，使 用全部透過原信號(hào)的高頻成分的寬帶低通濾波器，內(nèi)插并增加像素?cái)?shù) (抽樣點(diǎn))，使圖像數(shù)據(jù)成為高密度的技術(shù)。(3)加權(quán)和是根據(jù)與各高 密度化數(shù)據(jù)的抽樣相位相對(duì)應(yīng)的加權(quán)系數(shù)，通過取加權(quán)和，抵消清除 在圖像抽樣時(shí)產(chǎn)生的折疊成分的同時(shí)，恢復(fù)原信號(hào)的高頻成分的技術(shù)。 圖2中表示這些高分辨率化技術(shù)的概要。如該圖(a)所示，設(shè)輸 入不同時(shí)間軸上的幀#1 (201)、幀#2 (202)、幀#3 (203)，把它們合 成后得到輸出(206)。為了簡單，首先考慮被拍攝物體沿著水平方向 移動(dòng)(204)的情況，考慮通過水平線(205)上的一維信號(hào)處理進(jìn)行 高分辨率化的情況。這時(shí)，如該圖(b)和該圖(d)所示，在幀#2 (202) 和幀#1 (201)中，根據(jù)被拍攝物體的移動(dòng)(204)的量產(chǎn)生信號(hào)波形 的位置偏離。通過上述(1)位置推定，求該位置偏離量，如該圖(c) 所示，動(dòng)態(tài)補(bǔ)償(207)幀#2 (202)使得沒有位置偏離的同時(shí)，求各 幀的像素(208)的抽樣相位(209) (210)之間的相位差e (211)。根 據(jù)該相位差e (211)，通過進(jìn)行上述(2)寬帶內(nèi)插以及(3)加權(quán)和， 如該圖(e)所示，通過在原像素(208)的恰好中間(相位差0=兀)的 位置生成新像素(212)，實(shí)現(xiàn)高分辨率化。關(guān)于(3)加權(quán)和在后面敘述。另外，實(shí)際上被拍攝物體的活動(dòng)不 只是平行移動(dòng)，還應(yīng)該考慮伴隨著旋轉(zhuǎn)或者放大，縮小等的活動(dòng)，而在 幀間的時(shí)間間隔微小的情況下或者被拍攝物體的活動(dòng)遲緩的情況下， 這些活動(dòng)也能夠近似地考慮為局部的平行移動(dòng)。在根據(jù)特開平8—336046號(hào)、特開平9一69755號(hào)、非專利文獻(xiàn)1 中記載的現(xiàn)有技術(shù)進(jìn)行一維方向的2倍高分辨率化的情況下，在進(jìn)行 上述(3)加權(quán)和時(shí)，如圖3所示，至少需要使用3張幀圖像的信號(hào)。 這里，圖3在一維的頻域下表示了各成分的頻譜。該圖中，距頻率軸 的距離表示信號(hào)強(qiáng)度，以頻率軸為中心的旋轉(zhuǎn)角表示相位。關(guān)于上述 (3)的加權(quán)和在以下詳細(xì)地說明。如果按照上述(2)寬帶內(nèi)插，由透過奈奎斯特頻率的2倍頻帶(頻 率0 抽樣頻率fs的頻帶)的寬帶低通濾波器進(jìn)行像素內(nèi)插，則可以 得到與原信號(hào)相同的成分(以下稱為原成分)與抽樣相位對(duì)應(yīng)的折疊 成分的和。這時(shí)，對(duì)于3張圖像的信號(hào)如果進(jìn)行上述(2)寬帶內(nèi)插的 處理，則如圖3 (a)所示，可知各幀的原成分(301) (302) (303)的 相位全部一致，折疊成分(304) (305) (306)的相位根據(jù)各幀的抽樣 相位的差旋轉(zhuǎn)。為了易于了解各個(gè)相位關(guān)系，該圖(b)表示各幀的原 成分的相位關(guān)系，該圖(c)表示各幀的折疊成分的相位關(guān)系。這里，對(duì)于3張幀圖像的信號(hào)，通過適當(dāng)?shù)剡x擇乘法的系數(shù)進(jìn)行 上述(3)加權(quán)和，能夠相互抵消去除各幀的折疊成分(304)(305)(306)， 僅抽取出原成分。這時(shí)，各幀的折疊成分(304) (305) (306)的矢量 和為0。艮卩，為了使Re軸(實(shí)軸)的成分和Im軸(虛軸)的成分的 雙方都為0，至少需要3個(gè)的折疊成分。從而，為了實(shí)現(xiàn)2倍的高分辨 率化，即為了去除l個(gè)折疊成分，需要至少使用3張幀圖像的信號(hào)。同樣，如在特開平8 — 336046號(hào)、特開平9一69755號(hào)、非專利文 獻(xiàn)1中記載的那樣，在對(duì)于水平，垂直的二維輸入信號(hào)進(jìn)行高分辨率化 的情況下，由于折疊來自縱橫兩個(gè)方向，因此如果原信號(hào)的頻帶縱橫 都擴(kuò)展2倍，則3個(gè)折疊成分重疊，為了消除這些成分需要2M+1二7 個(gè)數(shù)字?jǐn)?shù)據(jù)(=7張幀圖像的信號(hào))。從而，現(xiàn)有技術(shù)的幀存儲(chǔ)器或者信號(hào)處理電路的規(guī)模大而不經(jīng)濟(jì)。 另外，由于需要正確地進(jìn)行時(shí)間上分離的大量幀圖像的位置推定因此 結(jié)構(gòu)復(fù)雜。即，現(xiàn)有技術(shù)難以例如把電視廣播信號(hào)等活動(dòng)圖像的幀高 分辨率化。本發(fā)明適宜地把圖像信號(hào)高分辨率化。本發(fā)明的一個(gè)實(shí)施方式的特征是具備輸入n張(n是大于等于2 的整數(shù))圖像幀的輸入部；通過把上述輸入的n張圖像幀合成，與該 輸入圖像幀上的被拍攝物體移動(dòng)的方向相對(duì)應(yīng)地具有不同的分辨率變 換特性，把構(gòu)成圖像幀的像素?cái)?shù)增加n倍，而得到輸出圖像幀的分辨 率變換部。依據(jù)上述結(jié)構(gòu)，例如，能夠更適宜地把圖像信號(hào)高分辨率化。 依據(jù)本發(fā)明，能夠更適宜地把圖像信號(hào)高分辨率化。 本發(fā)明的其他目的和效果可以從附圖和以后的詳細(xì)說明中進(jìn)一步 了解。


本發(fā)明的這些特征、目的和優(yōu)點(diǎn)結(jié)合附圖將從以下的說明書進(jìn)一 步明確，其中，圖1是本發(fā)明第1實(shí)施例的說明圖。圖2說明一般的高分辨率化圖像信號(hào)處理的動(dòng)作的一個(gè)例子。圖3說明現(xiàn)有技術(shù)的動(dòng)作。圖4說明了本發(fā)明第1實(shí)施例的動(dòng)作。
圖5是本發(fā)明第1實(shí)施例的說明圖。 圖6是本發(fā)明第1實(shí)施例的說明圖。圖7是本發(fā)明第1實(shí)施例的說明圖。 圖8是本發(fā)明第1實(shí)施例的說明圖。 圖9是本發(fā)明第1實(shí)施例的說明圖。 圖10是本發(fā)明第2實(shí)施例的說明圖。 圖11是本發(fā)明第3實(shí)施例的說明圖。 圖12是本發(fā)明第3實(shí)施例的說明圖。 圖13是本發(fā)明第3實(shí)施例的說明圖。 圖14是本發(fā)明第4實(shí)施例的說明圖。 圖15是本發(fā)明第5實(shí)施例的說明圖。 圖16是本發(fā)明第6實(shí)施例的說明圖。圖17說明了本發(fā)明的一個(gè)實(shí)施形態(tài)與現(xiàn)有技術(shù)的動(dòng)作的差別。圖18是本發(fā)明第7實(shí)施例的說明圖。圖19是本發(fā)明第7實(shí)施例的說明圖。圖20是本發(fā)明第8實(shí)施例的說明圖。圖21是本發(fā)明第9實(shí)施例的說明圖。圖22是本發(fā)明第8以及第9實(shí)施例的說明圖。圖23是本發(fā)明第8以及第9實(shí)施例的說明圖。圖24是本發(fā)明第8以及第9實(shí)施例的說明圖。圖25是本發(fā)明第8以及第9實(shí)施例的說明圖。圖26是本發(fā)明第8以及第9實(shí)施例的說明圖。圖27是本發(fā)明第IO實(shí)施例的說明圖。圖28是本發(fā)明第IO實(shí)施例的說明圖。圖29是本發(fā)明第IO實(shí)施例的說明圖。圖30是本發(fā)明第IO實(shí)施例的說明圖。圖31是本發(fā)明第10實(shí)施例的說明圖。圖32是本發(fā)明第10實(shí)施例的說明圖。圖33是本發(fā)明第11實(shí)施例的說明圖。圖34說明了本發(fā)明的一個(gè)實(shí)施形態(tài)與現(xiàn)有技術(shù)的動(dòng)作的差別。 圖35是本發(fā)明第12實(shí)施例的說明圖。
圖36是本發(fā)明第13實(shí)施例的說明圖。
具體實(shí)施方式
下面，將結(jié)合附圖對(duì)本發(fā)明的具體實(shí)施方式
進(jìn)行詳細(xì)說明，但是 本發(fā)明并不局限于各個(gè)實(shí)施方式。本技術(shù)領(lǐng)域工作人員可以在不偏離 本發(fā)明的權(quán)利要求的范圍內(nèi)對(duì)本發(fā)明進(jìn)行多種修改和變更。在以下的各實(shí)施例的記載中，在上述的(1)位置推定中，可以使 用在專利文獻(xiàn)1 (安藤繁"使用了圖像的時(shí)空微算法的速度矢量分布計(jì)測(cè)系統(tǒng)"，計(jì)測(cè)自動(dòng)控制學(xué)會(huì)論文集，pp.l330 — 1336， Vo1.22， No.12， 1986)或者參考文獻(xiàn)2 (小林弘幸等"基于DCT變換的圖像相位限定相 關(guān)法"，信學(xué)技報(bào)，IEICE Technical Report ITS2005—92，正2005—299 Q006 — 02)， pp." — 78)中記載的方法。另外，關(guān)于上述的(2)寬 帶內(nèi)插，可以使用在非專利文獻(xiàn)1中記載的具有奈奎斯特頻率的2倍 通頻帶的一般的低通濾波器。另外，在以下的實(shí)施例中，作為「SR信號(hào)」的記述維「Super Resolution信號(hào)」的簡稱。以下，參照

本發(fā)明的實(shí)施例。實(shí)施例1圖1表示本發(fā)明第1實(shí)施例的圖像信號(hào)處理裝置，敘述其特征。 本實(shí)施例的圖像信號(hào)處理裝置例如適用于電視接收機(jī)等圖像顯示裝 置。在以下本實(shí)施例的說明中，作為圖像信號(hào)處理裝置以圖像顯示裝 置為例進(jìn)行說明。圖1中，本實(shí)施例的圖像信號(hào)處理裝置例如具備輸 入電視廣播信號(hào)等活動(dòng)圖像的幀序列的輸入部(1)、用于把從該輸入 部(1)輸入的幀高分辨率化的分辨率變換部(2)、進(jìn)而根據(jù)由該分辨 率變換部(2)高分辨率化后的幀來顯示圖像的顯示部(3)。作為該顯 示部(3)，例如使用等離子顯示面板、液晶顯示面板、或者電子/場(chǎng) 致發(fā)射型顯示面板。以下，說明分辨率變換部(2)的詳細(xì)情況。圖1中，首先由位置推定部(101)以由輸入部(1)輸入的幀弁l 上的處理對(duì)象的像素的抽樣相位(抽樣位置)為基準(zhǔn)，推定幀#2上的 相對(duì)應(yīng)的像素的位置，在每一個(gè)像素求抽樣相位差0 (102)。接著，由 動(dòng)態(tài)補(bǔ)償'升比例(upmte)部(115)的升比例器(103) (104)，使用 相位差e (102)的信息，動(dòng)態(tài)補(bǔ)償幀#2，與幀弁l對(duì)準(zhǔn)位置的同時(shí)，使幀#1和幀弁2的像素?cái)?shù)分別增長2倍，進(jìn)行高密度化。在相位移動(dòng) 部(116)中，把該高密度化后的數(shù)據(jù)的相位移動(dòng)一定量。這里，作為 把數(shù)據(jù)的相位移動(dòng)一定量的方法，能夠使用tt/2相位移動(dòng)器(106) (108)。另外，為了補(bǔ)償在兀/2相位移動(dòng)器(106) (108)中產(chǎn)生的 延遲，由延遲器(105) (107)使高密度化的幀W1和幀#2的相位延 遲。在折疊成分去除部(117)中，對(duì)于延遲器(105) (107)和希爾 伯特變換器(106) (108)的各輸出信號(hào)，由乘法器(110) (112) (111) (113)分別乘以由系數(shù)決定器(109)根據(jù)相位差0 (102)生成的系 數(shù)C0、 C2、 Cl、 C3，由加法器(114)把這些信號(hào)相加得到輸出。該 輸出供給到顯示部3。另外，位置推定部(101)能夠原樣使用上述現(xiàn) 有技術(shù)實(shí)現(xiàn)。關(guān)于升比例器(103)(104)、兀/2相位移動(dòng)器(106)(108)、 折疊成分去除部(117)的各詳細(xì)結(jié)構(gòu)在后面敘述。圖4中表示本發(fā)明的第1實(shí)施例的動(dòng)作。該圖在一維的頻域中表 示了圖1中的延遲器(105) (107)和兀/2相位移動(dòng)器(106) (108) 的各輸出。在該圖(a)中，從延遲器(105) (107)輸出的升比例后 的幀#1和幀#2的信號(hào)分別成為把原成分(401) (402)與從原來的 抽樣頻率(fs)折疊后的折疊成分(405) (406)相加的信號(hào)。這時(shí)， 折疊成分(406)按照上述的相位差e (102)旋轉(zhuǎn)相位。另一方面，從 兀/2相位移動(dòng)器(106) (108)輸出的升比例后的幀弁1和幀#2的信 號(hào)分別成為兀/2相位移動(dòng)后的原成分(403) (404)與7i/2相位移動(dòng) 后的折疊成分(407) (408)相加后的信號(hào)。該圖(b)以及該圖(c) 為了易于理解該圖(a)表示的各成分的相位關(guān)系，分別抽取并表示了 原成分和折疊成分。這里，如果決定在各成分上乘入的系數(shù)取加權(quán)和， 使得當(dāng)取該圖(b)表示的4個(gè)成分的矢量和時(shí)，使Re軸的成分為l， Im軸的成分為O，同時(shí)，當(dāng)取該圖(c)表示的4個(gè)成分的矢量和時(shí)， 使Re軸和Im軸的雙方的成分都為0，則抵消并忽略折疊成分，能夠 僅抽取出原成分。即，僅使用2個(gè)幀圖像，就能夠?qū)崿F(xiàn)進(jìn)行一維方向 的2倍高分辨率化的圖像信號(hào)處理裝置。關(guān)于該系數(shù)決定方法的詳細(xì) 過程在后面敘述。圖5表示在本發(fā)明第1實(shí)施例中使用的升比例器(103) (104)的
動(dòng)作。該圖中，橫軸表示頻率，縱軸表示增益(相對(duì)于輸入信號(hào)振幅 的輸出信號(hào)振幅的比值)，表示升比例器(103) (104)的「頻率一增益」特性。這里，在升比例器(103) (104)中加入以對(duì)于原來信號(hào)的 抽樣頻率(fs)的2倍頻率(2fs)為新的抽樣頻率，通過在原來的像 素間隔的恰好中間的位置插入新像素的抽樣點(diǎn)(=0點(diǎn))，使像素?cái)?shù)成 為2倍進(jìn)行高密度化的同時(shí)，把一fs + fs之間的頻率全部作為增益 2.0的通帶的濾波器。這時(shí)，如該圖所示，根據(jù)數(shù)字信號(hào)的對(duì)稱性，成 為在每個(gè)2fs的整數(shù)倍的頻率反復(fù)的特性。圖6表示在本發(fā)明第1實(shí)施例中使用的升比例器(103) (104)的 具體例子。該圖表示把圖5表示的頻率特性進(jìn)行反傅立葉變換得到的 濾波器的抽頭系數(shù)。這時(shí)，各抽頭系數(shù)Ck (其中k是整數(shù))成為一般 眾所周知的sinc函數(shù)，為了補(bǔ)償各像素的抽樣的相位差e (102)僅移動(dòng)(一e)，可以成為ck二2sin (兀k+e) / (兀k+e)。另外，在升比例器(103)中，可以預(yù)先使相位差e (102)為0，成為Ck二2Sin (兀k)/ (兀k)。另外，通過用整數(shù)像素單位(2兀)的相位差+小數(shù)像素單位的相位差表示相位差e (102)，對(duì)于整數(shù)像素單位的相位差的補(bǔ)償通過單純的像素移動(dòng)實(shí)現(xiàn)，對(duì)于小數(shù)像素單位的相位差的補(bǔ)償也可以使用上述升比例器(103) (104)的濾波器。圖7表示在本發(fā)明第1實(shí)施例中使用的7u/2相位移動(dòng)器(106) (108)的動(dòng)作例。作為；r/2相位移動(dòng)器(106) (108)能夠使用一般 眾所周知的希爾伯特變換器。在該圖(a)中，橫軸表示頻率，縱軸表 示增益(輸出信號(hào)振幅對(duì)于輸入信號(hào)振幅的比值)，表示希爾伯特變換 器的「頻率—增益」特性。這里，在希爾伯特變換器中，以對(duì)于原來 信號(hào)的抽樣頻率(fs)的2倍頻率(2fs)為新的抽樣頻率，把一fs 十 fs之間的除去0的頻率成分全部作為增益1.0的頻帶。另外，在該圖(b) 中，橫軸表示頻率，縱軸表示相位差(輸出信號(hào)相位對(duì)于輸入信號(hào)相 位的差)，表示希爾伯特變換器的「頻率—相位差」特性。這里對(duì)于0 fs之間的頻率成分延遲兀/ 2相位，對(duì)于0 一fs之間的頻率成分超前 兀/2相位。這時(shí)，如該圖所示，根據(jù)數(shù)字信號(hào)的對(duì)稱性，成為在每個(gè) 2fs整數(shù)倍的頻率反復(fù)的特性。圖8表示用希爾伯特變換器構(gòu)成在本發(fā)明第1實(shí)施例中使用的兀/2相位移動(dòng)器(106) (108)的例子。該圖表示把圖7表示的頻率特 性進(jìn)行反傅立葉變換得到的濾波器的抽頭系數(shù)。這時(shí)，各抽頭系數(shù)Ck 當(dāng)k二2m (其中m是整數(shù))時(shí)，可以是Ck二0，當(dāng)k=2m+l時(shí)，可 以是Ck二一2/ (兀k)。另外，在本發(fā)明第1實(shí)施例中使用的兀/2相位移動(dòng)器(106)(108) 還可以使用微分器。這種情況下，用t把表示正弦波的公式cos((ot+a) 微分后乘以1/。，則成為d (cos (cot+a)) / dtx (1 / ) 二 一sin (cot + a) =cos (cot+a+兀/2)，能夠?qū)崿F(xiàn)兀/2相位移動(dòng)的功能。即，在取得作為對(duì)象像素的值與鄰近像素的值的差分以后，通過加入具有1 /(o的「頻率一振幅」特性的濾波器，也可以實(shí)現(xiàn)兀/2相位移動(dòng)的功能。圖9表示在本發(fā)明第1實(shí)施例中使用的系數(shù)決定器(109)的動(dòng)作 和具體例子。如該圖(a)所示，如果決定在各成分中乘入的系數(shù)，使 得當(dāng)取得了圖4(b)表示的4個(gè)成分的矢量和時(shí)，使Re軸的成分為1， Im軸的成分為0，同時(shí)，當(dāng)取得了圖4(c)表示的4個(gè)成分的矢量和 時(shí)，使Re軸和Im軸的雙方成分都為0，則僅使用2張幀圖像就能夠 實(shí)現(xiàn)進(jìn)行一維方向的2倍高分辨率化的圖像信號(hào)處理裝置。如圖1所 示，把對(duì)于延遲器(105)的輸出(升比例后的幀#1的原成分與折疊 成分的和)的系數(shù)記為C0，把對(duì)于兀/2相位移動(dòng)器(106)的輸出(升 比例后的幀#1的原成分和折疊成分的分別兀/2相位移動(dòng)結(jié)果的和) 的系數(shù)記為C1，把對(duì)于延遲器(107)的輸出(升比例器后的幀弁2的 原成分與折疊成分的和)的系數(shù)記為C2，把對(duì)于希爾伯特變換器(106) 的輸出(升比例后的幀#2的原成分和折疊成分的分別7i/2相位移動(dòng) 結(jié)果的和)的系數(shù)記為C3，如果要滿足圖9 (a)的條件，則從圖4 (b) 以及圖4 (c)表示的各成分的相位關(guān)系，能夠得到圖9 (b)表示的聯(lián) 立方程式，求解該方程式能夠?qū)С鰣D9 (c)表示的結(jié)果。系數(shù)決定器 (109)可以輸出這樣得到的系數(shù)C0、 Cl、 C2、 C3。作為一個(gè)例子，圖9 (d)表示在每個(gè)兀/ 8使相位差0 (102)在0 2兀變化時(shí)的系數(shù)C0、 Cl、 C2、 C3的值。這與以1/16像素的精度位 置推定原來的幀#2的信號(hào)，對(duì)于幀#1進(jìn)行動(dòng)態(tài)補(bǔ)償?shù)那闆r相當(dāng)。在 相位差e (102)的值小于0或者大于等于2兀的情況下，利用sin函數(shù)或者cos函數(shù)的周期性，通過在相位差0(102)的值上加入或者減去2兀 的整數(shù)倍的值，可以使相位差e (102)收縮在0 2兀的范圍內(nèi)。另夕卜，升比例器(103) (104)以及兀/2相位移動(dòng)器(106) (107) 為了得到理想的特性需要無限個(gè)的抽頭數(shù)，而即使用有限個(gè)截?cái)嗪喕?抽頭數(shù)在實(shí)用上也沒有問題。這時(shí)，也可以使用一般的窗函數(shù)(例如 余弦平方窗(Hanning Window)函數(shù)或者漢明(Hamming Window)窗 函數(shù)等)。如果把簡化后的希爾伯特變換器的各抽頭的系數(shù)以CO為中 心取左右鏡象的值，即C (一k) 二一Ck (k是整數(shù))，則能夠使相位移 動(dòng)一定量。如果像以上那樣構(gòu)成各部分，則能夠適宜地以更少的幀數(shù)而且簡 單的結(jié)構(gòu)實(shí)現(xiàn)高分辨率化。實(shí)施例2圖10表示本發(fā)明第2實(shí)施例。該圖表示的結(jié)構(gòu)利用圖9 (c)表示 的系數(shù)C0、 Cl、 C2、 C3的關(guān)系，簡化了圖l表示的結(jié)構(gòu)。g卩，由于 是C0二C2二1/2， C1二一C3二一 (l+cos0) / 2 sin0，因此升比例后 的幀#1和動(dòng)態(tài)補(bǔ)償*升比例后的幀#2的各信號(hào)由加法器(1001)和減 法器1004)生成和與差的信號(hào)。關(guān)于和信號(hào)在經(jīng)過了 fs阻斷濾波器(1002)以后，由乘法器(1003)乘以C0(二0.5)輸入到加法器(1008)。 這里，fs阻斷濾波器(1002)是以升比例前的抽樣頻率(fs)的成分為 0點(diǎn)進(jìn)行阻斷的濾波器，例如，能夠通過使用該圖的(1011)表示的抽 頭系數(shù)實(shí)現(xiàn)。該fs阻斷濾波器(1002)如圖7 (a)所示，目的是防止 由于按照希爾伯特變換器(1005)的「頻率一增益」特性，頻率fs的 增益成為0點(diǎn)，因此不能去除折疊成分而殘留頻率fs的不要成分。從 而，如果代替希爾伯特變換器(1005)，使用把頻率fs的成分也包含在 內(nèi)而且能夠進(jìn)行5i/2相位移動(dòng)的單元，則不需要該fs阻斷濾波器(1002)。另一方面，關(guān)于差信號(hào)，在由希爾伯特變換器(1005)把相位移 動(dòng)了一定量(=兀/2)以后，由乘法器(1006)乘以由系數(shù)決定器(1007) 根據(jù)相位差(102)決定后的系數(shù)Cl，由加法器(1008)相加得到輸 出。這里，由延遲器(1002)和希爾伯特變換器(1005)構(gòu)成的相位 移動(dòng)部(1009)能夠以圖l表示的相位移動(dòng)部(116)的一半電路規(guī)模 實(shí)現(xiàn)。另外，系數(shù)決定器(1007)可以僅輸出圖9 (c)表示的系數(shù)C1， 由加法器(1001)、減法器(1004)、乘法器(1003) (1006)、加法器 (1008)、系數(shù)決定器(1007)構(gòu)成的折疊成分去除部(1010)能夠減 少乘法器的個(gè)數(shù)，因此能夠用比圖l表示的折疊成分去除部(117)小 的電路規(guī)模實(shí)現(xiàn)。實(shí)施例3圖11表示本發(fā)明的第3實(shí)施例。該圖表示的結(jié)構(gòu)如圖9 (d)所示，為了防止當(dāng)相位差e為o時(shí)系數(shù)ci 、 C3不確定或者隨著相位差e接近0，由于系數(shù)C1、C3增大而抗噪聲性能差，以圖IO表示的結(jié)構(gòu)為基礎(chǔ)，構(gòu)成為使得當(dāng)相位差e成為o附近時(shí)，切換成來自輔助像素內(nèi)插部(1105)的輸出。即，作為旁路準(zhǔn)備一般的內(nèi)插低通濾波器(1101)， 由系數(shù)決定器(1103)除去上述的系數(shù)CO、 Cl以外，還新生成C4， 由乘法器(1102)把內(nèi)插低通濾波器(1101)的輸出與系數(shù)C4相乘， 由加法器(1104)加入到高分辨率化后的信號(hào)上輸出。除此以外，與 圖IO表示的結(jié)構(gòu)相同。圖12表示在本發(fā)明第3實(shí)施例中使用的內(nèi)插低通濾波器(1101) 的具體例子。該圖表示把以原來的抽樣頻率fs的1 / 2作為截止頻率的 頻率特性進(jìn)行反傅立葉變換得到的濾波器的抽頭系數(shù)。這時(shí)，各抽頭 系數(shù)Ck (其中k是整數(shù))成為一般的sine函數(shù)，可以取Ck=sin (兀k /2) / (兀k/2)。圖13表示在本發(fā)明第3實(shí)施例中使用的系數(shù)決定器(1103)的具 體例子。該圖以圖9 (d)表示的系數(shù)CO、 Cl為基礎(chǔ)，表示通常把新 的系數(shù)C4取為0，而當(dāng)相位差e成為o附近時(shí)，強(qiáng)制地使系數(shù)C1的 值成為O的同時(shí)，使系數(shù)C4的值成為l.O的動(dòng)作。通過該動(dòng)作，在圖ii表示的結(jié)構(gòu)中，當(dāng)相位差e(102)成為o附近時(shí)，能夠自動(dòng)地把加法器(1104)的輸出切換成內(nèi)插低通濾波器(1101)的輸出。另外，在相位差e接近o的同時(shí)，還可以從圖12表示的系數(shù)連續(xù)逐漸地接近圖13表示的系數(shù)。另外，在由圖1中的位置推定部(101)判定為在 幀#2上沒有與幀#1上的處理對(duì)象的像素相對(duì)應(yīng)的像素的情況下，還可以與相位差e (102)成為o附近時(shí)相同控制各系數(shù)，自動(dòng)地把加法器(1104)的輸出切換成內(nèi)插低通濾波器(1101)的輸出。
實(shí)施例4圖14表示本發(fā)明的第4實(shí)施例。該圖是上述第1實(shí)施例的動(dòng)作的 流程圖。該流程圖的方法例如既可以用上述第1實(shí)施例那樣的結(jié)構(gòu)實(shí) 施，或者也可以通過控制部、存儲(chǔ)器和軟件程序?qū)嵤?。另外，也可?用電路進(jìn)行一部分步驟，用控制部、存儲(chǔ)器和軟件程序等實(shí)施一部分步驟。該圖中，處理從步驟(1401)開始，在步驟(1418)中把各幀 的圖像數(shù)據(jù)升比例成2倍。S口，在步驟(1402)中，把幀弁l的圖像數(shù) 據(jù)升比例后寫入到幀緩沖器弁l中，在步驟(1403)中，把幀#2的圖 像數(shù)據(jù)升比例后寫入到幀緩沖器#2中。這里，作為升比例，能夠通過 暫時(shí)用O清除了各幀緩沖器的值以后，在每一個(gè)像素寫入數(shù)據(jù)實(shí)現(xiàn)。接著，在步驟(1404)中，把幀緩沖器#1的最初的像素(例如左 上方的像素)設(shè)定為處理對(duì)象，以下，直到結(jié)束對(duì)于幀緩沖器#1的所 有的像素?cái)?shù)據(jù)的處理為止，循環(huán)處理。在步驟(1405)中，以幀緩沖器#1的對(duì)象像素為基準(zhǔn)，推定幀緩 沖器#2中的相對(duì)應(yīng)的像素的位置，輸出相位差e。這時(shí)，作為推定相 對(duì)應(yīng)的像素的位置的方法，能夠直接使用上述的現(xiàn)有技術(shù)。在步驟(1406)中，根據(jù)在步驟(1405)中求出的相位差e，動(dòng)態(tài) 補(bǔ)償幀緩沖器弁2中的相對(duì)應(yīng)的像素附近的像素。這時(shí)，作為附近的像 素，可以動(dòng)態(tài)補(bǔ)償在步驟(1408)的兀/2相位移動(dòng)處理中使用的像素 數(shù)據(jù)，即，有限抽頭數(shù)作用的范圍內(nèi)的像素?cái)?shù)據(jù)。該動(dòng)態(tài)補(bǔ)償?shù)膭?dòng)作 與使用圖5以及圖6說明過的動(dòng)作相同。接著，在步驟(1419)中，對(duì)于幀緩沖器#1和動(dòng)態(tài)補(bǔ)償后的幀緩 沖器#2，把相位移動(dòng)一定量。g卩，通過步驟(1407) (1408)，把各幀 緩沖器中的像素?cái)?shù)據(jù)相位移動(dòng)兀/ 2。接著，在步驟(1420)中，使用根據(jù)相差0設(shè)定成滿足圖9 (a) (b) (c)的條件的系數(shù)C0、 Cl、 C2、 C3與步驟(1419)的輸出數(shù)據(jù) 的每一個(gè)相乘，通過把它們相加，從幀緩沖器#1、 #2的像素?cái)?shù)據(jù)去 除折疊成分，輸出到幀緩沖器#3。 g卩，在步驟(1409)中根據(jù)相位差 6決系數(shù)C0、 Cl、 C2、 C3、在步驟(1410) (1411) (1412) (1413) 中把各系數(shù)與幀緩沖器# 1 、弁2的像素?cái)?shù)據(jù)以及7E / 2相位移動(dòng)后的數(shù) 據(jù)分別相乘以后，在步驟(1414)中把它們?nèi)肯嗉?，輸出到幀緩沖 器#3。該折疊成分去除的動(dòng)作與使用圖9說明過的動(dòng)作相同。接著，在步驟(1415)中，判定是否完成了幀緩沖器#1的所有像素的處理，如果沒有完成則在步驟(1416)中把下一個(gè)像素(例如右 鄰的像素)設(shè)定為處理的對(duì)象，返回到步驟(1405)以后，如果結(jié)束 則在步驟中(1417)中結(jié)束處理。通過進(jìn)行以上那樣的處理，使用幀緩沖器弁l和幀緩沖器#2的像 素?cái)?shù)據(jù)，能夠把高分辨率化后的信號(hào)輸出到幀緩沖器弁3。在應(yīng)用于活 動(dòng)圖像的情況下，可以在每一個(gè)幀反復(fù)進(jìn)行(1401)至(1417)的處 理。實(shí)施例5圖15表示本發(fā)明的第5實(shí)施例。是上述第2實(shí)施例的動(dòng)作的流程 圖。該流程圖的方法例如既可以用上述第2實(shí)施例那樣的結(jié)構(gòu)實(shí)施， 另外也可以通過控制部、存儲(chǔ)器和軟件程序?qū)嵤?。另外，還可以用電 路進(jìn)行一部分步驟，用控制部、存儲(chǔ)器和軟件程序等實(shí)施一部分步驟。 該圖中，處理從步驟(1501)開始。在步驟(1518)中把各幀的圖像 數(shù)據(jù)進(jìn)行升比例。即，在步驟(1502)中把幀#1的圖像數(shù)據(jù)升比例后 寫入到幀緩沖器弁l中，在步驟(1503)中把幀#2的圖像數(shù)據(jù)升比例 后寫入到幀緩沖器W2中。這里，作為升比例，能夠通過暫時(shí)用0把各 幀緩沖器的值清除了以后，在每一個(gè)像素寫入數(shù)據(jù)實(shí)現(xiàn)。接著，在步驟(1504)中，把幀緩沖器#1的最初的像素(例如左 上方的像素)設(shè)定為處理對(duì)象，以下直到結(jié)束幀緩沖器弁l的所有圖像 素?cái)?shù)據(jù)的處理為止，循環(huán)處理。在步驟(1505)中，以幀緩沖器#1的對(duì)象像素為基準(zhǔn)，推定幀緩 沖器#2中的相對(duì)應(yīng)的像素的位置，輸出相位差e。這時(shí)，作為推定相 對(duì)應(yīng)的像素的位置的方法，能夠直接使用上述的現(xiàn)有技術(shù)。在步驟(1506)中，根據(jù)在步驟(1505)中求出的相位差e,動(dòng)態(tài) 補(bǔ)償幀緩沖器#2中的相對(duì)應(yīng)的像素附近的像素。這時(shí)，作為「附近的 像素」，可以動(dòng)態(tài)補(bǔ)償在步驟(1510)的希爾伯特變換處理中使用的像 素?cái)?shù)據(jù)，即，有限抽頭數(shù)作用的范圍內(nèi)的像素?cái)?shù)據(jù)。該動(dòng)態(tài)補(bǔ)償?shù)膭?dòng) 作與使用圖5以及圖6說明過的動(dòng)作相同。接著，在步驟(1520)中，根據(jù)相位差e，從幀緩沖器#1、 #2
的像素?cái)?shù)據(jù)去除折疊成分，輸出到幀緩沖器井3。首先，在步驟(1507) 中，把幀緩沖器弁l的像素?cái)?shù)據(jù)的值與動(dòng)態(tài)補(bǔ)償后的幀緩沖器#2的像素?cái)?shù)據(jù)的值相加，在步驟(1509)中阻斷頻率fs的成分。該fs阻斷濾 波器(1509)的動(dòng)作與圖IO表示的(1002)的動(dòng)作相同。另外，在步驟(1508)中，從幀緩沖器弁l的像素?cái)?shù)據(jù)的值減去動(dòng) 態(tài)補(bǔ)償后的幀緩沖器#2的像素?cái)?shù)據(jù)的值。這里，對(duì)于相減的結(jié)果，在 步驟(1519)中把相位移動(dòng)一定量。S卩，還使用同樣相減后的附近的 數(shù)據(jù)，在步驟(1510)中進(jìn)行希爾伯特變換。該相位移動(dòng)的動(dòng)作與使 用圖7以及圖8說明過的動(dòng)作相同。接著，在步驟(1511)中，在上述相加后的數(shù)據(jù)上乘以系數(shù)CO(二 0.5)的同時(shí)，在步驟(1512)中根據(jù)相位差e決定系數(shù)Cl,在步驟(1513) 中把系數(shù)C1與希爾伯特變換后的數(shù)據(jù)相乘了以后，在步驟(1514)中 把兩者的數(shù)據(jù)相加，輸出到幀緩沖器#3。該折疊成分去除的動(dòng)作與使 用圖IO說明過的動(dòng)作相同。接著，在步驟(1515)中，判定是否完成了幀緩沖器#1的所有像 素的處理，如果沒有完成則在歩驟(1516)中把下一個(gè)像素(例如右 鄰的像素)設(shè)定為處理的對(duì)象，返回到歩驟(1505)以后，如果結(jié)束 則在步驟中(1517)中結(jié)束處理。通過進(jìn)行以上那樣的處理，使用幀緩沖器#1和幀緩沖器#2的像 素?cái)?shù)據(jù)，能夠把高分辨率化后的信號(hào)輸出到幀緩沖器#3。在應(yīng)用于活 動(dòng)圖像的情況下，可以在每一個(gè)幀反復(fù)進(jìn)行(1501)至(1517)的處 理。實(shí)施例6圖16表示本發(fā)明的第6實(shí)施例。是上述第3實(shí)施例的動(dòng)作的流程 圖。該流程圖的方法例如既可以用上述第3實(shí)施例那樣的結(jié)構(gòu)實(shí)施， 另外也可以通過控制部、存儲(chǔ)器和軟件程序?qū)嵤?。另外，還可以用電 路進(jìn)行一部分步驟，用控制部、存儲(chǔ)器和軟件程序等實(shí)施一部分步驟。 該圖表示的處理步驟的動(dòng)作如圖9 (d)所示，為了防止當(dāng)相位差e為 0時(shí)系數(shù)C1、 C3成為不穩(wěn)定，或者伴隨著相位差e接近o，由于系數(shù) Cl、 C3增大而抗噪聲等性能差，以圖15表示的處理步驟為基礎(chǔ)，構(gòu) 成為使得當(dāng)相位差e成為0附近時(shí)把步驟(1606)的結(jié)果輸出到幀緩
沖器#3。即，在步驟(1601)中根據(jù)相位差e決定系數(shù)CO、 Cl、 C4， 在步驟(1602)中，使用幀緩沖器#1中對(duì)象的像素?cái)?shù)據(jù)和其附近的像 素?cái)?shù)據(jù)，在進(jìn)行了一般的內(nèi)插低通濾波器處理以后，在步驟(1603) 中乘以系數(shù)C4，在步驟(1604)中與(1511) (1513)的輸出相加， 輸出到幀緩沖器#3。除此以外與圖15表示的處理步驟相同。另外， 步驟(1601)中的系數(shù)決定的動(dòng)作與使用圖13說明過的動(dòng)作相同。另 外，步驟(1602)中的內(nèi)插低通濾波器的動(dòng)作與使用圖12說明過的動(dòng) 作相同。另外，使圖14、圖15、圖16表示的處理步驟動(dòng)作的硬件由于能 夠用信號(hào)輸入輸出部(I/O)、 CPU (中央處理單元)或者DSP (數(shù)字 信號(hào)處理器)等信號(hào)處理LSI、由幀緩沖器(存儲(chǔ)器)構(gòu)成的一般的影 像處理設(shè)備或者計(jì)算機(jī)等容易地實(shí)現(xiàn)，因此省略圖示。依據(jù)以上那樣的技術(shù)，在通過合成多個(gè)圖像幀去除不要的折疊成 分進(jìn)行高分辨率化的裝置中，如果至少有2張幀圖像，則就能夠?qū)崿F(xiàn) 進(jìn)行一維方向的2倍高分辨率化的圖像信號(hào)處理。使用圖17說明本發(fā)明的一個(gè)實(shí)施形態(tài)與上述現(xiàn)有技術(shù)的動(dòng)作的不 同。該圖(a)中，從幀弁l (1701)到幀#5 (1705)之間，準(zhǔn)備被拍 攝物體向右方向移動(dòng)那樣的輸入圖像。這時(shí)，如該圖(b)所示那樣， 有意地使被拍攝物體移動(dòng)，使得如果觀看各幀中的抽樣相位，則在幀 #1 (1701)與幀#2 (1702)之間，對(duì)應(yīng)像素的位置偏移1/4個(gè)像素 (=兀/2)，在幀#1 (1701)與幀#3 (1703)之間，對(duì)應(yīng)像素的位置 偏移l個(gè)像素(=2兀)，在幀#1 (1701)與幀#4 (1704)之間，對(duì)應(yīng) 像素的位置偏移5/4個(gè)像素(=5兀/2)，在幀#1(1701)與幀#5(1705) 之間，對(duì)應(yīng)像素的位置偏移2個(gè)像素(=4兀)。這時(shí)，包含在各幀上的 信號(hào)中的各個(gè)折疊成分的相位以包含在幀#1 (1701)上的信號(hào)中的折 疊成分的相位為基準(zhǔn)，能夠如該圖(c)那樣表示。在對(duì)于該輸入圖像 (a)進(jìn)行2倍高分辨率化的情況下，在上述現(xiàn)有技術(shù)中，由于即使使 用幀#1 (1701)到幀#5 (1705)中的哪三個(gè)幀也不能夠使折疊成分 的矢量和成為0，因此不能夠?qū)崿F(xiàn)高分辨率化。另一方面，如果使用本 實(shí)施例，例如，由于使用鄰接的2個(gè)幀(例如幀#1) (1701)和幀 #2 (1702))能夠使折疊成分的矢量和成為0，因此能夠?qū)崿F(xiàn)高分辨率
化。g卩，通過把該圖(a)的輸入圖像用作為試驗(yàn)圖形，能夠確認(rèn)本實(shí) 施例的動(dòng)作狀況。實(shí)施例7在上述中，說明了使用2幀信號(hào)進(jìn)行2倍高分辨率化，而同樣使 用n幀(n是大于等于2的整數(shù))信號(hào)能夠?qū)崿F(xiàn)n倍高分辨率化。這時(shí)， 如圖9 (a)所示，與原成分的和的Re軸二l，原成分的和的Im軸二O 的條件一起，把從原來的抽樣頻率(fs)的1 (n—l)倍的頻率分別 折疊后的(n—l)個(gè)折疊成分的矢量和分別置為0，可以求解聯(lián)立方程 式。以下使用圖18和圖19詳細(xì)地說明上述過程。圖18表示使用n幀(n是大于等于2的整數(shù))的信號(hào)進(jìn)行n倍高 分辨率化的裝置的實(shí)施例。在該圖中，首先由位置推定部(1801)以 所輸入的幀弁1上的處理對(duì)象的像素的抽樣相位(抽樣位置)為基準(zhǔn)， 推定所輸入的幀弁2 幀ftn上的相對(duì)應(yīng)像素的位置，求相位差ei(1802 一l) 相位差e (n—l) (1802— (n—1))。接著，由動(dòng)態(tài)補(bǔ)償'升比 例部(1806)的升比例器(1803 — 0) (1803— (n—l))，使用各相 位差e的信息動(dòng)態(tài)補(bǔ)償幀tt2 幀弁n，與幀弁l對(duì)準(zhǔn)位置的同時(shí)，把各 幀的像素?cái)?shù)分別增大n倍進(jìn)行高密度化。在相位移動(dòng)部(1807)中， 把該高密度化后的數(shù)據(jù)的相位移動(dòng)一定量，作為信號(hào)SiO Si (n—l)。 這里，作為把數(shù)據(jù)的相位移動(dòng)一定量的單元，能夠使用:r/2相位移動(dòng) 器(1805 — 0) (1805— (n—1))。另外，為了補(bǔ)償在各兀/2相位 移動(dòng)器中產(chǎn)生的延遲，由延遲器(1804 — 0) (1804— (n—l))使 高密度化的的各幀的信號(hào)延遲，作為信號(hào)SrO Sr (n—O。在折疊成 分去除部(1808)中，使用這些信號(hào)SiO Si (n—l)、 SrO Sr (n—l)、相位差ei e (n—i)，進(jìn)行用于去除折疊成分的運(yùn)算，得到輸出。另外，位置推定部(1801)能夠原樣使用上述現(xiàn)有技術(shù)實(shí)現(xiàn)。另外，關(guān) 于動(dòng)態(tài)補(bǔ)償-升比例部(1806)、相位移動(dòng)部(1807)，由于根據(jù)圖5 圖8表示的內(nèi)容，能夠通過把圖中的頻率從fs變更成fs*n / 2而容易 地類推實(shí)現(xiàn)，因此省略圖示。另外，在相位移動(dòng)部(1807)中，在fs *n/2的頻率的增益成為零點(diǎn)不能夠去除折疊畸變的情況下，最好使用 fs*n/2的頻率的增益成為0點(diǎn)的阻斷濾波器。該阻斷濾波器也可以 插入在延遲器(1804—4) (1804— (n—l))的位置，而即使插入
到折疊成分去除部(1808)的輸出位置也可以得到同樣的效果，這是 很明確的。圖19中表示折疊成分去除部(1808)的動(dòng)作的詳細(xì)過程。該圖(a) 中，表示用于使用信號(hào)SiO Si (n—l)、信號(hào)SrO Sr (n—l)、相位 差ei e (n—l)得到去除了折疊成分的輸出的計(jì)算式。這里，Ci0 Ci (n—1)、 CrO Cr (n—1)是分別乘入到信號(hào)SiO Si (n—1)、 Sr0 Sr (n—1)上的系數(shù)。該圖(b)表示用于求這些系數(shù)CiO Ci (n—1)、 CrO Cr (n—1) 的計(jì)算式。該計(jì)算式的左邊和右邊都成為矩陣形式，從上面開始每2 行表示原成分、抽樣頻率(fs)的成分、抽樣頻率(fs)的2倍成分， 以下相同，表示至抽樣頻率(fs)的(n—1)倍的成分，各第1行(奇 數(shù)行)表示Re軸，各第2行(偶數(shù)行)表示Im軸中的各成分。該計(jì) 算式左邊的矩陣表示原成分的Re軸的和是1，其它的成分全部是0。 該計(jì)算式的右邊成為矩陣的積運(yùn)算。右邊左側(cè)的矩陣從左開始每2列 表示幀#1的抽樣相位(基準(zhǔn))、幀#2與幀#1的抽樣相位差，以下相 同，表示根據(jù)幀#11與幀#1的抽樣相位差使長度1的矢量旋轉(zhuǎn)的矢量， 各第1列(奇數(shù)列)表示在Re軸上，各第2列(偶數(shù)列)表示在Im 軸上分別映射了長度1的矢量時(shí)的值。這里，具有從上面開始每2行 與抽樣頻率成比例，抽樣相位差(旋轉(zhuǎn)角)增大的特征。右邊的右側(cè) 矩陣是希望求出的系數(shù)。即，該圖(b)表示的計(jì)算式表示為了去除不 要的折疊成分僅抽取出原成分的Re軸，在幀弁1 幀弁n的各成分上乘 以適當(dāng)?shù)南禂?shù)求矢量和這樣的運(yùn)算。從而，根據(jù)該圖(b)的反矩陣運(yùn) 算求系數(shù)CiO Ci (n—l)、 CrO Cr (n—l)，通過把其系數(shù)代入到該 圖(a)中進(jìn)行運(yùn)算，能夠去除不要的(n—l)個(gè)折疊成分，能夠?qū)崿F(xiàn) n倍高分辨率化。這時(shí)，如果取為11=2，則圖18表示的結(jié)構(gòu)與圖l表 示的結(jié)構(gòu)一致，圖19表示的計(jì)算式與圖9表示的計(jì)算式一致。上述第7實(shí)施例的動(dòng)作的流程圖例如可以把圖14表示的實(shí)施例 (流程圖)的輸入幀數(shù)取為2 n，關(guān)于弁2 弁n的弁k的幀，各添加 k部分把幀的數(shù)據(jù)寫入到幀緩沖器ttk中的步驟、以幀緩沖器#1的對(duì) 象像素為基準(zhǔn)推定幀緩沖器tfk的對(duì)象像素的位置，輸出相位差e的步 驟、根據(jù)相位差e，把幀緩沖器弁k的對(duì)應(yīng)像素的附近像素進(jìn)行動(dòng)態(tài)補(bǔ)償?shù)牟襟E、在每一個(gè)幀2系統(tǒng)輸出動(dòng)態(tài)補(bǔ)償后的數(shù)據(jù)， 一方保持不變，把另一方相位移動(dòng)兀/2的步驟。其次，可以把圖14的步驟1402作為把根據(jù)幀弁i與幀弁k的相位差e (k—1)確定后的各系數(shù)與各輸出數(shù)據(jù)相乘，把所有乘法結(jié)果相加的步驟。另外，上述第7實(shí)施例的動(dòng)作的流程圖例如也可以把圖15、圖16 表示的實(shí)施例(流程圖)的輸入幀數(shù)取為2 n。 S卩，對(duì)于弁2 弁n的 弁k的幀，添加把幀的數(shù)據(jù)寫入到幀緩沖器ttk中的步驟、以幀緩沖器 #1的對(duì)象像素為基準(zhǔn)推定幀緩沖器弁k的對(duì)應(yīng)像素的位置，輸出相位差e的的步驟、根據(jù)相位差e，把幀緩沖器弁k的對(duì)應(yīng)像素的附近像素進(jìn)行動(dòng)態(tài)補(bǔ)償?shù)牟襟E。接著，從圖15、圖16的1506輸出的2系統(tǒng)的 輸出在每次n增加1時(shí)各增加2。根據(jù)幀#1與幀弁k的相位差e (k— 1)確定在這些輸出數(shù)據(jù)的每一個(gè)上乘入的系數(shù)。最后，可以把圖15 的步驟1520作為把根據(jù)幀#1與幀弁k的相位差e (k—l)確定后的各 系數(shù)與各輸出數(shù)據(jù)相乘，把所有乘法結(jié)果相加的步驟。另外，可以把 圖16的步驟1605作為把根據(jù)幀弁l與幀弁k的相位差e (k—l)確定 后的各系數(shù)與各輸出數(shù)據(jù)相乘，把內(nèi)插低通濾波器1602的輸出與系數(shù) C4的積與所有乘法結(jié)果相加的步驟。上述第7實(shí)施例的動(dòng)作也可以不是用上述第7實(shí)施例那樣的結(jié)構(gòu) 實(shí)施，而是用控制部、存儲(chǔ)器和軟件程序?qū)嵤?。另外，也可以用電?進(jìn)行一部分步驟，用控制部、存儲(chǔ)器和軟件程序等實(shí)施一部分步驟。另外，在上述中舉例說明了水平方向的高分辨率化，而本發(fā)明的 各實(shí)施形態(tài)當(dāng)然不限于這種情況，也能夠適用于垂直方向或者傾斜方 向的高分辨率化。例如，通過把本發(fā)明適用在隔行一步進(jìn)掃描變換(I 一P變換)中，能夠從2張幀圖像生成1張幀圖像。即，通過把幀圖像 視為「掃描線數(shù)是1 / 2幀圖像」適用本發(fā)明，能夠與靜止圖像.活動(dòng)圖 像無關(guān)，得到使每一張圖像的掃描線數(shù)成為2倍(即，使垂直方向的 分辨率成為2倍)的輸出圖像。另外，也能夠適用于把水平-垂直方向 組合的二維的高分辨率化。實(shí)施例8圖20中表示本發(fā)明第8實(shí)施例的圖像信號(hào)處理裝置。本實(shí)施例的 圖像信號(hào)處理裝置例如具備輸入電視廣播信號(hào)等的活動(dòng)圖像的幀序列
的輸入部(1)、把從該輸入部(1)輸入的幀進(jìn)行把水平'垂直方向組合 起來的2倍高分辨率化的分辨率變換部(4)、進(jìn)而根據(jù)由分辨率變換 部(4)高分辨率化后的幀顯示圖像的顯示部(3)。在該分辨率變換部(4)中，在水平方向以及垂直方向的每一個(gè)中進(jìn)行分辨率變換處理， 通過選擇或者混合各個(gè)結(jié)果中分辨率提高效果大的成分輸出，實(shí)現(xiàn)2 倍的高分辨率化。以下，說明分辨率變換部(4)的詳細(xì)情況。圖20中，根據(jù)輸入到輸入部(1)中的幀#1(2010)和幀#2(2013)， 使用水平分辨率變換部(2001)和垂直分辨率變換部(2005)，分別生 成增加了水平方向的像素?cái)?shù)的幀(2011)和增加了垂直方向的像素?cái)?shù) 的幀(2014)。這里，各分辨率變換部(2001) (2005)原樣使用圖1 表示的分辨率變換部(2)的結(jié)構(gòu)，分別進(jìn)行水平方向以及垂直方向的 信號(hào)處理。這時(shí)，在水平分辨率變換部(2001)中，圖1表示的升比 例器(103) (104)、延遲器(105) (107)、兀/ 2相位移動(dòng)器(106) (108) 構(gòu)成為分別進(jìn)行水平方向的升比例、延遲、兀/2相位移動(dòng)。同樣，在 垂直分辨率變換部(2005)中，圖1表示的升比例器(103) (104)、 延遲器(105) /107)、兀/2相位移動(dòng)器(106) (108)分別進(jìn)行垂直方 向的升比例、延遲、兀/2相位移動(dòng)。這些動(dòng)作能夠使用圖5 圖8表 示的動(dòng)作和現(xiàn)有技術(shù)等實(shí)施。在本實(shí)施例中，設(shè)被拍攝物體進(jìn)行水平-垂直方向的二維移動(dòng)，把 圖1以及圖2表示的動(dòng)作擴(kuò)展到二維。即，在水平分辨率變換部(2001) 中的位置推定部(圖1中的(101))以及動(dòng)態(tài)補(bǔ)償.升比例部(圖1中 的(115))中，以幀#1上的被拍攝物體為基準(zhǔn)，二維動(dòng)態(tài)補(bǔ)償幀#2 上的被拍攝物體的同時(shí)，在各幀的像素的抽樣相位差中，在折疊成分 去除部(圖l中的(117))的系數(shù)決定中使用水平相位差9H。同樣， 在垂直分辨率變換部(2005)中的位置推定部(圖1中的(101))以 及動(dòng)態(tài)補(bǔ)償'升比例部(圖1中的(115))中，以幀#1上的被拍攝物 體(2016)為基準(zhǔn)，二維動(dòng)態(tài)補(bǔ)償幀#2上的被拍攝物體(2017)的同 時(shí)，在各幀的像素的抽樣相位差中，在折疊成分去除部(圖1中的(in)) 的系數(shù)決定中使用垂直相位差ev。折疊成分去除部(圖1中的(117)) 的系數(shù)決定可以原樣使用圖9表示的動(dòng)作。如果設(shè)想被拍攝物體沿著傾斜方向移動(dòng)的情況，則在由水平分辨 率變換部(2001)增加了水平方向的像素?cái)?shù)的幀(2011)中成為包含 傾斜方向的畸變，而在原本的輸入信號(hào)的垂直頻率低的成分(縱線等) 中，該畸變小到可以忽視的程度。同樣，在由垂直分辨率變換部(2005) 增加了垂直方向的像素?cái)?shù)的幀(2014)中成為包含傾斜方向的畸變， 而原本的輸入信號(hào)的水平頻率低的成分(橫線等)中，該畸變小到可 以忽視的程度。利用該特性，根據(jù)上述的信號(hào)處理增加了水平方向的像素?cái)?shù)的幀 (2011)根據(jù)由垂直升比例器(2002)以及像素內(nèi)插器(2003)構(gòu)成 的垂直內(nèi)插部(2004)生成幀(2012)，作為SR (水平)信號(hào)。這里， 像素內(nèi)插器(2003)可以使用輸出希望內(nèi)插的像素的上下像素?cái)?shù)據(jù)的 平均值那樣的一般的垂直低通濾波器。同樣，增加了垂直方向的像素 數(shù)的幀(2014)由水平升比例器(2006)以及像素內(nèi)插器(2007)構(gòu) 成的水平內(nèi)插部(2008)，生成幀(2015)作為SR (垂直)信號(hào)。這 里，像素內(nèi)插器(2007)可以使用輸出希望內(nèi)插的像素的左右像素?cái)?shù) 據(jù)的平均值那樣的一般的水平低通濾波器。這樣，使用像素內(nèi)插器 (2003)和(2007)如果去除與處理對(duì)象的方向正交方向的高頻成分， 僅抽取出低頻成分，則能夠把上述的沿著傾斜方向移動(dòng)時(shí)發(fā)生畸變的 影響減小到可以忽視的程度。由混合器(2009)把通過上述處理生成 的SR (水平)信號(hào)和SR (垂直)信號(hào)混合后作為輸出信號(hào)，顯示在 顯示部(3)上。關(guān)于混合器(2009)的詳細(xì)結(jié)構(gòu)以及動(dòng)作在后面敘述。實(shí)施例9圖21表示本發(fā)明第9實(shí)施例的圖像信號(hào)處理裝置。本實(shí)施例的圖 像信號(hào)處理裝置是把上述第8實(shí)施例的結(jié)構(gòu)變形的的例子，顛倒圖20 表示的分辨率變換部(2001) (2005)和內(nèi)插部(2004) (2008)的處 理順序，構(gòu)成為在進(jìn)行了內(nèi)插處理以后進(jìn)行分辨率變換。由此，能夠 共用位于分辨率變換部(2001) (2005)中的升比例器(圖1中的(103) (104))和位于內(nèi)插部(2004) (2008)中的升比例器(圖20中的(2002 ) (2006))，同時(shí)，能夠共用位于水平分辨率變換部(2001)和垂直分 辨率變換部(2005)中的各個(gè)位置推定部(圖1中的(101))，因此能 夠以更小的電路規(guī)模以及運(yùn)算量實(shí)現(xiàn)同樣的信號(hào)處理。圖21中，首先由位置推定部(2101)以輸入到輸入部(1)中的 幀#1上的處理對(duì)象的像素的抽樣相位(抽樣位置)為基準(zhǔn)，推定幀# 2上的相對(duì)應(yīng)像素的位置，求水平方向和垂直方向的各個(gè)抽樣相位差0H (2102)、 ev (2103)。接著，由動(dòng)態(tài)補(bǔ)償.升比例部(2110)的升比 例器(2104) (2105)使用相位差0H (2102)、 9V (2103)的信息，動(dòng) 態(tài)補(bǔ)償幀#2，與幀#1對(duì)準(zhǔn)位置的同時(shí)，把幀#1和幀#2的像素?cái)?shù)分 別在水平>垂直都增加2倍(總計(jì)4倍)，進(jìn)行高密度化。升比例器(2104)(2105) 是把圖5以及圖6表示的動(dòng)作，機(jī)構(gòu)進(jìn)行了水平，垂直方向的二 維擴(kuò)展，由于能夠容易實(shí)施因此省略圖示。在相位移動(dòng)部(2111)中， 把該高密度化后的數(shù)據(jù)的相位移動(dòng)一定量。這時(shí)，水平相位移動(dòng)器(2106) 進(jìn)行水平方向的相位移動(dòng)，垂直相位移動(dòng)器(2107)進(jìn)行垂 直方向的相位移動(dòng)，由于能夠與圖l表示的延遲器(105) (107)以及 兀/2相位移動(dòng)器(108)和圖7以及圖8表示的動(dòng)作.結(jié)構(gòu)同樣實(shí)施， 因此省略圖示。對(duì)于相位移動(dòng)后的各信號(hào)，由折疊成分去除部(2112) 中的水平方向的折疊成分去除部(2108)以及垂直方向的折疊成分去 除部(2109)分別去除水平'垂直方向的折疊成分。接著，使用像素內(nèi) 插器(2003)把水平方向的折疊成分去除部(2108)的輸出進(jìn)行像素 內(nèi)插，作為SR (水平)信號(hào)，使用像素內(nèi)插器(2007)把垂直方向的 折疊成分去除部(2109)的輸出進(jìn)行像素內(nèi)插，作為SR (垂直)信號(hào)， 由混合器(2009)把它們兩者混合作為輸出。折疊成分去除部(2108)(2109)能夠原樣使用圖l表示的折疊成本去除部(117)的結(jié)構(gòu)。作 為相位差e (102)，在折疊成分去除部(2108)中使用水平相位差6H(2102)，在折疊成分去除部(2109)中使用垂直相位差ev (2103)， 通過進(jìn)行圖9表示的動(dòng)作，能夠去除各個(gè)方向的折疊成分。圖22中表示混合器(2009)的第1結(jié)構(gòu)例。在該圖中，使用加法 器(2201)和乘法器(2202)，生成輸入到混合器(2009)中的SR (水 平)和SR (垂直)的各信號(hào)的平均值后輸出。該圖表示的結(jié)構(gòu)是最簡 單地構(gòu)成了混合器(2009)的例子，而水平'垂直的各分辨率提高效果 也分別成為1/2。圖23中表示混合器(2009)的第2結(jié)構(gòu)例。在該圖中，對(duì)于輸入 到混合器(2009)的SR (水平)和SR (垂直)的各信號(hào)，使用乘法 器(2303)以及乘法器(2304)分別乘以系數(shù)K (水平)和系數(shù)K (垂 直)，由加法器(2305)把兩者相加作為輸出。系數(shù)K (水平)和系數(shù) K (垂直)分別由系數(shù)決定器(2301) (2302)生成。以下，說明該系 數(shù)決定器(2301) (2302)的動(dòng)作。圖21表示的折疊成分去除部(2108) (2109)根據(jù)該圖表示的相 位差0H(21O2)以及相位差eV(2103)，由圖1表示的系數(shù)決定器(109) 發(fā)生圖9表示的系數(shù)C0 C3，進(jìn)行折疊成分去除的運(yùn)算。這時(shí)，為了 防止當(dāng)相位差0H (2102)、 eV (2103)是O時(shí)，系數(shù)C1以及C3成為 不穩(wěn)定，或者隨著相位差eH (2102)、 0V (2103)接近O，系數(shù)C1、 C3增大而使抗噪聲等性能差，最好導(dǎo)入圖13表示的系數(shù)C4(0SCg)， 如圖11表示的結(jié)構(gòu)那樣進(jìn)行輔助的像素內(nèi)插。反過來講，當(dāng)系數(shù)C4 的值為0.0時(shí)雖然有提高分辨率的效果，但是隨著系數(shù)C4的值接近1.0， 分辨率提高的效果減小。利用該性質(zhì)，使用水平'垂直方向的各系數(shù)C4的值決定系數(shù)K (水平)和系數(shù)K (垂直)，使得當(dāng)水平相位差e的值(2102)在0附近(即，系數(shù)C4 (水平)在1.0附近)時(shí)，強(qiáng)烈地反 映垂直分辨率變換結(jié)果的SR (垂直)，當(dāng)垂直相位差ev (2103)在0 附近(即，系數(shù)C4 (垂直)在1.0附近)時(shí)，強(qiáng)烈地反映水平分辨率 變換結(jié)果的SR(水平)。為了實(shí)現(xiàn)該動(dòng)作，例如在圖23表示的系數(shù)決 定器(2301)中，迸行K (水平)=C4 (水平)+ (1—C4 (垂直)) /2的運(yùn)算，決定K (水平)，在系數(shù)決定器(2303)中進(jìn)行K (垂直) =C4 (垂直)+ (1—C4 (水平))/2的運(yùn)算，決定K (垂直)。圖24匯總表示當(dāng)分別使系數(shù)C4 (水平)以及系數(shù)C4 (垂直)變 化了時(shí)的系數(shù)決定器(2301) (2302)的輸出(系數(shù)K (水平)以及系 數(shù)K (垂直))的一個(gè)例子。如該圖所示，進(jìn)行動(dòng)作使得如果系數(shù)C4(水平)增大，則在系數(shù)K (水平)減小的同時(shí)系數(shù)K (垂直)增大， 如果系數(shù)C4 (垂直)增大，則在系數(shù)K (水平)增大的同時(shí)系數(shù)K (垂 直)減少。當(dāng)系數(shù)C4 (水平)與系數(shù)C4 (垂直)的值相等時(shí)，系數(shù)K(水平)和系數(shù)K (垂直)分別成為0.5。這樣，對(duì)于在水平.垂直獨(dú)立 變化的系數(shù)C4，決定系數(shù)K，使得系數(shù)K (水平)和系數(shù)K (垂直) 相加恰好成為1.0，混合SR (水平)和SR (垂直)。使用圖25以及圖26，分別說明混合器(2009)的第3動(dòng)作以及結(jié) 構(gòu)例。圖25是以水平頻率記為p，以垂直頻率為v表示的二維頻域。
如果把原來的輸入圖像的水平抽樣頻率記為^，把垂直抽樣頻率記為 VS，則圖20以及圖21表示的分辨率變換部(4)的輸出的水平頻率II 成為一ps HS的范圍，垂直頻率V成為一vs vs的范圍的信號(hào)通過水平-垂直的各分辨率變換再現(xiàn)高頻成分，而高頻成分由于信號(hào)電平原本很小，因此水平分辨率變換的效果大的成為(p， v) = (+^is/2， 0) 附近的頻域(2501)的成分(特別是，包括(p， v) = (+^is/2， 0) 而且成為^〉0的頻域和包括(p， v) = (—jis/2， 0)而且成為|1<0 的頻域的成分)，垂直分辨率變換的效果大的成為(p， v) = (0，十vs /2)附近的頻域(2502)的成分(特別是，包括(p v) = (0， +vs /2)而且成為v〉0的頻域和包括(n， v) = (0， 一vs/2)而且成為 v<0的頻域的成分)。從而，如果用二維濾波器抽取出這些頻率成分 (2501) (2502)進(jìn)行混合，則能夠選擇性地輸出分辨率提高效果大的 成分。圖26中表示抽取出水平，垂直的各分辨率變換的效果大的成分的 混合器(2009)的結(jié)構(gòu)例。該圖中，使用二維濾波器(2601)，抽取出 輸入到混合器(2009)的SR(水平)的分辨率提高效果大的頻域(2501) 的成分。同樣，使用二維濾波器(2602)，抽取出輸入到混合器(2009) 的SR (垂直)的分辨率提高效果大的頻域(2502)的成分。作為頻域 (2501) (2502)以外的成分，使用加法器(2603)和乘法器(2604)， 生成SR (水平)與SR (垂直)的平均信號(hào)，使用二維濾波器(2605)， 抽取出二維濾波器(2601) (2602)的各通帶以外的成分(即，剩余的 成分)。用加法器(2606)把二維濾波器(2601) (2602) (2605)的各 輸出信號(hào)相加，作為混合器(2009)的輸出。另外，用該圖中表示的 二維濾波器(2601) (2602) (2605)中的圓圈包圍的數(shù)字表示各個(gè)濾 波器的抽頭系數(shù)的一個(gè)例子(各濾波器的系數(shù)為了簡化說明，用整數(shù) 表述。本來的系數(shù)值是用圓圈包圍的數(shù)字和其右側(cè)表示的「xl/16」 等表示的運(yùn)算的積。例如，在二維濾波器(2601)中用圓圈包圍的各 數(shù)字分別上分別乘以1/16的是原來的系數(shù)值。在以下的實(shí)施例中表 示的二維濾波器的系數(shù)中相同。)。二維濾波器(2601)取以±^/2為 通帶的中心頻率的水平帶通濾波器與垂直低通濾波器的積，二維濾波 器(2602)取以士vs/2為通帶的中心頻率的垂直帶通濾波器與水平低
通濾波器的積，二維濾波器(2605)可以采用從全頻帶減去了二維濾波器(2601)和二維濾波器(2602)的通帶的特性。實(shí)施例10圖27中表示本發(fā)明第10實(shí)施例的圖像信號(hào)處理裝置。本實(shí)施例 的圖像信號(hào)處理裝置在圖21表示的結(jié)構(gòu)例上，進(jìn)而添加了右下以及右 上方向的傾斜成分的高分辨率變換部。即，在相位移動(dòng)部(2708)上 添加傾斜(右下)相位移動(dòng)部(2701)和傾斜(右上)相位移動(dòng)部(2702) 的同時(shí)，在折疊成分去除部(2709)上添加折疊成分去除部(2705)(2706) ，在分別經(jīng)過了像素內(nèi)插器(2710) (2711)以后，由混合部(2707) 混色SR (水平)、SR (垂直)、SR (右上)、SR (右下)的各 信號(hào)，作為輸出。這里，像素內(nèi)插器(2710) (2711)可以使用輸出希 望內(nèi)插的像素的上下左右像素?cái)?shù)據(jù)的平均值那樣的一般的二維低通濾 波器。作為相位差e需要傾斜方向的相位差信息，可以構(gòu)成為使得把 由加法器(2703)把水平相位差0H (2102)與垂直相位差0V (2103) 相加后的相位差(9H+eV)輸入到折疊成分去除部(2705)，把由減 法器(2704)生成的相位差(一eH+eV)輸入到折疊成分去除部(2706)。 另外，折疊成分去除部(2106) (2109) (2705) (2706)的結(jié)構(gòu)以及動(dòng) 作全部相同。圖28 (a) (d)中，表示二維頻域中的水平相位移動(dòng)部(2106)、 垂直相位移動(dòng)部(2107)、傾斜(右下)相位移動(dòng)部(2701)、傾斜(右 上)相位移動(dòng)部(2702)的各個(gè)動(dòng)作。圖28 (a) (d)與圖25相同， 是以水平頻率為p，垂直頻率為v表示的二維頻域。這些相位移動(dòng)部(2106) (2107) (2701) (2702)采用與圖1表示的相位移動(dòng)部(116) 相同的結(jié)構(gòu)，與各個(gè)方向相吻合變更其中的兀/2相位移動(dòng)器(106)(108)的「頻率一相位差」特性。即，在該圖(a)中，在水平相位 移動(dòng)部(2106)中，在把輸入信號(hào)的水平頻率的抽樣頻率為記為^的 情況下，與圖7表示的動(dòng)作相同，把一^ 0范圍的頻率成分的相位移 動(dòng)Ti/2，把0 ns范圍的頻率成分的相位移動(dòng)一兀/2。同樣，在垂直 相位移動(dòng)部(2107)中，在把輸入信號(hào)的垂直頻率的抽樣頻率記為vs 的情況下，把一vs 0范圍的頻率成分的相位移動(dòng)兀/2，把0 vs范圍 的頻率成分的相位移動(dòng)一兀/ 2。同樣，在傾斜(右下)相位移動(dòng)部(2701)
以及傾斜(右上)相位移動(dòng)部(2702)中，如在該圖(c)以及該圖(d) 中分別表示的那樣，把信號(hào)的相位移動(dòng)一7r/2或者兀/2。這些「頻率 —相位差」特性通過使圖8表示的抽頭系數(shù)與二維的抽樣點(diǎn)一致，沿 著水平、垂直、傾斜(右下)、傾斜(右上)的各個(gè)方向配置，能夠容 易地實(shí)現(xiàn)。圖29中表示混合器(2707)的第1結(jié)構(gòu)例。該圖中，使用加法器 (2901)和乘法器(2902)，生成輸入到混合器(2707)中的SR (水 平)、SR (垂直)、SR (右下)、SR (右上)的各信號(hào)的平均值后輸出。 該圖表示的結(jié)構(gòu)是最簡單地構(gòu)成了混合器(2707)的例子，而水平-垂 直-右下.右上的各分辨率提高效果也分別成為1/4。圖30中表示混合器(2707)的第2結(jié)構(gòu)例。該圖中，對(duì)于輸入到 混合器(2707)中的SR (水平)、SR (垂直)、SR (右下)、SR (右上) 的各信號(hào)，使用乘法器(3005)、乘法器(3006)、乘法器(3007)、乘 法器(3008)，分別乘以系數(shù)K (水平)、系數(shù)K (垂直)、系數(shù)K (右 下)、系數(shù)K (右上)，由加法器(3009)把這些信號(hào)相加后作為輸出。 系數(shù)K (水平)、系數(shù)K (垂直)、系數(shù)K (右上)、系數(shù)K (右上)分 別由系數(shù)決定器(3001)生成。以下，說明該系數(shù)決定器(3001 )(3002) (3003) (3004)的動(dòng)作。圖27表示的折疊成分去除部(2108) (2109) (2705) (2706)根據(jù)該圖表示的相位差0H(21O2)、相位差0V(2103)、相位差(eH+ev)、相位差(一0H+ev)，由圖i表示的系數(shù)決定器(109)，發(fā)生圖9表示的系數(shù)C0 C3，進(jìn)行折疊成分去除的運(yùn)算。這 時(shí)，為了防止當(dāng)相位差為O時(shí)，系數(shù)C1以及C3不穩(wěn)定，或者隨著相位差eH (2102)、 ev (2103)、 (eH+ev)、 (—eH+ev)接近o，系數(shù)C1、C3增大而使抗噪聲等性能差，導(dǎo)入圖13表示的系數(shù)C4(0^C4S1 )， 如圖ll表示的結(jié)構(gòu)那樣，最好進(jìn)行輔助的像素內(nèi)插。反過來講，當(dāng)系 數(shù)C4的值為0.0時(shí)具有分辨率提高的效果，而隨著系數(shù)C4的值接近 1.0，分辨率提高的效果減小。利用該性質(zhì)，由系數(shù)決定器(3001)決 定系數(shù)K (水平)，使得當(dāng)水平相位差0H (2102)在0附近(即，系 數(shù)C4 (水平)在1.0附近)時(shí)，水平分辨率變換結(jié)果的SR (水平)減 弱，當(dāng)水平相位差0H (2102)不在0附近時(shí)(即，系數(shù)C4 (水平)在 O.O附近時(shí))，水平分辨率變換結(jié)果的SR (水平)增強(qiáng)。作為該一個(gè)例
子，可以使水平系數(shù)K (水平)=(l+C4 (水平)*3 —C4 (垂直)一C4 (右下)一C4 (右上))/4。同樣，由系數(shù)決定器(3002) (3003)(3004)，分別決定系數(shù)K (垂直)、K (右下)、K (右上)。這時(shí)，對(duì)于獨(dú)立變化的系數(shù)C4 (水平)、C4 (垂直)、C4 (右下)、C4 (右上)，決定系數(shù)K使得成為系數(shù)K (水平)+K (垂直)+K (右上)+K (右上)二l.O，把SR (水平)、SR (垂直)、SR (右下)、SR (右上)混 合。圖31以及圖32中分別表示混合器(2707)的第3動(dòng)作以及結(jié)構(gòu) 例。圖31與圖25相同，是以水平頻率為p、垂直頻率為v表示的二維 頻域。圖1中，如果把原來的輸入圖像的水平抽樣頻率記為^，垂直 抽樣頻率記為vs，則圖27表示的分辨率變換部(4)的輸出成為水平 頻率p在一^s ns的范圍，垂直頻率v為在一vs vs的范圍的信號(hào)。 傾斜(右上)的分辨率變換的效果大的成為圖31表示的((i、 v) 二 ( + ps/2， +vs/2)的附近和(卜v) = (—ps/2， 一vs/2)附近的頻 域(3101)的成分(特別是，包括(p、 v) = (+^is/2， +vs/2)， 而且ILi〉0， vX)的頻率的區(qū)域和包括(p、 v) 二 (一ps/2， 一vs/2)， 而且p<0， v<0的頻率的區(qū)域的成分)。傾斜(右下)的分辨率變換 的效果大的成為圖31表示的(p、 v) = (+ps/2， 一vs/2)的附近 和(p、 v) = (—ps/2， +vs/2)的附近的頻域(3102)的成分(特 別是，包括(|a、 v) = (+ps/2， 一vs/2)，而且成為[1〉0， v〈0的 頻率的區(qū)域和包括(p、 v) = (—|as/2， +vs/2)，而且^1<0， v>0 的頻率的區(qū)域的成分)。從而，由二維濾波器抽取出這些頻率成分(3101) (3102)，如果還與圖25表示的頻率成分(2501) (2502) — 起混合，則能夠選擇性地輸出其分辨率提高效果大的成分。圖32中表示抽取出水平唾直順斜(右下)領(lǐng)斜(右上)的各分 辨率變換結(jié)果的效果大的成分的混合器(2707)的結(jié)構(gòu)例。在該圖中， 使用二維濾波器(3201)抽取出輸入到混合器(2707)的SR (右下) 的分辨率提高效果大的頻域(3102)的成分。同樣，使用二維濾波器(3202)抽取出輸入到混合器(2707)中的SR (右上)的分辨率提高 效果大的頻域(3101)的成分。另外，由圖26表示的二維濾波器(2601)(2602)，分別抽取出SR (水平)以及SR (垂直)的分辨率提高效果大的頻域(2501) (2502)的成分。作為頻域(2501) (2502) (3101) (3102)以外的成分，使用加法器(3203)和乘法器(3204)，生成水 平SR (水平)、SR (垂直)、SR (右下)、SR (右上)的平均信號(hào)，使 用二維濾波器(3205)，抽取出二維濾波器(2601 ) (2602) (3201 ) (3202) 的各通帶以外的成分。用加法器(3206)把二維濾波器(2601) (2602) (3201) (3202) (3205)的各輸出信號(hào)相加，作為混合器(2707)的 輸出。另外，用該圖中表示的二維濾波器(2601) (2602) (3201) (3202) (3205)中的圓圈包圍的數(shù)字表示各濾波器的抽頭系數(shù)的一個(gè)例子。實(shí)施例11圖33中表示本發(fā)明的第11實(shí)施例。該圖是由軟件程序?qū)崿F(xiàn)了上 述第IO實(shí)施例的動(dòng)作的例子。該圖中，處理從步驟(3301)開始，在 步驟(5 — 1) (5—2) (5 — 3) (5—4)中分別進(jìn)行水平、垂直、傾斜(右 下)、傾斜(右上)的高分辨率化。這里，在各步驟(5 — 1) (5—2) (5 一3) (5—4)中，可以沿著水平、垂直、傾斜(右下)、傾斜(右上) 的各方向執(zhí)行圖14至圖16表示的處理步驟(5)的任一個(gè)。S卩，可以 處理成如圖28所示那樣根據(jù)各個(gè)方向變更兀/2相位移動(dòng)(1407) (1408)、希爾伯特變換(1510)等的「頻率一相位」特性同時(shí)，把相位差e分別置換成eH、 ev、 (eH+ev)、 (一eH+ev)，各步驟(5—1)(5—2) (5—3) (5—4)的處理結(jié)果如使用圖14至圖16說明過的那 樣，分別寫入到各個(gè)幀緩沖器#3中。在接著的步驟(3302 — 1) (3302 一2) (3302 — 3) (3302 — 4)中，分別進(jìn)行垂直、水平、傾斜方向的像 素內(nèi)插，生成二維幀緩沖器#3的所有像素，使得與所輸出的幀的水平、 垂直的像素?cái)?shù)相同。在接著的步驟(3303)中，按照使用圖29、圖30、 圖32說明過的方法，在每一個(gè)像素中把各幀緩沖器弁3的數(shù)據(jù)進(jìn)行混 合，輸出到輸出用的幀緩沖器#4中。另外，在用軟件程序?qū)崿F(xiàn)上述第 8至第9實(shí)施例的動(dòng)作的情況下，不需要進(jìn)行傾斜方向的處理的步驟(5 一3) (5—4)、對(duì)于這些結(jié)果進(jìn)行像素內(nèi)插的步驟(3302 — 3) (3302 — 4)。另外，作為步驟(3303)的混合方法，可以按照使用圖22、圖23、 圖26說明過的方法混合數(shù)據(jù)。關(guān)于該步驟(3303)的混合方法由于能 夠根據(jù)上述的動(dòng)作說明容易地實(shí)現(xiàn)，因此省略流程的圖示。實(shí)施例12圖35中表示本發(fā)明第12實(shí)施例的圖像顯示裝置。本實(shí)施例的圖 像顯示裝置是采用了進(jìn)行在上述第1至第11實(shí)施例的任一個(gè)實(shí)施例中 記載的圖像信號(hào)處理的結(jié)構(gòu)的圖像顯示裝置。該圖中，圖像顯示裝置3500具備例如輸入包括電視信號(hào)等的廣播 波，或者經(jīng)過網(wǎng)絡(luò)輸入廣播信號(hào)或影像內(nèi)容或圖像內(nèi)容等的輸入部 3501、錄像或者再現(xiàn)從輸入部3501輸入的內(nèi)容的錄像再現(xiàn)部3502、錄 像再現(xiàn)部3502記錄內(nèi)容的內(nèi)容存儲(chǔ)部3503、在錄像再現(xiàn)部3502再現(xiàn) 后的影像信號(hào)或圖像信號(hào)中進(jìn)行在第1至第11實(shí)施例的任一個(gè)實(shí)施例 中記載的圖像信號(hào)處理的圖像信號(hào)處理部3504、顯示由圖像信號(hào)處理 部3504處理后的影像信號(hào)或圖像信號(hào)的顯示部3505、輸出錄像再現(xiàn)部 3502輸出的聲音信號(hào)的聲音信號(hào)輸出部3506、控制圖像顯示部3500 的各構(gòu)成部分的控制部3507、使用者進(jìn)行圖像顯示裝置3500的操作的 用戶接口部3508等。圖像顯示裝置3500通過具備進(jìn)行在第1至第11實(shí)施例的任一個(gè) 實(shí)施例中記載的圖像信號(hào)處理的圖像信號(hào)處理部3504，能夠把輸入到 輸入部3501中的影像信號(hào)和圖像信號(hào)以高分辨率作為高畫質(zhì)的影像信 號(hào)或圖像信號(hào)，顯示在顯示部3505上。由此，即使在比顯示部3505 的顯示器件的分辨率低的分辨率的信號(hào)從輸入部3501輸入后的情況 下，也能夠把再現(xiàn)信號(hào)進(jìn)行高分辨率化，而且能夠進(jìn)行高畫質(zhì)、高精 細(xì)的顯示。另外，再現(xiàn)存儲(chǔ)在內(nèi)容存儲(chǔ)部3503中的影像內(nèi)容或圖像內(nèi)容時(shí)， 也能夠以更高的分辨率變換成高品質(zhì)的影像信號(hào)或圖像信號(hào)，顯示在 顯示部3505上。另外，通過在內(nèi)容存儲(chǔ)部3503中存儲(chǔ)的影像內(nèi)容和圖像內(nèi)容的再 現(xiàn)以后進(jìn)行圖像信號(hào)處理部3504的圖像處理，內(nèi)容存儲(chǔ)部3503中存 儲(chǔ)的數(shù)據(jù)是比顯示部3505中顯示的分辨率相對(duì)低的分辨率。由此，具 有能夠相對(duì)地減少內(nèi)容的數(shù)據(jù)量進(jìn)行存儲(chǔ)的效果。另外，還可以把圖像信號(hào)處理部3504包含在錄像再現(xiàn)部3502中， 在錄像時(shí)進(jìn)行上述的圖像信號(hào)處理。這種情況下，由于在再現(xiàn)時(shí)不需 要進(jìn)行上述的圖像信號(hào)處理，因此具有能夠減少再現(xiàn)時(shí)的處理負(fù)荷的 頁效果。這里，說明了由圖像信號(hào)處理部3504進(jìn)行上述的圖像信號(hào)處理的情況，而也可以用控制部3507和軟件實(shí)現(xiàn)。這種情況下，可以按照在第1至第11實(shí)施例的任一個(gè)實(shí)施例中記載的方法進(jìn)行圖像信號(hào)處理。在本實(shí)施例中，錄像再現(xiàn)部3502在錄像時(shí)根據(jù)從輸入部3501輸 入的影像等內(nèi)容的狀態(tài)，在進(jìn)行了編碼以后，可以存儲(chǔ)到內(nèi)容存儲(chǔ)部 3503中。另外，在本實(shí)施例中，錄像再現(xiàn)部3502在錄像時(shí)，如果從輸入部 3501輸入的影像等內(nèi)容是編碼后的狀態(tài)，則可以進(jìn)行解碼后再現(xiàn)。另外，在本實(shí)施例的圖像顯示裝置中，也不一定需要內(nèi)容存儲(chǔ)部 3503。這種情況下，錄像再現(xiàn)部3503可以不進(jìn)行錄像，而進(jìn)行從輸入 部3501輸入的影像等內(nèi)容的再現(xiàn)。這種情況下，把輸入到輸入部3501中的影像信號(hào)或圖像信號(hào)以高 分辨率作為高畫質(zhì)的影像信號(hào)或圖像信號(hào)顯示在顯示部3505上的效果 并沒有改變。另外，圖像顯示裝置3500例如既可以是等離子電視機(jī)，也可以是 液晶電視機(jī)，也可以是陰極射線管，還可以是投影儀，或者也可以是 使用了其它器件的裝置。同樣，顯示部3505例如可以是等離子組件， 可以是LCT組件，可以是投影儀用器件。另外，內(nèi)容存儲(chǔ)部3501例 如既可以是硬件驅(qū)動(dòng)器，也可以是閃速存儲(chǔ)器，還可以是可移動(dòng)媒體 盤驅(qū)動(dòng)器。聲音輸出部3506例如可以是揚(yáng)聲器等。另外，輸入部3501 還可以具備接收廣播波的高頻頭，也可以具備與網(wǎng)絡(luò)連接的LAN連接 器，還可以具備USB連接器。進(jìn)而，還可以具備把影像信號(hào)或聲音信 號(hào)進(jìn)行數(shù)字輸入的端子，也可以具備復(fù)合端子或者組合端子等模擬輸 入端子。另外，還可以是無線傳輸數(shù)據(jù)的接收單元。實(shí)施例13圖36中表示本發(fā)明第13實(shí)施例的錄像再現(xiàn)裝置。本實(shí)施例的錄 像再現(xiàn)裝置是采用了進(jìn)行上述第1至第11實(shí)施例的任一個(gè)實(shí)施例中記 載的圖像信號(hào)處理的結(jié)構(gòu)的影像再現(xiàn)裝置。該圖中，錄像再現(xiàn)裝置3600具備例如輸入包括電視信號(hào)等的廣播 波，或者經(jīng)過網(wǎng)絡(luò)輸入廣播信號(hào)或影像內(nèi)容或圖像內(nèi)容等的輸入部 3501、錄像或者再現(xiàn)從輸入部3501輸入的內(nèi)容的錄像再現(xiàn)部3502、錄 像再現(xiàn)部3502記錄內(nèi)容的內(nèi)容存儲(chǔ)部3503、在錄像再現(xiàn)部3502再現(xiàn) 后的影像信號(hào)或圖像信號(hào)中進(jìn)行在第1至第11實(shí)施例的任一個(gè)實(shí)施例 中記載的圖像信號(hào)處理的圖像信號(hào)處理部3504、把由圖像信號(hào)處理部 3504處理后的影像信號(hào)或圖像信號(hào)輸出到其它裝置等中的圖像影像輸 出部3605、把由錄像再現(xiàn)部3502再現(xiàn)后的聲音信號(hào)輸出到其它裝置等 中的聲音信號(hào)輸出部3506、控制圖像顯示部3600的各構(gòu)成部分的控制 部3507、使用者進(jìn)行圖像顯示裝置3600的操作的用戶接口部3508等。錄像再現(xiàn)裝置3600通過具備進(jìn)行第1至第11實(shí)施例的任一個(gè)實(shí) 施例中記載的圖像信號(hào)處理的圖像信號(hào)處理部3504，能夠以更高的分 辨率把輸入到輸入部3501中的影像信號(hào)或圖像信號(hào)作為高畫質(zhì)的影像 信號(hào)或圖像信號(hào)，輸出到其它的裝置等中。由此，能夠適宜地實(shí)現(xiàn)把 低分辨率的影像信號(hào)和圖像信號(hào)高分辨率化的同時(shí)，變換成高畫質(zhì)、 高分辨率的影像信號(hào)或圖像信號(hào)的高畫質(zhì)高分辨率信號(hào)變換裝置。另外，存儲(chǔ)在內(nèi)容存儲(chǔ)部3503中的影像內(nèi)容或圖像內(nèi)容的再現(xiàn)時(shí)， 能夠以更高的分辨率變換成高畫質(zhì)的影像信號(hào)或圖像信號(hào)，輸出到其 它的裝置等中。由此，能夠適宜地實(shí)現(xiàn)輸入低分辨率的影像信號(hào)或圖像信號(hào)，預(yù) 先進(jìn)行存儲(chǔ)，再現(xiàn)，輸出時(shí)進(jìn)行高分辨率化的同時(shí)，變換成高畫質(zhì)、高 分辨率的影像信號(hào)或圖像信號(hào)輸出的錄像再現(xiàn)裝置。另外，通過在內(nèi)容存儲(chǔ)部3503中存儲(chǔ)的影像內(nèi)容或圖像內(nèi)容的再 現(xiàn)以后進(jìn)行圖像信號(hào)處理部3504的圖像處理，內(nèi)容存儲(chǔ)部3503中存 儲(chǔ)的數(shù)據(jù)是比輸出到其它裝置中的信號(hào)的分辨率相對(duì)的的分辨率。由 此，具有能夠相對(duì)地減小內(nèi)容的數(shù)據(jù)量進(jìn)行存儲(chǔ)的效果。另外，也可以把圖像信號(hào)處理部3504包含在錄像再現(xiàn)部3502中， 錄像時(shí)進(jìn)行上述的圖像信號(hào)處理。這種情況下，由于再現(xiàn)時(shí)不需要進(jìn) 行上述圖像信號(hào)處理，因此具有能夠減少再現(xiàn)時(shí)的處理負(fù)荷的效果。這里，說明了在圖像信號(hào)處理部3504中進(jìn)行上述的圖像信號(hào)處理 的情況，而也可以用控制部3507和軟件實(shí)現(xiàn)。這種情況下，可以按照 在第1至第11實(shí)施例的任一個(gè)實(shí)施例中記述的方法進(jìn)行圖像信號(hào)處 理。
在本實(shí)施例中，錄像再現(xiàn)部3502在錄像時(shí)，可以根據(jù)從輸入部3501輸入的影像內(nèi)容的狀態(tài)，在進(jìn)行了編碼以后記錄到內(nèi)容存儲(chǔ)部 3503中。另外，在本實(shí)施例中，錄像再現(xiàn)部3502在錄像時(shí)，如果從輸入部 3501輸入的影像等內(nèi)容是編碼后的狀態(tài)，則可以在解碼后進(jìn)行再現(xiàn)。另外，本實(shí)施例的圖像影像輸出部3605與聲音輸出部3606也可 以構(gòu)成為一體。這種情況下，能夠使用把影像信號(hào)和聲音信號(hào)用一條 電纜輸出的連接器形狀等。另外，錄像再現(xiàn)裝置3600例如可以是HDD記錄器、DVD記錄器， 也可以是使用了其它的存儲(chǔ)裝置器件的裝置。同樣，內(nèi)容存儲(chǔ)部3503 例如可以是硬盤驅(qū)動(dòng)器、閃速存儲(chǔ)器，也可以是可移動(dòng)媒體盤驅(qū)動(dòng)器。另外，輸入部3501可以具備接收廣播波的高頻頭，另外也可以具 備與網(wǎng)絡(luò)連接的LAN用連接器，還可以具備USB連接器。進(jìn)而，可 以具備數(shù)字輸入影像信號(hào)或聲音信號(hào)的端子，也可以具備復(fù)合端子和 混合端子等模擬輸入端子。另外，還可以是無線傳送數(shù)據(jù)的接收單元。另外，圖像影像輸出部3605可以具備數(shù)字輸出影像信號(hào)的端子， 還可以具備復(fù)合端子和混合端子等模擬輸出的端子。另外，可以具備 與網(wǎng)絡(luò)連接的LAN用連接器，也可以具備USB連接器。進(jìn)而，也可 以是無線傳送數(shù)據(jù)的發(fā)送單元。關(guān)于聲音輸出部3606，與圖像影像輸 出部3605相同。進(jìn)而，輸入部3501例如可以具備攝像光學(xué)系統(tǒng)和感光元件。這種 情況下，錄像再現(xiàn)裝置3600例如能夠適用在數(shù)碼照相機(jī)、攝像機(jī)、監(jiān) 視照相機(jī)(監(jiān)視著聯(lián)機(jī)系統(tǒng))等中。這時(shí)，例如輸入部3501可以用光 學(xué)系統(tǒng)在感光元件上拍攝攝影對(duì)象，根據(jù)從感光元件輸出的信號(hào)生成 圖像數(shù)據(jù)和影像數(shù)據(jù)，輸出到錄像再現(xiàn)部3502。圖像再現(xiàn)裝置3600例如如果是數(shù)碼照相機(jī)，則可以使得在一次攝 影中記錄時(shí)間上不同的多個(gè)圖像，如果在該多個(gè)圖像數(shù)據(jù)上進(jìn)行圖像 信號(hào)處理部3504的圖像信號(hào)處理，則能夠得到1張高畫質(zhì)的高分辨率 圖像。另外，圖像信號(hào)處理部3504的圖像處理在從數(shù)碼照相機(jī)輸出數(shù) 據(jù)時(shí)，也可以對(duì)于記錄在內(nèi)容存儲(chǔ)部3503中的圖像進(jìn)行。另外，可以 把錄像再現(xiàn)部3502和圖像信號(hào)處理部3504做成為一體，在記錄到內(nèi)
容存儲(chǔ)部3503之前，進(jìn)行圖像信號(hào)處理部3504的圖像處理。這種情 況下，可以在內(nèi)容存儲(chǔ)部3503中最終保存使用者希望處理的放大圖像， 在隨后使用者處理圖像數(shù)據(jù)時(shí)易于進(jìn)行管理。依據(jù)以上說明的數(shù)碼照相機(jī)，能夠得到具有分辨率超過了數(shù)碼照 相機(jī)的感光元件的分辨率的高畫質(zhì)圖像數(shù)據(jù)。另外，錄像再現(xiàn)裝置3600例如如果是攝像機(jī)，則可以把由輸入部 3501的攝像光學(xué)系統(tǒng)在感光元件上拍攝的影像作為影像數(shù)據(jù)，輸出到 錄像再現(xiàn)部3502。錄像再現(xiàn)部3502把影像數(shù)據(jù)記錄到內(nèi)容存儲(chǔ)部3503 中，圖像信號(hào)處理部3504可以從所記錄的影像數(shù)據(jù)，生成高分辨率化 后的影像數(shù)據(jù)。如果這樣做，則能夠得到分辨率超過了攝像機(jī)的感光 元件的分辨率的高畫質(zhì)影像數(shù)據(jù)。另外，這時(shí)圖像信號(hào)處理部3504也 可以使用包含在所記錄的影像數(shù)據(jù)中的多個(gè)幀的數(shù)據(jù)，生成1張靜止 圖像數(shù)據(jù)。如果這樣做，則能夠從影像數(shù)據(jù)得到1張高畫質(zhì)圖像數(shù)據(jù)。 另外，與上述數(shù)碼照相機(jī)的情況相同，圖像信號(hào)處理部3504的圖像處 理也可以在影像數(shù)據(jù)向內(nèi)容存儲(chǔ)部3503的記錄之前或者之后進(jìn)行。依據(jù)以上說明的攝像機(jī)，使用具有分辨率超過了攝像機(jī)的感光元 件的分辨率的高畫質(zhì)影像數(shù)據(jù)或者所拍攝的影像數(shù)據(jù)，可以得到高畫 質(zhì)的靜止圖像數(shù)據(jù)。另外，錄像再現(xiàn)裝置3600例如在是監(jiān)視照相機(jī)(監(jiān)視照相機(jī)系統(tǒng)) 的情況下，與上述攝像機(jī)的情況相同，使用具有分辨率比超過了監(jiān)視 照相機(jī)的感光元件的分辨率的高畫質(zhì)影像數(shù)據(jù)或者所拍攝的形狀數(shù) 據(jù)，也可以得到高畫質(zhì)的靜止圖像數(shù)據(jù)。這時(shí)，例如即使在具備攝像 光學(xué)系統(tǒng)和感光元件的輸入部3501與錄像再現(xiàn)部3502的距離拉開， 用網(wǎng)絡(luò)電纜等連接的情況下，以低分辨率的影像數(shù)據(jù)發(fā)送到錄像再現(xiàn) 部3502，通過其以后的圖像信號(hào)處理部3504的圖像信號(hào)處理，也能夠 進(jìn)行高分辨率化。由此，能夠高效地利用來自具備攝像光學(xué)系統(tǒng)和感 光元件的輸入部3501的發(fā)送網(wǎng)絡(luò)的帶寬的同時(shí)，能夠得到高分辨率的 影像數(shù)據(jù)。本實(shí)施例12的圖像顯示裝置和本實(shí)施例13的圖像再現(xiàn)裝置即使 把兩者的功能和各結(jié)構(gòu)單元構(gòu)成為一體，也可以完成本發(fā)明的一個(gè)實(shí) 施形態(tài)。這種情況下，能夠表示進(jìn)行了上述的圖像信號(hào)處理的影像信
號(hào)或圖像信號(hào)，也能夠輸出到其它的裝置，能夠作為顯示裝置、記錄 再現(xiàn)裝置、輸出裝置的任一種方式使用，對(duì)于使用者來講非常方便。其次，使用圖34，說明與本發(fā)明的一個(gè)實(shí)施形態(tài)與上述現(xiàn)有技術(shù)的動(dòng)作的不同。該圖(a)表示輸入到分辨率變換部(4)中的幀#1 (3401)、幀#2 (3402)、幀#3 (3403)、幀#4 (3404)、幀#5 (3405)， 該圖(b)表示從分辨率變換部(4)輸出的各幀。在各幀中，有意識(shí) 地使被拍攝物體移動(dòng)，使得被拍攝物體右旋各移動(dòng)1 /4個(gè)像素，以4 個(gè)幀移動(dòng)1周。在幀弁6以后也同樣連續(xù)地進(jìn)行的動(dòng)作。在專利文獻(xiàn)l、專利文獻(xiàn)2、非專利文獻(xiàn)l中記載的現(xiàn)有技術(shù)中， 如上所述，在對(duì)于水平.垂直的二維輸入信號(hào)進(jìn)行高分辨率化的情況下， 由于折疊來自縱橫兩個(gè)方向，因此如果原信號(hào)的頻帶縱軸都擴(kuò)展2倍， 則3個(gè)折疊成分重疊，為了抵消這些成分，需要2M+1二7個(gè)數(shù)字?jǐn)?shù) 據(jù)(=7張幀圖像的信號(hào))。從而，在輸入了以圖33 (a)表示的以4 個(gè)幀循環(huán)一次的信號(hào)的情況下，由于即使選擇哪7個(gè)幀也不能夠得到 獨(dú)立的數(shù)據(jù)，因此高分辨率化處理的不確定而無法求出。另一方面，使用本實(shí)施例，例如，使用鄰近的2個(gè)幀(例如，幀 # 1 (3401)和幀#2 (3402)，(或者幀#2 (3402)和幀#3 (3403)))， 如該圖(b)所示那樣，去除水平方向(或者垂直方向)的折疊成分， 能夠?qū)崿F(xiàn)高分辨率化。即，通過把圖(a)的輸入圖像用作為試驗(yàn)圖形， 能夠確認(rèn)本實(shí)施例的動(dòng)作狀況。作為該試驗(yàn)圖形的圖樣，如果使用一 般眾所周知的圓形區(qū)域片(CZP: Circular Zone Plate),則能夠在顯示 部(3)中直視分辨率變換的效果。g卩，如果使圓形區(qū)域片在每一個(gè)幀 左右移動(dòng)，則能夠顯示水平方向的分辨率提高后的圖像，如果沿著上 下(或者傾斜)移動(dòng)，則能夠顯示垂直方向(或者傾斜方向)的分辨 率提高后的圖像，能夠確認(rèn)與試驗(yàn)圖形的移動(dòng)方向相對(duì)應(yīng)的分辨率提 高的效果。另外，根據(jù)專利文獻(xiàn)l、專利文獻(xiàn)2、非專利文獻(xiàn)l中記載的現(xiàn)有 技術(shù)，可以使用3個(gè)幀，對(duì)于多個(gè)方向進(jìn)行一維(水平唾直噸斜(右 下)J頃斜(右上))的高分辨率化，把這些各結(jié)果輸入到本發(fā)明實(shí)施例 中的混合器(2009)或者混合器(2707)中混合，作為二維的分辨率 變換結(jié)果輸出。這種情況下，如圖20、圖21、圖27、圖33所示那樣，
與僅使用2個(gè)幀進(jìn)行2維分辨率變換的結(jié)構(gòu)相比較，雖然幀存儲(chǔ)器或 者動(dòng)態(tài)推定單元等信號(hào)處理電路的規(guī)模增大，然而與在專利文獻(xiàn)l、專利文獻(xiàn)2、非專利文獻(xiàn)1中記述的那樣，至少使用7個(gè)幀的信號(hào)相比較，能夠減小幀存儲(chǔ)器或者動(dòng)態(tài)推定器等信號(hào)處理電路的規(guī)模。另外，在上述第8至第11實(shí)施例中，舉例說明了一維方向的2倍 高分辨率化，而也可以把使用圖18以及圖19說明過的n倍高分辨率 化處理用作為第8至第11實(shí)施例的水平、垂直、傾斜(右上)、傾斜 (右下)的高分辨率處理。另外，在上述實(shí)施例中，舉例說明了使用幀#1和幀弁2的輸入信 號(hào)的組，變換幀#1的分辨率的情況，而除此以外，例如，也可以使用 幀# 1和幀#3、幀# 1和幀弁4等的多個(gè)組，分別變換幀# 1的分辨率， 混合這些結(jié)果，作為幀#1的最終的分辨率變換結(jié)果。作為這時(shí)的混合 方法，既可以采用各結(jié)果的平均值，也可以如圖23以及圖24所示那 樣，根據(jù)每個(gè)幀的系數(shù)C4 (幀)的值進(jìn)行混合。這種情況下，作為系 數(shù)C4 (幀)，也可以使用每個(gè)幀中的系數(shù)C4 (水平)和系數(shù)C4 (垂直) 的MAX值(不太小的值)。另外，也可以在每個(gè)幀把所有組的系數(shù)C4 (水平)、C4 (垂直)進(jìn)行比較，在每個(gè)像素選擇從系數(shù)C4最小的數(shù) (即，分辨率提高效果最大的數(shù))得到的分辨率變換結(jié)果，作為幀弁l 的最終的分辨率變換結(jié)果。另外，上述的幀#1、幀#2、幀#3可以是時(shí)間上不連續(xù)的幀，也 可以是時(shí)間上相反順序的幀。本發(fā)明的各實(shí)施例除去上述實(shí)施例中說明過的裝置以外，例如， 也同樣能夠適用在DVD播放機(jī)或者HDD播放機(jī)，進(jìn)而，當(dāng)然還能夠適用在用于接收一個(gè)區(qū)段廣播的便攜式圖像顯示終端(例如便攜式電 話機(jī))。另外，作為圖像幀，也可以使用電視廣播信號(hào)以外的信號(hào)的圖 像幀。例如，對(duì)于經(jīng)過互聯(lián)網(wǎng)發(fā)送的流圖像或者從DVD播放機(jī)和HDD 播放機(jī)再現(xiàn)后的圖像，也同樣能夠適用本發(fā)明。另外，本發(fā)明的一個(gè)實(shí)施形態(tài)在下述的情況下也是有用的。 艮口，本發(fā)明的一個(gè)實(shí)施形態(tài)是輸入多個(gè)低清晰圖像，把它們對(duì)位 以后，生成1張高分辨率圖像的技術(shù)，能夠得到超過了輸入圖像的分 辨率界限的高精細(xì)圖像。 在現(xiàn)有技術(shù)中，在生成l張輸出圖像時(shí)，需要大量(10 50幀左右)的輸入幀和多次(10 100次左右)的反復(fù)運(yùn)算。由此，需要大量的存儲(chǔ)器或者進(jìn)行超高速運(yùn)算的處理器，難以在實(shí)時(shí)的電視影像中應(yīng) 用。這里，如何以很少的輸入幀數(shù)/運(yùn)算量實(shí)現(xiàn)高分辨率處理，成為 向電視接收機(jī)的應(yīng)用的重要課題，而如果使用本發(fā)明的一個(gè)實(shí)施形態(tài)，則能夠把輸入幀數(shù)最少減小到2張的同時(shí)，還不需要重復(fù)運(yùn)算。如果使用本發(fā)明的一個(gè)實(shí)施形態(tài)，則與單純放大圖像增加了像素?cái)?shù)的現(xiàn)有SG—HD變換技術(shù)(升變換技術(shù))不同，超過輸入圖像的分 辨率的界限，能夠把標(biāo)準(zhǔn)畫質(zhì)(SD:標(biāo)準(zhǔn)分辨率)的活動(dòng)圖像變換成 高分辨率畫質(zhì)(HD:高分辨率)。由此，例如，與伴隨著數(shù)字廣播和 大畫面薄型電視機(jī)的普及，發(fā)展HD化的電視機(jī)的高分辨率顯示需求 相對(duì)應(yīng)，能夠以接近高分辨率電視機(jī)的畫質(zhì)再現(xiàn)已有的DVD媒體或者 SD畫質(zhì)的節(jié)目，己經(jīng)以SD畫質(zhì)記錄后的影像等。另外，如果使用本發(fā)明的一個(gè)實(shí)施形態(tài)，則由于能夠以比現(xiàn)有技 術(shù)少的輸入幀數(shù)得到高精細(xì)的影像，因此能夠適宜地在以電視接收機(jī) 中的實(shí)時(shí)處理為前提的信號(hào)處理方式中使用。另外，如果使用本發(fā)明的一個(gè)實(shí)施形態(tài)，則例如輸入640x360像 素的SD畫質(zhì)的圖像，能夠從例如2張輸入圖像更高分辨率地生成成為 縱方向2倍、橫方向2倍的分辨率的1280x720像素的HD畫質(zhì)的圖像。 即，能夠把標(biāo)準(zhǔn)畫質(zhì)的電視影像變換成接近高分辨率電視機(jī)的畫質(zhì)。另外，在上述的各實(shí)施例中舉例說明了幀單位的高分辨率化，然 而高分辨率化的對(duì)象不一定是幀整體。例如，也可以把輸入圖像或者 輸入影像的幀的一部分作為清晰化的對(duì)象。即，如果把輸入影像的幀 的一部分的多個(gè)幀部分作為對(duì)象實(shí)施上述的本發(fā)明的一個(gè)實(shí)施例的圖 像處理，則能夠得到輸入圖像或輸入影像的一部分的高畫質(zhì)的大圖像。 這一點(diǎn)例如能夠適用在影像的一部分的放大顯示等中。另外，即使把上述的各實(shí)施例的某些組合起來，也能夠構(gòu)成本發(fā) 明的一個(gè)實(shí)施形態(tài)。依據(jù)上述的本發(fā)明的各實(shí)施例，能夠進(jìn)行把低分辨率的圖像適宜 地變換成放大圖像的處理，能夠適宜地得到高畫質(zhì)、高分辨率的圖像。
艮P，能夠把圖像信號(hào)適宜地進(jìn)行高分辨率化。另外，依據(jù)上述的本發(fā)明的各實(shí)施例，能夠降低為了得到高畫質(zhì)、 高分辨率圖像所必要的圖像的幀數(shù)。
權(quán)利要求
1.一種圖像信號(hào)處理裝置，其特征在于，包括輸入部，輸入n張圖像幀，其中n為2以上的整數(shù)；m個(gè)分辨率變換部，通過對(duì)由所述輸入部輸入的n張圖像幀進(jìn)行合成，與所述輸入圖像幀上的被拍攝物體移動(dòng)的方向相對(duì)應(yīng)而具有不同的分辨率變換特性，增加構(gòu)成圖像幀的像素?cái)?shù)，并生成輸出圖像幀，其中m為2以上的整數(shù)；和混合部，對(duì)所述m個(gè)分辨率變換部的輸出結(jié)果進(jìn)行混合，而得到輸出圖像幀。
2. 如權(quán)利要求l所述的圖像信號(hào)處理裝置，其特征在于， 各個(gè)所述m個(gè)分辨率變換部，使n張圖像幀的像素?cái)?shù)增加，將所述像素?cái)?shù)增加后的n張圖像幀向相互不同的方向移動(dòng)；c / 2，將所述相 位移動(dòng)后的n張圖像幀與相位移動(dòng)前的n張圖像幀相加，而生成輸出 圖像幀，其中m和n分別為2以上的整數(shù)。
3. 如權(quán)利要求l所述的圖像信號(hào)處理裝置，其特征在于， 所述混合部將所述m個(gè)所述分辨率變換部的輸出結(jié)果的平均值作為輸出圖像幀。
4. 如權(quán)利要求l所述的圖像信號(hào)處理裝置，其特征在于， 所述混合部，與根據(jù)所述輸入圖像幀上的被拍攝物體的移動(dòng)量而決定的混合比相對(duì)應(yīng)地對(duì)所述m個(gè)分辨率變換部的輸出結(jié)果進(jìn)行混 合，并將其作為輸出圖像幀。
5. 如權(quán)利要求l所述的圖像信號(hào)處理裝置，其特征在于， 所述混合部，合成對(duì)所述m個(gè)分辨率變換部的輸出結(jié)果進(jìn)行規(guī)定的二維頻率分離后的各個(gè)結(jié)果，并將其作為輸出圖像幀。
6. 如權(quán)利要求l所述的圖像信號(hào)處理裝置，其特征在于，m個(gè)所述分辨率變換部包括，作為水平分辨率變換部的第1分辨 率變換部，和作為垂直分辨率變換部的第2分辨率變換部，其中，m為2以上的整數(shù)。
7. 如權(quán)利要求l所述的圖像信號(hào)處理裝置，其特征在于，m個(gè)所述分辨率變換部包括，作為水平分辨率變換部的第1分辨 率變換部，作為垂直分辨率變換部的第2分辨率變換部，作為斜(右 下)方向的分辨率變換部的第3分辨率變換部，和作為斜(右上)方 向的分辨率變換部的第4分辨率變換部，其中，m為2以上的整數(shù)。
8. —種圖像高分辨率化方法，其特征在于，包括如下步驟 輸入n張圖像幀的輸入步驟，其中，n為2以上的整數(shù)； 通過對(duì)所述輸入的n張圖像幀進(jìn)行合成，與所述輸入圖像幀上的被拍攝物體移動(dòng)的方向相對(duì)應(yīng)而具有不同的m種分辨率變換特性，生 成使構(gòu)成圖像幀的像素?cái)?shù)增加后的m個(gè)輸出圖像幀的步驟，其中m為 2以上的整數(shù)；禾口對(duì)所述m個(gè)的所述分辨率變換的輸出結(jié)果進(jìn)行混合，得到輸出圖 像幀的步驟。
9. 如權(quán)利要求8所述的圖像高分辨率化方法，其特征在于， 所述生成輸出圖像幀的步驟，使n張圖像幀的像素?cái)?shù)增加，由所述像素?cái)?shù)增加后的n張圖像幀，和使所述像素?cái)?shù)增加后的n張圖像幀 向相互不同的m種方向移動(dòng)7i / 2后的m個(gè)圖像幀，生成m個(gè)輸出圖 像幀，其中，n為2以上的整數(shù)，m為2以上的整數(shù)。
10. 如權(quán)利要求8所述的圖像高分辨率化方法，其特征在于， 所述混合步驟，將所述m個(gè)分辨率變換的輸出結(jié)果的平均值作為輸出圖像幀。
11. 如權(quán)利要求8所述的圖像高分辨率化方法，其特征在于， 所述混合步驟，與根據(jù)所述輸入圖像幀上的被拍攝物體的移動(dòng)量而決定的混合比相對(duì)應(yīng)地對(duì)所述m個(gè)分辨率變換的輸出結(jié)果進(jìn)行混 合，并將其作為輸出圖像幀。
12. 如權(quán)利要求8所述的圖像高分辨率化方法，其特征在于，所述混合步驟，合成對(duì)m個(gè)進(jìn)行所述分辨率變換的步驟的輸出結(jié)果進(jìn)行規(guī)定的二維頻率分離后的各個(gè)結(jié)果，并將其作為輸出圖像幀。
13. —種圖像顯示裝置，其特征在于，包括輸入部，輸入圖像數(shù)據(jù)；圖像信號(hào)處理部，使包含在所述圖像數(shù)據(jù)中的第1圖像幀和第2 圖像幀的各個(gè)像素?cái)?shù)增加，并使所述像素?cái)?shù)增加后的第1及第2圖像 幀的相位向m個(gè)相互不同的方向移動(dòng)兀/2，將所述相位移動(dòng)后的第1 及第2圖像幀與相位移動(dòng)前的第1及第2圖像幀相加，去除包含在輸 入圖像幀中的折疊成分，并對(duì)去除所述折疊成分后的所述m個(gè)圖像幀 進(jìn)行混合，而生成輸出圖像幀，其中，m為2以上的整數(shù)；和顯示部，根據(jù)來自所述圖像信號(hào)處理部的輸出進(jìn)行圖像的顯示。
14. 如權(quán)利要求13所述的圖像顯示裝置，其特征在于， 所述圖像數(shù)據(jù)是運(yùn)動(dòng)圖像數(shù)據(jù)，所述第1以及第2圖像幀是運(yùn)動(dòng)圖像的圖像幀。
15. 如權(quán)利要求13所述的圖像顯示裝置，其特征在于， 所述圖像數(shù)據(jù)是電視廣播信號(hào)。
全文摘要
本發(fā)明涉及圖像信號(hào)處理裝置、圖像高分辨率化方法、圖像顯示裝置，提供以很少的幀數(shù)適宜地把圖像信號(hào)或者活動(dòng)圖像的圖像信號(hào)高分辨率化的技術(shù)，具備輸入多個(gè)圖像幀的輸入部、通過在上述輸入的圖像幀中合成2張圖像幀，與該輸入圖像幀上的被拍攝物體移動(dòng)的方向相對(duì)應(yīng)具有不同的分辨率變換特性，增加構(gòu)成圖像幀的像素?cái)?shù)，得到輸出圖像幀的分辨率變換部，使用該分辨率變換部的輸出結(jié)果得到高分辨率圖像。
文檔編號(hào)H04N5/14GK101155255SQ20071014913
公開日2008年4月2日 申請(qǐng)日期2007年9月4日 優(yōu)先權(quán)日2006年9月26日
發(fā)明者影山昌廣, 浜田宏一, 長屋茂喜 申請(qǐng)人:株式會(huì)社日立制作所