專利名稱：圖像處理設(shè)備及方法
技術(shù)領(lǐng)域：
本發(fā)明總的來說涉及圖像處理，尤其涉及減小因圖像的欠取樣造成的混疊失真的圖像處理設(shè)備及方法。本發(fā)明還涉及通過增大低分辨率圖像的像素?cái)?shù)目來產(chǎn)生高分辨率圖像的技術(shù)。
利用現(xiàn)代數(shù)字成像技術(shù)，可對模擬視頻信號(hào)進(jìn)行取樣并將其作為數(shù)字?jǐn)?shù)據(jù)進(jìn)行存儲(chǔ)，然后在陰極射線管(CRT)或其它顯示器上再現(xiàn)。設(shè)計(jì)目標(biāo)是以盡可能高的分辨率和盡可能小的失真來顯示這樣的圖像。
在CRT上顯示的圖像、例如來自電視機(jī)、磁帶錄象機(jī)(VTR)或數(shù)字通用光盤(DVD)機(jī)的圖像是通過沿水平方向重復(fù)掃描電子束來產(chǎn)生的。如圖25所示，從左到右進(jìn)行每一次水平掃描，在每次掃描之后，電子束回到最左側(cè)，沿垂直方向重新定位以便開始下一水平掃描。CRT的熒光屏被三個(gè)電子束照射，以便分別照亮按照小的單元分布在屏幕上的藍(lán)、綠和紅熒光物質(zhì)。這些熒光物質(zhì)產(chǎn)生相應(yīng)于電子束強(qiáng)度的光點(diǎn)，所有光點(diǎn)的聚集形成了圖像。因此，可把被顯示圖像看作是這些光點(diǎn)、即像素的聚集。
由于從模擬信號(hào)得到的CRT上的被顯示圖像是由發(fā)光像素的聚集形成的，所以可把圖像看作是通過在像素位置處取樣原始圖像得到的數(shù)字信號(hào)。因此，如果沿水平和垂直方向以足夠的取樣間隔取樣原始模擬圖像來在CRT上產(chǎn)生數(shù)目與像素?cái)?shù)目相同的光點(diǎn)，就能夠以數(shù)字方式存儲(chǔ)圖像數(shù)據(jù)的集合。在隨后進(jìn)行再現(xiàn)時(shí)，可以如在嚴(yán)格的模擬記錄/再現(xiàn)方法中那樣得到分辨率幾乎相同的圖像。
取樣定律指出只要以至少是信號(hào)最高頻率分量兩倍的速率對模擬信號(hào)進(jìn)行取樣，就能夠根據(jù)該信號(hào)的按均勻時(shí)間間隔排列的離散取樣值來完全地對其進(jìn)行再現(xiàn)。在取樣原始圖像時(shí)，如果不滿足取樣定律，在被顯示圖像中就會(huì)出現(xiàn)混疊失真。為了校正混疊失真，已使用了前置濾波器來補(bǔ)償水平(掃描行)方向的欠取樣；但是，沿垂直方向通常不設(shè)置這種前置濾波器。因此，垂直方向的混疊失真是一個(gè)常見的問題。
圖26表示沿垂直方向被顯示圖像的混疊失真。幀N和N+1的每一個(gè)中有一已知列的四個(gè)像素P1-P4。信號(hào)SN和SN+1表示沿該已知列的垂直方向原始圖像的圖像電平變化，圖中沿水平方向示出振幅電平。于是例如在幀N中，像素P2的圖像亮度比像素P1的亮?，F(xiàn)在，如果沿垂直方向原始圖像的最高空間頻率分量的周期小于像素間的水平間距的兩倍，則取樣定律就得不到滿足，產(chǎn)生了混疊失真。圖26中的兩個(gè)信號(hào)SN和SN+1都是這種情況。例如是幀N的被取樣信號(hào)的近似的信號(hào)S′N與原始信號(hào)SN明顯不同。由于混疊失真，即使在垂直方向設(shè)置消除混疊的濾波器，在再現(xiàn)期間也將會(huì)丟失原始信號(hào)的高頻分量。這種混疊失真會(huì)造成信號(hào)處理、例如Y/C分離、消噪、質(zhì)量改善等的降低。
注意，雖然剛剛討論過的圖像的欠取樣將總是導(dǎo)致分辨率降低，但就圖像質(zhì)量而言，其對收視者的影響將依賴于場景如何逐幀地發(fā)生變化。如果有混疊失真的幀逐幀顯著地發(fā)生變化，如圖26所示那樣，則從用戶的觀點(diǎn)來看，就出現(xiàn)了不自然的運(yùn)動(dòng)圖像或模糊。如果場景保持靜止，混疊噪聲就不那么大。在任何情況下，由于欠取樣總是使分辨率降低，并由于標(biāo)準(zhǔn)電視廣播等的信號(hào)每幀只有有限次數(shù)的水平掃描，所以實(shí)際上需要消除混疊，以改善的質(zhì)量恢復(fù)原始圖像。
因此，本發(fā)明的目的是提供把欠取樣圖像信號(hào)變換成為減小或清除了混疊失真的輸出圖像信號(hào)的方法。
本發(fā)明的另一個(gè)目的是根據(jù)低分辨率圖像產(chǎn)生高分辨率圖像。
本發(fā)明的再一個(gè)目的是改善根據(jù)低質(zhì)量輸入圖像信號(hào)產(chǎn)生的可顯示圖像的質(zhì)量。
本發(fā)明的其它各個(gè)目的和優(yōu)點(diǎn)將容易被本領(lǐng)域普通技術(shù)人員所了解，新穎的特點(diǎn)將特別在所附的權(quán)利要求書中指出。
本發(fā)明的一示范性實(shí)施例提供了把第一圖像信號(hào)變換成為第二圖像信號(hào)的圖像信號(hào)變換設(shè)備，第一和第二圖像信號(hào)各包括來自不同幀的多幅圖像。該設(shè)備包括能夠檢測第一幀和第二幀之間的第一圖像信號(hào)的運(yùn)動(dòng)的運(yùn)動(dòng)檢測器，以及根據(jù)在相應(yīng)于被檢測運(yùn)動(dòng)的位置處的像素的假設(shè)產(chǎn)生第二圖像信號(hào)的處理電路。
該設(shè)備可用來產(chǎn)生分辨率與第一圖像信號(hào)相同的、減小或消除了混疊失真的輸出信號(hào)或沿垂直和/或水平方向具有更高分辨率的輸出信號(hào)。運(yùn)動(dòng)檢測器最好檢測第一圖像信號(hào)的小于其像素大小的運(yùn)動(dòng)量。處理電路可以由分辨率產(chǎn)生存儲(chǔ)器和控制器組成，該分辨率產(chǎn)生存儲(chǔ)器存儲(chǔ)第一圖像信號(hào)的圖像，其存儲(chǔ)容量大于第一圖像信號(hào)的一幅圖像的數(shù)據(jù)量，該控制器能夠控制第一圖像信號(hào)向分辨率產(chǎn)生存儲(chǔ)器的寫入和新圖像信號(hào)從該存儲(chǔ)器的讀出，并根據(jù)該第一圖像信號(hào)的被檢測運(yùn)動(dòng)把該第一圖像信號(hào)寫入該存儲(chǔ)器。
在另一實(shí)施例中，圖像變換設(shè)備包括至少確定一幅圖像的第一和第二圖像區(qū)域的一區(qū)域分割器，在每一個(gè)圖像區(qū)域內(nèi)檢測運(yùn)動(dòng)。在這種情況下，根據(jù)在相應(yīng)于第一圖像信號(hào)的第一和第二圖像區(qū)域內(nèi)的被檢測運(yùn)動(dòng)的位置處的像素的假設(shè)產(chǎn)生第二圖像信號(hào)的第一和第二圖像區(qū)域。一組合器組合第二圖像信號(hào)的第一和第二圖像區(qū)域來產(chǎn)生一復(fù)合圖像。
在一種應(yīng)用場合中，第一圖像信號(hào)可以是標(biāo)準(zhǔn)清晰度(SD)圖像信號(hào)，由于第二圖像信號(hào)在水平和垂直方向的分辨率都是SD信號(hào)分辨率的兩倍，所以第一圖像信號(hào)被變換成為高清晰度(HD)信號(hào)。對于某些幀，還可以用自適應(yīng)處理技術(shù)來產(chǎn)生HD信號(hào)的像素。
參看附圖將能夠更好理解以下的詳細(xì)描述，這種描述是例示性的而不是限制本發(fā)明，圖中相同的標(biāo)號(hào)表示相同的元件和部分，其中

圖1是本發(fā)明的例示性電視接收機(jī)的方框圖；圖2A-2B和圖3表示本發(fā)明的像素?cái)?shù)據(jù)產(chǎn)生；圖4是圖1的失真校正器的方框圖；圖5表示確定圖像的一運(yùn)動(dòng)矢量的方法；圖6-8表示在分辨率產(chǎn)生存儲(chǔ)器內(nèi)的數(shù)據(jù)存儲(chǔ)；圖9是表示產(chǎn)生高分辨率幀的例行程序的流程圖；圖10是例示性失真校正器的方框圖；圖11是本發(fā)明的接收機(jī)另一實(shí)施例的方框圖；圖12是在圖11接收機(jī)內(nèi)的例示性分辨率變換器的方框圖；圖13表示圖12變換器的分辨率產(chǎn)生存儲(chǔ)器的數(shù)據(jù)存儲(chǔ)單元；圖14是表示在分辨率變換器的存儲(chǔ)器內(nèi)寫入圖像數(shù)據(jù)的例行程序的流程圖；圖15表示根據(jù)圖像的運(yùn)動(dòng)矢量在分辨率變換器內(nèi)存儲(chǔ)圖像數(shù)據(jù)；圖16是表示從分辨率變換器內(nèi)的分辨率產(chǎn)生存儲(chǔ)器中讀出圖像數(shù)據(jù)的例行程序的流程圖；圖17是表示產(chǎn)生高清晰度像素?cái)?shù)據(jù)的過程的流程圖；圖18是應(yīng)用預(yù)測系數(shù)根據(jù)標(biāo)準(zhǔn)清晰度圖像數(shù)據(jù)產(chǎn)生高清晰度圖像數(shù)據(jù)的電路的方框圖；圖19表示分類抽頭和預(yù)測抽頭；圖20是確定預(yù)測系數(shù)的學(xué)習(xí)裝置的方框圖；圖21表示在具有擴(kuò)大的存取區(qū)域的分辨率建立存儲(chǔ)器內(nèi)的數(shù)據(jù)存儲(chǔ)；圖22表示圖像逐幀的運(yùn)動(dòng)；圖23和24表示圖22的圖像的像素?cái)?shù)據(jù)的存儲(chǔ)；圖25表示CRT顯示器的水平掃描行；圖26表示沿垂直方向圖像信號(hào)的欠取樣；圖27是本發(fā)明的另一分辨率變換器的方框圖。
參看圖1，示出了本發(fā)明的電視接收機(jī)10的簡化方框圖。接收機(jī)10把輸入電視信號(hào)變換為數(shù)字信號(hào)、在提高該數(shù)字信號(hào)的分辨率的同時(shí)校正其混疊失真、然后把被進(jìn)行了失真校正的數(shù)字信號(hào)復(fù)原為模擬信號(hào)進(jìn)行顯示。
接收機(jī)10包括解調(diào)利用天線或傳輸導(dǎo)線接收的選定頻帶的輸入電視廣播信號(hào)的調(diào)諧器1。被解調(diào)信號(hào)提供給低通濾波器(LPF)2，它起濾除電視信號(hào)高頻分量的混疊失真前置濾波器的作用。LPF2的濾波輸出信號(hào)提供給模數(shù)(A/D)變換器3，被其進(jìn)行取樣和數(shù)字化。數(shù)字化信號(hào)然后提供給減小或大體上消除數(shù)字化電視信號(hào)垂直方向的混疊失真的失真校正器4。在失真校正器4和D/A變換器6(或替換地在調(diào)諧器1和LPF2)之間設(shè)置諸如Y/C分離器5這樣的圖像處理電路。Y/C分離器5分離失真校正器4的輸出信號(hào)的亮度和色度。注意在所示的結(jié)構(gòu)中，復(fù)合信號(hào)(亮度+色度)提供給A/D變換器3，根據(jù)色度副載波的頻率進(jìn)行取樣。如果替換地在信號(hào)被提供給A/D變換器3之前進(jìn)行電視信號(hào)的Y/C分離，就以大約13.5MHz的頻率進(jìn)行取樣。在任一種情況下，D/A變換器6都把失真校正器4的進(jìn)行了失真校正的輸出信號(hào)復(fù)原為模擬信號(hào)，在CRT7上進(jìn)行顯示。
現(xiàn)在描述根據(jù)具有垂直方向、即垂直于水平掃描行方向的混疊失真的圖像再現(xiàn)原始圖像。參看圖2A，該圖表示在失真校正器4內(nèi)執(zhí)行的混疊失真消除方法的原理。對于幀N至N+4，分別用信號(hào)SN至SN+4來表示圖像的每一幀的一已知列Ci內(nèi)的沿垂直方向的圖像信號(hào)變化。各幀的列Ci的像素P1至Pk位于普通水平掃描行SL1-SKk的相應(yīng)位置處。各像素的信號(hào)電平在圖中沿水平方向示出，例如在幀N中，信號(hào)電平V1-Vk分別相應(yīng)于像素P1-Pk。
根據(jù)本發(fā)明的一個(gè)實(shí)施例，在普通水平掃描行之間的位置處產(chǎn)生像素來消除混疊失真和提高被顯示圖像的分辨率。根據(jù)圖像逐幀的運(yùn)動(dòng)產(chǎn)生這些掃描行間像素。為了說明這一概念，首先參看幀N，示出了沿該幀的列Ci的原始圖像SN的信號(hào)變化。由于信號(hào)SN內(nèi)的高空間頻率的緣故，在相應(yīng)于水平掃描行的位置處的垂直取樣不足以再現(xiàn)該信號(hào)SN的全部圖像信息，如果不使用本發(fā)明的像素產(chǎn)生方法，就將出現(xiàn)混疊失真。即在普通水平掃描行處每次僅取樣一個(gè)幀得到的垂直方向的圖像信號(hào)將類似失真信號(hào)S′N(用虛線表示)，它與原始圖像信號(hào)SN明顯不同。
為了產(chǎn)生恢復(fù)原始圖像的中間掃描行像素，對圖像信號(hào)逐幀的運(yùn)動(dòng)進(jìn)行檢測。對于幀N，把各個(gè)像素的信號(hào)值V1-Vk存儲(chǔ)在存儲(chǔ)器內(nèi)。然后檢測幀N和N+1之間的圖像運(yùn)動(dòng)。(以后將描述檢測逐幀運(yùn)動(dòng)的例示性方法)。在圖2A的例子中，在幀N和N+1之間圖像向下運(yùn)動(dòng)了距離D1。對于幀N+1，在水平掃描行處再次對圖像進(jìn)行取樣，以便產(chǎn)生幀N+1的像素P1-Pk的信號(hào)值V′1-V′k，并把這些值存儲(chǔ)在存儲(chǔ)器內(nèi)。此外，還產(chǎn)生中間掃描行像素P1a、P2a、…Pka并將它們存儲(chǔ)在存儲(chǔ)器內(nèi)，像素P1a的信號(hào)值V1根據(jù)像素P1的幀N的取樣值來確定，像素P2a的信號(hào)值V2根據(jù)像素P2的幀N的取樣值來確定，依此類推。幀N+1中的像素P1a的位置距掃描行SL1的距離是D1，根據(jù)從幀N到N+1的運(yùn)動(dòng)來確定。同樣地，像素P2a的位置比掃描行SL2低距離D1。
對幀N+2重復(fù)像素產(chǎn)生處理，在各水平掃描行對圖像信號(hào)SN+2進(jìn)行取樣，以確定該幀的各個(gè)像素P1-Pk的信號(hào)值V1″-Vk″，并檢測從幀N+1到幀N+2的運(yùn)動(dòng)。假設(shè)圖像向下運(yùn)動(dòng)了距離D2，產(chǎn)生值分別為V′1、V′2、......V′k的像素P1b、P2b、......Pkb，值V′1、V′2、......V′k相應(yīng)于幀N+1的存儲(chǔ)在存儲(chǔ)器內(nèi)的先前確定的值，每一個(gè)像素比相應(yīng)水平掃描行SL1-SLk低了距離D2。同樣地，幀N+2還包括分別具有值V1、V2、......Vk的像素P1a、P2a、......Pka，這些值已在幀N+1的情況下預(yù)先存儲(chǔ)在存儲(chǔ)器內(nèi)，這些像素的位置比相應(yīng)水平掃描行SL1-SLk低了距離(D1+D2)。
對后續(xù)幀重復(fù)像素產(chǎn)生處理，直到產(chǎn)生了預(yù)定數(shù)目的額外像素為止。在圖2A的例子中，像素產(chǎn)生處理繼續(xù)到幀N+4為止，幀N+4沿垂直方向的像素是幀N的5倍。圖2B表示幀N+4的掃描行DL1和SL2之間的像素。假設(shè)圖像在幀N+2和N+3之間向下運(yùn)動(dòng)了距離D3，在幀N+3和N+4之間向下運(yùn)動(dòng)了距離D4。因此，幀N+4具有相應(yīng)于位置SL1處的信號(hào)SN +4的電平的值V′1的像素P1，還具有值分別為V1、V″1、V′1和V1的像素P1d、P1c、P1b和P1a，P1d比SL1低了距離D4，P1c比SL1低了距離(D3+D4)，依此類推。當(dāng)然，可根據(jù)所希望的分辨率產(chǎn)生多些或少些的額外像素。在任何情況下，在本例子中，幀N+4后的所有幀沿垂直方向的像素都將是水平掃描行數(shù)的5倍。
因此，可通過假設(shè)在相應(yīng)于運(yùn)動(dòng)的位置處的像素來實(shí)現(xiàn)像素的產(chǎn)生。但是，實(shí)際上需要用間隔均勻的取樣值來表示圖像。在上述例子中，如果幀間運(yùn)動(dòng)不是均勻的，使得距離D1至D4不相等。則產(chǎn)生的像素就將不是均勻間隔的。但是，通過恰當(dāng)?shù)貙g運(yùn)動(dòng)進(jìn)行四舍五入，就能夠獲得間隔均勻的像素并將它們存儲(chǔ)在存儲(chǔ)器內(nèi)。假設(shè)如此地用沿垂直方向均勻間隔的像素(在本例子中是掃描行數(shù)的5倍)來表示幀N+4，則此后就能夠用同一數(shù)目的間隔均勻的像素來表示每一幀。
在圖2A的例子中假設(shè)了圖像的幀間運(yùn)動(dòng)被限于垂直方向。當(dāng)原始圖像沿水平和垂直兩個(gè)方向運(yùn)動(dòng)時(shí)，為了清除混疊失真和增大垂直方向的像素?cái)?shù)目，還應(yīng)考慮水平運(yùn)動(dòng)。為此，將如以下更詳細(xì)描述的那樣計(jì)算幀間的運(yùn)動(dòng)矢量。此外，幀內(nèi)圖像的不同部分通常沿不同方向運(yùn)動(dòng)。本發(fā)明的一些實(shí)施例通過分別分析各個(gè)幀不同的塊，還考慮了這種不同方向的運(yùn)動(dòng)。
圖3是說明通過根據(jù)先前幀的圖像數(shù)據(jù)和幀間圖像運(yùn)動(dòng)產(chǎn)生像素來提高分辨率和消除混疊的一般原理的圖示。該圖的上部表示沿共同水平掃描行的分別具有圖像數(shù)據(jù)101-104的幀N至N+3。假設(shè)圖像遞增地從幀N至N+3向下運(yùn)動(dòng)，如上所述地根據(jù)先前幀和圖像運(yùn)動(dòng)在掃描行之間產(chǎn)生額外像素。于是利用幀N的像素?cái)?shù)據(jù)101來增強(qiáng)幀N+1；給幀N+2增加像素?cái)?shù)據(jù)101、102和給幀N+3增加像素?cái)?shù)據(jù)101、102和103來產(chǎn)生其垂直方向像素?cái)?shù)是原始幀的4倍的高分辨率圖像。
現(xiàn)在參看圖4，該圖表示失真校正器4的例示性結(jié)構(gòu)的方框圖。幀存儲(chǔ)器11接收傳送給失真校正器的輸入圖像數(shù)據(jù)。假設(shè)該輸入圖像數(shù)據(jù)相應(yīng)于欠取樣圖像信號(hào)，于是如果簡單地再現(xiàn)幀而不增加任何分辨率增強(qiáng)像素的話，在通常情況下就會(huì)出現(xiàn)混疊失真。幀存儲(chǔ)器11由存儲(chǔ)當(dāng)前幀的圖像數(shù)據(jù)的當(dāng)前幀存儲(chǔ)器11A和存儲(chǔ)就在當(dāng)前幀之前的前一幀的圖像數(shù)據(jù)的先前幀存儲(chǔ)器11B組成。運(yùn)動(dòng)檢測器12檢測表示當(dāng)前幀相對于前一幀的運(yùn)動(dòng)的運(yùn)動(dòng)矢量。被檢測的這種幀間運(yùn)動(dòng)在垂直方向上的量小于失真圖像內(nèi)的像素的大小(或像素的間距)。在當(dāng)前的討論中假設(shè)整幀圖像一起運(yùn)動(dòng)，于是對于每一幀的所有部分而言，從前一幀到當(dāng)前幀的運(yùn)動(dòng)都是相同的。在這種情況下，對于每一幀，檢測器12只需檢測一個(gè)運(yùn)動(dòng)矢量。該運(yùn)動(dòng)矢量被提供給控制器14。
確定運(yùn)動(dòng)矢量的一種方法是對相鄰幀的同樣大小的像素塊、例如8×8或16×16像素塊進(jìn)行若干次比較。從當(dāng)前幀的對象塊開始，把前一幀的若干個(gè)像素塊(基準(zhǔn)塊)的圖像特性與對象塊作比較。當(dāng)發(fā)現(xiàn)前一幀中的基準(zhǔn)塊具有最接近該對象塊的圖像特性時(shí)，就可以認(rèn)為該基準(zhǔn)塊運(yùn)動(dòng)到該對象塊的位置，運(yùn)動(dòng)矢量就可被確定。
通過計(jì)算對象塊中的像素與基準(zhǔn)塊中的相應(yīng)像素的像素值的絕對值差來比較對象塊和基準(zhǔn)塊。從基準(zhǔn)塊中的像素P11的信號(hào)值中減去對象塊中的像素P11(行1，列1)的信號(hào)值，依此類推。把差值稱為誤差。求和每一基準(zhǔn)塊相對于對象塊的誤差，確定總誤差最小的基準(zhǔn)塊，把運(yùn)動(dòng)矢量確定為大體上沿相應(yīng)于該基準(zhǔn)塊和對象塊之間的位置關(guān)系的方向。具體來說，如圖5所示，執(zhí)行基準(zhǔn)塊之間的線性內(nèi)插，以便更準(zhǔn)確地確定運(yùn)動(dòng)矢量。斜率相反的一對內(nèi)插線的交叉點(diǎn)確定了對象塊和假定的基準(zhǔn)塊之間的誤差最小的相對位置。該交叉點(diǎn)確定了相對于對象塊的運(yùn)動(dòng)矢量。
再參看圖4，用場景變化檢測器分析幀間的圖像差別來檢測電視信號(hào)的場景變化。一般來說，如果當(dāng)前幀和前一幀的圖像差別大于預(yù)定閾值，就檢測到了場景變化。檢測場景變化的方法在已有技術(shù)中是眾所周知的。例如，可以把場景變化檢測器13設(shè)計(jì)成按照與確定運(yùn)動(dòng)矢量和找出形成當(dāng)前幀的各個(gè)對象塊的最小誤差值相同的方式來分析對象塊和基準(zhǔn)塊之間的誤差。如果各個(gè)塊的最小誤差值的總和大于預(yù)定閾值，就檢測到場景變化并把場景變化信號(hào)提供給控制器14。
控制器14按照運(yùn)動(dòng)檢測器12提供的運(yùn)動(dòng)矢量和場景變化檢測器13的信號(hào)控制數(shù)據(jù)從幀存儲(chǔ)器11寫入分辨率產(chǎn)生存儲(chǔ)器15。分辨率產(chǎn)生存儲(chǔ)器15能夠存儲(chǔ)比幀存儲(chǔ)器11內(nèi)的一個(gè)低分辨率幀的數(shù)據(jù)多的圖像數(shù)據(jù)，以便存儲(chǔ)順序地被移出的新產(chǎn)生的高分辨率幀?？刂破?4通過按照運(yùn)動(dòng)矢量確定存儲(chǔ)器15內(nèi)的合適的存儲(chǔ)地址來控制圖像數(shù)據(jù)從存儲(chǔ)器11寫入存儲(chǔ)器15。按照與以上參看圖2描述的方式類似的方式在存儲(chǔ)器15內(nèi)產(chǎn)生高分辨率幀。簡單地說，為了產(chǎn)生中間掃描行像素(分辨率增強(qiáng)像素)，根據(jù)掃描行把當(dāng)前幀存儲(chǔ)器11A(或先前幀存儲(chǔ)器11B)的數(shù)據(jù)傳送給該幀內(nèi)的相同像素位置處的存儲(chǔ)器15的高分辨率“幀”。然后根據(jù)運(yùn)動(dòng)矢量把下一幀的圖像數(shù)據(jù)以平移了的位置寫入存儲(chǔ)器15。控制器14把相對地址指針提供給存儲(chǔ)器15來執(zhí)行向平移位置的數(shù)據(jù)傳送，同時(shí)至少使存儲(chǔ)在存儲(chǔ)器15內(nèi)的先前幀的某些圖像數(shù)據(jù)原封不動(dòng)地留在相同的存儲(chǔ)單元處。一旦產(chǎn)生了幀，就在控制器14的控制下把其從存儲(chǔ)器15傳送給垂直低通濾波器16。
注意在場景變化之后，由圖2A顯然可見，需要花費(fèi)時(shí)間來接收和處理幾個(gè)低分辨率幀，以產(chǎn)生真正高分辨率幀。因此，一旦出現(xiàn)場景變化，就可以執(zhí)行低分辨率圖像數(shù)據(jù)的內(nèi)插，以便開始在存儲(chǔ)器15內(nèi)產(chǎn)生額外像素。
圖6表示圖像數(shù)據(jù)在分辨率產(chǎn)生存儲(chǔ)器15內(nèi)的存儲(chǔ)。存儲(chǔ)器15能夠存儲(chǔ)水平(掃描行)方向P′H個(gè)像素和垂直方向P′V個(gè)像素的圖像數(shù)據(jù)。作為一個(gè)例子，在以下的描述中將假設(shè)P′H＞PH和P′V＞4PV，其中PH和PV分別是存儲(chǔ)在幀存儲(chǔ)器11內(nèi)低分辨率幀的水平和垂直方向的像素?cái)?shù)目。在這種情況下，分辨率產(chǎn)生存儲(chǔ)器15在水平方向能夠存儲(chǔ)比低分辨率圖像多的像素和在垂直方向能夠存儲(chǔ)是低分辨率圖像4倍多的像素。以下將用術(shù)語“失真圖像”或“失真數(shù)據(jù)”來指存儲(chǔ)在幀存儲(chǔ)器11內(nèi)的圖像或數(shù)據(jù)，這種數(shù)據(jù)相應(yīng)于垂直方向的欠取樣圖像。但是，如上所述，只有直接從幀存儲(chǔ)器11中讀出數(shù)據(jù)并逐幀地再現(xiàn)時(shí)才會(huì)產(chǎn)生失真再現(xiàn)圖像。在本實(shí)施例中，用“失真”圖像數(shù)據(jù)來產(chǎn)生非失真再現(xiàn)圖像。
在分辨率產(chǎn)生存儲(chǔ)器15內(nèi)，數(shù)據(jù)存儲(chǔ)單元可以用絕對地址也可以用相對地址來確定。圖6表示按照絕對地址的數(shù)據(jù)存儲(chǔ)，其中的絕對地址覆蓋了存儲(chǔ)器15的全部存儲(chǔ)單元。絕對地址存儲(chǔ)區(qū)域的第一行和第一列用行0和列0來表示。這樣一來，第(i+1)行和第(j+1)列處的像素用絕對地址(i，j)來指定。
如圖7所示，在存儲(chǔ)器15的絕對地址存儲(chǔ)陣列內(nèi)，定義了相應(yīng)于PN×4PV個(gè)像素的存取區(qū)域15a。存取區(qū)域15a左上角的存儲(chǔ)單元用相對地址指針RP來確定，如圖7箭頭所示。該地址指針RP實(shí)際上可以是控制器14提供給存儲(chǔ)器15內(nèi)的控制電路(未示出)的碼字。地址指針起控制把輸入圖像數(shù)據(jù)寫入何處的作用。對于較大絕對地址區(qū)域，存取區(qū)域15a也可以行0和列0開始。
圖8表示如何把來自幀存儲(chǔ)器11的圖像數(shù)據(jù)寫入存取區(qū)域15a。在存取區(qū)域的水平方向上，存儲(chǔ)了像素?cái)?shù)目與幀存儲(chǔ)器11的一個(gè)幀中相同的圖像數(shù)據(jù)，而在垂直方向上，存儲(chǔ)了4倍像素的數(shù)據(jù)。因此，如圖8中的陰影區(qū)域所示，在水平方向上，從地址指針RP確定的地址開始順序地把幀存儲(chǔ)器11的失真圖像寫入存取區(qū)域15a，而在垂直方向上，每第4行地進(jìn)行寫入。根據(jù)運(yùn)動(dòng)矢量產(chǎn)生和存儲(chǔ)掃描行之間，例如圖8網(wǎng)格內(nèi)的行1-3、5-7等的像素?cái)?shù)據(jù)，以便沿垂直方向產(chǎn)生高分辨率幀。為了實(shí)現(xiàn)高于失真圖像分辨率的分辨率，以比幀存儲(chǔ)器11內(nèi)的幀的像素尺寸小的單位對運(yùn)動(dòng)矢量進(jìn)行檢測。
現(xiàn)在參看圖9的流程圖更詳細(xì)地說明數(shù)據(jù)在分辨率產(chǎn)生存儲(chǔ)器15內(nèi)的存儲(chǔ)。當(dāng)控制器14從場景變化檢測器13接收到表示從前一幀到當(dāng)前幀的場景變化的信號(hào)時(shí)，就復(fù)位(清零)存儲(chǔ)器15內(nèi)的所有數(shù)據(jù)(步驟S1)。注意在幀存儲(chǔ)器11接收第一幀數(shù)據(jù)時(shí)也會(huì)接收到場景變化信號(hào)。(不管接收到第一幀數(shù)據(jù)還是出現(xiàn)了場景變化，控制器14的操作都是相同的。)在步驟S2，控制器14如圖8所示每第4行地把當(dāng)前幀存儲(chǔ)器11A的失真數(shù)據(jù)寫入存取區(qū)域15a。此時(shí)，存取區(qū)域15a相應(yīng)于掃描行的存儲(chǔ)單元之間出現(xiàn)了間隙，這是由于這些存儲(chǔ)單元先前被復(fù)位的緣故?？刂破?4在步驟S3中利用內(nèi)插對這些間隙進(jìn)行填充。即控制器14計(jì)算中間掃描行像素的內(nèi)插值，并將這些值作為數(shù)據(jù)存儲(chǔ)在存取區(qū)域15a內(nèi)。然后在步驟S4中從存儲(chǔ)器15讀出包括這些內(nèi)插值的圖像數(shù)據(jù)，并將它們提供給垂直低通濾波器16。
在步驟S5，把當(dāng)前幀存儲(chǔ)器11A的數(shù)據(jù)移入先前幀存儲(chǔ)器11B，接收下一幀數(shù)據(jù)并將其存儲(chǔ)在當(dāng)前幀存儲(chǔ)器11A內(nèi)，然后再判斷是否出現(xiàn)了場景變化。如果沒有，就利用運(yùn)動(dòng)檢測器12檢測運(yùn)動(dòng)(步驟S6)并計(jì)算運(yùn)動(dòng)矢量?？刂破?4然后根據(jù)運(yùn)動(dòng)移動(dòng)相對地址指針(步驟S7)，并根據(jù)運(yùn)動(dòng)矢量把數(shù)據(jù)寫入存儲(chǔ)器15內(nèi)的高分辨率幀。這一操作可以幾種方法來執(zhí)行。一種方法是把存儲(chǔ)在存取區(qū)域15a內(nèi)的先前數(shù)據(jù)取出，存入在控制器14內(nèi)的暫時(shí)緩沖存儲(chǔ)器，然后把該數(shù)據(jù)再寫入存取區(qū)域15a，但根據(jù)運(yùn)動(dòng)矢量進(jìn)行了移位。在進(jìn)行了移位之后，當(dāng)前幀存儲(chǔ)器11A的數(shù)據(jù)(尚未被寫入存儲(chǔ)器15)將每第4行地被寫入先前確定的相同的存取區(qū)域15a、即相同的掃描行位置。這樣一來，某些先前數(shù)據(jù)將被重寫。根據(jù)這一方法，先前的高分辨率幀數(shù)據(jù)將按照運(yùn)動(dòng)逐幀移位，如前面在圖2A和圖3中所說明的那樣，每一先前幀的數(shù)據(jù)直接相應(yīng)于運(yùn)動(dòng)地順序移位。(但是，一種差別是假設(shè)在圖2A或圖3的方法中沒有內(nèi)插數(shù)據(jù)-假設(shè)在圖2A中在第5幀之前和在圖3中在第4幀之前，在高分辨率幀中有間隙。)雖然上述直接根據(jù)運(yùn)動(dòng)矢量移位高分辨率數(shù)據(jù)的存儲(chǔ)位置的方法足以產(chǎn)生合適的高分辨率幀，但優(yōu)選的方法是保持存取區(qū)域15a內(nèi)的先前數(shù)據(jù)在相同的存儲(chǔ)單元內(nèi)，把當(dāng)前幀存儲(chǔ)器11A的新的低分辨率數(shù)據(jù)寫入相對于存取區(qū)域內(nèi)的先前數(shù)據(jù)的移位位置。換句話說，每當(dāng)幀N+1的運(yùn)動(dòng)矢量不為零，幀N+1的數(shù)據(jù)將被寫入具有不同于幀N的數(shù)據(jù)的絕對地址的存儲(chǔ)單元內(nèi)。與此同時(shí)，存儲(chǔ)器15的先前數(shù)據(jù)的絕對地址保持不變，所以凈效果就是先前數(shù)據(jù)相對于新數(shù)據(jù)的移位。這一方法的執(zhí)行僅需沿相反方向根據(jù)運(yùn)動(dòng)矢量移位相對地址指針。因此，低分辨率(失真)數(shù)據(jù)的相對地址將保持不變(例如圖8所示的行0、4等)，但前一高分辨率幀數(shù)據(jù)的相對地址將直接根據(jù)運(yùn)動(dòng)矢量發(fā)生變化。實(shí)際上，存儲(chǔ)器15的物理存取區(qū)域15a將根據(jù)每一新的相對地址指針進(jìn)行移位。
根據(jù)每一新的運(yùn)動(dòng)矢量，相對地址指針移動(dòng)與運(yùn)動(dòng)矢量的水平分量的像素?cái)?shù)目相同的像素?cái)?shù)目。但是，在垂直方向上，相對地址指針移動(dòng)是運(yùn)動(dòng)矢量的垂直分量的低分辨率像素?cái)?shù)目的4倍的高分辨率像素?cái)?shù)目(這是由于高分辨率幀的垂直方向的像素?cái)?shù)是低分辨率幀的4倍)。自然，相對地址指針被舍入到相應(yīng)于運(yùn)動(dòng)矢量的最接近像素(或?qū)\(yùn)動(dòng)矢量進(jìn)行舍入)。因此，例如，如果運(yùn)動(dòng)矢量的垂直分量在原始低分辨率像素的大小的1/8和3/8之間，則相對地址指針將改變一個(gè)垂直單位。(以下將會(huì)討論運(yùn)動(dòng)矢量的簡單舍入的替代方案)。
再參看圖9，根據(jù)相對地址指針把新的低分辨率(失真)圖像數(shù)據(jù)寫入存儲(chǔ)器15(步驟S8)產(chǎn)生了新的高分辨率幀，然后在步驟S9中將其讀出給垂直LPF16。如果在步驟S10中確認(rèn)再不向幀存儲(chǔ)器11提供低分辨率數(shù)據(jù)，例行程序就結(jié)束；否則，例行程序就返回S5，對輸入圖像數(shù)據(jù)的每一后續(xù)幀重復(fù)處理。
因此，通過重復(fù)步驟S5至S9若干次，不進(jìn)行場景變換，填充掃描行取樣值之間的間隙的內(nèi)插數(shù)據(jù)就順序地被圖像取樣值所代替。場景變化后的幾個(gè)幀、即圖像幀就成為真正的高分辨率圖像，當(dāng)包括在原始圖像內(nèi)的垂直方向的最高頻率比相應(yīng)于失真圖像的水平掃描周期的1/4的頻率的一半還要低時(shí)，再現(xiàn)圖像在垂直方向上將沒有混疊失真。
回到圖4，垂直LPF16通過以低通濾波器沿垂直方向進(jìn)行濾波來限制分辨率產(chǎn)生存儲(chǔ)器15的圖像數(shù)據(jù)的高頻分量。這種濾波的作用是即使在隨后要再現(xiàn)的圖像是低分辨率圖像的時(shí)候也防止混疊失真。例如，如果僅有低分辨率顯示器，就將顯示低分辨率圖像，但消除了混疊失真。因此，當(dāng)隨后再現(xiàn)圖像時(shí)，觀看者將不會(huì)覺察不自然或模糊的運(yùn)動(dòng)圖像。垂直LPF16的輸出信號(hào)提供給幀存儲(chǔ)器17，該幀存儲(chǔ)器17的存儲(chǔ)容量可以與存儲(chǔ)器15的存取區(qū)域15a的存取容量相同。幀存儲(chǔ)器暫存圖像數(shù)據(jù)，然后例如每第4行地讀出該圖像數(shù)據(jù)，以便產(chǎn)生行數(shù)與原始失真圖像相同但清除了混疊失真的低分辨率圖像。
因此，上述方法改善了圖像質(zhì)量，并克服了伴隨某些信號(hào)處理操作、例如Y/C分離、消噪等的缺點(diǎn)。
本領(lǐng)域的普通技術(shù)人員將容易理解上述根據(jù)幀間運(yùn)動(dòng)矢量從欠取樣圖像產(chǎn)生高分辨率圖像、然后利用垂直LPF對其進(jìn)行濾波和僅讀出低分辨率圖像的技術(shù)將產(chǎn)生消除了混疊失真的輸出圖像。相反地，如果僅把輸入低分辨率圖像數(shù)據(jù)提供給垂直LPF，則不會(huì)實(shí)現(xiàn)這種混疊失真消除。
如果CRT6能夠利用比欠取樣幀的水平掃描行多的水平掃描行(例如4倍的水平掃描行)來顯示高分辨率圖像，就能夠直接輸出圖像數(shù)據(jù)進(jìn)行顯示。因此，在這種情況下，將不使用垂直LPF16，將直接把數(shù)據(jù)提供給幀存儲(chǔ)器17，逐行而不是每第4行地從中讀出數(shù)據(jù)進(jìn)行顯示。
當(dāng)原始圖像所包含的垂直方向的最高頻率比相應(yīng)于水平掃描周期的1/4的頻率高1/2時(shí)，上述產(chǎn)生4倍像素的方法就不能滿足取樣定律，垂直方向的混疊失真不能完全被消除。然而，該方法的有用之處在于大大地減小了混疊失真。
雖然在上述實(shí)施例中把垂直方向的像素?cái)?shù)目增大了4倍，但可以替換地產(chǎn)生更多或較少的中間掃描行像素，為了以減小了的混疊失真顯示低分辨率或高分辨率圖像。
對于上述失真校正器4a，假設(shè)任何給定幀的整個(gè)圖像一起運(yùn)動(dòng)，即沿相同方向從幀至幀地移動(dòng)相同的距離。換句話說，假設(shè)每一幀的所有部分的運(yùn)動(dòng)矢量是相同的。這種假設(shè)一般來說對某些應(yīng)用、例如掃視和俯攝操作是有效的。但是，在大多數(shù)的視頻應(yīng)用中，每一幀的不同部分以不同的速率和/或沿不同的方向運(yùn)動(dòng)。以下將描述的本發(fā)明的實(shí)施例能夠減小混疊失真，同時(shí)計(jì)算這種獨(dú)立運(yùn)動(dòng)。
現(xiàn)在參看圖10，示出了本發(fā)明的失真校正器另一示范性實(shí)施例的方框圖。失真校正器4b能夠分辨每一幀的多個(gè)部分的幀間運(yùn)動(dòng)，并能夠根據(jù)這種運(yùn)動(dòng)產(chǎn)生高分辨率幀。這些高分辨率幀可用來產(chǎn)生低或高分辨率圖像，其中消除了混疊失真。
失真校正器4b如上述失真校正器4a一樣主要包括幀存儲(chǔ)器11、運(yùn)動(dòng)檢測器12、場景變化檢測器13、垂直低通濾波器16和幀存儲(chǔ)器17。運(yùn)動(dòng)檢測器12如上所述地通過分析當(dāng)前幀的對象塊和先前幀的多個(gè)基準(zhǔn)塊之間的差來根據(jù)先前幀確定例如8×8或16×16像素的對象塊的運(yùn)動(dòng)矢量。在失真校正器4a中，一個(gè)對象塊的運(yùn)動(dòng)矢量就足以確定整幀圖像的運(yùn)動(dòng)。相反地，對于失真校正器4b，為每一幀確定若干個(gè)運(yùn)動(dòng)矢量，每一運(yùn)動(dòng)矢量相應(yīng)于不同的對象塊。各個(gè)對象塊的運(yùn)動(dòng)矢量被提供給區(qū)域分割器21，區(qū)域分割器21把幀區(qū)域分割成為多個(gè)區(qū)域，以便進(jìn)行獨(dú)立的處理操作。利用其它必要的操作、例如平滑等并根據(jù)運(yùn)動(dòng)矢量和相鄰像素之差來確定各區(qū)域。例如，如果場景包括固定或緩慢移動(dòng)物體、例如背景和迅速移動(dòng)的對象、例如飛機(jī)，則區(qū)域分割器21將把幀的第一區(qū)域確定為相應(yīng)于背景，把第二區(qū)域確定為相應(yīng)于飛機(jī)。在圖10中，區(qū)域分割器21適合于確定每幀兩個(gè)區(qū)域；但是，應(yīng)當(dāng)認(rèn)識(shí)到可以替代地把區(qū)域分割器21設(shè)計(jì)成把每一幀分割成為三個(gè)或多個(gè)區(qū)域而不是僅兩個(gè)區(qū)域。
一旦區(qū)域分割器21確定了當(dāng)前幀的圖像區(qū)域，它就通過控制開關(guān)22A和22B來控制從當(dāng)前幀存儲(chǔ)器11A讀出圖像數(shù)據(jù)，以便只有第一區(qū)域的圖像數(shù)據(jù)通過開關(guān)22A暫存入存儲(chǔ)器23A，只有第二區(qū)域的圖像數(shù)據(jù)通過開關(guān)22B存儲(chǔ)入存儲(chǔ)器23B。區(qū)域分割器21還把第一區(qū)域內(nèi)的某一部分的運(yùn)動(dòng)矢量提供給控制器14A，把第二區(qū)域內(nèi)的某一部分的運(yùn)動(dòng)矢量提供給控制器14B。場景變化檢測器13把場景變化信號(hào)提供給控制器14A和14B。控制器14A通過根據(jù)每一幀的第一區(qū)域內(nèi)的運(yùn)動(dòng)矢量動(dòng)態(tài)地改變相對地址指針來控制數(shù)據(jù)從存儲(chǔ)器23A寫入分辨率產(chǎn)生存儲(chǔ)器15A。于是按照基本上與上述方式相同的方式在根據(jù)運(yùn)動(dòng)矢量的位置處產(chǎn)生了中間掃描行像素。由此在存儲(chǔ)器1 5A中產(chǎn)生了高分辨率幀或幀部分，這些高分辨率幀或幀部分在垂直方向上的分辨率例如是幀存儲(chǔ)器11A中的幀的4倍。同樣地，根據(jù)第二運(yùn)動(dòng)矢量，在控制器14B的控制下，把第二幀區(qū)域的圖像數(shù)據(jù)從存儲(chǔ)器23B傳送給存儲(chǔ)器15B，以便在存儲(chǔ)器15B中產(chǎn)生高分辨率幀或P＝幀部分。就是說，每一控制器14A和14B分別與存儲(chǔ)器15A和15B協(xié)同操作，按照與上述對于圖4的控制器14和存儲(chǔ)器15所描述的方式相同的方式動(dòng)態(tài)地確定各個(gè)地址指針，區(qū)別在于只對整個(gè)圖像的一部分進(jìn)行增強(qiáng)并將其存儲(chǔ)在每一存儲(chǔ)器15A和15B內(nèi)。
在控制器14A和14B的控制下分別把在存儲(chǔ)器15A和15B內(nèi)產(chǎn)生的各高分辨率幀的數(shù)據(jù)傳送給組合器24。組合器24組合兩個(gè)幀部分的數(shù)據(jù)來產(chǎn)生復(fù)合幀的圖像數(shù)據(jù)，并將其提供給垂直LPF16。因此組合器24的輸出圖像數(shù)據(jù)類似于失真校正器4a中存儲(chǔ)器15的數(shù)據(jù)。垂直LPF16和幀存儲(chǔ)器17執(zhí)行如上所述的相同處理來產(chǎn)生消除了混疊失真的低分辨率圖像。相反地，如果需要高分辨率圖像，就可以旁路垂直LPF16或如上所述地把其設(shè)計(jì)成具有不同的頻率響應(yīng)。
雖然已描述了失真校正器4a和4b根據(jù)運(yùn)動(dòng)矢量(即相應(yīng)于圖像的垂直和水平運(yùn)動(dòng)的運(yùn)動(dòng)矢量)來產(chǎn)生垂直方向的中間掃描行像素，但也可以產(chǎn)生水平方向的額外像素的圖像數(shù)據(jù)。即也可以按照類似于垂直方向的方式沿水平方向在存儲(chǔ)器15(或存儲(chǔ)器15A、15B)內(nèi)產(chǎn)生在低分辨率像素位置中間的位置處的高分辨率像素。因此，能夠沿水平方向進(jìn)一步消除混疊失真和獲得更高的分辨率。
存在存取區(qū)域根據(jù)相對地址指針的位置超出了分辨率產(chǎn)生存儲(chǔ)器15(或15A、15B)的存儲(chǔ)區(qū)域的特別情形。對于這種情形，可通過把分辨率產(chǎn)生存儲(chǔ)器的存儲(chǔ)區(qū)域擴(kuò)展至鄰近區(qū)域來保留超出區(qū)域的數(shù)據(jù)。假設(shè)X≥P′H，Y≥P′V，當(dāng)用絕對地址(X，Y)表示的位置被包括在存取區(qū)域內(nèi)時(shí)，該位置就被維持在存儲(chǔ)器15的存儲(chǔ)區(qū)域的(MOD(X，P′H)，MOD(Y，P′V))的絕對地址處(此處的MOD(a，b)表示當(dāng)“a”被“b”除時(shí)的余數(shù))。保留超出數(shù)據(jù)的另一種方法是重新確定包括保留最新數(shù)據(jù)的存取區(qū)域，控制器14把所有這些數(shù)據(jù)傳送給緩沖存儲(chǔ)器，然后利用新的地址指針把它們再寫入新的存取區(qū)域。
在上述實(shí)施例中，通過假設(shè)中間掃描行像素在相應(yīng)于運(yùn)動(dòng)矢量的位置處來產(chǎn)生高分辨率幀。然后用這些高分辨率幀來產(chǎn)生減小了(或消除了)混疊失真的低或高分辨率圖像。執(zhí)行這種圖像再現(xiàn)的另一種方法如下假設(shè)無混疊失真的原始圖像用P來表示，基于這種無混疊失真的原始圖像的失真(欠取樣)圖像用P′來表示。兩者的關(guān)系可表示為
P′＝f(P)(1)其中f()表示對括號(hào)內(nèi)的圖像進(jìn)行子取樣的函數(shù)。
同樣地，f()的逆函數(shù)可表示為g()，于是P＝g(P′)(2)因此，如果確定了函數(shù)g()，在理論上就能夠根據(jù)失真圖像P′再現(xiàn)原始圖像P，這樣就能夠減小混疊失真，而不需要檢測失真圖像的運(yùn)動(dòng)。
可利用學(xué)習(xí)過程來獲得函數(shù)g()，在這種學(xué)習(xí)過程中，原始圖像被認(rèn)為包含某些訓(xùn)練數(shù)據(jù)，而失真圖像P′的連續(xù)幀被認(rèn)為包含學(xué)習(xí)數(shù)據(jù)。然后可以根據(jù)函數(shù)g()填充失真圖像的中間掃描行間隙，由此就能夠再現(xiàn)原始圖像P。
除消除混疊失真外，本發(fā)明還有其它應(yīng)用，例如產(chǎn)生增強(qiáng)分辨率的增大圖像，或者把低或標(biāo)準(zhǔn)分辨率圖像(以后稱為SD圖像)變換為高分辨率圖像(以后稱為HD圖像)。
現(xiàn)在參看圖11，該圖表示了把包含SD圖像的電視信號(hào)變換為HD圖像進(jìn)行顯示的電視接收機(jī)100的一示范性實(shí)施例的方框圖。接收機(jī)100與圖1的接收機(jī)10的區(qū)別在于用分辨率變換器34代替了失真校正器4和用高分辨率CRT36代替了CRT7。其它部件與接收機(jī)10的部件相同，Y/C變換器(未示出)通常在分辨率變換器34和D/A變換器6之間或在LPF2和A/D變換器3之間。
圖12是分辨率變換器34的一實(shí)施例的方框圖。分辨率變換器34在許多方面與圖10的失真校正器4b相同，即根據(jù)各個(gè)區(qū)域的不同運(yùn)動(dòng)分割低分辨率幀的區(qū)域、產(chǎn)生各個(gè)區(qū)域的高分辨率圖像和組合這些區(qū)域的高分辨率圖像來產(chǎn)生復(fù)合圖像。分辨率變換器34被設(shè)計(jì)成通過根據(jù)每一幀的運(yùn)動(dòng)矢量在SD圖像的相鄰水平像素之間的位置上以及在SD圖像的相鄰垂直像素之間的位置上產(chǎn)生像素來增強(qiáng)水平和垂直兩個(gè)方向的分辨率。變換器34可利用以下詳細(xì)描述的分類和自適應(yīng)處理技術(shù)來產(chǎn)生某些高分辨率像素。
分辨率變換器34包括上述的幀存儲(chǔ)器11、運(yùn)動(dòng)檢測器12和場景變化檢測器13，還包括區(qū)域分割器21′，該區(qū)域分割器21′與圖10的區(qū)域分割器21相同，但它把每一幀分割為M個(gè)幀區(qū)域而不是只分割為兩個(gè)區(qū)域。M個(gè)高分辨率對象產(chǎn)生器的每一個(gè)產(chǎn)生由區(qū)域分割器21′確定的各個(gè)幀區(qū)域的高分辨率對象。每一對象產(chǎn)生器41i(i＝1，2，...，M)包括開關(guān)22i、緩沖存儲(chǔ)器23i、控制器14i、分辨率產(chǎn)生存儲(chǔ)器15i、寫標(biāo)記存儲(chǔ)器42i和像素產(chǎn)生器43i。
每一寫標(biāo)記存儲(chǔ)器42i存儲(chǔ)數(shù)目與存儲(chǔ)在相關(guān)分辨率產(chǎn)生存儲(chǔ)器15i內(nèi)的像素?cái)?shù)目相同的寫標(biāo)記。寫標(biāo)記是1位標(biāo)記，表示SD圖像的像素?cái)?shù)據(jù)是否存儲(chǔ)在存儲(chǔ)器15i的相應(yīng)地址內(nèi)(例如，如果像素?cái)?shù)據(jù)存儲(chǔ)在該地址內(nèi)，該標(biāo)記就是1，如果不是，該標(biāo)記就是0)?？刂破?4i控制寫標(biāo)記成為置位/復(fù)位。
參看圖13，每一分辨率存儲(chǔ)器15i的存儲(chǔ)區(qū)域能夠存儲(chǔ)水平方向上P′H個(gè)像素和垂直方向上P′V個(gè)像素的像素?cái)?shù)據(jù)，P′H≥2PH，P′V≥2PV，PH和PV分別是存儲(chǔ)在幀存儲(chǔ)器11內(nèi)的SD幀的水平和垂直方向的像素?cái)?shù)目。在這一例子中，存儲(chǔ)器15i能夠存儲(chǔ)水平方向和垂直方向上的像素?cái)?shù)都是SD圖像的像素?cái)?shù)的兩倍的像素?cái)?shù)據(jù)。存儲(chǔ)器存取區(qū)域15ai由存儲(chǔ)2PH×2PV個(gè)像素的像素?cái)?shù)據(jù)的存儲(chǔ)單元構(gòu)成。
現(xiàn)在參看圖14的流程圖描述把一幀的SD數(shù)據(jù)寫入分辨率產(chǎn)生存儲(chǔ)器15i的過程。在步驟D11，如果場景變化檢測器13檢測到場景變化或檢測到第一幀數(shù)據(jù)的接收，就把場景變化信號(hào)提供給每一個(gè)控制器141-14M。每一個(gè)控制器14i然后在步驟S12清零相關(guān)的存儲(chǔ)器15i(擦除先前幀像素?cái)?shù)據(jù))，并將寫標(biāo)記存儲(chǔ)器41i內(nèi)的全部寫標(biāo)記復(fù)位為初始值(步驟S13)。然后通過在自幀存儲(chǔ)器11A的幀數(shù)據(jù)讀出操作的恰當(dāng)時(shí)刻閉合開關(guān)22i來把當(dāng)前幀存儲(chǔ)器11A的相關(guān)幀區(qū)域的失真SD圖像數(shù)據(jù)寫入存儲(chǔ)器15i(步驟S14)。于是只有在被區(qū)域分割器21′確定的相關(guān)區(qū)域內(nèi)的圖像數(shù)據(jù)通過開關(guān)22i傳送給存儲(chǔ)器23i。特別是，在水平和垂直方向每隔一個(gè)像素位置地把SD數(shù)據(jù)寫入存儲(chǔ)器15i的存取區(qū)域。因此，例如假設(shè)SD幀被排列成M個(gè)像素行(行1至M)×N個(gè)像素列(列1至N)，存儲(chǔ)器15i的存取區(qū)域是相應(yīng)于2M行(行1至2M)×2N列(列1至2N)的存儲(chǔ)陣列，那么，如果相應(yīng)于SD幀的行1、列1的像素1，1的數(shù)據(jù)被傳送給對象產(chǎn)生器41i，則該數(shù)據(jù)起初就被存儲(chǔ)在相應(yīng)于存取區(qū)域的行2、列2的HD像素的存取區(qū)域的存儲(chǔ)單元內(nèi)。最好是該存儲(chǔ)單元也是存儲(chǔ)陣列中的行2、列2，以便于像素的產(chǎn)生。同樣地，SD幀的像素2，2的SD數(shù)據(jù)起初也被存儲(chǔ)在存取區(qū)域的行4、列4內(nèi)，依此類推。對于如此存儲(chǔ)了SD數(shù)據(jù)的每一個(gè)HD存儲(chǔ)單元同時(shí)置位寫標(biāo)記。像素產(chǎn)生器43i此時(shí)從存儲(chǔ)器15i中讀出圖像數(shù)據(jù)，但該圖像數(shù)據(jù)不會(huì)從存儲(chǔ)器15i中被刪除，這是因?yàn)閷⒂迷搱D像數(shù)據(jù)來構(gòu)成下一高分辨率幀的一部分(在沒有出現(xiàn)場景變化的情況下)。
如果在步驟S11中沒有接收到場景變化，則在步驟S16中，每一控制器14i就從區(qū)域分割器21′接收相應(yīng)于在當(dāng)前幀的相關(guān)圖像區(qū)域內(nèi)的運(yùn)動(dòng)的運(yùn)動(dòng)矢量?？刂破?4i計(jì)算相應(yīng)于該運(yùn)動(dòng)矢量的新的相對地址指針RP，并將其提供給分辨率產(chǎn)生存儲(chǔ)器15i。例行程序然后到達(dá)步驟S14，按照剛剛確定的相對地址指針把當(dāng)前幀的失真圖像數(shù)據(jù)寫入存儲(chǔ)器15i，由此相對于新的數(shù)據(jù)移位了以前存儲(chǔ)在存儲(chǔ)器15i的先前幀內(nèi)的數(shù)據(jù)(這是由于先前幀的數(shù)據(jù)根據(jù)先前地址指針仍然存儲(chǔ)在相同的存儲(chǔ)單元內(nèi)，而當(dāng)前幀的數(shù)據(jù)根據(jù)新的地址指針進(jìn)行存儲(chǔ)的緣故)。如上所述，通常在這一步驟中重寫某些以前存儲(chǔ)的數(shù)據(jù)。然后對于在步驟S15中存儲(chǔ)了新數(shù)據(jù)的存儲(chǔ)單元置位寫標(biāo)記(除非它們以前已被進(jìn)行了置位)。
因此，隨著在每一分辨率產(chǎn)生存儲(chǔ)器15i內(nèi)逐幀地執(zhí)行寫處理，就逐漸地得到完整的HD圖像，其水平和垂直方向的分辨率是相應(yīng)SD圖像的兩倍。
為了進(jìn)一步說明HD圖像的產(chǎn)生，參看說明一小實(shí)心三角形物體47的幀間運(yùn)動(dòng)和表示該物體的像素?cái)?shù)據(jù)的相應(yīng)存儲(chǔ)的圖15。該圖的左手側(cè)表示與物體47疊加在一起的SD像素PSD的陣列，而右手側(cè)表示在幀N至(N+3)的存取區(qū)域15aN至15a(N+3)內(nèi)的存儲(chǔ)單元MC。在低分辨率圖像中，在物體47的邊界區(qū)域內(nèi)的SD像素PSD表示該物體例如使自己比鄰近像素更亮或更暗和/或具有不同的顏色。在任何情況下，假設(shè)物體47在幀N中用像素a、b、c和d來表示，在幀(N+1)中用像素f、g來表示，在幀(N+2)中用像素h，i，j，k來表示，在幀(N+3)中用像素1，m來表示，幀間像素的變化是由于幀間運(yùn)動(dòng)的緣故。
根據(jù)上述方法，SD像素?cái)?shù)據(jù)被寫入交替存儲(chǔ)單元的陰影區(qū)域的存取區(qū)域15aN至15a(N+3)。在幀N中，存儲(chǔ)單元(a′至e′)用相應(yīng)于SD像素(a至e)的像素?cái)?shù)據(jù)來填充。在幀N和N+1之間，物體向上移動(dòng)了SD像素間距(相鄰SD像素的中點(diǎn)之間的間距)的一半，所以幀N+1的相對地址指針Rp如所示地向下移動(dòng)了一個(gè)HD像素存儲(chǔ)單元，并寫入了像素f和g的像素?cái)?shù)據(jù)。在此期間，存儲(chǔ)像素?cái)?shù)據(jù)(a′-e′)的絕對存儲(chǔ)單元在幀N+1中保持不變。因此，可以看到，雖然像素b和g都在SD圖像中的同一位置上，但相應(yīng)的“像素”b′和g′在表示HD圖像的存取區(qū)域15a(N+1)內(nèi)彼此被移了位。隨著物體的運(yùn)動(dòng)，地址指針RP從其先前位置處沿相反方向移動(dòng)，直到在幀(N+3)形成完整的HD圖像。注意，如果物體保持靜止或如果幀間的運(yùn)動(dòng)很微小，則根據(jù)運(yùn)動(dòng)矢量產(chǎn)生僅以產(chǎn)生的HD像素?cái)?shù)據(jù)為基礎(chǔ)的完整的HD圖像將需要更多的幀。
圖16是表示從高分辨率對象產(chǎn)生器41i讀出圖像數(shù)據(jù)的例行程序的流程圖。每當(dāng)新的圖像數(shù)據(jù)被寫入存儲(chǔ)器15i、即每當(dāng)結(jié)束一特定幀的數(shù)據(jù)的寫入，該讀例行程序就接在圖14的例行程序之后。在步驟S21中，控制器14i從存取區(qū)域15i的存儲(chǔ)單元中讀出圖像數(shù)據(jù)并將其提供給像素產(chǎn)生器23。在步驟S22中，像素產(chǎn)生器23根據(jù)寫標(biāo)記存儲(chǔ)器42i中的寫標(biāo)記確定是否存儲(chǔ)了相應(yīng)于特定地址的特定高分辨率像素的圖像數(shù)據(jù)。例如，考慮圖15，假設(shè)幀N相應(yīng)于場景發(fā)生變化后的第一幀，存儲(chǔ)單元c′和d′包含了存儲(chǔ)的圖像數(shù)據(jù)，但c′和d′之間的存儲(chǔ)單元48是空的。于是c′和d′的寫標(biāo)記應(yīng)置位為1而存儲(chǔ)單元48的寫標(biāo)記應(yīng)為0。因此，在顯示當(dāng)前幀例如幀N的圖像數(shù)據(jù)之前，需要產(chǎn)生相應(yīng)于空存儲(chǔ)單元例如48的HD像素的像素?cái)?shù)據(jù)。
因此，在步驟S23，如果所考慮存儲(chǔ)單元被相關(guān)的寫標(biāo)記指出是空的，像素產(chǎn)生器43i就產(chǎn)生圖像數(shù)據(jù)。這種圖像數(shù)據(jù)可以用各種方法來產(chǎn)生，例如可通過在鄰近像素之間進(jìn)行內(nèi)插，或者利用更復(fù)雜的預(yù)測技術(shù)，如以下將說明的分類和自適應(yīng)處理方法。在任何情況下，一旦產(chǎn)生了所考慮像素的圖像數(shù)據(jù)(或在該圖像數(shù)據(jù)已存儲(chǔ)在存儲(chǔ)器15i內(nèi)時(shí)直接將其讀出)，就在步驟S24中從對象產(chǎn)生器41i輸出該像素的圖像數(shù)據(jù)并將其提供給組合器24。如果在步驟S25已確認(rèn)所考慮的高分辨率幀的全部圖像數(shù)據(jù)已被讀出，則該幀的讀處理就結(jié)束。否則，例行程序就返回步驟S21，從下一個(gè)存儲(chǔ)單元讀出數(shù)據(jù)，如果有必要，就再次產(chǎn)生像素?cái)?shù)據(jù)。
圖17表示利用內(nèi)插或預(yù)測技術(shù)產(chǎn)生相應(yīng)于空存儲(chǔ)單元的像素的圖像數(shù)據(jù)的處理步驟S23的簡化流程圖。在步驟S31，根據(jù)寫標(biāo)記判斷所考慮像素的哪些鄰近像素包含了在存儲(chǔ)器15i內(nèi)的被存儲(chǔ)像素?cái)?shù)據(jù)。然后在步驟S32中，從相應(yīng)于這些鄰近像素的存取區(qū)域15ai內(nèi)的存儲(chǔ)單元中讀出數(shù)據(jù)。最后在步驟S33中根據(jù)這些鄰近像素?cái)?shù)據(jù)產(chǎn)生所考慮像素的像素?cái)?shù)據(jù)。
利用自適應(yīng)方法產(chǎn)生像素?cái)?shù)據(jù)如果分辨率產(chǎn)生存儲(chǔ)器15i內(nèi)的高分辨率幀如上所述具有空的存儲(chǔ)單元，則產(chǎn)生這些空存儲(chǔ)單元的像素?cái)?shù)據(jù)的簡單內(nèi)插技術(shù)就可能不足以再現(xiàn)原始圖像的高頻分量。本申請人已提出了把SD圖像變換成為包含SD圖像所不包含的高頻分量的HD圖像的圖像變換器裝置。參看1996年5月14日授權(quán)的名稱為“數(shù)字?jǐn)?shù)據(jù)變換裝置及其方法”的美國專利5517588號(hào)。因此，像素產(chǎn)生器43i可以應(yīng)用同樣或類似的自適應(yīng)方法來產(chǎn)生空存儲(chǔ)單元的像素?cái)?shù)據(jù)。即自適應(yīng)方法可用來產(chǎn)生除通過假設(shè)在相應(yīng)于被檢測圖像運(yùn)動(dòng)的存儲(chǔ)單元處的像素產(chǎn)生的那些像素外的“填充”像素。現(xiàn)在將描述實(shí)現(xiàn)這種像素產(chǎn)生的例示性自適應(yīng)方法。
自適應(yīng)方法根據(jù)SD圖像和預(yù)定的估算系數(shù)之間的線性關(guān)系來確定HD圖像的像素的預(yù)測值。例如，組成HD圖像的HD像素的像素值y的預(yù)測值E[y]可通過利用線性組合模型來確定。該模型由SD像素的像素值(以后稱為學(xué)習(xí)數(shù)據(jù))X1，X2，......和預(yù)定預(yù)測系數(shù)W1，W2，......的線性組合來確定，在這種情況下，預(yù)測值E[y]可表示如下E[y]＝w1x1+w2x2+…(3)為了把以上所述一般化，假設(shè)矩陣Y’由一組預(yù)測值E[y]組成，y＝y(tǒng)1至yn。即矩陣Y′被定義為矩陣W(它是一組預(yù)測系數(shù)w)和矩陣X(它是一組學(xué)習(xí)數(shù)據(jù))的乘積。于是可得到如下的待解方程XW＝Y(jié)′ (4)其中X=x11x12...x1nx21x22...x2n............xm1xm2...xmn]]>W=w1w2...wn,Y′=E[y1]E[y2]...E[yn]]]>確定接近HD像素值y的預(yù)測值E[y]的一種方法把最小二乘法應(yīng)用于待解方程(4)。在這種情況下，矩陣Y′被認(rèn)為是矩陣Y和矩陣E之和，其中矩陣Y由一組實(shí)HD像素值(將被用作訓(xùn)練數(shù)據(jù))組成，矩陣E由預(yù)測值E[y]的一組余數(shù)“e”組成，于是可根據(jù)方程(4)導(dǎo)出以下余數(shù)方程XW＝Y(jié)+E其中E=e1e2...em,Y=y1y2...yn---(5)]]>平方根誤差被定義為余數(shù)的平方之和，即Σi=1mei2---(6)]]>因此，通過使表達(dá)式(6)的平方根誤差最小就能夠確定用來獲得接近HD像素值的預(yù)測值E[y]的預(yù)測系數(shù)wi。
當(dāng)求平方根誤差對預(yù)測系數(shù)wi的微分時(shí)，如果結(jié)果是0，則滿足以下公式(7)的wi的值就是用來確定接近HD像素值的預(yù)測值E[y]的最佳值e1∂e1∂wi+e2∂e2∂wi+···+em∂em∂wi=0(i=1,2,...,n)---(7)]]>當(dāng)求表達(dá)式(6)對預(yù)測系數(shù)wi的微分時(shí)，就得到以下公式(8)∂ei∂w1=xi1,∂ei∂w2=xi2,···,∂ei∂wn=xin(i=1,2,...,m)---(8)]]>根據(jù)公式(7)和(8)，導(dǎo)出有以下公式(9)Σi=1meixi1=0,Σi=1meixi2=0,···,Σi=1meixin=0---(9)]]>當(dāng)考慮學(xué)習(xí)數(shù)據(jù)x、預(yù)測系數(shù)w、訓(xùn)練數(shù)據(jù)y和余數(shù)e之間的關(guān)系時(shí)，可得到以下一組預(yù)測方程(10)(Σi=1mxi1xi1)w1+(Σi=1mxi1xi2)w2+···+(Σi=1mxi1xin)wn=(Σi=1mxi1yi)]]>(Σi=1mxi2xi1)w1+(Σi=1mxi2xi2)w2+···+(Σi=1mxi2xin)wn=(Σi=1mxi2yi)]]>(Σi=1mxinxi1)w1+(Σi=1mxinxi2)w2+···+(Σi=1mxinxin)wn=(Σi=1mxinyi)---(10)]]>方程組(10)中的方程的個(gè)數(shù)相應(yīng)于預(yù)測系數(shù)w的個(gè)數(shù)。用普通技術(shù)、例如高斯-約旦消去法解方程(10)可得到最佳預(yù)測系數(shù)w。注意，為了使方程(10)可解，由預(yù)測系數(shù)w組成的矩陣應(yīng)當(dāng)是正則矩陣。
因此，利用上述自適應(yīng)方法，就可得到最佳預(yù)測系數(shù)w，這些系數(shù)w可用來獲得接近HD像素值(即接近如果原來電視接收機(jī)接收的是HD信號(hào)而不是SD信號(hào)而存在的HD像素值)的最佳預(yù)測值E[y]。自適應(yīng)方法與內(nèi)插方法不同之處在于原始圖像的高頻分量(SD圖像中不包括，但HD圖像中包括)可被恢復(fù)。如果僅就方程(1)而言，自適應(yīng)方法類似于采用內(nèi)插濾波器的內(nèi)插方法。但是，對于自適應(yīng)方法，通過利用訓(xùn)練數(shù)據(jù)進(jìn)行學(xué)習(xí)就能夠獲得相應(yīng)于內(nèi)插濾波器的抽頭系數(shù)的預(yù)測系數(shù)。因此，可恢復(fù)HD圖像所包含的高頻分量，以便容易地獲得高分辨率圖像。
現(xiàn)在參看圖18，示出了把SD圖像變換成為HD圖像的圖像變換器裝置200的方框圖。如果需要，即每當(dāng)分辨率產(chǎn)生存儲(chǔ)器內(nèi)的HD像素存儲(chǔ)單元是空的時(shí)，就可把該裝置200用作像素產(chǎn)生器43i的一部分來產(chǎn)生HD像素?cái)?shù)據(jù)。輸入SD圖像信號(hào)提供給自適應(yīng)處理器204和分類電路201，后者由分類抽頭產(chǎn)生器202和分類確定電路203組成。在分類電路201中，其預(yù)測值要在自適應(yīng)處理中被確定的HD像素(以后稱為標(biāo)記像素)根據(jù)與該標(biāo)記像素接近的、具有預(yù)定位置關(guān)系的一組SD像素的特性被分成預(yù)定的類別。與標(biāo)記HD像素相關(guān)的該組SD像素的像素值稱為該標(biāo)記像素的分類抽頭。
在分類抽頭產(chǎn)生器202內(nèi)提取基于輸入SD圖像的分類抽頭，并將它們提供給分類確定電路203，分類確定電路203檢測形成每一標(biāo)記像素的分類抽頭的那組SD像素的模式。該模式基于該像素組中每一個(gè)像素的特性，它是像素值的函數(shù)。例如，一種模式可以相應(yīng)于像素的均勻性，第二種模式可以相應(yīng)于沿右上方向增大的像素值，第三種模式可以相應(yīng)于沿左下方向增大的像素值，等等。然后，把預(yù)先分配給被檢測模式的值提供給自適應(yīng)處理器204，作為標(biāo)記像素的分類表示。
圖19表示分類抽頭與相關(guān)HD像素的位置關(guān)系。假設(shè)HD圖像由用x表示的像素組成，相應(yīng)的SD圖像由用O表示的像素組成。于是示出的SD圖像包含作為HD圖像的四分之一的像素?cái)?shù)目。HD列的中點(diǎn)之間和HD行的中點(diǎn)之間的間距是SD列和行的間距的一半。在圖19中，左起位置(i+1)(SD列(i+1))和頂部起位置(j+1)(SD行(j+1))處的SD像素被表示為Xij。同樣地，HD列(i′+1)和HD行(j′+1)位置處的HD像素被表示為Yi′j′。因此，例如SD像素Xij和HD像素Y(2i)(2j)的位置是一樣的。(在此要注意，“分類抽頭”和“預(yù)測抽頭”實(shí)際上是特定像素的圖像數(shù)據(jù)值。但是，為描述簡明起見，將把“抽頭”描述為像素本身，反之亦然)。
為了說明分類抽頭是如何被確定的，假設(shè)標(biāo)記像素是HD像素Y44，該像素的位置與SD像素X22的位置相同。該標(biāo)記像素的分類抽頭是在以標(biāo)記HD像素Y44為中心的3×3SD像素矩形內(nèi)的最接近的9個(gè)SD像素。因此，在圖19中，分類抽頭就是在由邊界Tc限定的區(qū)域內(nèi)的SD像素，即SD像素X11，X21，X31，X12，X22，X32，X13，X23，X33。分類抽頭產(chǎn)生器202提取這些SD像素的像素值作為標(biāo)記像素的分類抽頭。在標(biāo)記像素鄰近于與SD像素重合的HD像素的情況下，可以確定與重合HD像素的分類抽頭相同的分類抽頭。例如，如果標(biāo)記像素是Y54、Y55、Y45等，則這些HD像素的任一個(gè)的分類抽頭可以與“重合”HD像素Y44的分類抽頭相同。還可以為非重合像素，例如Y54、Y55或Y45形成不同的分類抽頭。
在分類電路203中，檢測標(biāo)記像素的分類抽頭的模式(哪些分類抽頭由分類抽頭產(chǎn)生器202提供)。換句話說，檢測靠近標(biāo)記像素的9個(gè)SD像素的諸如均勻性這樣的模式，以確定給標(biāo)記像素什么分類。然后輸出相應(yīng)于被檢測模式的模式值作為標(biāo)記像素的分類，并將其提供給在自適應(yīng)處理器204內(nèi)的系數(shù)只讀存儲(chǔ)器(ROM)的地址端(AD)。
一般來說，把8個(gè)位分配給構(gòu)成圖像的像素。例如假設(shè)把8個(gè)位分配給一SD像素，如果象在圖19的例子中那樣用9個(gè)SD像素作為分類抽頭，則每個(gè)分類抽頭的可能像素值的個(gè)數(shù)就高達(dá)(28)9。于是不能夠高速地執(zhí)行模式檢測處理操作。
因此，在進(jìn)行分類之前，需要減少分配給分類抽頭的SD像素的位數(shù)。例如，可以采用自適應(yīng)動(dòng)態(tài)量程編碼(ADRC)來實(shí)現(xiàn)這種位縮小。作為ADRC處理的第一個(gè)步驟，檢測組成處理塊的9個(gè)SD像素中具有最大像素值的像素(以后稱為最大像素)和在該處理塊中具有最小像素值的像素(以下稱為最小像素)。然后計(jì)算最大像素的像素值MAX和最小像素的像素值MIN的差DR。把該值DR指定作為處理塊的局部動(dòng)態(tài)基準(zhǔn)值，然后以比通常分配的位數(shù)少的每一像素的位數(shù)K對組成處理塊的各個(gè)像素值再進(jìn)行量化。換句話說，從組成處理塊的各個(gè)像素值中減去最小像素的像素值MIN，然后用DR/2K除各個(gè)減法結(jié)果。這樣一來就能夠用K個(gè)位來表示組成處理塊的各個(gè)像素值。因此，例如當(dāng)K＝1時(shí)，9個(gè)SD像素的最大模式數(shù)是(21)9。所以與當(dāng)沒有采用ADRC處理時(shí)相比，顯著減少了模式的最大數(shù)目。
繼續(xù)參看圖18，在包括預(yù)測抽頭產(chǎn)生器205、預(yù)測值計(jì)算器206和預(yù)測系數(shù)ROM 207的自適應(yīng)處理器204內(nèi)執(zhí)行自適應(yīng)處理。在預(yù)測抽頭產(chǎn)生器205內(nèi)提取具有與標(biāo)記像素預(yù)定位置關(guān)系的SD像素的個(gè)數(shù)數(shù)據(jù)。這些被提取像素作為預(yù)測抽頭x1、x2、......提供給預(yù)測值計(jì)算器206，預(yù)測值計(jì)算器206根據(jù)預(yù)測系數(shù)和預(yù)測抽頭確定HD像素的預(yù)測值。
預(yù)測抽頭相應(yīng)于具有與標(biāo)記HD像素的高度位置相關(guān)性的那些像素。例如，如果標(biāo)記像素是圖19所示的像素Y44，并如上所述地形成邊界Tc內(nèi)的分類抽頭，則預(yù)測抽頭產(chǎn)生器205就可以把預(yù)測抽頭確定為落在由邊界Tp封閉的區(qū)域內(nèi)的5×5SD像素塊，即SD像素X00至X44。如果標(biāo)記像素是鄰近Y44的像素，例如像素Y54、Y45或Y55，則產(chǎn)生與像素Y44的預(yù)測抽頭相同的預(yù)測抽頭，即相應(yīng)于像素X00至X44。但是，當(dāng)非重合像素，例如Y45、Y54或Y55是標(biāo)記像素時(shí)，就可以確定不同的預(yù)測抽頭。
預(yù)測系數(shù)ROM207存儲(chǔ)預(yù)測系數(shù)，這些預(yù)測系數(shù)是利用根據(jù)分類預(yù)先進(jìn)行的學(xué)習(xí)來確定的。當(dāng)ROM207接收分類電路203提供的分類時(shí)，ROM207就讀出存儲(chǔ)在相應(yīng)于所提供分類的地址上的預(yù)測系數(shù)，并將該(這些)預(yù)測系數(shù)提供給預(yù)測值計(jì)算器206。
因此，相應(yīng)于標(biāo)記像素的預(yù)測抽頭和與標(biāo)記像素的分類有關(guān)的(一些)預(yù)測系數(shù)都被提供給計(jì)算器206。在計(jì)算器206內(nèi)，利用接收自ROM207的預(yù)測系數(shù)w1、w2、......和構(gòu)成來自預(yù)測抽頭產(chǎn)生器205的預(yù)測抽頭的SD像素?cái)?shù)據(jù)x1、x2、......執(zhí)行與上述公式(3)一致的操作。于是就確定了標(biāo)記像素y的預(yù)測值E[y]，并將其作為HD像素的像素值進(jìn)行輸出。把每一HD像素指定作為標(biāo)記像素來重復(fù)以上處理，當(dāng)如此指定了所有HD像素并根據(jù)這些HD像素產(chǎn)生了預(yù)測值時(shí)，一完整的SD圖像就被變換為HD圖像。
現(xiàn)在參看圖20，示出了執(zhí)行計(jì)算要被存儲(chǔ)在圖18的ROM207內(nèi)的預(yù)測系數(shù)的學(xué)習(xí)處理的學(xué)習(xí)裝置210的方框圖。將作為學(xué)習(xí)處理的訓(xùn)練數(shù)據(jù)的HD圖像數(shù)據(jù)被提供給稀化電路211和訓(xùn)練數(shù)據(jù)取樣電路146。在稀化電路211中，通過稀化減少HD圖像的像素?cái)?shù)目，使得HD圖像被變換成為SD圖像。沿水平和垂直方向把HD圖像像素的數(shù)目減少一半，由此產(chǎn)生SD圖像。SD圖像被提供給分類電路212和預(yù)測抽頭產(chǎn)生器145。注意，代替根據(jù)HD圖像產(chǎn)生SD圖像，可以相應(yīng)于HD攝象機(jī)的HD圖像從SD攝象機(jī)把SD圖像直接提供給分類電路212。
在分類電路212或預(yù)測抽頭產(chǎn)生器145中，執(zhí)行與在圖18的分類電路201或預(yù)測抽頭產(chǎn)生器205中執(zhí)行的處理相同的處理，由此分別輸出標(biāo)記像素的分類或預(yù)測抽頭。分類電路212輸出的分類提供給預(yù)測抽頭存儲(chǔ)器147和訓(xùn)練數(shù)據(jù)存儲(chǔ)器148的地址端(AD)。預(yù)測抽頭產(chǎn)生器145輸出的預(yù)測抽頭提供給預(yù)測抽頭存儲(chǔ)器147，這些抽頭被存儲(chǔ)在其中相應(yīng)于分類電路212提供的分類的地址處。
訓(xùn)練數(shù)據(jù)取樣電路146從提供給它的HD圖像中提取將作為分類電路212和預(yù)測抽頭產(chǎn)生電路145中的標(biāo)記像素的HD像素。被提取的抽頭作為訓(xùn)練數(shù)據(jù)與計(jì)算的分類一道存儲(chǔ)在訓(xùn)練數(shù)據(jù)存儲(chǔ)器148的共同地址單元中。對于輸入給裝置210的HD圖像的所有HD像素重復(fù)上述處理以達(dá)到學(xué)習(xí)的目的。由于預(yù)測抽頭存儲(chǔ)器147和訓(xùn)練數(shù)據(jù)存儲(chǔ)器148均設(shè)計(jì)成能夠在相同的地址單元中存儲(chǔ)多種信息，所以能夠在基本上相同的地址單元中存儲(chǔ)被分類為相同分類的多個(gè)學(xué)習(xí)數(shù)據(jù)x和訓(xùn)練數(shù)據(jù)y。
計(jì)算器149然后從預(yù)測抽頭存儲(chǔ)器147或訓(xùn)練數(shù)據(jù)存儲(chǔ)器148中分別讀出存儲(chǔ)在相同地址單元中的作為學(xué)習(xí)數(shù)據(jù)的預(yù)測抽頭或作為訓(xùn)練數(shù)據(jù)的HD像素?cái)?shù)據(jù)。在這些數(shù)據(jù)的基礎(chǔ)上，計(jì)算器149例如利用使預(yù)測值和訓(xùn)練數(shù)據(jù)之間的誤差最小的最小二乘法計(jì)算預(yù)測系數(shù)。換句話說，在計(jì)算器149中，用分類來形成上述預(yù)測方程(10)，解這些方程來得到預(yù)測系數(shù)。這些預(yù)測系數(shù)然后被存儲(chǔ)在相應(yīng)于圖18的系數(shù)ROM207中的分類的地址單元中。注意，即使預(yù)測抽頭相同，也對每一個(gè)“非重合”HD像素、例如圖19中的像素Y45、Y54或Y55和對于每一個(gè)“重合”像素Y44，解獨(dú)立方程(10)。
在圖19的例子中，對于每一個(gè)標(biāo)記HD像素，形成了9個(gè)分類抽頭和25個(gè)預(yù)測抽頭，并相應(yīng)地執(zhí)行分類和自適應(yīng)處理(以后稱為分類自適應(yīng)處理)。但是，對于接近圖像區(qū)域邊緣的標(biāo)記HD像素，9個(gè)分類抽頭和25個(gè)預(yù)測抽頭的假設(shè)就不再有效。因此，對于這些HD像素，就需要產(chǎn)生不同數(shù)目的分類和預(yù)測抽頭，并按照類似于上述的方式計(jì)算預(yù)測系數(shù)來適應(yīng)這種特殊情況。
于是，當(dāng)沒有根據(jù)相關(guān)的運(yùn)動(dòng)矢量產(chǎn)生HD像素時(shí)，就用上述分類自適應(yīng)處理來實(shí)現(xiàn)在分辨率產(chǎn)生存儲(chǔ)器15i內(nèi)的像素產(chǎn)生。例如，在出現(xiàn)場景變化之后，將需要根據(jù)幾幀的運(yùn)動(dòng)來僅依賴于運(yùn)動(dòng)從SD圖像產(chǎn)生HD圖像。因此，在出現(xiàn)場景變化之后的初始幀中，可以經(jīng)常地應(yīng)用分類自適應(yīng)處理。
根據(jù)運(yùn)動(dòng)矢量寫入數(shù)據(jù)如以上對于圖4的實(shí)施例所提到的，為了在相應(yīng)于圖像運(yùn)動(dòng)的位置處實(shí)際產(chǎn)生像素，可以把每一運(yùn)動(dòng)矢量舍入成為相應(yīng)于鄰近高分辨率像素的中點(diǎn)之間間距的距離。因此，例如對于根據(jù)SD像素?cái)?shù)據(jù)產(chǎn)生HD像素?cái)?shù)據(jù)的實(shí)施例，如果任何給定幀的運(yùn)動(dòng)矢量相應(yīng)于沿垂直(或水平)方向在0.5和1.5HD像素間距之間的運(yùn)動(dòng)，就可以把該運(yùn)動(dòng)矢量舍入成為沿垂直(或水平)方向的1HD像素間距，并相應(yīng)地移動(dòng)地址指針來把新的SD數(shù)據(jù)寫入存儲(chǔ)器。或者只有當(dāng)運(yùn)動(dòng)矢量約等于或在HD像素間距的整數(shù)倍(即SD像素間距一半的整數(shù)倍)的預(yù)定范圍內(nèi)時(shí)，才能夠移動(dòng)地址指針。在這種情況下，地址指針在多種狀況下將不發(fā)生變化，在分辨率產(chǎn)生存儲(chǔ)器15i中更經(jīng)常地獲得用于HD像素?cái)?shù)據(jù)的空地址。于是可利用內(nèi)插或分類自適應(yīng)處理來填充這些空地址。
舍入運(yùn)動(dòng)矢量來由此產(chǎn)生高分辨率像素?cái)?shù)據(jù)的另一種方法是，在分辨率產(chǎn)生存儲(chǔ)器15或15i內(nèi)產(chǎn)生更高分辨率的存儲(chǔ)陣列(擴(kuò)大的存取區(qū)域)，以便減小運(yùn)動(dòng)矢量的舍入誤差。一旦產(chǎn)生了更高分辨率幀，就能夠通過跳過某些數(shù)據(jù)、例如通過隔行和隔列跳過地讀出像素?cái)?shù)據(jù)來產(chǎn)生高分辨率圖像，但沒有利用如實(shí)際上可實(shí)現(xiàn)的那么高的分辨率。
為了說明后一種方法，可以對把SD圖像變換為HD圖像的上述分辨率變換器34進(jìn)行改進(jìn)，使其采用沿水平和垂直方向具有4倍于SD圖像的像素存儲(chǔ)單元、即像素密度是SD圖像的16倍的分辨率變換存儲(chǔ)器15i′。這一方法如圖21所示，在該存儲(chǔ)器15i′中設(shè)有P′H＞＝4PH列，P′V＞＝4PV行，PH和PV分別是SD幀的水平和垂直方向的像素?cái)?shù)目。存取區(qū)域15ai具有4PH×4PV個(gè)像素。相對地址指針RP按照與上述方式基本相同的方式控制在存儲(chǔ)器15i的更大存儲(chǔ)區(qū)域內(nèi)的存取區(qū)域15ai的準(zhǔn)確存儲(chǔ)單元。
在根據(jù)運(yùn)動(dòng)矢量移動(dòng)相對地址指針之后，沿水平和垂直方向每第4個(gè)位置地在存取區(qū)域15a′i內(nèi)寫入SD像素。在確定相對地址指針之前把運(yùn)動(dòng)矢量舍入成為相應(yīng)于SD像素間距的四分之一的整數(shù)。但是，即使在這種情況下，如果SD圖像的運(yùn)動(dòng)矢量x和y分量顯著地偏離SD像素間距的四分之一的整數(shù)倍，也可以不把附加SD像素?cái)?shù)據(jù)寫入存儲(chǔ)器。例如，如果確認(rèn)運(yùn)動(dòng)矢量小于SD像素間距的八分之一，就可以形成與先前高分辨率幀相同的新的高分辨率幀，不寫入新的SD像素?cái)?shù)據(jù)。
圖22-24進(jìn)一步說明擴(kuò)大的存取區(qū)域的方法。圖22表示像素PSD的SD像素排列的一部分。假設(shè)對象OBN-4由幀(N-4)的像素組成。對象的位置從一幀到另一幀地移動(dòng)，直到其到達(dá)幀N的目標(biāo)OBN的位置為止。如剛才所說明的那樣在被擴(kuò)大成4PH×4PV區(qū)域的存取區(qū)域內(nèi)寫入構(gòu)成圖像的像素。在圖23的存取區(qū)域15ai′內(nèi)示出存儲(chǔ)狀態(tài)，用不同的陰影表示不同幀的像素。圖23中還示出了相應(yīng)于幀間運(yùn)動(dòng)的運(yùn)動(dòng)矢量。圖24是圖23的存儲(chǔ)器存儲(chǔ)單元或單元MC的放大圖示。在從幀(N-4)至幀N的4幀的運(yùn)動(dòng)之后，許多存儲(chǔ)單元仍然是空的。它們可利用內(nèi)插、分類自適應(yīng)處理等來填充。另一種做法是簡單地把最接近的存儲(chǔ)單元的相同像素值插入空存儲(chǔ)單元來填充空的存儲(chǔ)單元。
圖23和24中的虛線表示隔行和隔列的像素?cái)?shù)據(jù)。為了從存取區(qū)域15ai′中讀出HD像素?cái)?shù)據(jù)，每隔一行和每隔一列地讀出數(shù)據(jù)、即從沿虛線的存儲(chǔ)單元中讀出數(shù)據(jù)就足夠了。這一方法產(chǎn)生的分辨率將高于采用只具有2PH×2PV的存儲(chǔ)單元陣列的存取區(qū)域所能夠?qū)崿F(xiàn)的分辨率。
現(xiàn)在參看表示分辨率變換器34的另一實(shí)施例34′的圖27。本實(shí)施例類似于圖12的實(shí)施例，但它專為每一幀的整個(gè)圖像從一幀至另一幀地一起移動(dòng)相同運(yùn)動(dòng)量的情形而設(shè)計(jì)。即，分辨率變換器在功能上類似于圖4的失真校正器4a。因此，用不帶有開關(guān)22或緩沖存儲(chǔ)器23的一個(gè)高分辨率圖像產(chǎn)生器41代替高分辨率對象產(chǎn)生器411-41M，省略了區(qū)域分割器21和組合器24。其它方面與上述圖12實(shí)施例的相同。
在采用分辨率產(chǎn)生存儲(chǔ)器15或15i的本發(fā)明的上述實(shí)施例的每一個(gè)中，當(dāng)已在該分辨率產(chǎn)生存儲(chǔ)器中產(chǎn)生了先前高分辨率幀數(shù)據(jù)時(shí)，則通過根據(jù)運(yùn)動(dòng)矢量移動(dòng)地址指針并重寫某些先前數(shù)據(jù)就完成了下一幀、即當(dāng)前幀存儲(chǔ)器11A的數(shù)據(jù)的存儲(chǔ)。另一種做法可以是存儲(chǔ)先前幀的運(yùn)動(dòng)矢量并將其與當(dāng)前幀的運(yùn)動(dòng)矢量作比較，以便確定哪一個(gè)運(yùn)動(dòng)矢量具有最接近相應(yīng)于一個(gè)高分辨率像素間距的距離的x和y分量，并相應(yīng)地存儲(chǔ)該數(shù)據(jù)。換句話說，選擇與具有最小舍入誤差的運(yùn)動(dòng)矢量相關(guān)的數(shù)據(jù)來存儲(chǔ)。對于圖23的存儲(chǔ)器，這將意味著選擇與最接近SD像素間距的四分之一的整數(shù)倍的運(yùn)動(dòng)矢量相關(guān)的數(shù)據(jù)。
雖然參看其最佳實(shí)施例對本發(fā)明進(jìn)行了描述，但本領(lǐng)域的普通技術(shù)人員都懂得不違背本發(fā)明的精神和不超出其范圍可以對描述的各實(shí)施例作出各種變更和改進(jìn)。例如，雖然描述的實(shí)施例用來減小混疊失真和選擇性地產(chǎn)生高分辨率圖像，但本發(fā)明也可用來放大圖像。此外，雖然對在幀間的基礎(chǔ)上處理數(shù)據(jù)進(jìn)行了描述，但也可以對幀的一部分、例如以場為單位來進(jìn)行處理。還有，可以在CRT以外的其它顯示器、例如液晶顯示器上顯示圖像。再有，接收的圖像信號(hào)可以是數(shù)字圖像信號(hào)。在這種情況下，可以省略(例如圖1或圖11的)A/D變換器。本發(fā)明還可以用來把隔行掃描圖像變換為逐行掃描圖像。因此，這些和其它變更和改進(jìn)應(yīng)被包括在由所附權(quán)利要求書所限定的本發(fā)明的范圍之內(nèi)。
權(quán)利要求
1.把第一圖像信號(hào)變換為第二圖像信號(hào)的圖像信號(hào)變換裝置，所述第一和第二圖像信號(hào)由多幅不同幀的圖像組成；所述裝置包括運(yùn)動(dòng)檢測器，檢測第一圖像信號(hào)第一幀和第二幀之間的運(yùn)動(dòng)；以及處理電路，根據(jù)在相應(yīng)于被檢測運(yùn)動(dòng)的位置處的像素的假設(shè)產(chǎn)生第二圖像信號(hào)。
2.權(quán)利要求1的裝置，其中的第二圖像信號(hào)的分辨率高于第一圖像信號(hào)的分辨率。
3.權(quán)利要求1的裝置，其中的第二圖像信號(hào)的像素?cái)?shù)據(jù)的像素?cái)?shù)目大于第一圖像信號(hào)的像素?cái)?shù)據(jù)的像素?cái)?shù)目。
4.權(quán)利要求3的裝置，其中的所述處理電路產(chǎn)生的第二圖像信號(hào)的像素?cái)?shù)據(jù)的像素?cái)?shù)目在沿垂直于第一圖像信號(hào)的掃描行的方向上大于第一圖像信號(hào)的像素?cái)?shù)據(jù)的像素?cái)?shù)目。
5.權(quán)利要求1的裝置，其中所述第一和第二幀是相鄰幀。
6.權(quán)利要求1的裝置，其中所述多幅不同幀的圖像的每一幅包括整個(gè)幀的圖像。
7.權(quán)利要求1的裝置，其中所述多幅不同幀的圖像的每一幅包括各個(gè)幀的一部分的圖像。
8.權(quán)利要求1的裝置，還包括濾除所述第二圖像信號(hào)的高頻分量的低通濾波器。
9.權(quán)利要求1的裝置，其中所述運(yùn)動(dòng)檢測器對所述第一圖像信號(hào)的小于其像素尺寸的運(yùn)動(dòng)量進(jìn)行檢測，所述處理電路包括分辨率產(chǎn)生存儲(chǔ)器，存儲(chǔ)第一圖像信號(hào)的圖像，其存儲(chǔ)容量大于第一圖像信號(hào)的一幅圖像內(nèi)的數(shù)據(jù)量，控制器，控制在所述分辨率產(chǎn)生存儲(chǔ)器中寫入第一圖像信號(hào)和從所述存儲(chǔ)器中讀出質(zhì)量高于所述第一圖像信號(hào)的新圖像信號(hào)的數(shù)據(jù)，并根據(jù)被檢測的第一圖像信號(hào)的運(yùn)動(dòng)把第一圖像信號(hào)數(shù)據(jù)寫入所述存儲(chǔ)器。
10.權(quán)利要求9的裝置，其中所述控制器控制把所述新圖像信號(hào)作為所述第二圖像信號(hào)進(jìn)行讀出。
11.權(quán)利要求9的裝置，還包括濾波所述新圖像信號(hào)的低通濾波器；以及一輸出單元，把所述被濾波新圖像信號(hào)變換成為像素?cái)?shù)目與第一圖像信號(hào)的一幅圖像的像素?cái)?shù)目相同的所述第二圖像信號(hào)，并輸出所述第二圖像信號(hào)，所述第二圖像信號(hào)的混疊失真小于所述第一圖像信號(hào)的混疊失真。
12.權(quán)利要求9的裝置，還包括場景變化檢測器，檢測所述第一圖像信號(hào)的場景變化并根據(jù)場景變化產(chǎn)生場景變化信號(hào)，所述控制器響應(yīng)所述場景變化信號(hào)，把所述存儲(chǔ)器的存儲(chǔ)單元內(nèi)的值重置為預(yù)定值。
13.權(quán)利要求9的裝置，在該裝置中所述第一圖像信號(hào)的所述第一幀的數(shù)據(jù)被存儲(chǔ)在所述分辨率產(chǎn)生存儲(chǔ)器的第一存儲(chǔ)單元內(nèi)；所述第一圖像信號(hào)的所述第二幀的數(shù)據(jù)被存儲(chǔ)在所述存儲(chǔ)器的第二存儲(chǔ)單元內(nèi)，第二存儲(chǔ)單元相對于所述第一存儲(chǔ)單元移位了相應(yīng)于所述第一圖像信號(hào)在所述第一和第二幀之間的運(yùn)動(dòng)的量，由此產(chǎn)生包含所述第一幀數(shù)據(jù)和所述第二幀數(shù)據(jù)的更高質(zhì)量幀數(shù)據(jù)。
14.權(quán)利要求13的裝置，在該裝置中所述第一幀數(shù)據(jù)被存儲(chǔ)在所述分辨率產(chǎn)生存儲(chǔ)器的第一存取區(qū)域內(nèi)；所述第二幀數(shù)據(jù)被存儲(chǔ)在與所述第一存取區(qū)域相同大小的第二存取區(qū)域內(nèi)，所有所述第一幀數(shù)據(jù)不被刪除，根據(jù)所述被檢測運(yùn)動(dòng)相對于所述第一存取區(qū)域移位所述第二存取區(qū)域；和所述控制器把確定所述第一和第二存取區(qū)域的位置的相對地址指針提供給所述存儲(chǔ)器。
15.權(quán)利要求9的裝置，其中所述處理電路包括檢測器，檢測在所述存儲(chǔ)器內(nèi)的沒有存儲(chǔ)第一圖像信號(hào)的數(shù)據(jù)的空位置；以及像素產(chǎn)生器，在這些空位置處產(chǎn)生像素。
16.權(quán)利要求15的裝置，其中所述檢測器包括存儲(chǔ)標(biāo)記的標(biāo)記存儲(chǔ)器，這些標(biāo)記指出所述分辨率產(chǎn)生存儲(chǔ)器的哪些存儲(chǔ)單元包含被存儲(chǔ)的所述第一圖像信號(hào)的圖像數(shù)據(jù)。
17.權(quán)利要求15的裝置，其中所述像素產(chǎn)生器通過在所述空存儲(chǔ)單元的鄰近存儲(chǔ)單元中的已存儲(chǔ)像素?cái)?shù)據(jù)之間進(jìn)行內(nèi)插來確定在相應(yīng)于所述空存儲(chǔ)單元的位置處的像素的圖像值。
18.權(quán)利要求15的裝置，其中所述像素產(chǎn)生器包括確定器，檢測第一圖像信號(hào)的特性和確定相應(yīng)于被檢測特性的分類；預(yù)測數(shù)據(jù)存儲(chǔ)器，存儲(chǔ)每種分類的預(yù)測數(shù)據(jù)；以及根據(jù)相應(yīng)于被確定分類從預(yù)測數(shù)據(jù)存儲(chǔ)器中讀出的預(yù)測數(shù)據(jù)，產(chǎn)生空存儲(chǔ)單元的像素?cái)?shù)據(jù)的電路。
19.權(quán)利要求18的裝置，在該裝置中，至少利用分辨率高于第一信號(hào)的學(xué)習(xí)圖像信號(hào)通過學(xué)習(xí)來產(chǎn)生每種分類的預(yù)測數(shù)據(jù)。
20.把第一圖像信號(hào)變換為第二圖像信號(hào)的圖像信號(hào)變換裝置，所述第一和第二圖像信號(hào)各由多幅不同幀的圖像組成，所述裝置包括運(yùn)動(dòng)檢測器，檢測在每一幀的至少第一和第二區(qū)域內(nèi)第一圖像信號(hào)在第一幀和第二幀之間的運(yùn)動(dòng)；區(qū)域分割器，至少根據(jù)被檢測運(yùn)動(dòng)至少確定第一圖像信號(hào)的圖像的第一和第二圖像區(qū)域；處理電路，根據(jù)在相應(yīng)于第一和第二圖像區(qū)域中的被檢測運(yùn)動(dòng)的位置處的像素的假設(shè)產(chǎn)生第二圖像信號(hào)的第一和第二圖像區(qū)域；以及組合器，組合第二圖像信號(hào)的第一和第二圖像區(qū)域，產(chǎn)生復(fù)合圖像信號(hào)。
21.權(quán)利要求20的裝置，其中的第二圖像信號(hào)的分辨率高于第一圖像信號(hào)的分辨率。
22.權(quán)利要求20的裝置，其中的第二圖像信號(hào)的像素?cái)?shù)據(jù)的像素?cái)?shù)目大于第一圖像信號(hào)的像素?cái)?shù)據(jù)的像素?cái)?shù)目。
23.權(quán)利要求20的裝置，在該裝置中，產(chǎn)生的第二圖像信號(hào)的像素?cái)?shù)據(jù)的像素?cái)?shù)目在沿垂直于第一圖像信號(hào)的掃描行方向上多于第一圖像信號(hào)的像素?cái)?shù)據(jù)的像素?cái)?shù)目。
24.權(quán)利要求20的裝置，還包括濾波第二圖像信號(hào)的濾波器。
25.權(quán)利要求20的裝置，其中所述運(yùn)動(dòng)檢測器對所述第一圖像信號(hào)的小于其像素尺寸的運(yùn)動(dòng)量進(jìn)行檢測，所述處理電路包括分別對所述第一信號(hào)的所述第一和第二圖像區(qū)域進(jìn)行處理的第一和第二電路部分，各電路部分包括分辨率產(chǎn)生存儲(chǔ)器，存儲(chǔ)在第一圖像信號(hào)的各圖像區(qū)域內(nèi)的數(shù)據(jù)，其存儲(chǔ)容量大于第一圖像信號(hào)的一幅圖像的數(shù)據(jù)量；和控制器，控制在所述分辨率產(chǎn)生存儲(chǔ)器中寫入第一圖像信號(hào)和從所述存儲(chǔ)器中讀出質(zhì)量高于所述第一圖像信號(hào)的新圖像信號(hào)的數(shù)據(jù)，并根據(jù)在相關(guān)圖像區(qū)域內(nèi)的第一圖像信號(hào)的被檢測運(yùn)動(dòng)把第一圖像信號(hào)數(shù)據(jù)寫入所述存儲(chǔ)器。
26.權(quán)利要求25的裝置，還包括場景變化檢測器，檢測所述第一圖像信號(hào)的場景變化并根據(jù)場景變化產(chǎn)生場景變化信號(hào)，每一所述控制器響應(yīng)所述場景變化信號(hào)，把相關(guān)分辨率產(chǎn)生存儲(chǔ)器的存儲(chǔ)單元內(nèi)的值重置為預(yù)定值。
27.權(quán)利要求25的裝置，還包括濾波第二圖像信號(hào)的低通濾波器；以及一輸出單元，把所述被濾波第二信號(hào)變換成為像素?cái)?shù)目與第一圖像信號(hào)的一幅圖像的像素?cái)?shù)目相同的輸出圖像信號(hào)，并輸出所述第二圖像信號(hào)，所述輸出圖像信號(hào)的混疊失真小于所述第一圖像信號(hào)的混疊失真。
28.權(quán)利要求27的裝置，其中所述輸出單元包括存儲(chǔ)所述被濾波第二信號(hào)的幀存儲(chǔ)器，通過周期性地跳過數(shù)據(jù)行從所述幀存儲(chǔ)器讀出數(shù)據(jù)來產(chǎn)生質(zhì)量低于所述第二圖像信號(hào)的所述輸出信號(hào)。
29.權(quán)利要求25的裝置，其中所述處理電路的每一所述電路部分包括檢測器，檢測在相關(guān)分辨率產(chǎn)生存儲(chǔ)器中的沒有存儲(chǔ)第一圖像信號(hào)的數(shù)據(jù)的空位置；以及像素產(chǎn)生器，在空位置處產(chǎn)生像素?cái)?shù)據(jù)。
30.權(quán)利要求29的裝置，其中所述檢測器包括存儲(chǔ)標(biāo)記的標(biāo)記存儲(chǔ)器，這些標(biāo)記指出所述分辨率產(chǎn)生存儲(chǔ)器的哪些存儲(chǔ)單元包含被存儲(chǔ)的所述第一圖像信號(hào)的圖像數(shù)據(jù)。
31.權(quán)利要求29的裝置，其中所述像素產(chǎn)生器通過在所述空存儲(chǔ)單元的鄰近存儲(chǔ)單元中的已存儲(chǔ)像素?cái)?shù)據(jù)之間進(jìn)行內(nèi)插來確定在相應(yīng)于所述空存儲(chǔ)單元的位置處的像素的圖像值。
32.權(quán)利要求29的裝置，其中所述像素產(chǎn)生器包括確定器，檢測第一圖像信號(hào)的特性和確定相應(yīng)于被檢測特性的分類；預(yù)測數(shù)據(jù)存儲(chǔ)器，存儲(chǔ)每種分類的預(yù)測數(shù)據(jù)；以及根據(jù)相應(yīng)于被確定分類從預(yù)測數(shù)據(jù)存儲(chǔ)器中讀出的預(yù)測數(shù)據(jù)，產(chǎn)生空存儲(chǔ)單元的所述像素?cái)?shù)據(jù)的電路。
33.權(quán)利要求32的裝置，在該裝置中，至少利用分辨率高于第一信號(hào)的學(xué)習(xí)圖像信號(hào)通過學(xué)習(xí)來產(chǎn)生每種分類的預(yù)測數(shù)據(jù)。
34.權(quán)利要求1的裝置，其中所述第一圖像信號(hào)包括標(biāo)準(zhǔn)清晰度(SD)信號(hào)，而所述第二圖像信號(hào)包括在水平和垂直方向其分辨率都高于所述SD信號(hào)的高清晰度(HD)信號(hào)。
35.權(quán)利要求9的裝置，在該裝置中所述第一圖像信號(hào)代表標(biāo)準(zhǔn)清晰度(SD)圖像，而所述第二圖像信號(hào)代表在水平和垂直方向其分辨率都高于所述SD圖像的高清晰度(HD)圖像；和，在所述分辨率產(chǎn)生存儲(chǔ)器內(nèi)為產(chǎn)生的每幅高分辨率圖像確定存取區(qū)域，該區(qū)域存儲(chǔ)單元所存儲(chǔ)的在水平方向和在垂直方向的像素?cái)?shù)目是所述SD圖像信號(hào)的像素?cái)?shù)目的兩倍。
36.權(quán)利要求9的裝置，在該裝置中所述第一圖像信號(hào)代表標(biāo)準(zhǔn)清晰度(SD)圖像，而所述第二圖像信號(hào)代表在水平和垂直方向其分辨率都高于所述SD圖像的高清晰度(HD)圖像；在所述分辨率產(chǎn)生存儲(chǔ)器內(nèi)為產(chǎn)生的每幅高分辨率圖像確定存取區(qū)域，該區(qū)域存儲(chǔ)單元所存儲(chǔ)的在水平方向和在垂直方向的像素?cái)?shù)目是所述SD圖像信號(hào)的像素?cái)?shù)目的四倍；隔行和隔列地從所述分辨率產(chǎn)生存儲(chǔ)器中讀出像素?cái)?shù)據(jù)，以便形成在水平和垂直方向的像素?cái)?shù)目是所述SD圖像的像素?cái)?shù)目的兩倍的HD圖像。
37.把第一圖像信號(hào)變換成為第二圖像信號(hào)的方法，每一所述第一和第二圖像信號(hào)由多幅不同幀的圖像組成，所述方法包括以下步驟檢測所述第一圖像信號(hào)在第一幀和第二幀之間的運(yùn)動(dòng)；通過在相應(yīng)于被檢測運(yùn)動(dòng)的位置處假設(shè)像素來產(chǎn)生像素?cái)?shù)據(jù)；以及根據(jù)所述產(chǎn)生的像素?cái)?shù)據(jù)產(chǎn)生所述第二圖像信號(hào)。
38.權(quán)利要求37的方法，其中所產(chǎn)生的第二圖像信號(hào)的分辨率高于第一圖像信號(hào)的分辨率。
39.權(quán)利要求37的方法，其中所產(chǎn)生的第二圖像信號(hào)的像素?cái)?shù)據(jù)的像素?cái)?shù)目大于第一圖像信號(hào)的像素?cái)?shù)據(jù)的像素?cái)?shù)目。
40.權(quán)利要求39的方法，其中所產(chǎn)生的第二圖像信號(hào)的像素?cái)?shù)據(jù)的像素?cái)?shù)目在垂直于與第一圖像信號(hào)相關(guān)的掃描行的方向上大于第一圖像信號(hào)的像素?cái)?shù)據(jù)的像素?cái)?shù)目。
41.權(quán)利要求37的方法，其中所述第一和第二幀是相鄰幀。
42.權(quán)利要求37的方法，還包括對所述第二圖像信號(hào)進(jìn)行低通濾波來減小其中可能存在的任何混疊失真的步驟。
43.權(quán)利要求37的方法，其中所述檢測運(yùn)動(dòng)的步驟包括對所述第一圖像信號(hào)的小于其像素尺寸的運(yùn)動(dòng)量進(jìn)行檢測，還包括以下步驟把第一圖像信號(hào)的圖像存儲(chǔ)在分辨率產(chǎn)生存儲(chǔ)器內(nèi)，該分辨率存儲(chǔ)器的存儲(chǔ)容量大于第一圖像信號(hào)的一幅圖像的數(shù)據(jù)量，根據(jù)被檢測的第一圖像信號(hào)的運(yùn)動(dòng)控制第一圖像信號(hào)數(shù)據(jù)向所述分辨率產(chǎn)生存儲(chǔ)器的寫入；以及控制從所述存儲(chǔ)器讀出新圖像信號(hào)的數(shù)據(jù)，所述新圖像信號(hào)的質(zhì)量比所述第一圖像信號(hào)的高。
44.權(quán)利要求43的方法，其中所述控制讀出的步驟包括控制把所述新圖像信號(hào)的數(shù)據(jù)作為所述第二圖像信號(hào)進(jìn)行讀出。
45.權(quán)利要求43的方法，還包括以下步驟低通濾波所述新圖像信號(hào)來產(chǎn)生被濾波信號(hào)；把所述被濾波圖像信號(hào)變換成為像素?cái)?shù)目與第一圖像信號(hào)的一幅圖像的像素?cái)?shù)目相同的所述第二圖像信號(hào)；以及輸出其混疊失真小于所述第一圖像信號(hào)的混疊失真的所述第二圖像信號(hào)。
46.權(quán)利要求43的方法，還包括以下步驟檢測所述第一圖像信號(hào)的場景變化；以及一旦檢測到場景變化，就把所述分辨率產(chǎn)生存儲(chǔ)器的存儲(chǔ)單元內(nèi)的數(shù)據(jù)重置為預(yù)定值。
47.權(quán)利要求43的方法，還包括根據(jù)被檢測運(yùn)動(dòng)產(chǎn)生相對地址指針和在相應(yīng)于相對地址指針的所述存儲(chǔ)單元中寫入所述第二幀的圖像數(shù)據(jù)，不刪除所述存儲(chǔ)器內(nèi)的所述第一幀的全部圖像數(shù)據(jù)，由此產(chǎn)生包含所述第一幀數(shù)據(jù)和所述第二幀數(shù)據(jù)的更高質(zhì)量幀數(shù)據(jù)，所述第二幀數(shù)據(jù)被存儲(chǔ)在相對于存儲(chǔ)所述第一幀數(shù)據(jù)的存儲(chǔ)單元被移了位的存儲(chǔ)單元內(nèi)。
48.權(quán)利要求43的方法，還包括以下步驟檢測所述存儲(chǔ)器中的沒有存儲(chǔ)第一圖像信號(hào)的數(shù)據(jù)的空位置；以及產(chǎn)生相應(yīng)于空位置的像素的像素?cái)?shù)據(jù)。
49.權(quán)利要求48的方法，其中所述檢測步驟包括存儲(chǔ)指出所述分辨率產(chǎn)生存儲(chǔ)器的哪些存儲(chǔ)單元包含被存儲(chǔ)的所述第一圖像信號(hào)的圖像數(shù)據(jù)的標(biāo)記。
50.權(quán)利要求48的方法，其中所述產(chǎn)生像素?cái)?shù)據(jù)的步驟包括在其像素?cái)?shù)據(jù)已被存儲(chǔ)的鄰近像素的圖像值之間進(jìn)行內(nèi)插。
51.權(quán)利要求48的方法，其中所述產(chǎn)生像素?cái)?shù)據(jù)的步驟包括檢測第一圖像信號(hào)的特性并確定相應(yīng)于被檢測特性的分類；把每種分類的預(yù)測數(shù)據(jù)存儲(chǔ)在預(yù)測數(shù)據(jù)存儲(chǔ)器內(nèi)；以及根據(jù)相應(yīng)于被確定分類從預(yù)測數(shù)據(jù)存儲(chǔ)器中讀出的預(yù)測數(shù)據(jù)產(chǎn)生空存儲(chǔ)單元的所述像素?cái)?shù)據(jù)。
52.權(quán)利要求48的方法，還包括至少利用分辨率高于第一信號(hào)的學(xué)習(xí)圖像信號(hào)通過學(xué)習(xí)來產(chǎn)生每種分類的預(yù)測數(shù)據(jù)。
53.權(quán)利要求37的方法，其中所述第一圖像信號(hào)包括標(biāo)準(zhǔn)清晰度(SD)信號(hào)，所述第二圖像信號(hào)包括在水平和垂直方向具有比所述SD信號(hào)的分辨率高的分辨率的高清晰度(HD)信號(hào)。
54.權(quán)利要求43的方法，其中所述第一圖像信號(hào)代表標(biāo)準(zhǔn)清晰度(SD)圖像，所述第二圖像信號(hào)代表在水平和垂直方向具有比所述SD圖像的分辨率高的分辨率的高清晰度(HD)圖像；所述方法還包括以下步驟把SD圖像數(shù)據(jù)存儲(chǔ)在所述分辨率產(chǎn)生存儲(chǔ)器的用于產(chǎn)生的每幅高分辨率圖像的存取區(qū)域內(nèi)，各存取區(qū)域的存儲(chǔ)單元所存儲(chǔ)的在水平方向和在垂直方向的像素?cái)?shù)目是所述SD圖像的兩倍。
55.權(quán)利要求43的方法，其中所述第一圖像信號(hào)代表標(biāo)準(zhǔn)清晰度(SD)圖像，所述第二圖像信號(hào)代表在水平和垂直方向具有比所述SD圖像的分辨率高的分辨率的高清晰度(HD)圖像；所述方法還包括以下步驟把SD圖像數(shù)據(jù)存儲(chǔ)在所述分辨率產(chǎn)生存儲(chǔ)器的用于產(chǎn)生的每幅高分辨率圖像的存取區(qū)域內(nèi)，各存取區(qū)域的存儲(chǔ)單元所存儲(chǔ)的在水平和在垂直方向的像素?cái)?shù)目是所述SD圖像的四倍；隔行和隔列地從所述分辨率產(chǎn)生存儲(chǔ)器中讀出像素?cái)?shù)據(jù)，以便形成在水平和垂直方向的像素?cái)?shù)目是所述SD圖像的像素?cái)?shù)目的兩倍的HD圖像。
56.權(quán)利要求37的方法，其中所述檢測運(yùn)動(dòng)的步驟包括對所述第一圖像信號(hào)在其圖像的多個(gè)圖像區(qū)域中的小于其像素尺寸的運(yùn)動(dòng)量進(jìn)行檢測，還包括以下步驟至少根據(jù)被檢測運(yùn)動(dòng)至少確定第一圖像信號(hào)的所述圖像的第一和第二圖像區(qū)域；根據(jù)在相應(yīng)于第一和第二圖像區(qū)域中的被檢測運(yùn)動(dòng)的位置處的像素的假設(shè)產(chǎn)生第二圖像信號(hào)的第一和第二圖像區(qū)域；以及組合第二圖像信號(hào)的第一和第二圖像區(qū)域來形成復(fù)合圖像信號(hào)。
全文摘要
把第一圖像信號(hào)變換為第二圖像信號(hào)的圖像信號(hào)變換裝置,第一和第二圖像信號(hào)包括多幅不同幀的圖像。運(yùn)動(dòng)檢測器檢測第一圖像信號(hào)在第一幀和第二幀之間的運(yùn)動(dòng),處理電路根據(jù)在相應(yīng)于被檢測運(yùn)動(dòng)的位置處的像素的假設(shè)產(chǎn)生第二圖像信號(hào)。該裝置可用來產(chǎn)生與第一圖像信號(hào)分辨率相同的、但減小或消除了混疊失真的輸出信號(hào),或產(chǎn)生在垂直和/或水平方向具有較高分辨率的輸出信號(hào)。
文檔編號(hào)H04N5/44GK1199987SQ9810949
公開日1998年11月25日 申請日期1998年2月14日 優(yōu)先權(quán)日1997年2月14日
發(fā)明者近藤哲二郎, 渡邊勉, 大月知之 申請人:索尼公司