專利名稱：用于視頻增強(qiáng)的三維遞歸向量估算的制作方法
技術(shù)領(lǐng)域：
本發(fā)明總體上針對視頻增強(qiáng)系統(tǒng)，更具體而言，針對在視頻增強(qiáng)中保持時(shí)空一致性。
許多現(xiàn)代的高性能電視，尤其是大屏幕和寬屏幕式的，使用高于正常分辨率的時(shí)空分辨率和刷新速率。例如，可以將100赫茲(Hz)，而不是標(biāo)準(zhǔn)的50或60赫茲的屏幕刷新速率用于電視顯示器。但是，因?yàn)樵诮邮盏降墓?jié)目信號中的場速率-交替的電視屏幕圖象或“場”的數(shù)目-一般只有每秒50場，所以，顯示的場的數(shù)目必須加倍。
對于使用場存儲器-一種具有存儲完整電視場數(shù)字化版本能力的存儲器-的數(shù)字電視來說，一種用于將場速率加倍的技術(shù)涉及簡單地以第一速率寫入場存儲器而以兩倍于第一速率的第二速率從場存儲器中讀出。但是，這種通過簡單的場重復(fù)的場速率上變換導(dǎo)致每個(gè)運(yùn)動(dòng)段(即，幀)被多次顯示，運(yùn)動(dòng)的目標(biāo)在重復(fù)的運(yùn)動(dòng)段中表現(xiàn)為稍稍偏離其期望的時(shí)空(時(shí)間-空間)位置，如圖5所示。
圖5中示出以三個(gè)場n-2、n-1和n的順序在屏幕上線性移動(dòng)的目標(biāo)的時(shí)空定位501a、501b和501c。通過場重復(fù)的場速率上變換產(chǎn)生中間場(未標(biāo)出)，在該中間場中目標(biāo)的時(shí)空定位是503a、503b和503c，而不是期望的時(shí)空定位502a、502b和502c。
盡管對于人眼來說，在由攝影機(jī)等使用的正常場速率(50-60Hz)下捕捉到的視頻信息中的移位幾乎是注意不到的，但由于歷史的機(jī)電原因，電影攝影機(jī)以每秒24幀的捕捉速率工作。盡管現(xiàn)代電影攝影機(jī)已經(jīng)有了改進(jìn)，但仍然存在許多以先前標(biāo)準(zhǔn)的捕捉速率錄制的電影。這種電影通常是通過以大約每秒25幀轉(zhuǎn)動(dòng)電影膠片，然后掃描每一幀兩次從而在視頻信息中創(chuàng)建鄰近的相同場對來轉(zhuǎn)換成電視顯示。
當(dāng)利用簡單的場重復(fù)將電視格式的電影上變換到更高的場速率時(shí)，已經(jīng)復(fù)制的場被再次復(fù)制，在視頻信息中產(chǎn)生四個(gè)相同場的序列并導(dǎo)致顯著量的運(yùn)動(dòng)抖動(dòng)和圖象模糊。為了解決這些問題，開發(fā)出了運(yùn)動(dòng)補(bǔ)償技術(shù)，如三維(3-D)遞歸搜索塊匹配，來提供運(yùn)動(dòng)補(bǔ)償?shù)膬?nèi)插。見，例如，G.de Haan，Motion Estimation and Compensation-Anintegrated Approach to Consumer Display Field Rate Conversion(ISBN 90-74445-01-2)和IEEE Tr.On Circuits and Systems forVideo Technology，3(5)368-379(1999年10月)上的G.de Haan etal，“True-Motion Estimation with 3-D Recursive Search BlockMatching”。
高清晰度電視(HDTV)經(jīng)常會有不同于場速率上變換或場速率上變換之外的要求圖象分辨率的增強(qiáng)。如圖6A和6B所示，圖象分辨率的增強(qiáng)要求從一個(gè)分辨率及相應(yīng)象素尺寸601a和/或象素密度602a到具有更小象素尺寸601b和/或更大象素密度602b的高分辨率的上變換。使用已知的內(nèi)插技術(shù)從原始視頻信息產(chǎn)生要求的附加象素。
如在本領(lǐng)域中已知的，圖象中邊緣的形狀或大小對圖象“清晰度”的整體印象起很重要的作用。因此，開發(fā)出了用于圖象分辨率增強(qiáng)的各種邊緣增強(qiáng)技術(shù)，如頻率調(diào)峰和亮度瞬變改善(LTI)。頻率調(diào)峰涉及圖象中選定空間頻率的線性提高或“調(diào)峰”，經(jīng)常通過帶通或高通濾波器來提高關(guān)聯(lián)的空間頻率，并通過自適應(yīng)控制來避免關(guān)于例如對大而陡的邊緣進(jìn)行調(diào)峰時(shí)的“不自然”。不象頻率調(diào)峰，亮度瞬變改善保持邊緣的大小，但是增加邊緣的陡度，將靠近邊緣兩側(cè)的樣本“拉”向邊緣。
現(xiàn)有的邊緣增強(qiáng)算法根據(jù)原始圖象的空間信息來增強(qiáng)圖象的清晰度，經(jīng)常利用由給定象素位置的小空間鄰域確定的控制參數(shù)。盡管這些技術(shù)通常對靜止的圖象已經(jīng)足夠，但是視頻信息中的時(shí)變條件，如(但不限于)噪聲、運(yùn)動(dòng)或照明條件乃至?xí)r空變化條件，可能會在處理過的視頻信息中帶來令人討厭的人為因素。參數(shù)的守恒調(diào)整可以防止這樣的人為因素，但是也限制了增強(qiáng)。
因此，在本領(lǐng)域中就需要增強(qiáng)具有時(shí)空一致性的視頻信息，或提高增強(qiáng)的圖象數(shù)據(jù)同位于包括增強(qiáng)的圖象數(shù)據(jù)在內(nèi)的場周圍的(增強(qiáng)的)圖象數(shù)據(jù)和隨后場中相應(yīng)圖象數(shù)據(jù)或?qū)?yīng)部分的一致性。
為了解決以上討論的現(xiàn)有技術(shù)中的不足，本發(fā)明的一個(gè)主要目的是提供一種用于視頻信號處理器的增強(qiáng)視頻信息的技術(shù)，它利用罰函數(shù)來估算采用向時(shí)空一致性偏移的誤差函數(shù)的增強(qiáng)算法的候選向量。罰函數(shù)隨著從候選向量對其來說是最佳的塊到本塊(subject block)在空間和時(shí)間上的距離而增加。因此增強(qiáng)在空間和時(shí)間上都是漸進(jìn)的，增強(qiáng)的視頻信息從根本上消除了可以感覺到的人為因素。
以上所述已經(jīng)相當(dāng)廣泛地概括出了本發(fā)明的特征和技術(shù)優(yōu)勢，因此本領(lǐng)域的技術(shù)人員可以更好地理解下面對本發(fā)明的具體描述。本發(fā)明的其它特征和優(yōu)點(diǎn)在下文中進(jìn)行描述，它們構(gòu)成本發(fā)明權(quán)利要求的本。本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，為了完成與本發(fā)明同樣的目的，他們可以容易地使用公開的概念和具體實(shí)施例作為修改或設(shè)計(jì)其它結(jié)構(gòu)的基礎(chǔ)。本領(lǐng)域的技術(shù)人員還應(yīng)當(dāng)認(rèn)識到這樣同等的結(jié)構(gòu)不背離本發(fā)明最廣泛形式的主旨和范圍。
在下面開始本發(fā)明的具體描述之前，先闡明本專利文件中使用的特定單詞或短語的定義是有好處的術(shù)語“包括”和“包含”及其派生詞的意思是包括但不限于；術(shù)語“或者”是包括在內(nèi)，意思是和/或；短語“與...關(guān)聯(lián)”和“與此關(guān)聯(lián)”及其派生詞的意思可以是包括、被包括在內(nèi)、與...相互聯(lián)系、包含、被包含在內(nèi)、連接到或與...連接、耦合到或與...耦合、與...通信、與...合作、交織、并列、與...接近、受...約束或限制、具有、具有...屬性等等；術(shù)語“控制器”的意思是控制至少一種操作的任何裝置、系統(tǒng)或其部件，而不考慮這樣一種裝置是以硬件、固件、軟件還是以至少其中兩種的某種組合來實(shí)現(xiàn)的。應(yīng)當(dāng)指出，與任何特定控制器關(guān)聯(lián)的功能性都可以集中的或分散的，無論是在本地還是遠(yuǎn)程。對特定單詞和短語的定義是在整個(gè)專利文件中規(guī)定的，而且本領(lǐng)域的普通技術(shù)人員都應(yīng)當(dāng)理解這些定義在這些規(guī)定單詞和短語的許多，即使不是最多，先前實(shí)例及未來使用中都適用。
為了對本發(fā)明及其優(yōu)點(diǎn)有更完整的理解，現(xiàn)在聯(lián)系相應(yīng)附圖參考以下描述，其中同樣的數(shù)字表示同樣的對象，且其中

圖1描繪了一種系統(tǒng)，其中根據(jù)本發(fā)明的一種實(shí)施例來實(shí)現(xiàn)具有時(shí)空一致性的視頻增強(qiáng)；圖2更加具體地說明了根據(jù)本發(fā)明一種實(shí)施例用于具有時(shí)空一致性的視頻增強(qiáng)的系統(tǒng)；圖3說明了根據(jù)本發(fā)明一種實(shí)施例用于具有時(shí)空一致性的視頻增強(qiáng)的視頻信息的邏輯結(jié)構(gòu)；圖4是根據(jù)本發(fā)明一種實(shí)施例用于具有時(shí)空一致性的視頻增強(qiáng)的過程的高級流程圖；圖5說明了作為通過場重復(fù)的場速率變換結(jié)果的運(yùn)動(dòng)目標(biāo)從期望位置的移位；及圖6A和6B是對空間分辨率增強(qiáng)的對比說明。
下面討論的圖1至圖4及在本專利文件中用于描述本發(fā)明原理的各種實(shí)施例僅僅是為了說明，而不應(yīng)當(dāng)以任何方式認(rèn)為是限制本發(fā)明的范圍。本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解本發(fā)明的原理可以在任何適當(dāng)布置的裝置中實(shí)現(xiàn)。
圖1描述了一種系統(tǒng)，其中根據(jù)本發(fā)明的一種實(shí)施例來實(shí)現(xiàn)具有時(shí)空一致性的視頻增強(qiáng)。系統(tǒng)100包括接收器101，在該代表性實(shí)施例中是高清晰度數(shù)字電視(HDTV)大屏幕或?qū)捚聊浑娨暯邮掌?。但是，可選地，接收器101可以是中間收發(fā)器或任何其它用于接收或收發(fā)視頻信號的裝置，比如象轉(zhuǎn)播用于由高清晰度電視接收的視頻信息的收發(fā)器。在任何實(shí)施例中，接收器101都包括下面進(jìn)一步具體描述的視頻增強(qiáng)機(jī)制。
接收器101包括用于接收視頻信號的輸入102，而且可選地可以包括用于將增強(qiáng)的視頻信號發(fā)射到另一設(shè)備的輸出103。在該代表性實(shí)施例中，接收器101包括高清晰度電視顯示器104，依照增強(qiáng)的視頻信息再現(xiàn)或產(chǎn)生的圖象在其上面顯示。
本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)認(rèn)識到圖1并沒有明確地描述出該代表性實(shí)施例的高清晰度電視接收器中的所有元件。在此只顯示和描述了高清晰度電視接收器公知的結(jié)構(gòu)和操作及本發(fā)明特有的和/或理解本發(fā)明所需的元件。
圖2更加具體地說明了根據(jù)本發(fā)明一種實(shí)施例用于具有時(shí)空一致性的視頻增強(qiáng)的系統(tǒng)。接收器101包括視頻信號處理器201，它可以由單個(gè)集成電路設(shè)備或集成電路設(shè)備的組合來實(shí)現(xiàn)。視頻信號處理器201包括增強(qiáng)向量估算器202和執(zhí)行視頻增強(qiáng)處理的增強(qiáng)處理器203。該代表性實(shí)施例中的視頻信號處理器201是增強(qiáng)的視頻輸出從其發(fā)射到顯示器104或存儲介質(zhì)(未示出)的設(shè)備。
增強(qiáng)處理器203執(zhí)行對接收到的視頻信號的處理，該處理是增強(qiáng)用于顯示的圖像所要求的。圖象或視頻增強(qiáng)是一個(gè)廣泛的領(lǐng)域，它可以粗略地劃分成三類“丟失”(圖象/視頻)信息的恢復(fù)；人為因素的消除；及選定圖象/視頻特征的增強(qiáng)。盡管本發(fā)明并沒有限定到任何特定的視頻增強(qiáng)分類，但是為了簡單起見，將利用屬于第三類的分辨率增強(qiáng)來描述和解釋本發(fā)明。但是，本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解本發(fā)明可以容易地應(yīng)用或擴(kuò)展到除分辨率增強(qiáng)之外并屬于所列出三類中任何一類的視頻增強(qiáng)。
增強(qiáng)處理器203，與該代表性實(shí)施例中的增強(qiáng)向量估算器202一起，對接收到的視頻信息執(zhí)行空間分辨率增強(qiáng)。根據(jù)本發(fā)明用于增強(qiáng)向量估算的技術(shù)同上面所述的參考中描述的遞歸搜索塊匹配運(yùn)動(dòng)估算過程是類似的。
為了執(zhí)行視頻增強(qiáng)，增強(qiáng)向量估算器202包括用于臨時(shí)存儲與象素塊處理相關(guān)的象素信息的一個(gè)或多個(gè)高速緩存205a-205n，一個(gè)或多個(gè)塊增強(qiáng)單元206a-206n，增強(qiáng)向量存儲器207和以每塊為基礎(chǔ)識別并選擇最佳增強(qiáng)的最佳增強(qiáng)選擇單元208，如下面進(jìn)一步具體描述的。
圖3說明了根據(jù)本發(fā)明一種實(shí)施例用于具有時(shí)空一致性的視頻增強(qiáng)的視頻信息的邏輯結(jié)構(gòu)。所描繪的結(jié)構(gòu)用于利用圖2中描繪的視頻信號處理器201進(jìn)行塊增強(qiáng)。要被增強(qiáng)的視頻信息包括多個(gè)以預(yù)定速率順序顯示的連續(xù)畫面(可以是場或幀)。此處使用的“連續(xù)的”是指本畫面同另一幅畫面在序列中是相鄰的，而不管視頻信息中該本畫面是在另一畫面之前還是之后。在圖3中示出該畫面序列的一部分，n-2、n-1、n、n+1和n+2。每幅畫面都包括象素的二維矩陣，具有以畫面左下角為原點(diǎn)的坐標(biāo)(x，y)，其中矩陣函數(shù) 表示在初始(較低)空間分辨率的視頻信息中在位置x→=xy]]>及場編號為n的象素值。每幅畫面在邏輯上被分成寬和高都有預(yù)定義象素?cái)?shù)目且具有中心 的象素塊 的數(shù)組。塊或象素區(qū)域可以是所描繪的矩形或任何其它形狀。
視頻信號處理器201中的塊增強(qiáng)單元206a-206n以每塊為基礎(chǔ)增強(qiáng)接收到的視頻信息。如上面所指出的，將利用空間分辨率增強(qiáng)來解釋本發(fā)明。特別地，將利用入射視頻空間分辨率以2為因子在場的兩個(gè)空間維度上的提高來描述本發(fā)明。
基于低分辨率視頻信息 的較高空間分辨率視頻信息 的初始估算可以先由簡單的空間上變換來創(chuàng)建，即塊增強(qiáng)單元206a-206n中的抽樣率變換內(nèi)插濾波用于獲得更高分辨率的圖象。
由F^(x→,n)=T(G(x→,n))]]>給出的定義從高分辨率視頻信息 到低分辨率視頻信息 的下變換操作T()用在誤差準(zhǔn)則中，用于選擇給定塊 的最佳增強(qiáng)。誤差準(zhǔn)則，對增強(qiáng)的視頻信息 的性能測量，是基于初始低分辨率視頻信息 和由下變換高分辨率視頻信息 獲得的低分辨率視頻信息 之間的差值，由下式給出ϵ(C→,X→,n)=Σx→∈B(X→)|F(x→,n)-F^(C→,x→,n)|+P1(||V||)+P2(C→)]]>其中 是用于增強(qiáng)向量V＝{v0，v1，...，vm}的候選，包括用于根據(jù)下式創(chuàng)建視頻信息 的系數(shù)G(x→,n)=T-1((F(x→,n))+Σim(viWi(F(x→,n)))]]>上面式子中的Wi()表示通過一組算法中算法i獲得的圖象數(shù)據(jù)質(zhì)量的增強(qiáng)(其中空間分辨率已經(jīng)通過抽樣率變換進(jìn)行了增強(qiáng))。例如， 可以是頻率調(diào)峰后的圖象數(shù)據(jù)，而 可以是亮度過渡改善后的結(jié)果。
上面給出的誤差函數(shù)中的補(bǔ)償P1是增強(qiáng)向量V范數(shù)的單調(diào)遞減函數(shù)，對小系數(shù)有大補(bǔ)償，而對大系數(shù)有小補(bǔ)償。補(bǔ)償P2依賴于選定的增強(qiáng)向量候選 所以用來使增強(qiáng)向量V向時(shí)空一致解決方案偏移。此，補(bǔ)償P2的值是選自一列對應(yīng)用來說最優(yōu)的預(yù)定義補(bǔ)償值。
每個(gè)增強(qiáng)向量候選 都優(yōu)選地選自先前確定來為位于被處理塊 時(shí)空鄰域的塊產(chǎn)生最小誤差函數(shù)值的增強(qiáng)向量。例如，上面所述的一個(gè)參考提出了一種用于遞歸搜索塊匹配運(yùn)動(dòng)估算的“Y-預(yù)測”估算器，其中空間預(yù)測向量候選 和 是為位于本塊 以上一個(gè)塊維度、靠近本塊 任一側(cè)、以及與本塊 在同一場內(nèi)的塊選定的向量，而時(shí)間預(yù)測候選 是從包含本塊 的場n中為位于本塊 正下方兩個(gè)塊維度、且在前一個(gè)場n-1中的塊選定的向量。從增強(qiáng)向量中選擇候選增強(qiáng)向量在本塊 時(shí)空鄰域內(nèi)產(chǎn)生最優(yōu)結(jié)果，這加速了確定最佳增強(qiáng)(對本塊 產(chǎn)生最小誤差的增強(qiáng)向量，或其它對增強(qiáng)結(jié)果合適的準(zhǔn)則)的過程，因?yàn)轭愃朴谀切Ρ緣K 鄰域中其它塊產(chǎn)生最佳結(jié)果的增強(qiáng)很有可能也會對本塊 產(chǎn)生最佳結(jié)果。
可選地，可以對每個(gè)塊測試增強(qiáng)算法的所有可能候選向量。此外，在視頻信息處理過程中所使用的候選向量組可以改變，其中，例如，對視頻信息開始的少數(shù)場測試所有可能的候選向量，然后對剩余的場測試一小部分候選向量，或者在視頻信息被處理的過程中改進(jìn)選定的候選向量。優(yōu)選地，一個(gè)候選總是隨一個(gè)隨機(jī)更新向量而更新。幾個(gè)候選可以相互競爭，產(chǎn)生最小誤差 的候選被選作用于本塊 中數(shù)據(jù)的增強(qiáng)向量。
作為本發(fā)明的一個(gè)結(jié)果，可以以每塊為基礎(chǔ)選擇增強(qiáng)向量，采用該增強(qiáng)向量獲得特定塊空間分辨率上變換的近似最優(yōu)結(jié)果。時(shí)空一致性是自動(dòng)實(shí)現(xiàn)的。類似于，但不限于上面所述的參考中公開的過程的塊腐蝕(block erosion)可以用于防止成塊(blocking)人為因素。
圖4是根據(jù)本發(fā)明一種實(shí)施例用于具有時(shí)空一致性的視頻增強(qiáng)的過程的高級流程圖。由圖2描繪的視頻信號處理器202利用圖3說明的視頻信息邏輯結(jié)構(gòu)執(zhí)行的過程400從接收(步驟401)用于增強(qiáng)的視頻信息開始。如上面所指出的，可以對各種不同類型的增強(qiáng)執(zhí)行該過程，但空間分辨率增強(qiáng)將用來描述該過程。
所接收視頻信息電流場中的塊首先被選擇(步驟402)，并執(zhí)行一種簡單的增強(qiáng)，在這種情況下是抽樣率變換。該塊還利用多個(gè)選定候選增強(qiáng)向量中的每一個(gè)來增強(qiáng)，其中增強(qiáng)向量包括一種或多種一起或單獨(dú)使用的增強(qiáng)算法，如頻率調(diào)峰或亮度瞬變改善。
然后為每個(gè)候選增強(qiáng)向量計(jì)算誤差函數(shù)值(步驟404)，其中誤差函數(shù)包括向時(shí)空一致性的偏移，與具有最低誤差函數(shù)值的候選向量對應(yīng)的增強(qiáng)被選作(步驟405)增強(qiáng)場的一部分來顯示。
接著作出關(guān)于該電流場中所有塊是否都已被處理的判定(步驟406)，如果剩余還有其它塊，則隨后是對該電流場中下一塊的選擇和處理(步驟407)，而如果該電流場已經(jīng)全部被處理完，則隨后是下一場處理的初始化(步驟408)。一旦被初始化，該過程就開始運(yùn)行，直到被外部影響打斷，如被關(guān)掉的接收器或被中斷的視頻信息接收。
本發(fā)明允許以一種固有地產(chǎn)生時(shí)空一致性結(jié)果的方式處理對視頻信息(除重復(fù)場中的位置之外)的增強(qiáng)。通過當(dāng)候選向量與在空間、時(shí)間或兩者之上被增強(qiáng)的塊不同時(shí)加入補(bǔ)償增加，用來選擇增強(qiáng)算法的最佳增強(qiáng)向量的誤差函數(shù)向時(shí)空一致性偏移。因此，選定的增強(qiáng)產(chǎn)生在空間和時(shí)間上漸進(jìn)的改變，并且從根本上消除了隨時(shí)空變化的人為因素。
重要的是應(yīng)當(dāng)注意，盡管本發(fā)明在基于全功能硬件的系統(tǒng)和/或網(wǎng)絡(luò)環(huán)境中進(jìn)行了描述，本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解本發(fā)明的機(jī)制能夠以包括多種形式指令的機(jī)器可用介質(zhì)的形式分布，且不管用來真正實(shí)現(xiàn)該分布的信號承載介質(zhì)的具體類型，本發(fā)明都可同樣適用。機(jī)器可用介質(zhì)的實(shí)例包括非易失性、硬編碼類型介質(zhì)如只讀存儲器(ROMs)或可擦除、電可編程只讀存儲器(EEPROMs)，可讀類型介質(zhì)如軟磁盤、硬磁盤驅(qū)動(dòng)器和只讀光盤存儲器(CD-ROMs)或數(shù)字化多用途光盤(DVDs)，及傳輸類型介質(zhì)如數(shù)字和模擬通信鏈接。
盡管已經(jīng)對本發(fā)明進(jìn)行了具體描述，但是本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解在不背離本發(fā)明最廣泛形式的主旨和范圍的前提下可以對此進(jìn)行各種修改、替換和改造。
權(quán)利要求
1.在接收器101中使用的，用于增強(qiáng)具有時(shí)空一致性的視頻信息的視頻增強(qiáng)機(jī)制201，包括至少一個(gè)增強(qiáng)單元206a，利用增強(qiáng)算法的至少一個(gè)候選增強(qiáng)向量為每個(gè)候選增強(qiáng)向量產(chǎn)生增強(qiáng)的象素區(qū)域來增強(qiáng)視頻信息除選定象素區(qū)域位置之外的特征，利用增強(qiáng)算法各自候選增強(qiáng)向量，每個(gè)所述增強(qiáng)的象素區(qū)域相當(dāng)于所述選定象素區(qū)域的增強(qiáng)；及選擇單元208，利用各增強(qiáng)的象素區(qū)域向時(shí)空一致性的偏移來為每個(gè)所述增強(qiáng)的象素區(qū)域計(jì)算誤差，其中一幅畫面中空間上鄰近的象素區(qū)域包括所述選定的象素區(qū)域，且所述畫面后續(xù)一幅或多幅畫面中對應(yīng)的象素區(qū)域包括所述選定的象素區(qū)域，所述選擇增強(qiáng)的象素區(qū)域的選擇單元具有對時(shí)空一致性的最佳增強(qiáng)。
2.權(quán)利要求1中闡明的視頻增強(qiáng)機(jī)制201，其中所述至少一個(gè)候選增強(qiáng)向量選自為在所述選定象素區(qū)域的時(shí)空鄰域內(nèi)增強(qiáng)象素區(qū)域時(shí)產(chǎn)生最佳時(shí)空一致性增強(qiáng)而確定的增強(qiáng)向量。
3.權(quán)利要求1中闡明的視頻增強(qiáng)機(jī)制201，其中所述向時(shí)空一致性的偏移還包括第一和第二補(bǔ)償，所述第一補(bǔ)償根據(jù)用于每個(gè)候選增強(qiáng)向量的系數(shù)而改變，而所述第二補(bǔ)償隨每個(gè)候選增強(qiáng)向量而改變。
4.權(quán)利要求3中闡明的視頻增強(qiáng)機(jī)制201，其中所述誤差是以每象素區(qū)域?yàn)榛A(chǔ)，針對所述視頻信息中的每個(gè)象素區(qū)域及針對用于相應(yīng)象素區(qū)域的每個(gè)候選增強(qiáng)向量進(jìn)行計(jì)算的。
5.一種高清晰度電視接收器101，包括接收視頻信息的輸入連接102；在其上顯示從所述視頻信息導(dǎo)出的增強(qiáng)圖象的顯示器104；及增強(qiáng)所述具有時(shí)空一致性的視頻信息的視頻增強(qiáng)機(jī)制201，包括至少一個(gè)增強(qiáng)單元206a，利用增強(qiáng)算法的至少一個(gè)候選增強(qiáng)向量為每個(gè)候選增強(qiáng)向量產(chǎn)生增強(qiáng)的象素區(qū)域來增強(qiáng)視頻信息除選定象素區(qū)域位置之外的特征，利用增強(qiáng)算法的相應(yīng)候選增強(qiáng)向量，每個(gè)所述增強(qiáng)的象素區(qū)域相當(dāng)于所述選定象素區(qū)域的增強(qiáng)；及選擇單元208，利用各增強(qiáng)的象素區(qū)域向時(shí)空一致性的偏移來為每個(gè)所述增強(qiáng)的象素區(qū)域計(jì)算誤差，其中一幅畫面中空間上鄰近的象素區(qū)域包括所述選定的象素區(qū)域，且所述畫面后續(xù)一幅或多幅畫面中對應(yīng)的象素區(qū)域包括所述選定的象素區(qū)域，所述選擇增強(qiáng)的象素區(qū)域的選擇單元具有用于時(shí)空一致性的最佳增強(qiáng)。
6.權(quán)利要求5中闡明的接收器101，其中所述增強(qiáng)算法的至少一個(gè)候選增強(qiáng)向量選自為在所述選定象素區(qū)域的時(shí)空鄰域內(nèi)增強(qiáng)象素區(qū)域時(shí)產(chǎn)生最佳時(shí)空一致性增強(qiáng)而確定的增強(qiáng)向量。
7.權(quán)利要求5中闡明的接收器101，其中所述向時(shí)空一致性的偏移還包括第一和第二補(bǔ)償，所述第一補(bǔ)償根據(jù)用于每個(gè)候選增強(qiáng)向量的系數(shù)而改變，而所述第二補(bǔ)償隨每個(gè)候選增強(qiáng)向量而改變。
8.權(quán)利要求6中闡明的接收器101，其中所述誤差是以每象素區(qū)域?yàn)榛A(chǔ)，針對所述視頻信息中的每個(gè)象素區(qū)域及針對用于相應(yīng)象素區(qū)域的每個(gè)候選增強(qiáng)向量進(jìn)行計(jì)算的。
9.在接收器101中使用的，一種增強(qiáng)具有時(shí)空一致性的視頻信息的方法，包括利用增強(qiáng)算法的至少一個(gè)候選增強(qiáng)向量為每個(gè)候選增強(qiáng)向量產(chǎn)生增強(qiáng)的象素區(qū)域來增強(qiáng)視頻信息除選定象素區(qū)域位置之外的特征，利用增強(qiáng)算法各自候選增強(qiáng)向量，每個(gè)增強(qiáng)的象素區(qū)域相當(dāng)于選定象素區(qū)域的增強(qiáng)；利用各增強(qiáng)的象素區(qū)域向時(shí)空一致性的偏移來為每個(gè)增強(qiáng)的象素區(qū)域計(jì)算誤差，其中一幅畫面中空間上鄰近的象素區(qū)域包括選定的象素區(qū)域，且在所述畫面后續(xù)一幅或多幅畫面中對應(yīng)的象素區(qū)域包括選定的象素區(qū)域；及選擇具有對時(shí)空一致性的最佳增強(qiáng)的增強(qiáng)的象素區(qū)域。
10.權(quán)利要求9中闡明的方法，其中利用增強(qiáng)算法的至少一個(gè)候選增強(qiáng)向量為每個(gè)候選增強(qiáng)向量產(chǎn)生增強(qiáng)的象素區(qū)域來增強(qiáng)視頻信息除選定象素區(qū)域位置之外的特征的步驟還包括從為在所述選定象素區(qū)域的時(shí)空鄰域內(nèi)增強(qiáng)象素區(qū)域時(shí)產(chǎn)生最佳時(shí)空一致性增強(qiáng)而確定的增強(qiáng)向量中選擇增強(qiáng)算法的至少一個(gè)候選增強(qiáng)向量。
11.權(quán)利要求9中闡明的方法，其中利用各增強(qiáng)的象素區(qū)域向時(shí)空一致性的偏移來為每個(gè)所述增強(qiáng)的象素區(qū)域計(jì)算誤差，其中一幅畫面中空間上鄰近的象素區(qū)域包括所述選定的象素區(qū)域，且在所述畫面后續(xù)一幅或多幅畫面中對應(yīng)的象素區(qū)域包括所述選定的象素區(qū)域的步驟還包括向誤差中添加第一和第二補(bǔ)償作為偏移，第一補(bǔ)償根據(jù)用于每個(gè)候選增強(qiáng)向量的系數(shù)而改變，而第二補(bǔ)償隨每個(gè)候選增強(qiáng)向量而改變。
12.權(quán)利要求11中闡明的方法，其中利用各增強(qiáng)的象素區(qū)域向時(shí)空一致性的偏移來為每個(gè)所述增強(qiáng)的象素區(qū)域計(jì)算誤差，其中一幅畫面中空間上鄰近的象素區(qū)域包括所述選定的象素區(qū)域，且在所述畫面后續(xù)一幅或多幅畫面中對應(yīng)的象素區(qū)域包括所述選定的象素區(qū)域的步驟還包括以每象素區(qū)域?yàn)榛A(chǔ)針對視頻信息中的每個(gè)象素區(qū)域及針對相應(yīng)象素區(qū)域的每個(gè)候選增強(qiáng)向量計(jì)算誤差。
13.一種在計(jì)算機(jī)可用介質(zhì)中用于增強(qiáng)具有時(shí)空一致性的視頻信息的計(jì)算機(jī)程序產(chǎn)品，包括利用增強(qiáng)算法的至少一個(gè)候選增強(qiáng)向量為每個(gè)候選增強(qiáng)向量產(chǎn)生增強(qiáng)的象素區(qū)域來增強(qiáng)視頻信息除選定象素區(qū)域位置之外的特征的指令，利用增強(qiáng)算法各自候選增強(qiáng)向量，每個(gè)增強(qiáng)的象素區(qū)域相當(dāng)于選定象素區(qū)域的增強(qiáng)；利用各增強(qiáng)的象素區(qū)域向時(shí)空一致性的偏移來為每個(gè)所述增強(qiáng)的象素區(qū)域計(jì)算誤差的指令，其中一幅畫面中空間上鄰近的象素區(qū)域包括所述選定的象素區(qū)域，且在所述畫面后續(xù)一幅或多幅畫面中對應(yīng)的象素區(qū)域包括所述選定的象素區(qū)域；及選擇具有時(shí)空一致性的最佳增強(qiáng)的增強(qiáng)的象素區(qū)域的指令。
14.權(quán)利要求13中闡明的計(jì)算機(jī)程序產(chǎn)品，其中利用增強(qiáng)算法的至少一個(gè)候選增強(qiáng)向量為每個(gè)候選增強(qiáng)向量產(chǎn)生增強(qiáng)的象素區(qū)域來增強(qiáng)視頻信息除選定象素區(qū)域位置之外的特征的指令還包括從為在所述選定象素區(qū)域的時(shí)空鄰域內(nèi)增強(qiáng)象素區(qū)域時(shí)產(chǎn)生最佳時(shí)空一致性增強(qiáng)而確定的增強(qiáng)向量中選擇增強(qiáng)算法的至少一個(gè)候選增強(qiáng)向量的指令。
15.權(quán)利要求14中闡明的計(jì)算機(jī)程序產(chǎn)品，其中利用各增強(qiáng)的象素區(qū)域的向時(shí)空一致性的偏移來為每個(gè)所述增強(qiáng)的象素區(qū)域計(jì)算誤差，其中一幅畫面中空間上鄰近的象素區(qū)域包括選定的象素區(qū)域，且在所述畫面后續(xù)一幅或多幅畫面中對應(yīng)的象素區(qū)域包括選定的象素區(qū)域的指令還包括向誤差中添加第一和第二補(bǔ)償作為偏移，第一補(bǔ)償根據(jù)用于每個(gè)候選增強(qiáng)向量的系數(shù)而改變，而第二補(bǔ)償隨每個(gè)候選增強(qiáng)向量而改變。
16.權(quán)利要求15中闡明的計(jì)算機(jī)程序產(chǎn)品，其中利用各增強(qiáng)的象素區(qū)域向時(shí)空一致性的偏移來為每個(gè)所述增強(qiáng)的象素區(qū)域計(jì)算誤差，其中一幅畫面中空間上鄰近的象素區(qū)域包括選定的象素區(qū)域，且在所述畫面后續(xù)一幅或多幅畫面中對應(yīng)的象素區(qū)域包括選定的象素區(qū)域的指令還包括以每象素區(qū)域?yàn)榛A(chǔ)針對視頻信息中的每個(gè)象素區(qū)域及針對各象素區(qū)域的每個(gè)候選增強(qiáng)向量計(jì)算誤差。
17.一種視頻信息信號，包括包括一幅或多幅畫面的數(shù)據(jù)流；及在至少一幅所述畫面中的至少一個(gè)增強(qiáng)的象素區(qū)域，每個(gè)增強(qiáng)的象素區(qū)域是通過利用增強(qiáng)算法的至少一個(gè)候選增強(qiáng)向量為每個(gè)候選增強(qiáng)向量產(chǎn)生增強(qiáng)的象素區(qū)域來增強(qiáng)視頻信息除選定象素區(qū)域位置之外的特征從接收到的視頻信息導(dǎo)出的，利用增強(qiáng)算法相應(yīng)的候選增強(qiáng)向量，每個(gè)候選增強(qiáng)象素區(qū)域相當(dāng)于所述選定象素區(qū)域的增強(qiáng)，其中相應(yīng)畫面中每個(gè)增強(qiáng)的象素區(qū)域都有在所述候選增強(qiáng)象素區(qū)域中對于每個(gè)所述增強(qiáng)的象素區(qū)域利用所述相應(yīng)增強(qiáng)的象素區(qū)域向時(shí)空一致性的偏移的誤差在時(shí)空一致性上的最佳增強(qiáng)，其中一幅畫面中空間上鄰近的象素區(qū)域包括所述選定的象素區(qū)域，且在所述畫面后續(xù)一幅或多幅畫面中對應(yīng)的象素區(qū)域包括所述選定的象素區(qū)域。
18.權(quán)利要求17中闡明的視頻信息信號，其中所述至少一個(gè)候選增強(qiáng)向量選自為在所述選定象素區(qū)域的時(shí)空鄰域內(nèi)增強(qiáng)象素區(qū)域時(shí)產(chǎn)生最佳時(shí)空一致性增強(qiáng)而確定的增強(qiáng)向量。
19.權(quán)利要求17中闡明的視頻信息信號，其中所述向時(shí)空一致性的偏移包括第一和第二補(bǔ)償，所述第一補(bǔ)償根據(jù)用于每個(gè)候選增強(qiáng)向量的系數(shù)而改變，而所述第二補(bǔ)償隨每個(gè)候選增強(qiáng)向量而改變。
20.權(quán)利要求19中闡明的視頻信息信號，其中任何畫面中每個(gè)所述增強(qiáng)的象素區(qū)域都是利用所述以每個(gè)象素區(qū)域?yàn)榛A(chǔ)針對視頻信息中的每個(gè)象素區(qū)域及針對各象素區(qū)域的每個(gè)候選增強(qiáng)向量計(jì)算的誤差來選定的。
全文摘要
一種增強(qiáng)視頻信息的視頻信號處理器，利用帶補(bǔ)償功能的向時(shí)空一致性偏移的誤差函數(shù)來估算增強(qiáng)算法的候選向量。該補(bǔ)償功能隨本塊到候選向量最優(yōu)的塊在空間和時(shí)間上的距離而增加。因此，增強(qiáng)在空間和時(shí)間上都是漸進(jìn)的，而增強(qiáng)的視頻信息從根本上消除了隨時(shí)空變化的人為因素。
文檔編號G06T5/00GK1460230SQ02801065
公開日2003年12月3日 申請日期2002年1月28日 優(yōu)先權(quán)日2001年2月8日
發(fā)明者E·B·貝勒斯 申請人:皇家菲利浦電子有限公司