專利名稱：用于視頻信號(hào)處理器的時(shí)-空差錯(cuò)隱蔽的設(shè)備及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用來在再生圖像中代替已損壞或已丟失像素值二維塊的差錯(cuò)隱蔽設(shè)備。
在例如利用離散余弦變換、以塊為基礎(chǔ)壓縮視頻數(shù)據(jù)的這類視頻信號(hào)傳輸系統(tǒng)中，經(jīng)常以塊為基礎(chǔ)(例如，16×16個(gè)像素陣)出現(xiàn)數(shù)據(jù)丟失和/或數(shù)據(jù)損壞。這些傳輸系統(tǒng)一般并不支持以足夠的額外消耗來校正全部差錯(cuò)，而是依靠差錯(cuò)隱蔽技術(shù)，提供非常近似于已丟失數(shù)據(jù)的代替數(shù)據(jù)。Werner Keesen等人在1989年2月21日頒布的No.4807033美國(guó)專利中，公開了一個(gè)用來代替圖像數(shù)據(jù)二維塊的差錯(cuò)隱蔽系統(tǒng)。這個(gè)系統(tǒng)包括用來檢出已丟失塊，并且，用來以根據(jù)周圍像素通過內(nèi)插產(chǎn)生的像素值代替在空間領(lǐng)域內(nèi)已丟失的圖像數(shù)據(jù)的設(shè)備。先檢查周圍像素，以決定是否存在著圖像邊緣(梯度)，然后，執(zhí)行內(nèi)插，以產(chǎn)生代替已丟失或已損壞像素值塊的像素值塊。
方向內(nèi)插用在這里是用來通過執(zhí)行偏愛某一特殊方向的內(nèi)插、產(chǎn)生像素值的過程。參看

圖1，其中，各個(gè)正方形或塊表示相應(yīng)圖像區(qū)，這些區(qū)形成以塊為基礎(chǔ)進(jìn)行壓縮的基礎(chǔ)。各個(gè)正方形或塊里的點(diǎn)表示像素值，在這個(gè)例子中，表示白或黑的圖像點(diǎn)。沒有點(diǎn)的中央那一塊表示已損壞的塊，對(duì)其要產(chǎn)生代替像素。例如，如果適當(dāng)?shù)貦z查限于中央塊內(nèi)兩排像素中的各對(duì)像素，就可以決定存在著的圖像梯度，作為一個(gè)例子，如通過塊B1和B9的傾斜白線。然后，基于該對(duì)角線信息，在檢出的占優(yōu)勢(shì)的梯度方向上執(zhí)行內(nèi)插。圖1中，根據(jù)相鄰塊中、隨著延長(zhǎng)各個(gè)箭頭而出現(xiàn)的像素，產(chǎn)生落在給定箭頭上的像素。
Keesen等人的設(shè)備檢出圖像梯度信息，對(duì)單一梯度執(zhí)行一個(gè)方向的內(nèi)插。如果檢出了一個(gè)以上的強(qiáng)梯度，則對(duì)每一個(gè)強(qiáng)梯度執(zhí)行一次方向內(nèi)插，把各個(gè)方向內(nèi)插像素塊的算術(shù)和用作為代替塊。
像素的各個(gè)內(nèi)插塊之和給出等權(quán)的相應(yīng)像素值，傾向于模糊的圖像特性?？紤]在垂直黑線之后包括水平白線的灰圖像。垂直內(nèi)插將產(chǎn)生包括垂直黑線的灰像素塊。水平內(nèi)插將產(chǎn)生包括水平白線的灰像素塊。這些內(nèi)插塊的算術(shù)平均將是包括比黑垂直線亮的、及比白水平線暗的灰像素塊，在這些線的交點(diǎn)上有灰區(qū)。
本發(fā)明是在Keesen等人差錯(cuò)隱蔽設(shè)備上的改進(jìn)，包括用來產(chǎn)生已丟失塊的代替數(shù)據(jù)的塊差錯(cuò)隱蔽裝置。內(nèi)插設(shè)備產(chǎn)生用來隱蔽已丟失塊的、在空間和時(shí)間上的內(nèi)插或預(yù)測(cè)數(shù)據(jù)塊。把空間和時(shí)間上各個(gè)內(nèi)插數(shù)據(jù)塊中的像素?cái)?shù)據(jù)變換成為表示頻譜的系數(shù)。從按照預(yù)定的準(zhǔn)則來自這兩種變換塊的系數(shù)，把代替的系數(shù)塊裝配出來。把代替塊變回到空域，以便代替已丟失的像素值。
在特定實(shí)施例中，決定在與漏塊相鄰塊中參數(shù)的相對(duì)相關(guān)性。如果相對(duì)相關(guān)性落入預(yù)定的范圍內(nèi)，就把前述代替塊用作差錯(cuò)隱蔽塊。另一方面，如果相對(duì)相關(guān)性超過或小于該范圍，就把時(shí)間預(yù)測(cè)塊和空間內(nèi)插塊分別用作差錯(cuò)隱蔽塊。
圖1為表示圖像的像素值塊的一部分塊的形象化表示，這種形象化表示在描述本發(fā)明中有用；圖2為用來去壓視頻信號(hào)，并且，包括基于實(shí)施本發(fā)明差錯(cuò)隱蔽設(shè)備方框的設(shè)備方框圖；圖3為用于本發(fā)明差錯(cuò)隱蔽過程的形象化表示；圖4為可以實(shí)現(xiàn)圖2中元件26的，示范性隱蔽設(shè)備的方框圖；圖5為在描述用來決定占優(yōu)勢(shì)的圖像邊緣或方向和描述方向空間內(nèi)插中有用的變換系數(shù)的形象化表示；圖6為示出塊位置的形象化圖，從這種塊取出運(yùn)動(dòng)矢量，以便估計(jì)圖像的運(yùn)動(dòng)；圖7為示出圖4設(shè)備操作的流程圖；圖8為部分地說明圖7中過程61的流程圖；圖9為用來產(chǎn)生組合的時(shí)-空內(nèi)插差錯(cuò)隱蔽塊的設(shè)備方框圖；圖10為用來計(jì)算用于圖9設(shè)備中可變參數(shù)“e”的設(shè)備方框圖。
為了執(zhí)行以塊為基礎(chǔ)的差錯(cuò)隱蔽，需要能夠確定信號(hào)中已丟失或已損壞的塊。為此，假定，把示范性實(shí)施例中要處理的傳送分組內(nèi)的發(fā)射信號(hào)格式化。每一個(gè)分組包括頭部、有效負(fù)載和連續(xù)性和/或檢驗(yàn)字節(jié)。頭部包括識(shí)別有效負(fù)載中所運(yùn)載已壓縮視頻數(shù)據(jù)各個(gè)塊在再生圖像中空間位置的足夠信息。檢驗(yàn)字節(jié)可以是允許把基本上全部可能的差錯(cuò)檢出，并且，至少部分地糾錯(cuò)的形式。這種信號(hào)格式的例子可在No.5247363美國(guó)專利中找到。當(dāng)然，存在著也可以實(shí)現(xiàn)的，用來檢出已丟失塊的其它已知方法。
參看示出用來處理上述信號(hào)的接收機(jī)一般形式的圖2。把例如來自天線(未示出)的發(fā)射信號(hào)加到提供基帶信號(hào)的調(diào)諧器/解調(diào)器10上。把基帶信號(hào)加到前向糾錯(cuò)(FEC)解碼器12上，該解碼器12檢查發(fā)射信號(hào)，并按照其糾錯(cuò)能力糾正傳輸通道中所引起的差錯(cuò)。把已糾錯(cuò)的數(shù)據(jù)從FEC解碼器12加到速率緩沖器14上，該緩沖器14從FEC解碼器12接收速率相對(duì)恒定的數(shù)據(jù)，并且，根據(jù)請(qǐng)求把數(shù)據(jù)輸出到后繼的處理元件上。把數(shù)據(jù)從緩沖器耦合到幀檢驗(yàn)順序(FCS)解碼器16上，該解碼器16按照附加到傳送分組上的FCS檢驗(yàn)比特(或者，例如，連續(xù)性檢驗(yàn)計(jì)數(shù)值)檢查已糾錯(cuò)的數(shù)據(jù)是否有未糾正的差錯(cuò)。
FCS解碼器16把傳送分組D、與指示各個(gè)傳送分組是否包括數(shù)據(jù)差錯(cuò)的差錯(cuò)信號(hào)ED一起通入元件18。元件18響應(yīng)于差錯(cuò)數(shù)據(jù)，把包括數(shù)據(jù)差錯(cuò)的傳送分組廢棄。把無差錯(cuò)的傳送分組分離成視頻數(shù)據(jù)和傳送頭部數(shù)據(jù)。利用傳送頭部數(shù)據(jù)和差錯(cuò)數(shù)據(jù)ED確定已丟失的數(shù)據(jù)。有關(guān)這些過程更具體的信息，請(qǐng)讀者查閱1993年2月13日提交，序列號(hào)為08/017 455，標(biāo)題為“ApparatusFor Concealing Errors in a Digital Video Processing System(用來隱蔽數(shù)字視頻處理系統(tǒng)中差錯(cuò)的設(shè)備)”的美國(guó)專利申請(qǐng)書(RCA 86409A)，元件18把無差錯(cuò)視頻數(shù)據(jù)和差錯(cuò)標(biāo)記ED通入去壓縮器20。差錯(cuò)標(biāo)記可以提供幾種功能。例如，在特殊的幀類型中，特殊的差錯(cuò)標(biāo)記可以控制去壓縮器，以簡(jiǎn)單地跳過已丟失的塊。在此情況下，簡(jiǎn)單地重復(fù)來自前一幀中并置圖像區(qū)的已去壓數(shù)據(jù)，即時(shí)間內(nèi)插或塊代替的形式。換句話說，把其它差錯(cuò)標(biāo)記通入另一個(gè)差錯(cuò)隱蔽處理器26中。
在去壓縮過程中，去壓縮器20利用存儲(chǔ)器22中的幀?？梢园汛鎯?chǔ)器22配置成為存儲(chǔ)已壓縮和已解碼的視頻信號(hào)幀，以便用于運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)解碼的處理和差錯(cuò)隱蔽中。把已解碼的圖像信息連續(xù)傳送到顯示存儲(chǔ)器24上，可以以光柵格式從該存儲(chǔ)器取數(shù)，以便顯示。在這種配置中，控制去壓縮器至少把一幀的一部分運(yùn)動(dòng)矢量存儲(chǔ)到存儲(chǔ)器22中，以便用于差錯(cuò)隱蔽。
差錯(cuò)隱蔽單元26與存儲(chǔ)器22中的數(shù)據(jù)交互作用，產(chǎn)生用于由差錯(cuò)標(biāo)記識(shí)別的像素值塊的代替圖像數(shù)據(jù)。利用類似的過程把亮度和色度信號(hào)分量分開去壓縮，然后，把它們重新組合起來，以便顯示。下列有關(guān)差錯(cuò)隱蔽的討論指向亮度分量中的差錯(cuò)隱蔽。色度分量中的差錯(cuò)可以利用類似的并行設(shè)備(未示出)、以類似的方式進(jìn)行隱蔽。然而，可以對(duì)單一信號(hào)分量(例如，亮度)執(zhí)行估計(jì)，可以把估計(jì)的結(jié)果用于確定對(duì)所有分量的差錯(cuò)隱蔽塊類型。
圖3形象化地示出圖2中差錯(cuò)隱蔽設(shè)備26一個(gè)實(shí)施例的功能。圖3中，方框30和31表示存儲(chǔ)器，從這兩個(gè)存儲(chǔ)器可以取出已去壓縮的數(shù)據(jù)。來自單元30的數(shù)據(jù)為已丟失塊B周圍的數(shù)據(jù)。來自單元31的數(shù)據(jù)TR最好是，利用運(yùn)動(dòng)矢量從丟失塊垂直上方那個(gè)塊確定預(yù)測(cè)值的該丟失塊的時(shí)間預(yù)測(cè)。換句話說，塊TR可以表示來自前一幀與塊B并置的數(shù)據(jù)。應(yīng)該認(rèn)識(shí)到，如果塊B右方和左方的塊包括到與塊B同一傳送分組內(nèi)，它們也可能丟失或漏掉。然而，即使情況確實(shí)如此，如果系統(tǒng)從左向右執(zhí)行差錯(cuò)隱蔽，在此情況下，塊B左方的塊可能是代替塊，只有塊B右方的塊也可能漏掉。對(duì)來自單元30和31的數(shù)據(jù)進(jìn)行估計(jì)，以便確定對(duì)漏塊B要執(zhí)行差錯(cuò)隱蔽的方式。為了減輕這一估計(jì)，首先，用某種預(yù)定值(例如，表示灰的；或者，可能用塊TR的平均亮度電平)來代替塊B可能還有塊B右方和左方(如果它們也漏掉的話)塊的漏數(shù)據(jù)，可能是有利的。
32執(zhí)行2、3種圖像估計(jì)，以便確定要執(zhí)行的隱蔽方式。第一種估計(jì)是對(duì)圖像運(yùn)動(dòng)。下面要描述的圖像估計(jì)的一個(gè)例子注視漏塊的上方塊和下方塊運(yùn)動(dòng)矢量的大小和相對(duì)相關(guān)性。第二種估計(jì)是占優(yōu)勢(shì)的圖像特性，例如邊緣或梯度。下面要描述邊緣估計(jì)的一個(gè)例子確定在已丟失塊B周圍區(qū)域中占優(yōu)勢(shì)的邊緣，并置塊TR中占優(yōu)勢(shì)的邊緣，還檢查在塊B和TR中邊緣之間的相關(guān)性。第三種估計(jì)取出在已解碼的當(dāng)前幀中一個(gè)區(qū)域與前一幀的并置區(qū)域之間、圖像差值的一般度量。從前述的估計(jì)得到一個(gè)嚴(yán)格的度量，取決于這一度量的相對(duì)值而執(zhí)行三種差錯(cuò)隱蔽方式之一。
當(dāng)在當(dāng)前幀與前一幀之間存在著高相關(guān)性時(shí)所執(zhí)行的第一種隱蔽方式35是，利用時(shí)間預(yù)測(cè)塊TR簡(jiǎn)單地暫時(shí)代替已丟失的塊B。當(dāng)嚴(yán)格的度量指示為低相關(guān)性時(shí)所執(zhí)行的第二種代替34是利用空間內(nèi)插的隱蔽。在此情況下的內(nèi)插為，按照占優(yōu)勢(shì)邊緣，或者在相鄰圖像區(qū)域中所確定邊緣的方向的方向內(nèi)插。第三種代替方式33把前兩種方式組合起來。這種組合在空間頻域內(nèi)執(zhí)行，其中，把占優(yōu)勢(shì)邊緣的頻率分量與塊TR中除了表示該邊緣的頻率分量以外的頻率分量以非疊加方式組合起來。對(duì)這種已組合的頻率分量進(jìn)行反變換，以便產(chǎn)生丟失塊的隱蔽數(shù)據(jù)。
這一類型的差錯(cuò)隱蔽過程允許在產(chǎn)生高分辨率代替塊、與當(dāng)運(yùn)動(dòng)通過圖像的不運(yùn)動(dòng)區(qū)和圖像的顯著運(yùn)動(dòng)區(qū)時(shí)產(chǎn)生減小了人工產(chǎn)物的塊之間，實(shí)現(xiàn)很有利的折衷。對(duì)于具有中等相關(guān)性圖像的空間和時(shí)間內(nèi)插的組合，有利地提供了分辨率較低但是運(yùn)動(dòng)人工產(chǎn)物較少的前景圖像和空間分辨率高的背景圖像，傾向于使整個(gè)代替圖像塊外觀的空間分辨率高。
圖4以方框圖的形式示出示范性差錯(cuò)隱蔽設(shè)備?？梢园阉竟δ芫幊痰綄Ｓ锰幚砥鱗例如，可從CA 95035 Milpitas(米爾皮塔斯)市的C-Cube Microsystems(C-立方微型系統(tǒng)公司)買到的CLM4100多媒體加速度器]的軟件中，或者，可以利用單個(gè)的電路元件來實(shí)現(xiàn)。該設(shè)備包括稱為變換、反變換裝置的單元43。變換和反變換將分別通過快速富里葉變換FFT和反快速富里葉變換IFFT來描述。然而，那些熟悉這種信號(hào)處理技術(shù)的人將意識(shí)到，可以利用其它變換，例如，特別是離散余弦變換DCT和反離散余弦變換IDCT。
圖4中，來自去壓縮器20的差錯(cuò)數(shù)據(jù)觸發(fā)可以是微處理器的隱蔽控制器40，以便產(chǎn)生已丟失數(shù)據(jù)塊的內(nèi)插數(shù)據(jù)。在這一過程的推進(jìn)中，控制器40從存儲(chǔ)器22取出已丟失塊周圍的運(yùn)動(dòng)矢量和已去壓縮圖像數(shù)據(jù)，并從前一圖像幀取出相應(yīng)于塊TR的并置數(shù)據(jù)?？梢园堰@一數(shù)據(jù)傳送到工作存儲(chǔ)器41中，以便至少是部分地防止在隱蔽處理操作期間內(nèi)存儲(chǔ)器22的存取競(jìng)爭(zhēng)。
在隱蔽控制器40的控制下，數(shù)字信號(hào)處理器42執(zhí)行圖像分析。數(shù)字信號(hào)處理器(DSP)可以是，例如可以從Texas(得克薩斯)州Dallas(達(dá)拉斯)市的Texas Instrument Inc.(得克薩斯儀表公司)買到TMS320系列的DSP。從工作存儲(chǔ)器取出適當(dāng)?shù)膱D像數(shù)據(jù)，以便對(duì)已丟失塊周圍的圖像區(qū)執(zhí)行邊緣或梯度分析。例如，如果已丟失塊包括N×N個(gè)像素的矩陣，就可以從存儲(chǔ)器41取出其中心為已丟失塊的2N×2N個(gè)像素的超塊。在分析以前，可以用中等灰值代替已丟失的像素?cái)?shù)據(jù)。確定超塊中占優(yōu)勢(shì)的梯度，將其角度Theta(M)記錄下來。從存儲(chǔ)器41取出例如來自前一幀，或者，最接近的固定幀的像素值預(yù)測(cè)塊(TR)，并將其加到數(shù)字信號(hào)處理器42上，以便進(jìn)行梯度分析。確定塊(TR)的占優(yōu)勢(shì)的梯度，將角度Theta(T)記錄下來。然后，將Theta(M)和Theta(T)值加到數(shù)字信號(hào)處理器上，以便按照下列函數(shù)求出相關(guān)性rd＝cos(Theta(M)－Theta(T))此處，rd稱為圖像梯度的相關(guān)性度量。
在空域中，把DSP42編程，以便確定用已丟失塊周圍的像素表示的顯著圖像梯度；然后，選擇1、2個(gè)梯度最大的方向，這種方向傾向于識(shí)別占優(yōu)勢(shì)的局部圖像輪廓(或者，特征最強(qiáng)的圖像邊緣的取向)。
可按如下確定圖像的邊緣或梯度。根據(jù)下列方程式，計(jì)算相應(yīng)像素位置x(i，j)的局部邊緣梯度gx和gygx＝xi－1，j＋1－xi－1，j－1＋xi，j＋1－xi，j－1＋xi＋1，j＋1－xi＋1，j－1(1)gy＝xi＋1，j－1－xi－1，j－1＋xi＋1，j－xi－1，j＋xi＋1，j＋1－xi－1，j＋1(2)這相當(dāng)于應(yīng)用下列3×3Prewitt卷積掩蔽運(yùn)算子gx=-101-101-101]]>gy=-1-1-1000111]]>在(i，j)點(diǎn)上，梯度的大小G和角度方向 ，由下式給出G=gx2+gy2]]>Φ=tan-1(gy／gx)(3)對(duì)漏掉或已損壞塊周圍的每一個(gè)(i，j)坐標(biāo)，計(jì)算這種梯度度量。把各個(gè)梯度角度的數(shù)值舍入到例如最接近的22.5°上，這樣，相應(yīng)于8種方向D1～D8之一。如果通過一個(gè)相應(yīng)的相鄰像素坐標(biāo)(i，j)以梯度角度所確定的方向畫一條直線，則將通過該漏掉的塊，給該特殊的像素坐標(biāo)(i，j)一個(gè)表決權(quán)。通過把有關(guān)方向上梯度的大小相加，使表決坐標(biāo)的8種方向D1～D8互相排斥地累加起來。即，把具有方向種類D1的表決坐標(biāo)的大小累加起來，形成一個(gè)和；把具有方向種類D2的表決坐標(biāo)的大小累加起來，形成第二個(gè)和；等等。呈現(xiàn)為最大累加和的那種方向確定像素內(nèi)插的方向。
將參看圖5描述檢出梯度信息的另一種方法。圖5中的小圈表示相對(duì)于垂直頻率軸fV和水平頻率軸fH配置的超塊FFT系數(shù)值。這些系數(shù)表示圖像的空間頻率系數(shù)，在這一例子中，這些系數(shù)相應(yīng)于16×16個(gè)像素的矩陣。在fV軸與fH軸交點(diǎn)上的系數(shù)相應(yīng)于整個(gè)矩陣的直流或平均亮度電平。垂直軸fV右方的系數(shù)表示增大的水平頻率，水平軸fH上方的系數(shù)表示增大的垂直頻率。垂直軸左方和水平軸下方的系數(shù)表示前述頻率分量的共軛值。
在圖5示范性系數(shù)群中，示出標(biāo)為135°FILTER(濾波器)、90°FILTER和H FILTER的各群。在標(biāo)為H FILTER的群中，系數(shù)包括一般相應(yīng)于水平圖像梯度的選定系數(shù)。在標(biāo)為90°FILTER的群中，系數(shù)包括一般相應(yīng)于垂直圖像梯度的選定系數(shù)。在標(biāo)為135°FILTER的群中，系數(shù)包括一般相應(yīng)于對(duì)水平軸為135°的圖像梯度的選定系數(shù)；等等。因此，可以看出，可以把各個(gè)群配置成為多個(gè)圖像梯度方向。為了確定占優(yōu)勢(shì)圖像梯度的方向，只需要把各個(gè)群中的系數(shù)相加(每一個(gè)群表示一個(gè)特殊的方向)；把和歸一化；比較各個(gè)已歸一化的和；確定最大的歸一化和。與具有最大歸一化的群有關(guān)的角度Theta(M)就是占優(yōu)勢(shì)的圖像梯度。
可以這樣對(duì)超塊執(zhí)行梯度分析，即把適當(dāng)?shù)南袼財(cái)?shù)據(jù)從存儲(chǔ)器41加到變換設(shè)備43上，以便產(chǎn)生相應(yīng)的系數(shù)；把這些系數(shù)存儲(chǔ)到存儲(chǔ)器41中，以便進(jìn)行上述分析，這種分析可以在數(shù)字信號(hào)處理器(DSP)42中執(zhí)行。可以類似地確定預(yù)測(cè)塊TR的圖像梯度，即通過單元43中變換塊TR的像素?cái)?shù)據(jù)，把系數(shù)存儲(chǔ)到存儲(chǔ)器41中，并分析各個(gè)系數(shù)群。如果采用這種梯度分析方法，變換系數(shù)將保留在存儲(chǔ)器中，以便進(jìn)行下述的進(jìn)一步處理。
還執(zhí)行圖像的運(yùn)動(dòng)分析。一種示范性的運(yùn)動(dòng)分析產(chǎn)生6種運(yùn)動(dòng)矢量相關(guān)性的度量，并且，作為方向大小的相關(guān)性度量rm，形成了那6種度量的加權(quán)平均值。在這種分析中采用的運(yùn)動(dòng)矢量為與標(biāo)為TOP(最高)－1、TOP、TOP＋1、BOT(最低)－1、BOT和BOT＋1的，即位于該漏掉的塊上方和下方的塊有關(guān)的矢量，如圖6所示。注意，對(duì)于MPEG數(shù)據(jù)，運(yùn)動(dòng)矢量與宏塊有關(guān)，宏塊包括2×2個(gè)亮度表示塊的矩陣，每個(gè)亮度表示塊表示8×8個(gè)像素的矩陣。如果對(duì)8×8個(gè)像素的單元執(zhí)行塊代替(隱蔽)，則一個(gè)方向大小的相關(guān)值將服務(wù)4個(gè)塊。然而，因?yàn)樵贛PEG環(huán)境中，只丟失宏塊中的一個(gè)塊是不可能的，而是相應(yīng)宏塊中的全部塊將同時(shí)丟失，全部分析將在宏塊的基礎(chǔ)上進(jìn)行，而且，隱蔽將在宏塊的基礎(chǔ)上進(jìn)行。應(yīng)該假定，對(duì)于MPEG環(huán)境，圖6所畫的塊表示宏塊。
從存儲(chǔ)器41取出與相鄰于該已丟失塊的塊有關(guān)的運(yùn)動(dòng)矢量，將其加到DSP42上。利用控制器40控制DSP42，以便計(jì)算下列相關(guān)系數(shù)r1=VTOP*VTOP-1|VTOP||VTOP-1|]]>r2=VTOP*VTOP+1|VTOP||VTOP+1|)]]>r3=VBOT*VBOT-1|VBOT||VBOT-1|)]]>r4=VBOT*VBOT+1|VBOT||VBOT+1|)]]>r5=VBOT*VTOP|VBOT||VTOP|)]]>r6=|VBOT||VTOP|(MAX(|VBOT||VTOP|))2]]>此外，V(i)是與塊i有關(guān)的運(yùn)動(dòng)矢量。例如，VBOT－1是與塊BOT－1有關(guān)的運(yùn)動(dòng)矢量。按照這一關(guān)系，產(chǎn)生方向大小的相關(guān)性度量rm，rm＝(K1)Max(r5，0)＋(K2)Max(Max(r1，r2)，0)＋(K3)Max(Max(r1，r2)，0)＋(K4)r6.常數(shù)K1～K4的示范性值分別為0.6、0.15、0.15、0.1。注意，為了減少工作量，可以利用適當(dāng)?shù)谋壤蜃覭，只利用r1、r2、r5進(jìn)行上述計(jì)算；這只使效率稍有降低。
前述矢量分析假定，各個(gè)塊具有形式類似的運(yùn)動(dòng)矢量。然而，MPEG已壓縮視頻信號(hào)的規(guī)約支持沒有運(yùn)動(dòng)矢量的塊(I幀)，具有前向運(yùn)動(dòng)矢量的塊(P幀)，具有前向和后向運(yùn)動(dòng)矢量的塊(B幀)，和具有每一種運(yùn)動(dòng)矢量混合的幀。如果具有在r1～r6的每一個(gè)方程式中所包括運(yùn)動(dòng)矢量的相應(yīng)宏塊對(duì)的類型相同，前述運(yùn)動(dòng)矢量相關(guān)性的分析才有意義。因此，在包括到方程式中以前，對(duì)相應(yīng)運(yùn)動(dòng)矢量對(duì)執(zhí)行了測(cè)試。這些測(cè)試可以利用控制器40、或DSP42、或二者的組合來執(zhí)行。
圖8示出考慮到運(yùn)動(dòng)矢量類型不同的可能性的運(yùn)動(dòng)矢量相關(guān)性的另一種計(jì)算。取出圖6所示各對(duì)塊的塊類型{80}，測(cè)試這些塊{81}，以便確定它們是否包括類型相同的矢量。如果矢量的類型不同，就把這一對(duì)塊的矢量相關(guān)性r(n)設(shè)定為零{83}。如果這一對(duì)塊包括同一類型的矢量，則測(cè)試這一對(duì)塊{82}，以便確定它們是否都是I塊。如果它們都是I塊，則它們不包括矢量，把對(duì)于這一對(duì)塊的矢量相關(guān)性設(shè)定為零{84}。如果這一對(duì)塊不都是I塊{82}，則測(cè)試這一對(duì)塊{85}，以便確定它們是否都包括后向矢量。如果它們都包括后向矢量，則按照下列方程式計(jì)算矢量相關(guān)性{86}v(n)＝cos(vb(i)與vb(i＋1)之間的夾角)此處，vb(i)和vb(i＋1)相應(yīng)于分別來自塊(i)和塊(i＋1)的后向矢量。
如果在{85}中，這一對(duì)塊不都包括后向矢量，則進(jìn)行測(cè)試{87}，以便確定是否這兩個(gè)塊都只包括前向矢量。如果它們都只包括前向矢量，則按照下列方程式計(jì)算矢量相關(guān)性v(n){88}v(n)＝cos(vf(i)與vf(i＋1)之間的夾角)此處，vf(i)和vf(i＋1)相應(yīng)于分別來自塊(i)和塊(i＋1)的前向矢量。
如果這兩個(gè)塊不是只包括前向矢量，也不是只包括后向矢量；這時(shí)，它們必定都包括前向矢量和后向矢量。對(duì)這一對(duì)后向矢量，計(jì)算矢量相關(guān)性v1；對(duì)這一對(duì)前向矢量，計(jì)算矢量相關(guān)性v2，此處v1＝cos(vb(i)與vb(i＋1)之間的夾角)；以及v2＝coS(vf(i)與vf(i＋1)之間的夾角)這一對(duì)塊的矢量相關(guān)性v(n)是v1和v2中的較大者{89}。在檢查完每一對(duì)塊(例如，如圖6所示，TOP、TOP－1；TOP、TOP＋1；BOT、BOT－1；BOT、BOT＋1；BOT、TOP)，并且確定了相應(yīng)的矢量相關(guān)性以后，進(jìn)行檢驗(yàn){90}，以便確定是否已處理了全部所需塊的對(duì)(或宏塊)。如果全部塊的對(duì)并未處理完，則取出下一對(duì){80}，并加以處理。如果它們已經(jīng)處理完了，則按照下列方程式產(chǎn)生相關(guān)性度量rmrm=Σ1NK(n)v(n)]]>此處，K(n)對(duì)于前向和后向類型，數(shù)值相同；但是，對(duì)于與包括前向和后向矢量的那一對(duì)塊有關(guān)的v(n)，K(n)的數(shù)值較大。
按照下列方程式執(zhí)行時(shí)間相關(guān)性度量或差錯(cuò)分析rp，rp=(Σj=015Σi=015TOPijTOPPij)16-Σi=015TOPijΣj=015TOPPij16STD(TOP)STD(TOPP)]]>此處，TOPij涉及在漏塊上方塊中的像素值，假定，一個(gè)塊為16×16個(gè)像素；TOPPij涉及對(duì)相應(yīng)于漏塊上方塊的預(yù)測(cè)塊的像素值；STD代表標(biāo)準(zhǔn)偏差。在確定預(yù)測(cè)塊TOPP時(shí)，利用來自塊TOP的運(yùn)動(dòng)矢量，除非塊TOP為I型塊；在TOP為I型塊的情況下，利用數(shù)值為0的運(yùn)動(dòng)矢量。對(duì)rp的計(jì)算可以在DSP42、控制器40或二者的組合中執(zhí)行。
對(duì)于下方塊BOT及其時(shí)間預(yù)測(cè)值BOTP可以進(jìn)行同樣的計(jì)算，或者，可以根據(jù)需要只執(zhí)行第一種計(jì)算。如果對(duì)頂部塊(TOP)和底部塊(BOT)執(zhí)行了計(jì)算，則選擇rp值中較大者作為時(shí)間相關(guān)性度量rp。
按照下列關(guān)系，把不同的相關(guān)性度量rp、rm和rd相加，以便產(chǎn)生一般相關(guān)性參數(shù)rr＝β1(rp)＋β2(rd)＋β3(rm)此處，β1、β2、β3為參數(shù)，其示范性值分別為0.6、0.2、0.3。差錯(cuò)隱蔽方式由r的相對(duì)大小表確定。如果r大于指示相鄰圖像相關(guān)性高值的門限值TH1，漏塊的隱蔽則采用時(shí)間代替，即利用來自前一幀的預(yù)測(cè)塊。如果r小于指示相鄰圖像相關(guān)性較高的門限值TH2(TH2＜TH1)，漏塊的隱蔽則采用由空間內(nèi)插產(chǎn)生的塊來代替。如果TH2≤r≤TH1，隱蔽則采用下面要討論的空間內(nèi)插和時(shí)間代替的組合來進(jìn)行。TH1和TH2的示范性值分別為0.9和0.4。
不需要計(jì)算和采用全部三種相關(guān)性度量，例如，只采用兩種相關(guān)性度量，仍可得到可以接受的結(jié)果。換句話說，可以把其它相關(guān)值/度量加到r值的混合形式上。此外，可以把系數(shù)β1、β2和β3中的某一個(gè)設(shè)定為零。
在圖7的流程圖中，回顧了前述過程?？梢砸庾R(shí)到，確定系數(shù)度量rm、rp和rd的次序可以互換。圖7中，首先，計(jì)算度量rp{60}。然后，取出適當(dāng)?shù)倪\(yùn)動(dòng)矢量，并且確定相關(guān)性度量rm{61}。取出相鄰于已丟失塊的各塊的像素值{62}，并且，確定邊緣梯度rd{63}。把各個(gè)度量rp、rm和rd加權(quán)，相加，以產(chǎn)生周圍塊在空間上和時(shí)間上的相關(guān)性度量{64}。
在隱蔽控制器40中，把相關(guān)性參數(shù)r與兩個(gè)門限值TH1和TH2加以比較。如果r大于TH1，則通過時(shí)間代替產(chǎn)生對(duì)壞塊或漏塊的代替塊。在控制器40中，這樣來執(zhí)行，即在當(dāng)前的幀周期內(nèi)，在存儲(chǔ)器22的顯示部分中，以塊TR代替漏掉的塊。如果r值小于TH2，則通過代入空間內(nèi)插塊進(jìn)行隱蔽。這可以通過從工作存儲(chǔ)器41取出超塊，并且，把該像素矩陣加到空間內(nèi)插器44上來執(zhí)行。內(nèi)插器44可以利用已知的內(nèi)插方法產(chǎn)生代替塊，這些方法包括按照占優(yōu)勢(shì)圖像梯度或各梯度的方向空間內(nèi)插或雙向空間內(nèi)插。換句話說，如果TH2≤r≤TH1，則利用將參看圖9描述的空間內(nèi)插和時(shí)間內(nèi)插的組合來實(shí)現(xiàn)隱蔽。
圖9中，塊900相應(yīng)于前面討論的用來產(chǎn)生占優(yōu)勢(shì)邊緣或梯度的超塊。單元901表示用來檢出占優(yōu)勢(shì)邊緣或梯度的設(shè)備。把指示占優(yōu)勢(shì)邊緣方向的標(biāo)記加到梯度掩蔽(mask)904上。把超塊加到FFT903上，把FFT產(chǎn)生的變換系數(shù)加到梯度掩蔽904上。掩蔽904響應(yīng)于來自檢出器901的標(biāo)記，選擇與占優(yōu)勢(shì)邊緣有關(guān)的那些系數(shù)。參看圖5，如果占優(yōu)勢(shì)的邊緣位于135°，梯度掩蔽904將形成包括那些落入標(biāo)為135°FILTER(圖5中)群中系數(shù)的超塊系數(shù)矩陣，并且，把其余系數(shù)設(shè)定為零。把這一矩陣加到反FFT906上，對(duì)系數(shù)進(jìn)行反變換，以便產(chǎn)生超塊空間像素矩陣908(項(xiàng)目908表示工作存儲(chǔ)器41的一部分，F(xiàn)FT903和IFFT906相應(yīng)于圖4中的單元43，梯度掩蔽可以通過控制器40的適當(dāng)編程而實(shí)現(xiàn))。把超塊加到提取相應(yīng)于漏塊像素矩陣的選擇器910上。即，消除了形成相鄰塊部分的超塊像素值，只剩下漏塊M。這一個(gè)塊M相應(yīng)于已方向?yàn)V波的塊，并且，當(dāng)參數(shù)r發(fā)信號(hào)通知了這種代替方式時(shí)可以將其用為空間內(nèi)插代替塊。為了當(dāng)前之用，把塊M加到產(chǎn)生已變換塊M′(916)的FFT914上。此外，從存儲(chǔ)器912取出來自前一幀的預(yù)測(cè)塊TR，并且，將其加到產(chǎn)生已變換塊TR′(918)的FFT914上。把塊M′和TR′的相應(yīng)FFT系數(shù)加到減法器920上，減法器920形成各個(gè)相應(yīng)系數(shù)之差的絕對(duì)值矩陣。在比較器922中，把各個(gè)差值|M′[i，j]－TR[i，j]|與變量“e”加以比較。比較器922的輸出控制從塊M′和TR′中的系數(shù)形成系數(shù)矩陣Y[i，j](927)的選擇器926。如果相應(yīng)于系數(shù)[i，j]的差值小于或等于“e”，則控制選擇器926選擇塊M′中的系數(shù)M[i，j]，用作系數(shù)Y[i，j]。換句話說，如果相應(yīng)于系數(shù)[i，j]的差值大于“e”，則控制選擇器926選擇塊TR′中的系數(shù)TR[i，j]，用作相應(yīng)的系數(shù)Y[i，j]。把矩陣Y[i，j]加到產(chǎn)生像素值代替塊的反FFT元件928上?？梢园堰@一矩陣返回到存儲(chǔ)器900中，并且，根據(jù)需要，重復(fù)這一過程(注意，可以把單元910和926歸入圖4的單元40中，可以把單元920和922歸入單元42中，可以把單元914和928歸入單元43中)。
指定方框927中的點(diǎn)線框指示塊的系數(shù)Y[i，j]可以是已低通濾波的。低通濾波可以通過把相應(yīng)塊中的高頻系數(shù)忽略或切掉而簡(jiǎn)單地實(shí)現(xiàn)。低通濾波可以作為選擇器926中選擇過程的一部分而執(zhí)行，而且，可以使之取決于相關(guān)性度量r之值。作為一種r功能的低通濾波，有利地減少了空間與時(shí)間相關(guān)性較小的圖像可能引起的人工產(chǎn)物。r值較大時(shí)，需要較弱的或不需要濾波；r值較小時(shí)，需要較強(qiáng)地濾波。換句話說，濾波可以在FFT 914中執(zhí)行，以便減少單元920和922所需的處理量。在這種情況下，將對(duì)塊M′和TR′獨(dú)立地，但是，類似地進(jìn)行濾波。
取決于r之值，還可能配置濾波器926，以便執(zhí)行各個(gè)數(shù)據(jù)塊的選擇。即該選擇器可以包括用來把r與門限值TH1和TH2加以比較的比較器，按照r的相對(duì)大小，選擇塊M′、或TR′、或M′與TR′的組合。
變量“e”可以是一個(gè)預(yù)編程序的常數(shù)，或者，是一個(gè)由用戶選擇的值。換句話說，它可以作為信號(hào)的函數(shù)而自動(dòng)地產(chǎn)生。圖10示出一種自動(dòng)地產(chǎn)生變量“e”的方式。圖10中，把當(dāng)前塊TOP(1001)與預(yù)測(cè)塊TOPP(1002)的相應(yīng)像素值加到產(chǎn)生差值矩陣的減法器1003上。在二維FFT(1004)中，對(duì)這些差值進(jìn)行變換并將其加到單元1005上，元件1005作為一個(gè)差函數(shù)[在這里，作為差值變換系數(shù)的函數(shù)F(DIFF)]產(chǎn)生變量“e”。一個(gè)示范性函數(shù)F(DIFF)的例子是，把變量“e”設(shè)定為等于差值變換系數(shù)的90％。換句話說，可以把變量e設(shè)定為等于以比例因子δ加權(quán)的系數(shù)的一個(gè)標(biāo)準(zhǔn)偏差值σ，δ可以通過實(shí)驗(yàn)由經(jīng)驗(yàn)確定e＝δ乘σ對(duì)F(DIFF)＝e的另一個(gè)值可以是系數(shù)的加權(quán)平均值me＝K4乘m此處，K4為由實(shí)驗(yàn)確定的常數(shù)。利用是視頻信號(hào)函數(shù)的“e”值以確定在代替塊中各個(gè)系數(shù)Y[i，j]的選擇，這有一個(gè)優(yōu)點(diǎn)，即在圖像中相關(guān)變化之間的相關(guān)性差值大時(shí)，使差錯(cuò)最小。
以從梯度掩蔽到選擇器926的點(diǎn)線提出了產(chǎn)生時(shí)空內(nèi)插代替塊的另一種方式。在這種方式中，利用占優(yōu)勢(shì)的梯度控制選擇器926，以便通過從塊M′中只選擇那些相應(yīng)于表示占優(yōu)勢(shì)梯度的系數(shù)M[i，j]，并且，從塊TR′中選擇提供其余系數(shù)值的系數(shù)，形成矩陣Y[i，j]。
權(quán)利要求
1.一種用來產(chǎn)生對(duì)像素?cái)?shù)據(jù)的丟失或損壞塊的代替塊的設(shè)備，其特征是表示相應(yīng)圖像的像素?cái)?shù)據(jù)源(20)和指示可能丟失或損壞的所述像素?cái)?shù)據(jù)(下文中，稱為壞像素?cái)?shù)據(jù))塊的差錯(cuò)數(shù)據(jù)源；響應(yīng)于所述差錯(cuò)數(shù)據(jù)，用來從所述源取出空間上相鄰于壞像素?cái)?shù)據(jù)的塊和時(shí)間上相應(yīng)于所述壞像素?cái)?shù)據(jù)塊的預(yù)測(cè)數(shù)據(jù)塊的控制器(40)；對(duì)所述空間上相鄰于壞像素?cái)?shù)據(jù)塊的像素?cái)?shù)據(jù)進(jìn)行運(yùn)算，用來產(chǎn)生空間內(nèi)插像素?cái)?shù)據(jù)塊的內(nèi)插器(44)；用來提供表示所述空間內(nèi)插像素?cái)?shù)據(jù)塊的變換系數(shù)的矩陣，并且，用來產(chǎn)生表示所述時(shí)間預(yù)測(cè)數(shù)據(jù)塊第二個(gè)變換系數(shù)矩陣的變換電路(43)；響應(yīng)于預(yù)定的準(zhǔn)則，用來除了按照所述準(zhǔn)則從所述表示所述空間內(nèi)插塊的變換系數(shù)矩陣，或者，從所述第二個(gè)變換系數(shù)矩陣之外，還通過在第三矩陣中選擇相應(yīng)系數(shù)，形成第三個(gè)變換系數(shù)矩陣的選擇器(426)；以及用來反變換所述第三個(gè)矩陣，以便產(chǎn)生所述像素?cái)?shù)據(jù)代替塊的反變換電路(928)。
2.根據(jù)權(quán)利要求1中所述的設(shè)備，其特征是所述內(nèi)插器包括對(duì)所述空間上相鄰于壞像素?cái)?shù)據(jù)塊的所述像素?cái)?shù)據(jù)進(jìn)行運(yùn)算，用來檢出在圖像區(qū)中用空間上相鄰于壞像素?cái)?shù)據(jù)塊的像素?cái)?shù)據(jù)表示的占優(yōu)勢(shì)圖像梯度的數(shù)字信號(hào)處理設(shè)備。
3.根據(jù)權(quán)利要求2中所述的設(shè)備，其特征是，所述用來形成第三個(gè)矩陣的選擇器，從所述表示所述空間內(nèi)插塊的所述變換系數(shù)矩陣，產(chǎn)生包括表示相應(yīng)于所述占優(yōu)勢(shì)圖像梯度的方向圖像信息的變換系數(shù)的變換系數(shù)矩陣；并且，從所述另一個(gè)系數(shù)矩陣，選擇除了表示相應(yīng)于所述占優(yōu)勢(shì)邊緣梯度的方向信息的系數(shù)之外的變換系數(shù)。
4.根據(jù)權(quán)利要求1中所述的設(shè)備，其特征是，所述選擇器包括用來確定在表示所述空間內(nèi)插像素?cái)?shù)據(jù)塊的所述變換系數(shù)矩陣中，和在所述第二個(gè)變換系數(shù)矩陣中，相應(yīng)變換系數(shù)之間相應(yīng)差值的電路；用來把相應(yīng)差值與預(yù)定變量“e”加以比較的比較器；而且，其中，所述選擇器當(dāng)相應(yīng)差值小于所述變量“e”時(shí)，從所述表示所述空間內(nèi)插像素?cái)?shù)據(jù)塊的變換系數(shù)矩陣選擇相應(yīng)的系數(shù)，當(dāng)相應(yīng)差值大于所述變量“e”時(shí)，從所述另一變換系數(shù)矩陣選擇相應(yīng)的系數(shù)。
5.根據(jù)權(quán)利要求4中所述的設(shè)備，其特征是，所述選擇器還包括用來從位置相鄰于所述壞數(shù)據(jù)的圖像信息，產(chǎn)生所述變量“e”的裝置。
6.根據(jù)權(quán)利要求4中所述的設(shè)備，其進(jìn)一步特征是響應(yīng)于表示相鄰于所述壞像素?cái)?shù)據(jù)塊的圖像區(qū)中圖像信息的數(shù)據(jù)，用來確定在相鄰于所述壞像素?cái)?shù)據(jù)塊的所述圖像區(qū)中圖像特性的相關(guān)性度量r的設(shè)備；門限值TH1的源；用來把所述相關(guān)性度量r與門限值TH1加以比較；并且，如果相關(guān)性度量r大于TH1，則控制所述選擇器只從所述另一個(gè)矩陣選擇系數(shù)，如果相關(guān)性度量r小于TH1，則控制所述選擇器按照所述預(yù)定的準(zhǔn)則選擇系數(shù)的比較器。
7.根據(jù)權(quán)利要求6中所述的設(shè)備，其進(jìn)一步特征是第二個(gè)門限值TH2的源，此處，TH2小于TH1；而且，其中，把所述比較器配置成為，把所述相關(guān)性度量r與所述另一門限值TH2加以比較；并且，如果相關(guān)性度量r小于TH2，則控制所述選擇器只從表示所述空間內(nèi)插像素?cái)?shù)據(jù)塊的所述變換系數(shù)矩陣選擇系數(shù)，如果TH2＜r＜TH1，則控制所述選擇器按照所述預(yù)定的準(zhǔn)則選擇系數(shù)。
8.根據(jù)權(quán)利要求1中所述的設(shè)備，其進(jìn)一步特征是響應(yīng)于表示相鄰于所述壞像素?cái)?shù)據(jù)塊的圖像區(qū)中圖像信息的數(shù)據(jù)，用來確定在相鄰于所述壞像素?cái)?shù)據(jù)塊的所述圖像區(qū)中圖像特性的相關(guān)性度量r的設(shè)備；門限值TH1的源；用來產(chǎn)生代替像素?cái)?shù)據(jù)塊的裝置；用來把所述相關(guān)性度量r與門限值TH1加以比較；并且，如果相關(guān)性度量r大于TH1，則控制所述用來產(chǎn)生代替像素?cái)?shù)據(jù)塊的裝置，以便提供所述時(shí)間預(yù)測(cè)數(shù)據(jù)塊，如果相關(guān)性度量r小于TH1，則從所述選擇器提供數(shù)據(jù)塊的比較器。
9.根據(jù)權(quán)利要求8中所述的設(shè)備，其進(jìn)一步特征是第二個(gè)門限值TH2的源，此處，TH2小于TH1；而且，其中，把所述比較器配置成為，把所述相關(guān)性度量r與所述另一門限值TH2加以比較，并且，如果相關(guān)性度量r小于TH2，則控制所述用來產(chǎn)生代替像素?cái)?shù)據(jù)塊的裝置，以便提供所述空間內(nèi)插像素?cái)?shù)據(jù)塊，如果TH2＜r＜TH1，則從所述選擇器提供數(shù)據(jù)塊。
10.根據(jù)權(quán)利要求8中所述的設(shè)備，其特征是，所述響應(yīng)于表示相鄰于所述壞像素?cái)?shù)據(jù)塊的圖像區(qū)中圖像信息的數(shù)據(jù)，用來確定圖像特性的相關(guān)性度量r的設(shè)備包括用來至少確定在相鄰于所述壞像素?cái)?shù)據(jù)塊的各像素?cái)?shù)據(jù)塊中，圖像梯度的相對(duì)相關(guān)性的設(shè)備。
11.根據(jù)權(quán)利要求10中所述的設(shè)備，其特征是，所述響應(yīng)于表示相鄰于所述壞像素?cái)?shù)據(jù)塊的圖像區(qū)中圖像信息的數(shù)據(jù)，用來確定圖像特性的相關(guān)性度量r的設(shè)備還包括用來確定在相鄰于所述壞像素?cái)?shù)據(jù)塊的各像素?cái)?shù)據(jù)塊中圖像運(yùn)動(dòng)的相對(duì)相關(guān)性的設(shè)備；以及用來提供表示圖像運(yùn)動(dòng)的所述相對(duì)相關(guān)性與圖像梯度的所述相對(duì)相關(guān)性的數(shù)值之加權(quán)和的設(shè)備。
12.根據(jù)權(quán)利要求11中所述的設(shè)備，其特征是，所述響應(yīng)于表示相鄰于所述壞像素?cái)?shù)據(jù)塊的圖像區(qū)中圖像信息的數(shù)據(jù)，用來確定圖像特性的相關(guān)性度量r的設(shè)備還包括用來確定在相鄰于所述壞像素?cái)?shù)據(jù)塊的塊與相鄰于所述壞像素?cái)?shù)據(jù)塊的塊的預(yù)測(cè)塊的塊之間時(shí)間相關(guān)性度量的裝置；以及用來提供表示圖像運(yùn)動(dòng)的所述相對(duì)相關(guān)性與圖像梯度的所述相對(duì)相關(guān)性和所述時(shí)間相關(guān)性度量的數(shù)值之加權(quán)和，以產(chǎn)生所述相關(guān)性度量r的設(shè)備。
13.根據(jù)權(quán)利要求11中所述的設(shè)備，其特征是，用來確定圖像運(yùn)動(dòng)相對(duì)相關(guān)性的所述設(shè)備包括，用來計(jì)算與相鄰于所述壞像素?cái)?shù)據(jù)塊的已壓縮視頻數(shù)據(jù)塊有關(guān)的運(yùn)動(dòng)矢量的相對(duì)相關(guān)性的設(shè)備。
14.一種用來產(chǎn)生對(duì)像素?cái)?shù)據(jù)的丟失或損壞塊(下文中，稱為壞塊)的像素?cái)?shù)據(jù)塊的方法，其特征是提供像素?cái)?shù)據(jù)塊和指示所述塊中哪些塊為壞塊的差錯(cuò)信號(hào)；確定在相鄰于壞塊的像素塊中占優(yōu)勢(shì)的圖像梯度；響應(yīng)于所述差錯(cuò)信號(hào)，按照所述占優(yōu)勢(shì)的圖像梯度，空間內(nèi)插對(duì)所述壞塊的代替數(shù)據(jù)塊；響應(yīng)于所述差錯(cuò)信號(hào)，時(shí)間預(yù)測(cè)對(duì)所述壞塊的代替數(shù)據(jù)塊；把空間內(nèi)插代替塊變換成為表示頻譜的變換系數(shù)塊TC1；把時(shí)間預(yù)測(cè)代替塊變換成為表示頻譜的變換系數(shù)塊TC2；按照預(yù)定的準(zhǔn)則，通過從所述變換系數(shù)塊TC1和TC2選擇相應(yīng)的系數(shù)，形成第三個(gè)系數(shù)塊；反變換所述第三個(gè)系數(shù)塊，以便產(chǎn)生像素?cái)?shù)據(jù)的代替塊。
15.根據(jù)權(quán)利要求14中所述的方法，其特征是，確定在相鄰于壞塊的像素塊中占優(yōu)勢(shì)的圖像梯度，并且，按照所述占優(yōu)勢(shì)的圖像梯度進(jìn)行空間內(nèi)插；其中，所述選擇步驟包括從所述變換系數(shù)塊TC1中，只選擇表示沿著占優(yōu)勢(shì)梯度的圖像信息的系數(shù)；而且，從變換系數(shù)塊TC2中，選擇其余系數(shù)。
16.根據(jù)權(quán)利要求14中所述的方法，其特征是，所述選擇步驟包括提供差錯(cuò)值“e”；確定在變換系數(shù)塊TC1和TC2中，相應(yīng)系數(shù)之間的差值；以及如果相應(yīng)差值小于差錯(cuò)值“e”，則從變換系數(shù)塊TC1中選擇系數(shù)，否則，從變換系數(shù)塊TC2中選擇相應(yīng)系數(shù)。
17.根據(jù)權(quán)利要求16中所述的方法，其特征是，所述提供數(shù)值“e”的步驟包括提供相鄰于壞塊的數(shù)據(jù)塊和相應(yīng)于相鄰于所述壞塊的所述數(shù)據(jù)塊的時(shí)間預(yù)測(cè)塊；確定在所述時(shí)間預(yù)測(cè)塊和相應(yīng)塊中.相應(yīng)數(shù)據(jù)之間的差值；以及統(tǒng)計(jì)分析這種差值，從這種差值的統(tǒng)計(jì)結(jié)果產(chǎn)生數(shù)值“e”。
全文摘要
一種視頻去壓縮系統(tǒng)包括用來產(chǎn)生已丟失像素?cái)?shù)據(jù)塊的代替數(shù)據(jù)的塊差錯(cuò)隱蔽裝置(22、41、42)。內(nèi)插器產(chǎn)生用來隱蔽已丟失塊的空間(44)和時(shí)間(40)上的內(nèi)插或預(yù)測(cè)數(shù)據(jù)塊。把空間和時(shí)間上各個(gè)內(nèi)插數(shù)據(jù)塊中的像素?cái)?shù)據(jù)變換(43)成為表示頻譜的系數(shù)。從按照預(yù)定的準(zhǔn)則來自這兩種變換塊的系數(shù)，把代替的系數(shù)塊裝配出來。把代替塊變回到空域，以便代替已丟失的像素值。
文檔編號(hào)H03M13/00GK1141561SQ9610204
公開日1997年1月29日 申請(qǐng)日期1996年2月15日 優(yōu)先權(quán)日1995年2月16日
發(fā)明者M·錢, H·-F·孫, W·郭 申請(qǐng)人:湯姆森多媒體公司