專利名稱：圖像處理裝置及圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖4象處理裝置及方法，其中，例如在無傳感器相枳j 抖動校正或低照度圖像拾取時，疊加圖像以獲得從中去除或減少了 噪聲的圖4象。
背景技術(shù)：
根據(jù)圖像信息本身來確定兩個畫面圖像之間的運動矢量的塊 匹配技術(shù)是一項歷史悠久的技術(shù)。
塊匹配技術(shù)是計算包括作為受關(guān)注的畫面圖像的參考畫面圖 像和從中出現(xiàn)參考畫面圖像的運動的原始圖^f象(下文稱為目標(biāo)畫面 圖像)的兩個畫面圖像之間的運動矢量的方法。根據(jù)塊匹配4支術(shù)， 通過計算關(guān)于預(yù)定大小的矩形區(qū)域的塊(即，目標(biāo)塊和參考塊)的 參考畫面圖像和目標(biāo)畫面圖像之間的相關(guān)性來計算運動矢量。
塊匹配技術(shù)包括以下兩種情況目標(biāo)畫面圖像在時間上先于參 考畫面圖^象；以及參考畫面圖<象在時間上先于目標(biāo)畫面圖<象。前一種情況的實例是通過MPEG(運動圖片專家組)方式進行運動檢測， 而后一種情況的實例是通過下文所述的圖〗象幀的疊加來降^f氐p桑聲。
注意，在本說明書中，術(shù)語畫面圖像表示由一幀或一場的圖像 數(shù)據(jù)形成的圖像。然而，為了描述方便，在本說明書的以下描述中， 假設(shè)一個畫面圖像由一幀形成。因此， 一個畫面圖像在下文中被稱 為一幀。因此，參考畫面圖像在下文中^皮稱為參考幀，而目標(biāo)畫面 圖Y象在下文中^皮稱為目標(biāo)幀。
具體地，對于電視相機的云臺才企測和圖像拾取對象跟蹤、MPEG 方式的運動圖片編碼等，已經(jīng)開發(fā)了利用塊匹配的運動矢量檢測技 術(shù)。在90年代，已促進了在包括通過圖像疊加進行無傳感器相機 抖動校正、低照度下進行圖像拾取時的降噪等寬范圍內(nèi)的應(yīng)用。
順便提及，檢測在畫面圖像中設(shè)置的大量目標(biāo)塊中的每一個的 運動矢量(即，局部運動矢量)，并^f吏用以這種方式檢測的大量局 部運動矢量來計算表示在兩個畫面圖像之間施加給整個圖像的變 形的全局運動。全局運動通常表示運動以及作為圖像的靜止圖片部 分的背景的運動量。
作為相關(guān)技術(shù)，在日本專利公開第2007-221631號中(下文稱 為專利文獻1 )披露了一種失真校正方法，其中，將一個畫面圖像 劃分為許多塊并對每個塊確定矢量。然后，以這種方式確定的運動 矢量被直接用于計算全局運動。專利文獻l的這種技術(shù)直至多年前 都被一直用作主要針對像素數(shù)目較小的運動圖片的相機抖動校正 技術(shù)。
通過專利文獻l中4皮露的4支術(shù)，可以用^氐成本的石更件規(guī)^莫來檢 測全局運動并實現(xiàn)良好的無傳感器或無陀螺相才幾的抖動校正以及 對高圖片質(zhì)量的靜止圖片和運動圖片的降噪。同時，作為確定全局運動的方法，已經(jīng)提出了對所檢測的多個 局部運動矢量應(yīng)用仿射變4灸的方法。
圖69示出了仿射變換作為(表達(dá)式1)的通式。參看圖69, 在(表達(dá)式1)中，v表示目標(biāo)塊的運動矢量的水平分量，w表示 目標(biāo)塊的運動矢量的垂直分量，以及a、 b、 c、 d、 e和f表示仿射 參數(shù)。在普通的仿射變換中，仿射參數(shù)a、 b、 c、 d、 e和f都是固 定值。此外，x與y分別表示目標(biāo)塊的中心坐標(biāo)的水平分量和垂直 分量。
才艮據(jù)通過全局運動的收斂凄t學(xué)運算處理確定的仿射參凄t以及 每個目標(biāo)塊的中心坐標(biāo)，獲得對應(yīng)于全局運動的運動矢量。剛剛提 及的這種運動矢量在下文中凈皮稱為理想運動矢量。在這些理想矢量 與通過塊匹配檢測的觀察運動矢量之間的誤差總和s被表示為圖70 的(表達(dá)式2)。
推導(dǎo)全局運動的命題是估計使上述誤差總和s最小化的仿射參 數(shù)a f，并且可以通過例如最小二乘法獲得解決。圖71、圖72和 圖73的(表達(dá)式3)、另一個(表達(dá)式4)和又一個(表達(dá)式5)分 別示出了仿射參數(shù)a ~ f的推導(dǎo)過程以及推導(dǎo)過程的結(jié)果。
雖然以這種方式較容易地計算仿射變換的參數(shù)，但這種計算的 效果很好。因為仿射變換不僅為圖像的平移、旋轉(zhuǎn)以及擴展或壓縮 做了準(zhǔn)備，而且也為一定程度的變形作了準(zhǔn)備，所以覆蓋了大多數(shù) 相沖幾才牛動(即，相才幾工作的^青細(xì)才交正)。
例如，在日本專利7>開第2005-321902號(下文中稱為專利文 獻2)中披露了上述這種仿射變換。

發(fā)明內(nèi)容
如果一旦確定了上述全局運動，則由于在上文提及的(表達(dá)式 1)中給出了坐標(biāo)，所以能夠確定每個目標(biāo)塊的全局運動矢量。如 果將該全局運動矢量用于以目標(biāo)塊為單位執(zhí)行圖像的疊加，則可以 實現(xiàn)無傳感器的相機抖動校正、低照度下圖像拾取時的降噪(即， 產(chǎn)生降噪圖像)等。
然而，必須考慮到拾取圖像可能包括運動圖像拾取對象。這是 因為，如果使用由全局運動產(chǎn)生的全局運動矢量使包括不同于背景 靜止圖片部分的運動圖像拾取對象的目標(biāo)塊的圖像相互疊加，那么 就會產(chǎn)生類似于通過多次曝光的圖像狀態(tài)。
例如，如果目標(biāo)圖^象如圖74A所示而參考圖l象如圖74B所示， 則獲得如圖74C所示的圖像，其中，右下角部分的運動圖像拾取對 象部分表示多次曝光狀態(tài)。
因此，還提出了一種方法，其中，將畫面圖像劃分為多個小塊 并對每一個塊沖企測局部運動矢量，并且用作由例如在MPEG系統(tǒng)中 4吏用的ME (運動估計)技術(shù)來表示。
然而，在4吏用這種方法的情況下，不可避免要〗吏運動補償塊的 圖像與目標(biāo)塊的圖像的相加率適中，從而防止透明的運動圖像拾取 對象圖像部分的誤相加以及由變形、掩蔽等引起的邊緣部分的變化 等。這就可能產(chǎn)生不能實現(xiàn)期望的降噪效果的問題。
因此，需要提供通過圖像疊加能夠?qū)崿F(xiàn)期望的降噪效果的圖像 處理裝置和方法。
根據(jù)本發(fā)明的一個實施例，提供了一種圖像處理裝置，包括局部運動矢量檢測部，被配置為將目標(biāo)畫面圖像分割為多個目 標(biāo)塊，對每個目標(biāo)塊，在設(shè)置在不同于目標(biāo)畫面圖像的參考畫面圖 像上的搜索范圍內(nèi)設(shè)置多個參考塊，所述多個參考塊具有與目標(biāo)塊 相同的尺寸，確定目標(biāo)塊與參考塊之間的相關(guān)值，并檢測目標(biāo)塊的 局部運動矢量作為參考塊中計算出相關(guān)值的最大值的那一個參考
塊相對于目標(biāo)塊的位移；
全局運動矢量獲取部，被配置為獲取由表示施加給整個目標(biāo)畫 面圖像的變形的全局運動確定的每個目標(biāo)塊的全局運動矢量；
指標(biāo)值計算部，帔配置為對每個目標(biāo)塊計算表示由局部運動矢
量檢測部檢測的局部運動矢量與由全局運動矢量獲取部獲取的全
局運動矢量之間的一致度的指標(biāo)值；
運動補償部，被配置為生成運動補償圖〗象，其中，4吏用由局部
運動矢量檢測部檢測的局部運動矢量來對參考快進行運動補償；
相加率計算部，被配置為響應(yīng)于由指標(biāo)值計算部計算的對應(yīng)指 標(biāo)值來計算每個目標(biāo)塊的圖像與對應(yīng)的運動補償圖像之間的相加 率；以及
相加部，被配置為利用由相加率計算部計算的各個相加率來使 目標(biāo)塊的圖像與對應(yīng)的運動補償圖像相加。
根據(jù)本發(fā)明的另一個實施例，提供了一種圖像處理方法，包括 下列步艱A:
將目標(biāo)畫面圖{象分割為多個目標(biāo)塊，對每個目標(biāo)塊，在i殳置在 不同于目標(biāo)畫面圖〗象的參考畫面圖j象上的4叟索范圍內(nèi)i殳置多個參 考塊，所述多個參考塊具有與目標(biāo)塊相同的尺寸，確定目標(biāo)塊與參考塊之間的相關(guān)值，并檢測目標(biāo)塊的局部運動矢量作為參考塊中計
算出相關(guān)值的最大值的那一個參考塊相對于目標(biāo)塊的位移；
獲取由表示施加給整個目標(biāo)畫面圖〗象的變形的全局運動確定 的針對每個目標(biāo)塊的全局運動矢量；
對每個目標(biāo)塊計算表示在局部運動矢量4企測步驟中4企測的局 部運動矢量與在全局運動矢量獲取步驟中獲取的全局運動矢量之 間的一致度的指標(biāo)值；
生成運動補償圖像，其中，使用在局部運動矢量檢測步驟中檢 測的局部運動矢量來對參考快進行運動補償；
響應(yīng)于在指標(biāo)值計算步驟中計算的對應(yīng)指標(biāo)值來計算每個目 標(biāo)塊的圖像與對應(yīng)的運動補償圖像之間的相加率；以及
利用在相加率計算步驟中計算的各個相加率來使目標(biāo)塊的圖 Y象與對應(yīng)的運動補償圖^f象相加。
在圖^象處理裝置中，局部運動矢量4企測部對通過分割目標(biāo)畫面 圖像所獲得的目標(biāo)塊的每一個檢測局部運動矢量。全局運動矢量獲 取部獲取由表示施加給整個目標(biāo)畫面圖像的變形的全局運動確定 的針對每個目標(biāo)塊的全局運動矢量。
指標(biāo)值計算部對每個目標(biāo)塊計算表示局部運動矢量與全局運 動矢量之間的一致度的指標(biāo)值。該指標(biāo)值表示目標(biāo)塊是否與背景靜 止圖片一致的程度，如果一致度較大，則目標(biāo)塊可被看作是背景靜 止圖片部分。
相加率計算步響應(yīng)于由指標(biāo)值計算部計算的對應(yīng)指標(biāo)值來計 算每個目標(biāo)塊的圖像與對應(yīng)的運動補償圖像之間的相加率。簡而言之，如果一致度的指標(biāo)值較大，則由于目標(biāo)塊可以被看作是背景靜 止圖片部分，所以將相加率設(shè)定為大的值。
相加部利用各個相加率來4吏目標(biāo)塊的圖^f象與對應(yīng)的運動補償 圖像相加。在這種情況下，在背景靜止圖片部分中，通過高相加率 寺丸行相力。，^旦在運動圖像部分中，通過4氐相加率執(zhí)4亍相加。因此， 根據(jù)目標(biāo)塊是背景靜止圖片部分還是運動圖像部分，通過適當(dāng)?shù)南?加率執(zhí)行以塊為單位的圖像相加。
通過該圖像處理裝置，計算表示目標(biāo)塊與背景靜止圖片是否一 致的程度的指標(biāo)值，并響應(yīng)于指標(biāo)值計算目標(biāo)塊的圖像與運動補償 圖像之間的相加率。因此，根據(jù)目標(biāo)塊是背景靜止圖片部分還是運 動圖像部分，通過適當(dāng)?shù)南嗉勇蕡?zhí)行以塊為單位的圖像相加，并且 可以獲得實現(xiàn)了期望降噪效果的相加結(jié)果圖 <象。


圖l是示出了應(yīng)用#4居本發(fā)明的第 一 實施例的圖^象處理裝置的 圖傳j合取裝置的配置實例的框圖2A、圖2B以及圖3~圖IO是示出了通過圖像處理裝置進 4亍的塊匹配處理的示意圖11是示出了通過圖像處理裝置進行的塊匹配處理的框圖12是示出了通過圖像處理裝置拾取的圖像的實例的示意圖13是以與圖12的拾取圖像相關(guān)聯(lián)的關(guān)系示出由圖像處理裝 置才全測到的局部運動矢量的示意圖14是示出了圖像處理裝置所使用的SAD表的示意圖；圖15是示出了在一維軸上所采用的圖14的SAD表的示意圖16是以與圖12的拾取圖像相關(guān)聯(lián)的關(guān)系示出通過圖像處理 方法確定為具有高可靠性的局部運動矢量的示圖17是示出了圖像處理裝置的全局運動矢量計算部的配置實 例的框圖18是示出了圖像處理裝置的主要處理操作的流程圖19是示出了圖17所示全局運動矢量計算部的操作的示意
圖20是示出了通過圖1象處理裝置的局部運動矢量計算部進4亍 的才企測處理才喿作的實例的流程圖21A和圖21B是示出了至今已知的仿射變換的問題的示意
圖22是示出了用于使用正交投影變換從局部運動矢量確定全 局運動的處理的表達(dá)式的示圖23是示出了普通仿射變換的示意圖24-圖30是示出了關(guān)于通過圖像處理裝置執(zhí)行的從局部運 動矢量計算全局運動的處理實例的示圖31和圖32是示出了關(guān)于通過圖像處理裝置執(zhí)行的從局部運 動矢量計算全局運動的處理實例的流程圖；圖33是以與圖像相關(guān)聯(lián)的關(guān)系示出了通過圖像處理裝置從所 算的全局運動確定的塊單位的運動矢量的示圖34是示出了通過圖像處理裝置使用全局運動矢量來評估目 標(biāo)塊的背景一致度的處理的示圖35是示出了圖像處理裝置的背景/運動圖像拾取對象判定部 的配置實例的4匡圖36和圖37是示出了通過圖35的背景/運動圖像拾取對象判 定部進行的處理才喿作的流程圖38是示出了圖像處理裝置的背景/運動圖像拾取對象判定部 的配置的另 一 實例的才匡圖39是示出了為全局運動矢量的位置設(shè)置了容限的情況下的 仿射變換的示意圖40是示出了圖像處理裝置的背景/運動圖像拾取對象判定部 的配置的又一實例的才匡圖41和圖42是示出了通過圖40的背景/運動圖像拾取對象判 定部進4亍的處理才喿作的流禾呈圖43是示出了圖像處理裝置的背景/運動圖像拾取對象判定部 的配置的再 一 實例的才匡圖44和圖45是示出了相加率計算部的一部分配置實例的才匡
圖46-圖52是示出了相加率計算部的配置的示意圖；的示意圖59和圖60是示出了本發(fā)明第二實施例中的處理的第一實例 的示意圖61和圖62是示出了本發(fā)明第二實施例中的處理的第二實例 的示意圖63是示出了通過根據(jù)本發(fā)明第二實施例的圖像處理裝置進 4亍的處理才喿作的流程圖64A~圖64D是示出了通過根據(jù)第二實施例的圖像處理裝置 實現(xiàn)的效果的示意圖65和圖66是示出了確定由才艮據(jù)第二實施例的圖^f象處理裝置 才全測的局部運動矢量的處理的另 一 實例的示意圖67是示出了確定由根據(jù)第二實施例的圖像處理裝置檢測的 局部運動矢量的處理的又一 實例的示意圖68是示出了才艮據(jù)本發(fā)明不同實施例的圖像處理裝置的配置 實例的沖匡圖69~圖73是示出了在從局部運動矢量中確定全局運動的處 理實例中4吏用的表達(dá)式的示圖；以及
圖74A~圖74C是示出了在通過圖^f象疊加形成的圖^象上運動圖 4象拾取對象部分處的多次曝光的示意圖。
1具體實施例方式
下面，參考附圖結(jié)合優(yōu)選實施例詳細(xì)地描述本發(fā)明，其中，才艮 據(jù)本發(fā)明的圖像處理裝置和圖像處理方法被應(yīng)用于圖像拾取裝置。
第一實施例
根據(jù)第 一 實施例的圖像拾取裝置總體上被配置為以使通過圖 像拾取裝置或成像器拾取的多個靜止圖像經(jīng)放置并相互疊加以降 低圖像的噪聲。
在用戶用手把持圖像拾取裝置以拾取圖像的環(huán)境中，可能發(fā)生 相機抖動。例如，在通過利用以這種方式由用戶手持的圖像拾取裝 置通過連續(xù)拍攝來拾取靜止圖片的情況下，第 一靜止圖片被用作目 標(biāo)幀，而第二個和后續(xù)的靜止圖片被用作參考幀。
在可通過向整個參考幀施加包括平移、旋轉(zhuǎn)以及擴展或壓縮的 變換處理使參考幀定被置于目標(biāo)幀的位置的情況下，應(yīng)用于整個參 考幀的變換處理是全局運動。全局運動通常表示移動以及圖像的背 景靜止圖片的移動量。剛剛提及的這種背景靜止圖片在下文中只稱
為背景。
相積i抖動意P未著對于目標(biāo)幀來i兌發(fā)生了通過相對目標(biāo)幀對參 考幀執(zhí)行包括平移、旋轉(zhuǎn)以及擴展或壓縮的圖像變換的量的全局運動。
在本實施例的描述中，為了簡化描述，所拾取的靜止圖片中的 第一個#1用作參考，即，作為目標(biāo)幀。然而，這并不是必須的?？?br> 以使用任意的第n個靜止圖片來作為目標(biāo)幀并且可以將任意的第m 個(n^m)靜止圖片用作參考幀以重新定義全局運動?；蛘?，可以為運動圖片中時間上不同的兩個幀圖像來定義全局運動。又或者， 全局運動處理可以不^皮應(yīng)用于所沖合取圖〗象的一幀內(nèi)的整個有效圖 片幀，而是^又應(yīng)用于一幀圖《象的一部分。
如果確定了全局運動，則可以/人所確定的全局運動中計算出表 示施加于圖^f象上的每個坐標(biāo)〗立置的目標(biāo)幀與參考幀之間的整個畫 面圖像的運動的運動矢量。剛剛提及的這種運動矢量在下文中^皮稱
為全局運動矢量?？梢詾樵诋嬅鎴D^象上"i殳置的大量目標(biāo)塊中的每一 個確定全局運動矢量。此外，可以為每個^象素確定全局運動矢量。
然后，如果可基于全局運動精確地確定全局運動矢量，則可以 順利地才交正相枳4牛動。或者，可以使幀圖^f象相互疊加同時針對相枳j 抖動來校正全局運動矢量。
在以下描述中，使用運動矢量檢測與運動補償(其中，使用運 動矢量來定位不同幀的兩個圖像)來疊加多個圖像以降低噪聲被稱 為降噪(NR)。此外，通過這種降噪而使噪聲降低的圖像被稱為降 噪圖像。
在本實施例中， 一個畫面圖傳^皮劃分為多個塊(下文描述為目 標(biāo)塊)，并通過上述塊匹配方法檢測以塊為單位的運動矢量。通過 塊匹配方法對每塊所檢測的運動矢量在下文中^皮稱為局部運動矢量。
此夕卜，在本實施例中，在塊匹配方法中，4吏用相關(guān)值，以下文 所述的方式來^r測局部運動矢量的可靠性的指標(biāo)。然后， <又/人那些 被檢測具有高可靠性的局部運動矢量中計算全局運動，并JU人所計 算的全局運動中檢測每塊的全局運動矢量。
塊匹配的概要圖2A 圖7示出了塊匹配方法的相克要。在此處描述的塊匹配 方法中，如圖2A所示，在目標(biāo)幀100中〗艮設(shè)包括水平方向上的多 個像素和垂直方向上的多條線的預(yù)定尺寸的矩形區(qū)域的塊(即，目 標(biāo)塊102)。此外，在參考幀101中，i殳置與目標(biāo)塊102尺寸相同的
塊(即，參考塊)。
在塊匹配中，從參考幀101中搜索出與目標(biāo)塊102具有高相關(guān) 性的參考塊。圖2B所示的被j企測為在參考幀101中與目標(biāo)塊102 具有最高相關(guān)性的塊的參考塊103在下文中被稱為運動補償塊。此 外，在目標(biāo)塊102和與目標(biāo)塊102具有最高相關(guān)性的運動補償塊103 之間的位移量在下文中^皮稱為運動矢量(參照圖2B的參考凄t字 104)。
對應(yīng)于目標(biāo)塊102與運動補償塊103之間的位置位移(包括位 置位移量和位置位移方向)的運動矢量104與目標(biāo)塊102在參考幀 101中的4殳影圖^f象塊109的4立置與運動補償塊103的位置之間的4立 置位移相對應(yīng)。例如，對于才更影圖^象塊109的位置和運動補償塊103 的位置，使用了它們的中心位置。
*支定目標(biāo)塊102的4殳影圖〗象塊109在參考幀101中的位置與目 標(biāo)幀100的目標(biāo)塊102的4立置相同。
描述塊匹配處理的相克要。
參照圖3 ，假設(shè)目標(biāo)幀100的目標(biāo)塊102的投影圖像塊109位 于由圖3的虛線表示的參考幀101中與目標(biāo)幀100的目標(biāo)塊102的 4立置相同的位置。然后，目標(biāo)塊102的^L影圖4象塊109的中心坐標(biāo) 被確定為用于運動4企測的原點105。隨后，個z沒運動矢量104存在 于用于運動沖全測的原點105的特定范圍內(nèi)，并且以用于運動檢測的原點105為中心的預(yù)定范圍^^殳置為由圖3中的點劃線所表示的4臾 索范圍106。
隨后，在參考畫面圖像上設(shè)定與目標(biāo)塊102具有相同尺寸的塊 (即，參考塊108)。然后，例如，在4臾索范圍106內(nèi)的水平方向或 垂直方向上以一個像素或多個像素為單位來移動參考塊108的位 置。因此，在搜索范圍106中設(shè)定了多個參考塊108。
此處，在4臾索范圍106內(nèi)移動參考塊108意p未著由于用于運動 檢測的原點105是目標(biāo)塊的中心位置，所以參考塊108的中心位置 在搜索范圍106內(nèi)移動。因此，構(gòu)成參考塊108的^象素可以/人:溲索 范圍106中突出。
隨后，對于在搜索范圍106內(nèi)設(shè)定的每個參考塊108，設(shè)置表 示參考塊108和目標(biāo)塊102的位移量和位移方向的矢量(即，參考 矢量107(參照圖3))。然后，評估在位于由每個這樣的參考矢量 107所表示的位置的參考塊108的圖像內(nèi)容和目標(biāo)塊102的圖像內(nèi) 容之間的相關(guān)性。
參照圖4，參考矢量107可表示為矢量(Vx， Vy),其中，Vx 為參考塊108在水平方向上(即，X方向上)的位移量，Vy為參考 塊108在垂直方向上(即，Y方向上)的位移量。如果參考塊108 的位置坐標(biāo)(例如，中心位置坐標(biāo))與目標(biāo)塊102的位置坐標(biāo)(例 如，中心位置坐標(biāo))相同，則參考矢量107表示為矢量(0， 0)。
例如，如果參考塊108位于與目標(biāo)塊102的位置相比在X方向 上偏移1個像素距離的位置，則參考矢量107表示為矢量(1, 0)。 同時，如杲參考塊108位于與目標(biāo)塊102的^f立置相比在X方向上偏 移3個像素距離且在Y方向上偏移2個像素距離的位置，則參考矢 量107表示為矢量(3, 2)。簡而言之，如圖5所示，參考矢量107意味著在相互對應(yīng)的每 個參考塊108與目標(biāo)塊102之間的位置位移(包括位置位移量和位 置位移方向的矢量)。注意，在圖5中，目標(biāo)塊102與參考塊108 的位置分別由塊的中心位置表示。
參考塊108在搜索范圍106內(nèi)移動，并且在這種情況下，參考 塊108的中心位置在4臾索范圍106內(nèi)移動。由于參考塊108包括在 水平方向和垂直方向上的多個^f象素，所以如圖5所示，作為與目標(biāo) 塊102進行塊匹配處理對象的參考塊108的移動的最大范圍^皮給出 作為比4叟索范圍106更大的匹配處理范圍110。
隨后，被檢測為與目標(biāo)塊102的圖像內(nèi)容具有最高相關(guān)性的塊 的參考塊108的位置祐:;險測作為目標(biāo)幀100的目標(biāo)塊102在參考幀 101上的位置，即，作為移動后的位置。然后，所4企測的參考塊凈皮 確定為上文所述的運動補償塊103。然后，如圖2B所示，所4企測 的運動補償塊103的位置與目標(biāo)塊102的4立置之間的位移量^皮;險測 作為包纟舌方向分量的運動矢量104。
基本上使用目標(biāo)塊102和參考塊108的對應(yīng)像素值來計算表示 目標(biāo)塊102與在搜索范圍106內(nèi)移動的參考塊108之間的相關(guān)度的 相關(guān)值。包括使用均方根方法的各種計算方法可用于計算相關(guān)值。
例如，如圖6所示，對于各個塊中的所有^f象素，一4殳在計算運 動矢量時使用的相關(guān)值中的 一個是目標(biāo)塊102中的每個像素的亮度 值與搜索范圍106中的對應(yīng)像素的亮度值之間的差的絕對值的總 和。差的絕對"fi的總和牙爾為差分絕乂十值和(difference absolute value sum )，并在下文中尋皮稱為SAD (絕對差分和，Sum of Absolute Difference )值。在SAD值被用作相關(guān)數(shù)學(xué)運算結(jié)果的情況下，隨著SAD值減 小，相關(guān)值增大。因此，在搜索范圍106內(nèi)移動的參考塊108中， 位于SAD值最低位置的參考塊108是具有最高相關(guān)性的最高相關(guān) 性參考塊。該最高相關(guān)性參考塊被檢測作為運動補償塊103,所檢 測運動補償塊103的位置相對于目標(biāo)塊102的位置的位移量^皮檢測 作為運動矢量。
應(yīng)當(dāng)注意，通常相關(guān)性隨著相關(guān)^直的增加而增力P。然而，可以 認(rèn)為在SAD值被用作相關(guān)數(shù)學(xué)運算結(jié)果的情況下，隨著SAD值的 減少，相關(guān)性增加。
如上所述，在塊匹配中，通過作為包括方向分量的量的參考矢 量107來表示在4臾索范圍106內(nèi)i殳定的多個參考塊108中的每一個 相對于目標(biāo)塊102的位置位移量。每個參考塊108的參考矢量107 都具有與參考塊108在參考幀101上的位置相對應(yīng)的值。如上所述， 在塊匹配中，作為相關(guān)值的SAD值最小的參考塊108的參考矢量 4皮才企測作為運動矢量104。
因此，在塊匹配中，首先確定在:t叟索范圍106內(nèi)i殳置的多個參 考塊108中的每一個與目標(biāo)塊102之間的SAD值(為簡化描述， 這種SAD值在下文中^皮稱為參考塊108的SAD值)。
然后，以這種方式確定的SAD值以與對應(yīng)于參考塊108的位 置的參考矢量107的對應(yīng)關(guān)系存儲在存儲器中。然后，；險測存儲在 存儲器中的所有參考塊108中具有最低SAD值的參考塊108以檢 測運動矢量104。注意，在下面的描述中，為簡化描述，對應(yīng)于參 考塊108位置的參考矢量107在下文中#1稱為參考塊108的參考矢 量107。
22在4臾索范圍106內(nèi)i殳置的、與對應(yīng)于參考塊108的^f立置的參考 矢量107相對應(yīng)地存4諸的多個參考塊108的相關(guān)值(在所述實例中 為SAD值)被稱為相關(guān)值表。在所描述的實例中，由于作為差分 絕對值和的SAD值#_用作相關(guān)值，所以相關(guān)值表4皮稱為差分絕對 值和表或SAD表。
這在圖7中表示為SAD表TBL。參照圖7，在所示的SAD表 TBL中，每個參考塊108的相關(guān)值(在所示實例中為SAD值)被 稱為相關(guān)值表元素。在圖7的實例中，由參考數(shù)字111表示的SAD 值是參考矢量為矢量(0， 0)時的SAD值。此外，在圖7的實例 中，由于當(dāng)參考矢量為矢量(3， 2)時SAD值的最小值為"7", 所以所確定的運動矢量104為矢量(3， 2)。
注意，例如，目標(biāo)塊102和參考塊108的位置意味著諸如各個 塊的中心位置的任意具體位置。此外，參考矢量107表示參考幀101 的目標(biāo)塊102的投影圖像塊109的位置與參考塊108的位置之間的 位移量(包括方向)。
對應(yīng)于每個參考塊108的參考矢量107是參考幀101上參考塊 108相對于與目標(biāo)塊102對應(yīng)的投影圖像塊109的位置的位移。因 此，如果指定了參考塊108的位置，也就指定了對應(yīng)于該4立置的參 考矢量的值。因此，指定參考塊的相關(guān)值表元素在SAD表TBL的 存儲器中的地址，然后指定對應(yīng)的參考矢量。
注意，可以相對于兩個或兩個以上目標(biāo)塊來并4亍計算這些SAD 值。如果待被同時處理的目標(biāo)塊數(shù)增多，則處理速度加快。然而， 由于用于計算SAD值的硬件規(guī)^莫增大，所以處理速度的加快和電 路規(guī)模的增大具有折中關(guān)系。
實施例中的塊匹西己上面塊匹配的描述涉及到關(guān)于目標(biāo)塊的運動矢量的計算。由于 目標(biāo)塊在整個目標(biāo)幀中的占用比率通常較小，所以通常難以基于一 個目標(biāo)塊確定目標(biāo)幀的運動(即，全局運動)。
在本實施例中，如圖8所示，例如，目標(biāo)幀100^皮劃分成64 個像素x64條線大小的多個目標(biāo)塊102。然后，確定每個目標(biāo)塊的 運動矢量或局部運動矢量104B。此時，在本實施例中，同時計算 表示每個所確定的局部運動矢量的可靠性的指標(biāo)。
隨后，基于局部運動矢量的可靠性指標(biāo)，僅提取那些關(guān)于具有 高可靠性的目標(biāo)幀所確定的局部運動矢量。
然后，^f又從所纟是取的具有高可靠性的局部運動矢量來計算全局 運動。然后，所計算的全局運動4皮用于以目標(biāo)塊為單位來計算全局
運動矢量0
然后，將所計算的全局運動矢量與每個目標(biāo)塊的局部運動矢量 進行比較，并基于比較結(jié)果評估并判定每個目標(biāo)塊是背景部分還是 運動圖像拾取對象部分。在本實施例中，將所計算的全局運動矢量 與每個目標(biāo)塊的局部運動矢量進行比較以判定兩個矢量的一致度。
然后，作為判定結(jié)果，計算表示每個目標(biāo)塊的局部運動矢量與全局 運動矢量之間的 一致程度的指標(biāo)值。該指標(biāo)值在下文稱為命中率 (hit ratio )。
執(zhí)行這種評估判定的原因在于考慮到將通過塊匹配計算相關(guān) 值時包括在圖像中的噪聲的影響。
當(dāng)關(guān)于目標(biāo)塊的全局運動矢量與局部運動矢量相互一致時，能 夠判定目標(biāo)塊為背景圖^象部分。因此，該一致度表明了目標(biāo)塊的圖 像與背景圖像部分一致的程度。如果目標(biāo)塊是背景圖像部分，則由于其是靜止圖像部分，所以
能夠?qū)⑦\動補償圖〗象以100%的比率(即，以1:1的比率)添加到目 標(biāo)塊的圖《象上。由此，可以l吏降噪(NR)效果最大化。
然后，如果所述背景一致度較小，則估計目標(biāo)塊為運動圖像拾 取對象部分。因此，如果響應(yīng)于背景一致度降低運動補償圖像與數(shù) 據(jù)塊的圖l象的相加率(addition ratio )，則能鄉(xiāng)爰和"i者如多次曝光的這 種狀態(tài)。
此處，如果全局運動矢量與局部運動矢量并不相互一致，那么 如果不考慮圖像噪聲就可以判定目標(biāo)塊完全為運動圖像拾取對象 部分。在這種情況下，關(guān)于對應(yīng)于局部運動矢量的參考塊的相關(guān)值 為最高(即，所述SAD值為最4氐)，并且相關(guān)值大于關(guān)于對應(yīng)于全 局運動矢量的參考塊的相關(guān)值(即，SAD值較小)。
然而，通常諸如所拾取圖像的圖像包括噪聲。如果考慮到這個 圖^f象噪聲，則即^f吏全局運動矢量與局部運動矢量不相互一致，也存 在目標(biāo)塊為背景部分的可能性。然后，考慮到關(guān)于上面剛剛描述的 這種目標(biāo)塊，關(guān)于對應(yīng)于局部運動矢量的參考塊的相關(guān)值與關(guān)于對 應(yīng)于全局運動矢量的參考塊的相關(guān)值之間的差小于由于圖像噪聲 而提供的差。
因此，在本實施例中，關(guān)于對應(yīng)于全局運動矢量的參考塊的相 關(guān)值被校正為反映由于圖像噪聲而提供的差的值。然后，將所校正 的相關(guān)值與關(guān)于對應(yīng)于局部運動矢量的參考塊的相關(guān)值相互比較。 然后，如果所校正的相關(guān)值較大(即，如果SAD值較小)，則將目 標(biāo)塊評估為背景圖像部分。換言之，在本實施例中，基于所校正的 相關(guān)值評估背景一致度。此時，認(rèn)為全局運動矢量與關(guān)于目標(biāo)塊的 原始局部運動矢量一致。然后，在本實施例中，如果作為背景一致度的評估結(jié)果而判定 目標(biāo)塊為背景圖像部分，則輸出全局運動矢量作為關(guān)于目標(biāo)塊的輸 出運動矢量。另一方面，如果作為背景一致度的評估結(jié)果而判定目 標(biāo)塊與背景圖像部分不一致，則輸出局部運動矢量作為關(guān)于目標(biāo)塊 的輸出運動矢量。在本實施例中，輸出運動矢量是用于隨后階段處 理的運動矢量，在本實施例中為用于降噪處理的運動矢量。
注意，如果全局運動矢量與局部運動矢量4皮此完全一致，則自
然地，可將全局運動矢量和局部運動矢量的任一個確定為豐lr出運動矢量。
在本實施例中，以上述方式獲得的以目標(biāo)塊為單位的豐敘出運動 矢量被用于以塊為單位執(zhí)行參考幀的定位，從而生成運動補償圖 ^象，即，運動補償幀。然后，將目標(biāo)幀與運動補償幀相互疊加以生
成降噪圖像。
然后，在靜止圖片圖像拾取時，如圖9所示，圖像拾取裝置高 速拾取多個靜止圖像并確定第一個靜止圖片拾取圖像為目標(biāo)幀 100。然后，圖像拾取裝置確定預(yù)定數(shù)目的靜止圖片拾取圖像(包 括第二個和后續(xù)的靜止圖片拾取圖像)為多個參考幀101并執(zhí)行參 考幀101的疊加。然后，圖像拾取裝置將疊加得到的圖像記錄為靜 止圖片拾取圖像。
具體地，如果圖像拾取者按下圖像拾取裝置的快門按鈕，則高 速拾取預(yù)定數(shù)目的靜止圖像。然后，在第一個拾取的靜止圖像或幀 上，疊加并記錄時間上在后才合取的多個靜止圖^象或幀。
注意，盡管在本實施例的描述中沒有描述，^f旦是當(dāng)進4亍運動圖 片圖像拾取時，如圖10所示，當(dāng)前從圖像拾取元件中輸出的當(dāng)前 幀的圖傳4皮確定為目標(biāo)幀IOO的圖Y象，而過去的先前幀圖傳4皮確定
26為參考幀101的圖像。換句話說，當(dāng)進4亍運動圖片圖像拾取時，為
了執(zhí)行當(dāng)前幀的圖像的降噪，在當(dāng)前幀之前幀的圖像被疊加到當(dāng)前 幀上。
圖像拾取裝置的硬件配置的實例
圖1示出了作為根據(jù)本發(fā)明實施例的圖像處理裝置的圖像拾取
裝置的實例。
參照圖1,所示的圖像拾取裝置包括連接至系統(tǒng)總線2的中央 處理部(CPU) 1。該圖像拾取裝置還包括連接至系統(tǒng)總線2的拾 取圖像信號處理系統(tǒng)IO、用戶操作輸入部3、圖像存儲部4以及記 錄和再生裝置部5。注意，盡管在圖1中未示出，但CPU1包括其 中存儲有用于執(zhí)行各種軟件處理的程序的ROM (只讀存儲器)、用 于工作區(qū)的RAM (隨機存取存儲器)等。圖1的圖像拾取裝置的 圖像拾取信號處理系統(tǒng)10響應(yīng)于通過用戶操作輸入部3的圖像拾 取記錄啟動操作執(zhí)行如下所述的拾取圖像數(shù)據(jù)的記錄處理。此外， 拾取圖像信號處理系統(tǒng)10響應(yīng)于通過用戶操作輸入部3的拾取記 錄圖像的再生啟動操作來執(zhí)行記錄在記錄和再生裝置部5的記錄介 質(zhì)上的拾取圖像數(shù)據(jù)的再生處理。如圖1所示，在拾取圖像信號處 理系統(tǒng)10中，通過包括圖像拾取透鏡10L的相機光學(xué)系統(tǒng)(未示 出)接收的來自圖像拾取對象的入射光照射在圖像拾取元件11上 以拾取圖像。在本實施例中，圖像拾取元件11由CCD (電荷耦合 器件)成像器形成。注意，圖像拾取元件11還可以由CMOS (互 補金屬氧化物半導(dǎo)體)成像器形成。
在圖像拾取裝置中，如果執(zhí)行了圖像拾取記錄啟動操作，則通 過圖像拾取透鏡10L輸入的圖像經(jīng)由圖像拾取元件11被轉(zhuǎn)換成拾 取圖像信號。隨后，由紅色(R)、綠色(G)和藍(lán)色(B)的三原色所形成的貝爾陣列的原信號形式的模擬拾取圖像信號從圖像拾
取元件11輸出作為與來自定時信號生成部12的定時信號同步的信 號。所輸出的模擬拾取圖像信號被提供給預(yù)處理部13，通過預(yù)處理 部來才丸行諸如缺陷4交正和y才交正的預(yù)處理，并且將所得到的才莫擬圖 像信號提供給數(shù)據(jù)轉(zhuǎn)換部14。
數(shù)據(jù)轉(zhuǎn)換部14將以原信號形式輸入其中的模擬拾取圖像信號 轉(zhuǎn)換成數(shù)字拾取圖像信號或由亮度信號分量Y和色差信號分量 Cb/Cr組成的YC數(shù)據(jù)。根據(jù)通過用戶操作輸入部3接收的圖像拾 取指令，將來自數(shù)據(jù)轉(zhuǎn)換部14的數(shù)字拾取圖像信號寫入圖像存儲 部4。
具體地，如果通過用戶操作輸入部3接收的圖像拾取指令是源 自按壓快門按鈕的靜止圖片拾取指令，則來自數(shù)據(jù)轉(zhuǎn)換部14的數(shù) 字拾取圖像信號被寫入幀存儲器41-4N中。在這種情況下，來自 凄史據(jù)轉(zhuǎn)4奐部14的#:字才合取圖傳_信號的、如上所述爿尋纟皮相互疊加的 多個幀被寫入圖像存儲器部4的第一 ~第N個幀存儲器41 ~ 4N中 (N是將被疊加的靜止圖片的數(shù)目)。
在本實施例中，按下快門按鈕時的第一個幀的圖像數(shù)據(jù)被作為 目標(biāo)幀的圖像數(shù)據(jù)寫入第一幀存儲器41。隨后，第二個和隨后的幀 圖像的數(shù)據(jù)被作為參考幀的圖像數(shù)據(jù)順序?qū)懭氲诙第N個幀存 儲器42 ~ 4N。
在將不同幀的多個圖像寫入圖像存儲器部4中之后，通過運動 矢量計算部15讀入目標(biāo)幀的圖像數(shù)據(jù)和參考幀的圖像數(shù)據(jù)。然后， 運動矢量計算部15 4丸^于如下所述的局部運動矢量LMV的枱T測、局 部運動矢量LMV的可靠性計算、全局運動的計算以及全局運動矢 量GMV的計算。另外，運動矢量計算部15執(zhí)^f亍目標(biāo)塊的背景一致 度的評估，以生成命中率P。在本實施例中，運動矢量計算部15輸出目標(biāo)幀的圖像數(shù)據(jù) TGv、參考幀的圖像數(shù)據(jù)REFv和命中率P的信息。此外，運動矢量 計算部15豐餘出由全局運動矢量GMV或局部運動矢量LMV形成的 降噪運動矢量MVnr的信息。
來自運動矢量計算部15的降p朵運動矢量MVnr和參考幀的圖 像數(shù)據(jù)REFv的信息被提供給運動補償圖片生成部16。運動補償圖 片生成部16對參考幀的圖傳4t據(jù)REFv應(yīng)用對應(yīng)于全局運動的處理 (即，基于降噪運動矢量MVnr的包括平移、旋轉(zhuǎn)以及擴展或壓縮 的變換處理)，以生成運動補償圖^f象。
然后，來自運動矢量計算部15的目標(biāo)幀的圖像數(shù)據(jù)TGv被提 供給相加部17，并且來自運動補償圖片生成部16的運動補償圖傳_ 的圖像數(shù)據(jù)MCv被提供給相加部17。
此外，來自運動矢量計算部15的目標(biāo)幀的圖像數(shù)據(jù)TGv與命 中率P被提供給相加率計算部21。相加率計算部21根據(jù)表示背景一 致度的命中率P對目標(biāo)幀的每個目標(biāo)塊計算相加率oc。然后，相加率 計算部21將為每個目標(biāo)塊計算的相加率ot提供給相加部17。
相加部17將在圖像數(shù)據(jù)TGv與MCv對應(yīng)位置的像素相力口以 執(zhí)行圖像的疊加處理，并輸出所得到的作為降噪圖像的和圖像的圖 像數(shù)據(jù)MIXv。以目標(biāo)塊為單位執(zhí)行這種圖像疊加。具體地，將運 動補償圖像的圖像數(shù)據(jù)MCv的對應(yīng)塊的圖像數(shù)據(jù)以相加率a加入 到目標(biāo)塊的圖傳4t據(jù)中。
來自相加部17的和圖像的圖像數(shù)據(jù)MIXv作為先前目標(biāo)幀的 圖像數(shù)據(jù)上的目標(biāo)幀的圖像數(shù)據(jù)被重寫入圖像存儲器部4的第一幀 存儲器41中。具體地，第一幀存儲器41的目標(biāo)幀的圖像數(shù)據(jù)首先是緊接在 按下快門按鈕之后的第一幀的圖像數(shù)據(jù)。然后，如果第二參考幀的 運動補償圖像的圖像數(shù)據(jù)MCv與目標(biāo)幀相加，則第一幀存儲器41 的目標(biāo)幀的圖像數(shù)據(jù)被重寫入相加結(jié)果的和圖像的圖像數(shù)據(jù) MIXv。
然后，對于第三參考幀的圖像數(shù)據(jù)，和圖像的圖像數(shù)據(jù)MIXv 被用作為目標(biāo)幀的圖像數(shù)據(jù)。然后，通過運動矢量計算部15如上 所述類似地計算降噪運動矢量MVnr，并通過相加部17執(zhí)4亍圖4象疊 力口處理。
然后，相加結(jié)果的和圖像的圖像數(shù)據(jù)MIXv作為在先前目標(biāo)幀 的圖像數(shù)據(jù)上的目標(biāo)幀的圖像數(shù)據(jù)被重寫入圖像存儲器部4的第一 幀存儲器41中。此后，對于作為參考圖像的第四及后續(xù)幀的每一 個4丸行類似的處理，喿作。
因此，在執(zhí)行了直至作為參考圖像的第N個圖像的圖像的疊加 處理之后，疊加了所有待疊加的N幀的降噪圖像被寫入到圖像存儲 部4的第一幀存儲器41中。
隨后，將存儲在圖像存儲部4的第一幀存儲器41中、作為疊 加結(jié)果的降噪圖像的和圖像的圖像數(shù)據(jù)MIXv通過系統(tǒng)總線2提供 纟會請爭止圖片編解碼部18，并通過靜止圖片編解石馬部18進4亍編解石馬 轉(zhuǎn)換。例如，來自靜止圖片編解碼部18的輸出數(shù)據(jù)被記錄在諸如 記錄和再生裝置部5的DVD (lt字通用盤)或石更盤的記錄介質(zhì)上。 在本實施例中，靜止圖片編解碼部18根據(jù)JPEG(聯(lián)合圖像專家組) 方式對靜止圖片執(zhí)行圖像壓縮編碼處理。
此外，在靜止圖片圖像拾取模式中，在按下快門按鈕之前，來 自數(shù)據(jù)轉(zhuǎn)換部14的圖像數(shù)據(jù)通過圖像存儲部4的第一幀存儲器41被提供給分辨率轉(zhuǎn)換部19。然后，通過分辨率轉(zhuǎn)換部19被轉(zhuǎn)換成 預(yù)定分辨率的數(shù)據(jù)，然后提供給NTSC (國家電視系統(tǒng)委員會)編 碼器20。 NTSC編碼器20將圖像數(shù)據(jù)轉(zhuǎn)換成NTSC方式的標(biāo)準(zhǔn)色 圖像信號。隨后，所得到的標(biāo)準(zhǔn)色圖像信號被提供給監(jiān)控顯示部6， 并在監(jiān)控顯示部6的顯示屏上顯示靜止圖片圖像拾取才莫式狀態(tài)下的 再生圖像。
響應(yīng)于通過用戶#:作$餘入部3的再生啟動操作來讀出記錄在i己 錄和再生裝置部5的記錄介質(zhì)上的靜止圖片的圖像數(shù)據(jù)，并將其提 供給靜止圖片編解碼部18,通過靜止圖片編解碼部18將它們進行 解碼以用于再生。隨后，為再生而解碼的靜止圖片的圖像數(shù)據(jù)通過 圖像存儲部4的緩沖存儲器(未示出)被提供給NTSC編碼器20, 并通過NTSC編碼器20 ^^轉(zhuǎn)換成NTSC方式的標(biāo)準(zhǔn)色圖像信號。 隨后，標(biāo)準(zhǔn)色圖像信號被提供給監(jiān)控顯示部6,并在監(jiān)控顯示部6 的顯示屏上顯示其再生圖像。
注意，盡管在圖1中未示出，但仍能夠通過圖像輸出終端將來 自NTSC編碼器20的輸出圖像信號導(dǎo)向外部。
注意，在本實施例中，雖然通過靜止圖片編解碼部18以壓縮 形式來記錄圖傳4t據(jù)，^f旦是也可以省略靜止圖片編解碼部18而不 以壓縮形式記錄圖傳4史據(jù)。
此外，可以由石更件形成上述的運動矢量計算部15和運動4卜償 圖片再生部16。還可以用DSP(凄t字信號處理器)形成運動矢量計 算部15和運動補償圖片再生部16。此外，運動矢量計算部15與運 動補償圖片再生部16可#皮CPU 1的壽欠件處理^替。類似地，也可以由石更件或用DSP來形成相加部17。此外，相 加部17也可被CPU 1的軟件處理代替。這被類似地應(yīng)用于靜止圖 片編解石馬部18。
運動矢量計算部15
在本實施例中，運動矢量計算部15^f吏用參照圖2A~圖7在上 文所述的SAD^i來執(zhí)4亍塊匹配處理，以執(zhí)4亍局部運動矢量LMV的 檢測。然而，注意，在本實施例中，運動矢量計算部15由如下所 述的石更件構(gòu)成，并通過分層塊匹配處理計算局部運動矢量LMV。
此外，如上所述，運動矢量計算部15還計算每個局部運動矢 量LMV的可靠性指標(biāo)。
此外，運動矢量計算部15僅使用具有高可靠性的那些局部運 動矢量來計算全局運動。然后，運動矢量計算部15從所計算的全 局運動中以塊為單位來計算全局運動矢量。此外，運動矢量計算部 15執(zhí)行每個目標(biāo)塊為背景部分還是運動圖像拾取目標(biāo)部分的判定， 以計算表示背景一致度的命中率P。
<分層的塊匹配處理>
在通常已知的塊匹配的運動矢量檢測處理中，在4臾索范圍內(nèi)以 像素為單位(即，以一個像素為單位或以多個像素為單位)移動參 考塊，并計算參考塊在每個移動位置處的SAD值。隨后，檢測在 以這種方式計算的SAD值中表示最小值的SAD值，并基于表示最 小SAD值的參考塊位置來檢測運動矢量。
32此夕卜，在本實施例中，由于一幀被劃分成多塊，所以通過順序 轉(zhuǎn)變目標(biāo)塊和參考塊對整個畫面圖像執(zhí)行上述塊匹配處理。從而執(zhí)
4亍目標(biāo)幀中所有目標(biāo)塊的局部運動矢量LMV的計算。
然而，上述這種已知的運動矢量檢測處理存在一個問題由于 參考塊在搜索范圍內(nèi)以像素為單位移動，所以用于計算SAD值的 匹配處理的次數(shù)增加，從而與搜索范圍成比例地增加了匹配處理時 間。此外，已知的運動矢量檢測處理存在另一個問題SAD表的容 量也增大。
如果考慮到靜止圖像像素數(shù)目的增加、運動圖片清晰度的增強 (較大清晰度)以及一個圖像的尺寸變得非常大，這個問題就尤其 明顯。已知的運動矢量檢測處理還存在一個問題通過系統(tǒng)總線2 訪問圖像存儲器的次數(shù)增加，并且總線頻帶也必須增加。
考慮到上述問題，在本實施例中，執(zhí)行分層的塊匹配，其中， 首先減小目標(biāo)圖像或目標(biāo)幀以及參考圖像或參考幀的尺寸，以準(zhǔn)備 縮小圖像和中間圖像，然后按縮小圖〗象、中間圖〗象和原始圖^f象的順 序執(zhí)行塊匹配的運動矢量搜索，同時將先前階段的塊匹配結(jié)果反映 在下一階段的搜索中。
通過執(zhí)行分層的塊匹配，以相對少量的計算和相對較短的處理 時間來有效地4丸行局部運動矢量的計算。注意，縮小圖l象在下文中 尋皮稱為縮小面，中間圖^f象在下文中^皮稱為中間面，而不處于縮小形 式的原始圖像在下文中被稱為基底面。
圖11示出了分層的塊匹配。參照圖11，在所示實例中，基底 面目標(biāo)幀201和基底面參考幀301的尺寸縮小至l/a'1/b ( 1/a和1/b 為縮小率，其中，a〉l和b〉1)，以分別生成縮小面目標(biāo)幀211和縮 小面參考幀311。隨后，將基底面目標(biāo)幀201和基底面參考幀301縮小至l/b， 以分別生成中間面目標(biāo)幀221和中間面參考幀321。
盡管可以相對于基底面對縮小面和中間面使用任意倍率 (scale),但是可以將它們適當(dāng)?shù)卦O(shè)定為1/2~1/8倍，即，轉(zhuǎn)換成 ^象素凄t時為1/4-1/64倍。注意，在圖ll的實例中，縮小面相對于 中間面的縮小率為1/4，即，a = 4,而中間面才目對于基底面的縮小 率為1/4，即，b = 4。
jt匕外，為了生成縮小面和中間面，可應(yīng)用4壬意的方法。然而， 如果應(yīng)用《又響應(yīng)于縮小率對原始圖Y象的〗象素進4亍采樣來生成縮小 面或中間面的方法，則生成4斤返(jreflection )分量，并且在第 一層 (縮小面)中才企測到的運動矢量^艮可能偏離正確的運動矢量。因此， 首先通常將具有適合于縮小率的截止頻帶的低通濾波器應(yīng)用于原 始圖像，然后執(zhí)行適合于該縮小率的采樣。
在本實施例中，計算在包括通過才艮據(jù)倍率的采樣而消失的那些 像素的像素的亮度平均值，并將其用作縮小面像素或中間面像素的 亮度值。具體地，在l/a縮小的情況下，計算axa像素的正方形區(qū) 域中的亮度平均值，并用作縮小面像素或中間面像素的亮度值。在 這種情況下，即l吏首先形成中間面并隨后從中間面生成縮小面，仍 能夠獲得與通過原始畫面圖像直接生成縮小面的情況相同的效果。 因jt匕，這種方法效率更高。
注意，當(dāng)生成縮小圖^f象時，水平方向上的縮小率和垂直方向上 的縮小率可以與上述情況相同，或者也可以不同。
在以上述方式生成縮小面或中間面之后，首先為縮小面目標(biāo)幀 211 i殳定縮小面目標(biāo)塊212，并且為縮小面參考幀311 _沒定縮小面控_ 索范圍313。隨后，通過縮小面運動矢量檢測裝置401對在縮小面搜索范圍 313內(nèi)的多個縮小面參考塊312執(zhí)4亍塊匹配處理，以檢測呈^L最小 SAD值的縮小面參考塊位置。然后，基于縮小面參考塊的位置檢測 對縮小面運動矢量MVs進4于檢測。
在本實例中，運動矢量檢測裝置401對作為縮小面目標(biāo)塊212 的大小的塊(即，水平方向上的像素數(shù)x垂直方向上的像素的塊) 的塊匹配處理單4立才丸4亍處J里。
在縮小面運動矢量MVs的計算結(jié)束之后，在大小等于縮小面 目標(biāo)幀211乘以a的中間面目標(biāo)幀221上設(shè)定中間面目標(biāo)塊222。
在圖11的實例中，中間面運動矢量檢測裝置402對作為尺寸 與縮小面運動矢量才企測裝置401的塊匹配處理單4立相同的塊的中間 目標(biāo)塊才丸4亍塊匹配處理。相同尺寸的塊是相等〗象素凄史的塊并包4舌水 平方向上的相等像素數(shù)x相同垂直方向上的相等像素。
在本實例的情況下，由于縮小面具有中間面1/a的尺寸，所以 與縮小面目標(biāo)塊212相對應(yīng)的、包4舌在中間面目標(biāo)幀的區(qū)i或中的中 間面目標(biāo)塊222的數(shù)目為a。因此，等于a的所有中間面目標(biāo)塊222 4皮-沒定為中間面運動矢量檢測裝置402的塊匹配處理對象。
隨后，在具有尺寸等于縮小面參考幀311的a倍的中間面參考 幀321中，設(shè)定以縮小面運動矢量MVs為中心的中間面搜索范圍 323。隨后，通過運動矢量4全測裝置402對中間面4叟索范圍323內(nèi) 的多個中間面參考塊322執(zhí)行上述塊匹配處理，以檢測呈現(xiàn)最小 SAD值的中間面參考塊位置，以檢測中間面運動矢量MVm。
中間面運動矢量才企測裝置402對i殳置在中間面搜索范圍323中 的用于每個中間面目標(biāo)塊的;l叟索范圍中的每個中間面目標(biāo)塊#丸4亍塊匹配處理，/人而檢測每個中間面目標(biāo)塊的運動矢量。然后，多個
運動矢量中呈現(xiàn)最小SAD值的那一個^皮檢測作為中間面的運動矢 量MVm,即，孑乍為中間面運動矢量
在中間面運動矢量MVm的計算結(jié)束之后，在具有等于中間面 目標(biāo)幀221的b倍的尺寸的基底面目標(biāo)幀201中設(shè)定基底面目標(biāo)塊 202。
在圖11的實例中，基底面運動矢量檢測裝置403也對作為尺 寸與運動矢量檢測裝置401和402相同(即，相等像素數(shù)=水平方 向上的相等像素數(shù)x垂直方向上的相等像素)的塊的處理單位塊執(zhí) ^"塊匹配處理。
隨后，以上述處理單位塊為單位獲得了中間面運動矢量MVm。 因此，設(shè)定作為基底面運動矢量4企測裝置403的對象的基底面目標(biāo) 幀201的基底面目標(biāo)塊202的數(shù)目，以使其等于尺寸等于如圖11 中的斜線所表示的縮小面的塊(即，處理單位塊)的數(shù)目的a'b倍。
另一方面，在具有等于中間面參考幀321的b倍尺寸的基底面 參考幀301中，設(shè)定以縮小面運動矢量MVs和中間面運動矢量 MVm的合成矢量為中心的基底面搜索范圍303。通過基底面運動矢 量檢測裝置403在基底面搜索范圍303中對多個基底面參考塊302 才丸行上述塊匹配處理，以檢測呈現(xiàn)最小SAD值的基底面參考塊的 位置，從而檢測出基底面運動矢量MVb。
以相同尺寸的處理單位塊為單位獲得縮小面運動矢量MVs和 中間面運動矢量MVm。因此，以縮小面運動矢量MVs和中間面運 動矢量MVm的合成矢量為中心所i殳定的基底面4臾索范圍303比包 括b個基底面目標(biāo)塊202的區(qū)域大點?；酌孢\動矢量檢測裝置403在用于b個基底面目標(biāo)塊202的 基底面搜索范圍303中所設(shè)定的基底面目標(biāo)塊的搜索范圍內(nèi)執(zhí)行塊 匹配處理，從而執(zhí)行基底面目標(biāo)塊的運動矢量的檢測。隨后，多個 運動矢量中呈現(xiàn)最小SAD值的那一個祐:4企測作為基底面運動矢量 MVb,即，基底面的基底面運動矢量。
隨后，作為以上述方式確定的縮小面運動矢量MVs、中間面運 動矢量MVm和基底面運動矢量MVb的合成矢量，檢測基底面目 標(biāo)幀201與基底面參考幀301之間的基底面目標(biāo)塊的局部運動矢量 LMV。
對目標(biāo)幀和參考幀的所有區(qū)域都扭J亍上述的這種分層塊匹配 處理，同時順序轉(zhuǎn)變目標(biāo)塊和參考塊。因此，計算以在目標(biāo)幀中i殳 置的多個目標(biāo)塊為單位的所有多個局部運動矢量LMV。
在圖ll的實例中，運動矢量4企測裝置401、 402和403實際上
是一個裝置，它們的區(qū)別在于從圖像存儲部4中讀出然后輸入的目 標(biāo)塊以及/人^_索范圍內(nèi)讀出的參考塊。
注意，在配置基底面目標(biāo)幀201以獲得所有基底面目標(biāo)塊202 的局部運動矢量LMV的情況下，應(yīng)以以下方式執(zhí)行目標(biāo)塊的轉(zhuǎn)變。 具體地，在縮小面上設(shè)置縮小面目標(biāo)塊，同時，根據(jù)倍率1/a和1/b， 在水平方向上將縮小面目標(biāo)塊順序移動與水平方向上的像素數(shù)相 對應(yīng)的量。同時，在垂直方向上，根據(jù)倍率l/a和l/b，將縮小面目 標(biāo)塊順序移動與垂直方向上的^象素相對應(yīng)的量。
然而，乂寸于由多個局部運動矢量LMV確定全局運動矢量GMV 的對象，可以采取如下的對策。具體地，將縮小面目標(biāo)塊設(shè)置為在 水平方向和垂直方向上順序移動，從而關(guān)于在基底面目標(biāo)幀201的
if兆過位置處的基底面目標(biāo)塊獲得局部運動矢量LMV。注意，
層的縮小面和基底面來執(zhí)行，或者可以包括用于不同中間面的多個 中間層。但是，如果縮小率很高而在同一單位塊中包括了運動圖像 才合取對象和背景，則必須小心。具體地，最初應(yīng)該被j企測為不同運 動矢量的多個運動矢量被作為單個運動矢量處理，由于在后續(xù)層中 無法恢復(fù)，所以必須小心地執(zhí)行縮小率的選擇。
局部運動矢量LMV的可靠性的計算
在具有相對大量噪聲的圖像為目標(biāo)圖像的情況下，由于SAD 值受到噪聲影響，所以通常不能獲得正確的矢量。圖12為包括相 對大量噪聲的夜景的照片。如果示出圖12的圖^象與包含非常小的 旋轉(zhuǎn)量的同時通過左方的相機抖動所拾取的圖像(作為參考圖像) 之間的運動矢量，則得到如圖13所示的這種結(jié)果。圖13是通過繪 制通過將原始圖片縮小至1/8所獲得的縮小圖像的縮小面運動矢量 而得到的。
從圖13可以看出，獲得其紋理不是特別清晰的夜空的運動矢 量作為多樣運動。在分層塊匹配中，由于在生成縮小圖像時應(yīng)用了 低通濾波器，所以耐噪聲性相對教高。但是，如圖13所示，縮小 圖像受到噪聲的影響。
由于通過縮小面運動矢量周圍的搜索獲得基底面的局部運動 矢量LMV，所以如果縮小面運動矢量偏離了正確的運動矢量，則 恢復(fù)無效，并且縮小面運動矢量直接受到噪聲的影響并被進一步地擾亂。
即使根本不具有噪聲的拾取圖像是對象圖像，但如果圖像的紋 理不清晰，則由于連續(xù)拍攝圖像拾取時外部光線的微小變化或由曝 光時間差引起的灰階變化更大，并且所沖企測的運動矢量通常偏離正確值。此外，當(dāng)大量的樹木或諸如大樓的人工結(jié)構(gòu)具有^^艮多重復(fù)的 紋理圖案時，即使通過剛剛描述的紋理的重復(fù)圖案，所檢測的運動 矢量也可能會偏離正確值。
假設(shè)剛剛描述的這種情況，在相關(guān)技術(shù)中已經(jīng)進行了僅使用具 有高可靠性的運動矢量來計算全局運動的嘗試。例如，已經(jīng)提出執(zhí) 行目標(biāo)圖像的邊緣檢測，并確定具有清晰邊緣的塊的運動矢量作為
具有高可靠性的運動矢量。此外，還提出了使用目標(biāo)圖像的IDCT (離散反余弦變換)結(jié)果的DC分量和AC分量來計算可靠性。
還推薦了一種方法，其中，使用作為一種濾波器的角檢測器來 檢測目標(biāo)圖像上的特征點，以使所得到的運動矢量具有高可靠性。 此外，已提出了以下技術(shù)按照在參考圖像上也維持多個特征點的 位置關(guān)系的假設(shè)，從不同點處的多個運動矢量的組合中提取出高可 靠性的運動矢量。
然而，上述這些現(xiàn)有技術(shù)并沒有假設(shè)高噪聲的圖像，并且對于 具有高水平噪聲的圖像明顯無效。
在本實施例中，考慮到上述情況，采用了一種對策來獲得可靠 性指標(biāo)值，通過這種對策，即使是高噪聲環(huán)境下的圖像仍能夠有效 地評估運動矢量的可靠性。
在本實施例中，目標(biāo)塊和參考塊之間的相關(guān)值中的第一極大值 和第二極大值的差或比被用作運動矢量可靠性的指標(biāo)值。在本實施 例中，由于目標(biāo)塊和參考塊之間的相關(guān)值械^企測為SAD值，所以 相關(guān)值中的第一極大值和第二極大值分別為SAD值的第一極小值 和第二極小值。圖14示意性示出了關(guān)于一個目標(biāo)塊的SAD表的SAD值。在 圖14中，4臾索范圍^皮表示為在圖^f象的水平方向或x方向以及垂直 方向或y方向上的二維范圍，并在高度方向上(即，在與x和y方 向垂直的方向上)取SAD值。因此，SAD表^皮表示為三次線面(cubic curved face )。
在通常的塊匹配處理中，為了檢測運動矢量，僅將SAD表中 SAD值的最小值確定為檢測對象。然而，SAD值的這個最小值是 SAD表中的SAD值的第一極小值，并且在圖14中，該值l叚設(shè)由點 501所表示的位置。在圖14中，檢測運動矢量MV作為從運動的原 點(即，(x = 0, y = 0))至由點501所表示的SAD值的最小值位 置的矢量。
如果考慮到不存在噪聲的理想狀態(tài)，則當(dāng)確定搜索范圍內(nèi)的多 個參考塊和目標(biāo)塊之間的相關(guān)值時，由三次線面表示的SAD表呈 現(xiàn)以下狀態(tài)其中，三次線面均勻向下凸出，并且《叉存在SAD值 的一個極小值。但是，在實際的圖像拾取狀態(tài)下，因為不僅存在光 量變化、運動體的運動等影響，而且還存在各種噪聲的影響，所以 由三次線面表示的SAD表幾乎不呈現(xiàn)均勻向下凸出的形狀，而是 通常具有SAD值的多個極小值。
因此，在本實施例中，基于呈現(xiàn)等于SAD值的最小值的第一 極小值的參考塊的位置來檢測運動矢量MV。然而，SAD值中除 SAD值的第一極小值之外的極小值(即，SAD值的第二極小值) 被檢測用于生成相對于可靠性的指標(biāo)。在圖14中，由點501表示 的位置代表第一極小值，而由另一個點502表示的位置代表第二極 小值。
如果限制噪聲等的影響，貝'J SAD值的第一極小值和SAD值的 第二極小值之間的差值很大，并且通過SAD值的第一極小值(即，通過SAD值的最小值)所檢測的運動矢量MV的可靠性纟艮高。另 一方面，在包括大量噪聲等的另一種環(huán)境下，SAD值的第一極小值 和SAD值的第二極小值之間的差值很小，不能夠區(qū)分SAD值的第 一和第二極小值中的哪一個正確地對應(yīng)于運動矢量MV。因此，可
靠性很低。
如上所述，在本實施例中，SAD值的第一極小值(即，SAD 值的最小值)和SAD值的第二極小值之間的差值被確定作為所檢 測運動矢量的可靠性指標(biāo)。圖15示出了在一維軸上表示圖14中的 搜索范圍的SAD表。在本實施例中，圖15中的第二極小值與第一 極小值(即，SAD值的最小值)之間的差^皮確定為運動矢量MV的 指標(biāo)值Ft。
注意，在僅荻得SAD值的第一極小值而沒有獲得第二極小值 的情況下，在本實施例中，將SAD值理論上的最大值或SAD值表 中的SAD^f直的最大^f直確定為運動矢量MV的可靠性指標(biāo)<1_。因此， 確定剛剛描述的這種塊的運動矢量很高。但是，由于所描述類型的 塊很少存在，所以可以從可靠性的評估中排除僅從中獲得SAD值 的第一極小值而沒有獲得第二極小值的塊的運動矢量。
注意，代替SAD值的第一極小值(即，SAD值的最小值)與 SAD值的第二極小值之間的差，SAD值的第一極小值(即，SAD 值的最小值)與SAD值的第二極小值之間的比可以被用作運動矢 量MV的可靠性指標(biāo)值Ft。但是，在下面的描述中，SAD值的第 一極小值(即，SAD值的最小值)與SAD值的第二極小值之間的 差被用作運動矢量的可靠性指標(biāo)值Ft。
根據(jù)本實施例中的運動矢量的可靠性指標(biāo)，由于沒有如相關(guān)技 術(shù)使用諸如圖像的邊緣或特性的圖像分量而是僅使用了目標(biāo)幀與參考幀之間的相關(guān)值，所以抗噪穩(wěn)定性很高。換句話說，獲得具有 高精確度的運動矢量的可靠性指標(biāo)，而不會受到圖像噪聲影響。
此外，在本實施例中，使用相關(guān)值的第一極大值(即，SAD值 的第 一極小值)與相關(guān)值的第二極大值(即，SAD值的第二極小值) 之間的差或比也是使本實施例中運動矢量的可靠性指標(biāo)具有很高 抗噪穩(wěn)定性的原因。
具體地，如果噪聲水平升高，則即使運動矢量正確，通常運動 矢量的SAD值也會升高。因此，在為了提取出具有高可靠性的運 動矢量而對運動矢量的可靠性指標(biāo)值Ft設(shè)定閾值從而執(zhí)行與閾值 的比較處理的情況下，還需要響應(yīng)于噪聲水平改變其本身的閾值。
相反，在使用本實施例中的運動矢量的可靠性指標(biāo)值Ft的情況 下，如果噪聲水平升高，則相關(guān)值中的第一極大值(即，SAD值的 第 一極小值)和相關(guān)值中的第二極大值(即，SAD值的第二極小值) 都響應(yīng)于噪聲水平而升高。因此，消除了噪聲對相關(guān)值中的第一極 大值(即，SAD值的第 一極小值)和相關(guān)值中的第二極大值之間的 差的影響。
換言之，可以實現(xiàn)不取決于所述噪聲水平的固定值的閾值處 理。這同樣也適用于將相關(guān)值中的第一極大值(即，SAD值的第一 極小值)和相關(guān)值中的第二極大值(即，SAD值的第二極小值)之 間的比用作運動矢量的可靠性指標(biāo)值Ft的情況。
順便提及，在對其執(zhí)行塊匹配的目標(biāo)塊的圖像的對比度很低的 情況下，SAD值的第二極小值與SAD值的最小值之間的差具有減 小的趨勢。因此，當(dāng)相同的幀包括具有高對比度的區(qū)域和具有低對 比度的另 一個區(qū)域時，如果將相同的鬮值用于評估矢量可靠性的評 估值Ix，則很可能優(yōu)先選擇具有高對比度的區(qū)域。盡管從運動矢量可靠性的角度來看這是正確的結(jié)果，但是為了 在一定程度上減小具有低對比度的區(qū)域，在本實施例中，用于緩解 對比度影響的項被添加至用于確定運動矢量可靠性的指標(biāo)值的數(shù) 學(xué)運算表達(dá)式。具體地，確定目標(biāo)幀圖像的最大亮度值與最小亮度 值之間的差值，并在運動矢量可靠性的指標(biāo)值上反映亮度的差值。 注意，為了避免噪聲的不良影響，在將低通濾波器應(yīng)用于目標(biāo)幀的 圖像數(shù)據(jù)之后，執(zhí)行最大亮度和最小亮度的提取。
鑒于上述，給出本實施例中運動矢量的可靠性指標(biāo)值Ft的計算 表達(dá)式
Ft= ( Btm2SAD - MinSAD ) - ( MaxTAR - MinTAR ) x Co
…(表達(dá)式6)
其中
Ft:運動矢量的可靠性指標(biāo)值 Btm2SAD: SAD值的第二極小值 MinSAD: SAD值的最小值(第一極小值) MaxTAR:目標(biāo)塊的最大亮度值 MinTAR:目標(biāo)塊的最小亮度值 Co:力口權(quán)系數(shù)(S 1 )
注意，在相關(guān)值的第 一極大值與相關(guān)值的第二極大值之間的比 被用作運動矢量可靠性指標(biāo)值的情況下，完全類似于上文所給出的(表達(dá)式6 )，用于緩解對比度影響的項也可以被添加至可靠性指標(biāo) 值計算表達(dá)式。但是，在運動矢量的指標(biāo)值Ft的計算中，實質(zhì)上并 不必須添加用于纟爰解對比度影響的項，而是可以省略該項。
雖然在上面的描述中，^又確定基底面運動矢量MVb的運動矢 量可靠性指標(biāo)值，但自然也可以相對于縮小面運動矢量MVs或中 間面運動矢量MVm來類合:U也確定運動矢量的可靠'I"生指4示1直。
全局運動和全局運動矢量GMV的計算
在相關(guān)技術(shù)中，不使用上述這種運動矢量的可靠性指標(biāo)值。因 此，利用相同的4又重來4吏用對目標(biāo)幀確定的所有多個局部運動矢量 LMV,以計算全局運動矢量GMV。
相反，在本實施例中，能夠以上述方式來獲得目標(biāo)幀的多個局 部運動矢量LMV中的每一個的可靠性指標(biāo)值Ft。
隨后，可以對以這種方式確定的多個局部運動矢量LMV的可 靠性指標(biāo)值進行標(biāo)準(zhǔn)化，從而對每個局部運動矢量LMV確定例如 大于等于O但小于等于1的加權(quán)系數(shù)。隨后，可以不通過相同的權(quán) 重而是通過根據(jù)各個加權(quán)系數(shù)所確定的多個權(quán)重來使用局部運動 矢量LMV，以計算全局運動。具體地，當(dāng)^f吏用確定的所有多個局 部運動矢量LMV以啟動用于計算全局運動的收斂計算時，在局部 運動矢量LMV利用對應(yīng)于各個可靠性指標(biāo)值Ft的加外又系凄t進4亍加 權(quán)之后，才使用這些局部運動矢量LMV。
然而，為了簡化全局運動的數(shù)學(xué)運算處理來降低數(shù)學(xué)運算負(fù) 荷，在本實施例中，將局部運動矢量LMV的加權(quán)系數(shù)W二進值化 成0和1。因此，在本實施例中，設(shè)置用于運動矢量的可靠性指標(biāo)值Ft 的閾值th，并根據(jù)以下數(shù)學(xué)運算表達(dá)式使用每個運動矢量的可靠性 指標(biāo)值Ft來計算每個局部運動矢量LMV的加4又系凄t W:
當(dāng)Ft > th時，W = 1 ，而
當(dāng)Ft^th時，W = 0， …(表達(dá)式7)
具體地，在本實施例中，運動矢量可靠性指標(biāo)值FW皮用于判定 多個局部運動矢量LMV中的每一個的可靠性，并JM又乂人多個局部 運動矢量LMV中提取出具有高可靠性的那些局部運動矢量。然后， 僅將所提取的具高可靠性的局部運動矢量用于計算全局運動。
在本實施例中，由于目標(biāo)幀中的目標(biāo)塊數(shù)相對較多，所以即使 在使用如本實例<又纟是取具有高可靠性的局部運動矢量LMV的方法 的情況下，仍能夠計算具有高精確度的全局運動。
注意，下文將描述通過多個局部運動矢量LMV來計算全局運 動的具體處理實例。
上面描述了以上參照圖12所述的具有大量噪聲的圖像中獲取 如圖13所示的這種局部運動矢量。然而，如果Y吏用4艮據(jù)本實施例 的運動矢量的可靠性指標(biāo)值對圖13的圖像上表示的局部運動矢量 執(zhí)行可靠性判定，以僅提取具有大于閾值的可靠性的那些可靠性指 標(biāo)值并隨后繪制塊和運動矢量，則獲得如圖16所示的這種圖像。 鑒于此，對于圖16所示的多個塊，獲得基本正確的局部運動矢量， 而不受p喿聲影響。
運動矢量計算部15的硬/f牛配置的實例運動矢量計算部15拭J亍如上所述的對每個目標(biāo)塊檢測局部運 動矢量LMV、計算所4企測局部運動矢量LMV的可靠性指標(biāo)值、計 算全局運動GM和全局運動矢量GMV等處理。
圖17示出了運動矢量計算部15的石更件配置的實例。參照圖17， 運動矢量計算部15包括目標(biāo)塊緩存部151 ，用于存儲目標(biāo)塊102 的像素數(shù)據(jù)；以及參考塊緩存部152，用于存儲參考塊108的像素數(shù)據(jù)。
運動矢量沖企測部15還包括匹配處理部153，用于計算目標(biāo)塊 102和參考塊108的對應(yīng)^f象素的SAD值。運動矢量檢測部15還包 括局部運動矢量計算部154，用于才艮據(jù)/人匹配處理部153 l餘出的 SAD值信息計算局部運動矢量。運動矢量檢測部15還包括控制部 155、運動矢量可靠性指標(biāo)值計算部156、全局運動計算部157、全 局運動矢量計算部158、對比度計算部159以及背景/運動圖像拾取 對象判定部150。
對比度計算部159包括低通濾波器1591、最大亮度值檢測部 1592和最小亮度值檢測部1593。
此外，盡管未示出，但是在本實例中，由目標(biāo)幀和參考幀的圖 ^f象^:據(jù)所生成的原始圖片的目標(biāo)幀和參考幀的縮小面的圖傳4t據(jù) 和中間面的圖像數(shù)據(jù)被存儲并保留在圖像存儲部4中。
如圖17所示，控制部155控制運動矢量計算部15的處理順序， 并將控制信號提供給運動矢量計算部15的各個部件。
在控制部155的控制下，目標(biāo)塊纟爰存部151從圖〗象存々者部4的 縮小面、中間面或基底面的目標(biāo)幀的圖像數(shù)據(jù)中讀入指定目標(biāo)塊的 圖像數(shù)據(jù)，并將所述圖像數(shù)據(jù)提供給匹配處理部153。在控制部155的控制下，參考塊緩存部152從圖像存儲部4的 縮小面、中間面或基底面的參考幀的圖像數(shù)據(jù)中讀入指定匹配處理 范圍內(nèi)的圖像數(shù)據(jù)。然后，參考塊緩存部152將來自匹配處理范圍 內(nèi)的圖像數(shù)據(jù)的參考塊的圖像數(shù)據(jù)順序提供給匹配處理部153。
匹配處理部153接收來自目標(biāo)塊緩存部151的目標(biāo)塊的圖像數(shù) 據(jù)以及來自參考塊緩存部152的參考塊的圖像數(shù)據(jù)。然后，匹配處 理部153在控制部155的控制下對縮小面、中間面和基底面扭J亍塊 匹配處理。然后，匹配處理部153將參考矢量(即，參考塊的4立置 信息)以及塊匹配處理結(jié)果的SAD值提供給局部運動矢量計算部 154。
局部運動矢量計算部154包括用于SAD值的第一極小值存儲 單元1541和用于SAD值的第二極小值存儲單元1542，并執(zhí)行從來 自匹配處理部153的SAD值中才企測出SAD值的第一才及小值和SAD 值的第二極小值的處理。
隨后，局部運動矢量計算部154依次更新用于SAD〗直的第一 極小值存儲單元1541中的SAD值的第一極小值和SAD值的第一 極小值的位置信息(即，參考矢量)以及用于SAD值的第二極小 值存儲單元1542中的SAD值的第二極小值和SAD值的第二極小 值的位置信息(即，參考矢量)。局部運動矢量計算部154扭j亍該 更新處理直至對匹配處理范圍中的所有參考塊的塊匹配處理老卩結(jié) 束。
然后，當(dāng)所述塊匹配處J里結(jié)束時，該時間點的目才示塊的SAD 值的第一極小值以及SAD值的第一極小值的位置信息或參考矢量 存儲在用于SAD值的第一極小值存儲單元1541中。此外，SAD值 的第二極小值以及SAD值的第二極小值的位置信息或參考矢量被 存儲在用于SAD值的第二極小值存儲單元1542中。隨后，當(dāng)對匹配處理范圍內(nèi)的所有參考塊的塊匹配處理結(jié)束
時，局部運動矢量計算部154檢測存4諸在用于SAD的第一才及小1直 存儲單元1541中的參考矢量的信息(即，位置信息)，作為在縮小 面、中間面和基底面的每一個中的運動矢量。下文將詳細(xì)描述局部 運動矢量計算部154的處理操作。
本實施例中的局部運動矢量計算部154在縮小面匹配處理時^)奪 縮小面運動矢量MVs作為局部運動矢量LMV提供給控制塊155。
當(dāng)進行分層的塊匹配處理時，控制部155從縮小面運動矢量 MVs的信息確定用于中間面的4臾索范圍。然后，控制部155將控制 信號提供給目標(biāo)塊緩存部151、參考塊緩存部152和匹配處理部 153,以4吏它們在中間面中執(zhí)4亍塊匹配。
然后，當(dāng)中間面中的匹配處理結(jié)束時，局部運動矢量計算部154 將縮小面運動矢量MVs和中間面運動矢量MVm的合成矢量的信息 作為局部運動矢量LMV提供給控制部155。
控制部155 乂人縮小面運動矢量MVs和中間面運動矢量MVm 的合成矢量的信息確定用于基底面的搜索范圍。然后，控制部155 將控制信號提供給目標(biāo)塊緩存部151、參考塊緩存部152和匹配處 理部153,以使它們在基底面中執(zhí)行塊匹配。
如上所述，控制器155可以控制哪個層應(yīng)執(zhí)4于分層的塊匹配以 及是否應(yīng)該輸出該層中的運動矢量作為局部運動矢量LMV。
例如，如果即4吏犧4生并奇確度也希望在短時間內(nèi)獲4尋局部運動矢 量LMV，則局部運動矢量計算部154可以^f又執(zhí)4亍縮小面的塊匹配 處理。另一方面，在需要高精確度的局部運動矢量LMV的情況下， 局部運動矢量計算部154可執(zhí)4亍分層的塊匹配處理直至基底面塊匹配處理。或者，在考慮到精確度和時間的情況下，局部運動矢量計
算部154可能批J亍分層的塊匹配處理直至中間面塊匹配處理。
當(dāng)直到基底面的分層匹配處理結(jié)束時，局部運動矢量計算部 154獲得縮小面運動矢量MVs、中間面運動矢量MVm和基底面運 動矢量MVb的合成矢量的4言息4乍為局部運動矢量LMV。局部運動 矢量LMV祐j是供纟會全局運動計算部157。
全局運動計算部157臨時存々者所4妄收的局部運動矢量LMV。
此夕卜，當(dāng)通過局部運動矢量計算部154進行局部運動矢量LMV 的匹配處理結(jié)束時，通過控制部155激活運動矢量可靠性指標(biāo)值計 算部156。同時，第一極小值存儲單元1541的SAD值的最小值 MinSAD和第二極小值存儲單元1542的SAD值的第二極小值 Btm2SAD從局部運動矢量計算部154被提供給運動矢量可靠性指 標(biāo)值計算部156。
此外，此時將目標(biāo)塊的圖像數(shù)據(jù)從目標(biāo)塊緩存部151通過低通 濾波器1591提供給最大亮度值檢測部1592和最小亮度值檢測部 1593。然后，分別將由最大亮度值檢測部1592和最小亮度值檢測 部1593檢測的最大亮度值MaxTAR和最小亮度值MinTAR提供給 運動矢量可靠性指標(biāo)值計算部156。
運動矢量可靠性指標(biāo)值計算部156根據(jù)上文給出的(表達(dá)式6 ) 使用提供給其的信息以計算運動矢量的可靠性指標(biāo)值Ft。然后，運 動矢量可靠性指標(biāo)值計算部156將所計算的運動矢量可靠性指標(biāo)值 Ft提供給全局運動計算部157。全局運動計算部157以與此時提供 的局部運動矢量LMV相關(guān)聯(lián)的關(guān)系來臨時存儲輸入其中的運動矢 量可靠性指標(biāo)值Ft。在對目標(biāo)幀中的所有目標(biāo)塊都結(jié)束了上述的一系列處理之后，
控制部155將控制指令信號提供給全局運動計算部157，從而開始 全局運動的數(shù)學(xué)運算處理。
在本實施例中，全局運動計算部157首先才艮據(jù)來自4空制部155 的控制指令信號^f吏用以與局部運動矢量LMV的對應(yīng)關(guān)系存々者的運 動矢量可靠性指標(biāo)值Ft來執(zhí)行對存儲在其中的多個局部運動矢量 LMV的可靠性的判定。在本實施例中，根據(jù)上文給出的(表達(dá)式7) 計算每個運動矢量LMV的加纟又系^: W。然后，全局運動計算部157 僅提取加權(quán)系數(shù)W為W=l并呈現(xiàn)高可靠性的那些局部運動矢量 LMV。
然后，全局運動計算部157僅使用所提取的具有高可靠性的局 部運動矢量LMV來執(zhí)行計算全局運動GM的數(shù)學(xué)運算處理。然后， 全局運動計算部157將所得到的全局運動矢量GM纟是供給全局運動 矢量計算部158。
全局運動矢量計算部158將全局運動GM應(yīng)用于目標(biāo)塊的坐標(biāo) 位置(例如，中心位置)以計算目標(biāo)塊的全局運動矢量GMV。
全局運動矢量計算部158將所計算的全局運動矢量GMV提供 給背景/運動圖像拾取對象判定部150。此外，將來自局部運動矢量 計算部154的局部運動矢量LMV提供給背景/運動圖像拾取對象判 定部150。
關(guān)于上述目標(biāo)塊，背景/運動圖像拾取對象判定部150將用于每 個目才示塊的局部運動矢量LMV與全局運動矢量GMV進4亍比4交以 判定它們的一致度(即，背景一致度)。在這種情況下，背景/運動 圖像拾取對象判定部150將關(guān)于分別對應(yīng)于局部運動矢量LMV和全局運動矢量GMV的參考塊的相關(guān)值(即，SAD值)進行比較以 進行背景和運動圖像拾取對象的判定。
順使j是及，也可以4吏用通過局部運動矢量計算部154確定的用 于計算全局運動的局部運動矢量LMV和相關(guān)值(即，SAD^直)作 為通過背景/運動圖像對象判定部150用于上文所述比較的值。
然而，在這種情況下，局部運動矢量計算部154需要在全局運 動計算部157和全局運動矢量計算部158進4亍處理的時間,爻內(nèi){呆留 局部運動矢量和SAD值。在這種情況下，尤其是因為不知道全局 運動矢量GMV對應(yīng)哪個參考矢量，所以需要保留關(guān)于各個目標(biāo)塊 的SAD值表的所有SAD值作為將被保留的那些SAD值。因此， 為了保留局部運動矢量LMV和SAD值需要具有非常大容量的存儲 器。
考慮到這一點，在本實施例中，局部運動矢量計算部154執(zhí)4亍 局部矢量LMV和SAD值的再計算用于背景/運動圖像拾取對象判 定部150的比4交。通過這樣的再計算，局部運動矢量計算部154不 再需要包4舌用于存^f渚局部運動矢量LMV和SAD值的存4渚器，并且 可以消除存儲器容量的問題。
因此，背景/運動圖像拾取對象判定部150使用再計算的局部運 動矢量LMV和SAD值來確定表示關(guān)于目標(biāo)塊的背景一致度的命中 率P。在進行這種再計算時，背景/運動圖像拾取對象判定部150還 獲:f又關(guān)于與全局運動矢量GMV —致的參考矢量(即，參考塊位置) 的SAD值。然后，背景/運動圖像拾取對象判定部150使用再計算 的局部運動矢量LMV和SAD值來判定目標(biāo)塊是背景部分還是運動 圖像拾取對象部分。背景/運動圖像拾取對象判定部150將關(guān)于對應(yīng)于全局運動矢 量GMV的參考塊的SAD^f直(其與關(guān)于對應(yīng)于局部運動矢量LMV 的參考塊的SAD值進行比較)校正為反映圖像噪聲量的值。
圖像噪聲通常具有對應(yīng)于圖像亮度值的值。因此，在本實施例 中，來自對比度計算部159的最大亮度值檢測部1592的最大亮度 值MaxTAR和來自最小亮度值檢測部1593的最小亮度值MinTAR 被提供給背景/運動圖像拾取對象判定部150。
背景/運動圖像拾取對象判定部150檢測圖像的亮度值作為最 大亮度值MaxTAR與最小亮度值MinTAR之間的差，并響應(yīng)于所枱r 測的亮度值確定關(guān)于對應(yīng)于全局運動矢量GMV的參考塊的SAD值 的才交正值。
然后，背景/運動圖像拾取對象判定部150將所校正的相關(guān)值與 關(guān)于對應(yīng)于全局運動矢量GMV的參考塊的所述4交正值進4于比專交。 然后，背景/運動圖像拾取對象判定部150判定關(guān)于對應(yīng)于全局運動 矢量GMV的參考塊的SAD值的校正值是否小于(即，相關(guān)值是否 大于)關(guān)于對應(yīng)于局部運動矢量LMV的參考塊的SAD值的校正值。 當(dāng)前者較小時，背景/運動圖像拾取對象判定部150評估并判定目標(biāo) 塊為背景部分。
當(dāng)命中率(3具有目標(biāo)塊可被認(rèn)為是背景部分的這樣的值時，背 景/運動圖傳_拾取對象判定部150輸出全局運動矢量GMV作為經(jīng)過 降噪處理的運動矢量MVnr。在任何其他情況下，背景/運動圖像拾 取對象判定部150輸出局部運動矢量LMV作為關(guān)于目標(biāo)塊的降噪: 處理的運動矢量MVnr。
如上所述，將來自背景/運動圖像拾取對象判定部150的降噪處 理的運動矢量MVnrl是供給運動補償圖片生成部16。運動補償圖片生成部16對通過運動矢量計算部15傳送至其的 用于參考幀的圖傳4t據(jù)REFv的降，條處理運動矢量MVnr施加變換: 處理，以生成運動補償圖像的數(shù)據(jù)MCv。然后，將所生成的運動補 償圖像的數(shù)據(jù)MCv提供給相加部17。
此外，背景/運動圖像拾取對象判定部150將所確定的命中率(3 才是供^合相加率計算部21。相加率計算部21基于命中率P計算3于應(yīng)于 目標(biāo)圖像的運動補償圖像的相加率ot。
在這種情況下，可以以塊為單4立或以<象素為單4立計算相加率00。
即使在以像素為單位計算相加率ot的情況下，也由于是以塊為單位 計算命中率P，所以命中率(3自然以塊為單位參與相加率的計算。
在以塊為單4立計算相加率a的情況下，也可以-f又響應(yīng)于命中率p 來計算相加率a。自然，可以通過考慮除命中率(3以外的其他相加率
計算因素來計算相加率a。在本實施例中，如下文所述，不^f又考慮 到命中率P而且考慮到如目標(biāo)圖像與運動補償圖像之間以像素為單
位的差以及目標(biāo)圖<象的噪聲的這些因素來計算相加率a。
在本實施例中，坤目力口率計算部21以l象素為單4立確定相力口率a。 為此，將目標(biāo)圖像的數(shù)據(jù)TGv與運動補償圖像的數(shù)據(jù)MCv提供給 才目力口率i十算吾卩21。
在本實施例中，相加率計算部21 4吏用目標(biāo)圖〗象的^f象素與運動 補償圖像的像素之間的差值的絕對值(即，像素差絕對值)、目標(biāo) 圖像的像素平均值與運動補償圖像的像素平均值之間的差值的絕 對值(即，平均量差絕對值)、目標(biāo)圖像的方差差值絕對值以及命 中率P來確定相加率a。例如，作為像素平均值，確定受關(guān)注的像素(即，像素本身) 附近的九個像素的平均值。作為方差差值絕對值，確定受關(guān)注的像 素(即，像素自身)與鄰近像素之間的差值的方差值的絕對值。
由相加率計算部21確定的相加率ot被提供給相加部17。相加 部17 ^f吏運動補償圖^象的凄t據(jù)MCv以相加率a與傳送給其的目標(biāo)圖 像的圖像數(shù)據(jù)TGv相加。
在本實施例中，相加部17以對應(yīng)于目標(biāo)塊的背景一致度(即， 命中率P)的相加率將目標(biāo)圖像與運動補償圖像進行疊加。換言之， 在靜止圖片部分，運動補償圖像與目標(biāo)圖像的相加率較大，而在運 動圖像拾取對象部分，運動補償圖像與目標(biāo)圖像的相加率較小。
以這種方式，在本實施例中，可以利用各個適當(dāng)?shù)南嗉勇?，?背景部分和運動圖傳4合取對象部分處執(zhí)4亍圖<象的疊加。因此，通過 圖像疊加獲得了良好的降噪圖像。
此外，由于乂人具有高可靠性的那些局部運動矢量LMV中生成 在本實施例中使用的全局運動和全局運動矢量GMV，所以它們是 高精確度的運動矢量。此外，關(guān)于這點，可獲得良好的降噪圖像。
用于降噪生成的一^:處理的流程
圖18示出了從進入圖像存儲器4的拾取圖像中生成降噪圖像 的處理流禾呈。
首先在步驟S1，在運動矢量計算部15中，局部運動矢量計算 部154通過塊匹配執(zhí)行局部運動矢量LMV的檢測。然后，在步驟 S2中，運動矢量可靠性指標(biāo)值計算部156^f吏用通過局部運動矢量計算部154計算的SAD值的第一極小值MinSAD和第二才及小值 Btm2SAD計算所檢測的局部運動矢量LMV的可靠性的指標(biāo)值Ft。
然后，在步驟S3，全局運動計算部157基于所計算的可靠性指 標(biāo)值Ft提耳又高可靠性的局部運動矢量LMV。然后，全局運動計算 部157僅使用所提取的高可靠性的局部運動矢量LMV來計算全局 運動GM。
然后，在步驟S4，全局運動矢量計算部158使用在步驟S3中 計算出的全局運動GM來計算每個目標(biāo)塊的全局運動矢量GMV。
然后，在步驟S5，局部運動矢量計算部154進4亍塊再匹配處理 以重新4僉測所述局部運動矢量LMV。然后，局部運動矢量計算部 154存儲在從中檢測到局部運動矢量LMV的參考塊的位置(即， 參考矢量)處的SAD值(即，第一極小值MinSAD)。此外，局部 運動矢量計算部154還存4諸了關(guān)于對應(yīng)于在步驟S4中計算出的全 局運動矢量GMV的參考塊的SAD值。注意，此時，沒有必要計算 局部運動矢量LMV的可靠性的指標(biāo)^f直Ft。
然后，在步驟S6，背景/運動圖像拾取對象判定部150將在步 驟S5中計算的局部運動矢量LMV與在步驟S4中確定的全局運動 矢量GMV進行比較，以評估關(guān)于每個目標(biāo)塊的背景一致度從而確 定命中率P。然后，背景/運動圖像拾取對象判定部150確定關(guān)于每 個目標(biāo)塊的降，喿處理運動矢量MVnr,并爿夸降p桑處理運動矢量MVnr 輸出給運動補償圖片生成部16。
在步驟S6的局部運動矢量LMV與全局運動矢量GMV之間的 比專交中，將關(guān)于對應(yīng)于局部運動矢量LMV的參考塊的SAD^直與關(guān) 于對應(yīng)于全局運動矢量GMV的參考塊的SAD值進行比較。此外，對于關(guān)于對應(yīng)于全局運動矢量GMV的參考塊的SAD值，基于上述 圖像噪聲應(yīng)用校正。
然后，在步驟S7，運動補償圖片生成部16 4吏用在步驟S6中確 定的降噪處理運動矢量MVnr來生成用于每個參考塊的運動補償圖 像，并將所生成的運動補償圖像輸出給相加部17。
然后，在本實施例中，在步艱《S8，相加率計算部21-使用在步 驟S6中確定的命中率(3以計算用于每個像素的相加率a，并將所計 算的相加率a提供給相加部17。
然后，在步驟S9，相加部17以在步驟S8中計算的相加率a將 在步驟S7中生成的運動補償圖像疊加在各個像素的目標(biāo)圖像上以 生成降噪圖^f象。降噪處理由此結(jié)束。
注意，圖18示出了一個特定目標(biāo)幀的處理操作。在疊加大于 等于3的多個圖像的情況下，將由兩個圖像生成的降噪圖像i殳為目 標(biāo)幀，而將最新疊加的圖傳^殳為參考幀，以重復(fù)圖18的處理。
現(xiàn)在，將進一步描述運動矢量計算部15的主要部件的詳細(xì)處 理才乘作。局部運動矢量計算部154的處理:燥作
在本實施例中，為了才企測SAD值的才及小值，局部運動矢量計 算部154將關(guān)于關(guān)注像素或像素自身的差值與關(guān)于關(guān)注像素周圍的 像素的差值進行比較。具體地，局部運動矢量計算部154將位置Po 確定為判定對象點或像素，并比較判定對象點位置Po處的SAD值 與接近判定對象點位置Po和在其周圍(由圖19中的虛線框包圍) 的8個SAD值。然后，局部運動矢量計算部154從由虛線框包圍的區(qū)域中的9個SAD值中判定判定對象點的SAD值是否為最小值 (下文中稱為局部極小值)。
然后，如果判定對象點的SAD值被確定為局部極小值，則局 部運動矢量計算部154將判定對象點的SAD值與目前所存儲的 SAD值的極小值進行比較。然后，如果局部運動矢量計算部154判 定判定對象點的SAD值小于目前所存儲的SAD值的極小值，則用 新沖企測到的局部最小SAD值來更新存〗諸于其中的SAD值的才及小 值。
作為上述的用于;f企測這種局部極小SAD值的配置，局部運動 矢量計算部154被設(shè)計曾減小用于存儲SAD值的SAD存儲器的緩 沖存儲器的規(guī)模。具體地，當(dāng)局部運動矢量計算部154以一個像素 為單位搜索參考塊時，如圖19所示，準(zhǔn)備能夠存儲水平方向上目 標(biāo)塊尺寸的兩條線的SAD值+三個SAD值的緩沖存儲器作為用于 存儲SAD值的SAD表的緩沖存儲器。
乂人圖19可以看出，如果將水平方向上目標(biāo)塊尺寸的兩4亍的 SAD值+三個SAD值寫入緩沖存儲器，則可以判定處于判定對象 點位置Po的局部極小值。
為了使緩沖存儲器的尺寸最小化，如圖19所示，新輸入的SAD 值被重寫在已存儲了舊SAD值但已不再用于極小值評估或局部極 小值檢測的存儲器位置Pa處。具體地，雖然新輸入的SAD值按順 序被寫入如19所示的存儲器位置Pb，但不是存儲器位置Pb而是重 寫利用不再使用的存儲器位置Pa來抑制存儲器硬件規(guī)模的增加。
注意，局部運動矢量計算部154除了用于檢測局部極小值的緩 沖器外還包括上文所述的第一極小值存儲單元1541和第二極小值 存儲單元1542。上述的這一 系列處理是基本的處理，并將該基本處理應(yīng)用于第
一極小值和第二極小值以檢測SAD值的最小值和SAD值的第二極小值。
在本實施例中，局部運動矢量計算部154對縮小面、中間面和 基底面執(zhí)行相同的操作，但其在基底面上檢測局部運動矢量LMV 并計算局部運動矢量LMV的可靠性指標(biāo)值。因此，僅對基底面需 要SAD值的第二極小值，并且可以省略縮小面和中間面上的SAD 值的第二極小值的計算與存儲。
圖20示出了局部運動矢量計算部154進行的第一極小值和第 二極小值的檢測處理操作的流程圖。
參照圖20，在步驟S101,首先，局部運動矢量計算部154從 匹配處理部153取得SAD值。然后，在步驟S102，局部運動矢量 計算部154將處于判定對象點位置Po處的SAD值與判定對象點位 置Po周圍位置處的8個SAD值進行比較。然后，在步驟S103中， 局部運動矢量計算部154基于比較結(jié)果判定判定對象點位置Po處 的SAD值是否為局部極小值。
如果在步驟S103中判定處于判定對象點位置Po處的SAD值 不是局部極小值，則處理返回至步驟SIOI以執(zhí)行4妄下來的SAD值
的獲取。
另一方面，如果在步驟S103中判定處于判定對象點位置Po處 的SAD值是局部極小值，則在步驟S104中，局部運動矢量計算部 154將存儲在其中的SAD值的第一極小值和第二極小值與處于判定 對象點位置Po處的SAD值進行比較。
58然后，在步驟S105,局部運動矢量計算部154判定處于判定對 象點位置Po處的SAD〗直是否小于存^f諸在其中的SAD ^f直的第一招^ 小值。然后，如果判定處于判定對象點位置Po處的SAD ^L4交小， 則在步驟S106中，局部運動矢量計算部154用存儲在第一極小值 存儲單元1541中的SAD值更新第二極小值存儲單元1542并將處 于判定對象點位置Po處的SAD值存儲在第一極小值存儲單元1541 中。
然后，在步駛《S109中，局部運動矢量計算部154判定是否利 用目標(biāo)塊完成了關(guān)于所有參考塊的SAD值的計算處理。如果判定 計算處理還沒有完成，則處理返回至步驟SlOl，以獲取4妻下來的 SAD值。另一方面，如果在步驟S109中判定利用目標(biāo)塊完成了關(guān) 于所有參考塊的SAD ^t的計算處理，則局部運動矢量計算部154 結(jié)束處理程序。
另一方面，如果在步驟S105中判定處于判定對象點位置Po處 的SAD值大于等于存儲在其中的SAD值的第一4及小值，則在步驟 S107中，局部運動矢量計算部154判定處于判定對象點位置Po處 的SAD值是否小于存儲在其中的SAD值的第二極小值。如果判定 處于判定對象點位置Po處的SAD值較小，則在步驟S108中，局 部運動矢量計算部154用處于判定對象點位置Po處的SAD值更新 存儲在第二極小值存儲單元1542中的SAD值。
處理/人步-驟S108前進至步驟S109,局部運動矢量計算部154 判定是否完成了關(guān)于所有參考塊的SAD值的計算處理。如果判定 計算處理還沒有完成，則處理返回至步驟S101,以取纟尋4姿下來的 SAD值。另一方面，如果在步驟S109中判定4十對目標(biāo)塊完成了關(guān) 于所有參考塊的SAD值的計算處理，則結(jié)束處理程序。另一方面，如果在步驟S107中判定處于判定對象點4立置Po處 的SAD值不小于存儲在其中的SAD值的第二極小值，則處理前進 至步驟S109。在步驟S109中，局部運動矢量計算部154判定是否 針對目標(biāo)塊完成了關(guān)于所有參考塊的SAD值的計算處理。
如果在步驟S109中判定關(guān)于所有參考塊的SAD值的計算處理 還沒有完成，則處理返回至步驟SlOl，以取得接下來的SAD值。 另一方面，如果在步驟S109中判定針對目標(biāo)塊完成了關(guān)于所有參 考塊的SAD值的計算處理，則結(jié)束處理程序。
圖20所示的處理流禾呈圖可類似;也應(yīng)用于縮小面、中間面和基 底面。在這種情況下，對于縮小面和中間面，最終存儲在第一才及小 值存儲單元1541中的SAD值被檢測為SAD值的最小值MinSAD， 并且對應(yīng)的參考矢量^皮^^企測分別作為縮小面運動矢量MVs和中間 面運動矢量MVm。然后，lt出最小值MinSAD以及縮小面運動矢 量MVs和中間面運動矢量MVm。
另一方面，對于基底面，最終存儲在第一極小值存儲單元1541 中的SAD值被檢測為SAD值的最小值MinSAD,并且對應(yīng)的參考 矢量被檢測為基底面運動矢量MVb。然后，輸出SAD值的最小值 MinSAD和基底面運動矢量MVb。此外，對于基底面，最終存儲在 第一極小值存儲單元1541中的SAD值(即，最小值MinSAD)以 及最終存儲在第二極小值存儲單元1542中的SAD值(即，SAD值 的第二極小值)被提供給運動矢量可靠性指標(biāo)值計算部156。
全局運動計算部157的處理4喿作
<擴展仿射變換>在本實施例中，從大量的局部運動矢量LMV計算或4古i十全局 運動。然后，根據(jù)所計算的全局運動，計算全局運動矢量GMV或 估計全局運動矢量GMV。在這種情況下，使用通過仿射變換表示 全局運動的方法。
然而，普通的仿射變換具有不適于"傾斜失真"的缺點。"傾 殺+失真"是由相積^牛動的俯仰軸(即，垂直方向上的軸)或偏轉(zhuǎn)軸 (即，與垂直方向垂直的水平方向上的軸)的旋轉(zhuǎn)分量引起的現(xiàn)象。 通過"傾斜失真"，如圖21A和圖21B所示，準(zhǔn)確面對狀態(tài)的矩形 平面變形為梯形，因此，也^f皮稱為梯形失真或畸變。
具體地，當(dāng)相才幾CAM準(zhǔn)確面對圖像拾取對象OBJ以如圖21A 的下側(cè)所示使相機CAM的光軸Lz垂直地擴展至圖像拾取對象OBJ 的矩形平面時，圖像拾取對象OBJ的矩形平面的拾取圖像直接呈現(xiàn) 如圖21A上側(cè)所示的矩形形狀。
另一方面，例力口，》口圖21B的下側(cè)所示，力口果才目才幾CAM的光 軸Lz經(jīng)受了俯仰軸旋轉(zhuǎn)(即，豎直平面上的旋轉(zhuǎn))角度e而沒有 準(zhǔn)確面對圖傳4合取對象OBJ，則圖像拾取對象OBJ的矩形平面的才合 取圖像呈現(xiàn)出梯形形狀，其中，如圖21B的上側(cè)所示，圖像的左向 和右向(即，水平方向)上的長度響應(yīng)于角度e角而線性變化。
注意，雖然未示出，但是如果相機CAM的光軸Lz并未準(zhǔn)確面 對圖像拾取對象OBJ而是經(jīng)受偏轉(zhuǎn)軸旋轉(zhuǎn)(即，水平平面內(nèi)的旋轉(zhuǎn)) 角度e，則圖像拾取對象OBJ的矩形平面的拾取圖像呈現(xiàn)出梯形形 狀，其中，圖像的向上和向下方向(即，圖像的豎直方向)的長度
響應(yīng)于角度e角線性變化。
用于將通過相枳^牛動以上述扭曲形式拾取的圖^f象恢復(fù)為準(zhǔn)確 面對狀態(tài)的原始形狀的圖像的方法是"傾斜失真，，校正或梯形校正。 然而，這種校正并不能用上述仿射變換的參數(shù)來表示。具體地，如果需要執(zhí)行將圖21B所示的"傾斜扭曲的"梯形圖像恢復(fù)為矩形圖 像的這種"傾斜失真"校正，則圖像沿垂直軸或y軸的上部應(yīng)該被 水平收縮而圖像的下部應(yīng)被水平擴展。但是，對于仿射變換的參數(shù)， 參與水平擴展或收縮的參數(shù)為a,并且由于參數(shù)a為固定值，仿射
變換并不適于上述的4交正。
為了避免剛剛描述的這個問題，已經(jīng)提出了利用正交投影變換 來代替仿射變換。正交投影變換由圖22所示的(表達(dá)式8)表示， 并且可以表示乂人三維空間中的任意平面到另 一個平面的4更影變換。
然而，難以將正交投影變換應(yīng)用于這里4叚設(shè)的從大量矢量中指 定一個全局運動的情況。這是因為難以4艮據(jù)圖22的(表達(dá)式8)的 形狀使用最小二乘法，并且在使用一些其他技術(shù)的情況下，還需要
大量的數(shù)學(xué)運算。
作為現(xiàn)實的問題，因為實際的圖像拾取對象是三維對象，所以 觀察的局部運動矢量包括大量距離互不相同的圖像拾取部分。在這 種情況下，正交投影變換的應(yīng)用只能是近似的。因此，如果考慮到 需要非常高的成本來獲得對正交投影變換的通解，則正交投影變換 并不能作為降低成本的對策看起來是合理的決定。
為了更加簡單地應(yīng)用正交投影變換，可以采用相對于6個矢量 確定解的方法。這是因為，由于必須確定12個參fc所以如果代 入6個矢量的坐標(biāo)，則生成具有6個未知數(shù)的6x2的一階方程式， 可以通過6x2矩陣的逆矩陣計算而比較容易地得出解。因此，需 要從大量的局部矢量中適當(dāng)?shù)剡x擇6個矢量。
然而，如果考慮到運動圖像拾取對象包括在拾取圖像中的情 況，則由于不能期望每一個局部矢量都相當(dāng)準(zhǔn)確，所以難以從大量
62的局部運動矢量中僅提取具有高精確度的那些矢量。因此，難以從
大量的局部運動矢量中適當(dāng)?shù)剡x擇6個矢量。
考慮到上述情況，本實施例使用了即使圖像經(jīng)受"傾斜失真，， 仍可以順利地;險測全局運動的4支術(shù)。
具體地，在本實施例中，4吏用上面參照圖69描述的現(xiàn)有普通 仿射變換的修改形式。剛剛描述的普通仿射變換的修改形式在下文 中被稱為擴展仿射變換。
現(xiàn)在，嘗試執(zhí)行將由圖23中實線表示"傾斜扭曲"的梯形圖 像恢復(fù)為由圖23中虛線表示的矩形圖像的"傾斜失真"校正。在 這種情況下，梯形圖4象的上半部分應(yīng)沿垂直軸，即，由箭頭標(biāo)記表 示的y軸水平地減小，而梯形圖4象的下半部分應(yīng)水平擴展。
在普通的仿射變換中，在仿射變4灸的參凄t a、 b、 c、 d、 e和f 中，與水平擴展和收縮有關(guān)的參數(shù)是a。由于參數(shù)a具有固定值， 所以普通仿射變換并不適于"傾斜失真"才交正。
因此，如果將參數(shù)a重寫為qO.y+ rO以使其值可如圖23的下 部所示沿y軸變化，則仿射變換變?yōu)樗椒较蛏系臄U展或收縮比響 應(yīng)于垂直軸而線性變化。換句話說，參數(shù)a被替換為用于"傾斜失 真"校正的y軸的變量y的函數(shù)。這里，對于圖23中的"傾斜失 真，，校正，參數(shù)a可以是線性函數(shù)，即，函數(shù)q0.y + rO。
雖然圖23中的仿射變換考慮到通過凝:轉(zhuǎn)上述俯仰軸進^f亍"傾 斜失真"的校正，但是還需要考慮到通過旋轉(zhuǎn)偏轉(zhuǎn)軸進行"傾斜失 真"的4交正以及通過俯仰軸和偏轉(zhuǎn)軸的合成S走轉(zhuǎn)進4亍"傾殺+失真" 的校正。因此，在本實施例中，擴展了上面參照圖23描述的扭克念。具 體地，為了使仿射變換允許在垂直于任意軸的方向上沿該軸擴展或 |丈縮，參凄t a、 b、 d和e由圖24的(表達(dá)式9 )表示的pn.x + qn.y + m (n = 0, 1， 2, 3 )所取代。
這里，在仿射參數(shù)a、 b、 d和e參與圖像變換的同時，仿射參 凄t c和f分別參與沿向左或向右方向以及向上或向下方向l扁移。因 此，仿射參數(shù)c和f并不能被替換為函數(shù)。
在仿射參數(shù)a、 b、 d和e如(表達(dá)式9)表示的情況下，涉及 14個參數(shù)，并且擴展仿射變換看起來復(fù)雜程度非常高。然而，如果 (表達(dá)式9)被展開并整理，則其具有使用總共12個參數(shù)的圖25 所示的(表達(dá)式IO)的形式。
如果使用擴展仿射變換的這種表達(dá)式，則經(jīng)過表達(dá)式很復(fù)雜， 4旦是仍可以通過最小二乘法唯一地推出多個局部運動矢量的解。由 于該技術(shù)與仿射變換相同，所以分別如圖26~圖30中的(表達(dá)式 11) ~ (表達(dá)式15)給出最終結(jié)果。
注意，在本實施例中，雖然參與圖像變換的所有仿射參數(shù)a、 b、 d和e都被替換為函數(shù)，但是如果圖像變換只出現(xiàn)在特定方向，則 僅關(guān)于該方向的參數(shù)才被替換為函數(shù)。例如，為了僅考慮圖23的 上側(cè)所示的變換，如圖23的下側(cè)所示，僅參數(shù)a應(yīng)用函數(shù)替換。
此外，在上述實例中，雖然由于假設(shè)線性變形而使用于替換的 函數(shù)是線性函數(shù)，但如果假設(shè)曲線是線性的，則函數(shù)可以是二次或
高階函凄史。
<使用擴展的仿射變換計算全局運動〉作為用于從未指定的大量矢量中推導(dǎo)出最優(yōu)全局運動的技術(shù)，
本實施例4吏用了在圖31和圖32的流程圖中示出的方法。4艮據(jù)該方 法，當(dāng)不太可能符合全局運動的塊的那些運動矢量(例如，運動圖 像拾取對象)逐步從具有高可靠性的塊中排除時，最小二乘法被用 于使全局運動收斂。
根據(jù)圖31和圖32的處理，采用擴展仿射變換以以使可以從許 多低矢量精確度的局部運動矢量中排除運動圖像拾取對象等的誤 差矢量，同時在實際的數(shù)學(xué)運算成本下推導(dǎo)包含"傾斜失真"的最 4圭全局運動。
順便提及，由于本實施例中的擴展仿射變換涉及到許多變換參 數(shù)并且是可變通的，所以存在全局運動的收斂數(shù)學(xué)運算還可適于運 動圖像拾取對象的誤差運動矢量或噪聲的可能性，這就不能排除這 種誤差運動矢量。
因此，在本實施例中，在收斂數(shù)學(xué)運算循環(huán)的初始階段，使用 普通仿射變換排除誤差運動矢量(下文中稱為誤差矢量)，此后， 如圖31和圖32所示，執(zhí)行使用擴展仿射變換的收斂數(shù)學(xué)運算。這 是因為，期望使用在矢量誤差降到通過使用普通仿射變換不能排除 這種傾斜失真因子的程度之后嘗試使高精確度收斂同樣可適于使 用擴展仿射變換的傾斜失真因子的技術(shù)。
此外，在本實施例中，檢測矢量誤差的最大的值作為在收斂數(shù) 學(xué)運算的每個周期確定的全局運動GM中確定的運動矢量(即，全 局運動矢量)與所4企測運動矢量(即，上述的所檢測的局部運動矢 量LMV)的差。然后，如果所檢測的矢量誤差的最大的值大于預(yù)先確定的閾 值，則繼續(xù)普通的仿射變換，但是如果所檢測的矢量誤差最大的值 小于或等于預(yù)定閾值，則執(zhí)行使用擴展仿射變換的收斂數(shù)學(xué)運算。
現(xiàn)在，將詳細(xì)描述圖31和圖32的方法。
首先，在步驟S201中，全局運動計算部157將存儲在其中的 多個局部運動矢量LMV的運動矢量可靠性指標(biāo)值與預(yù)先確定的閾 值進行比較。然后，根據(jù)比較結(jié)果，全局運動計算部157僅選擇運 動矢量LMV可靠性指標(biāo)值Ft大于預(yù)定闊值的目標(biāo)塊。剛剛提及的 這些目標(biāo)塊在下文中^皮簡稱為塊。所描述的處理對應(yīng)于參照上面纟合 出的(表達(dá)式7)所描述的1和0兩個值^皮用作4又重系凄tW的情況。
然后，在步驟S202中，全局運動計算部157判定是否是第一 次執(zhí)行收斂數(shù)學(xué)運算的收斂循環(huán)。如果判定收斂循環(huán)為第 一 次執(zhí) 行，則在步驟S203中，全局運動計算部157僅使用所選塊的局部 運動矢量LMV以及〗吏用普通仿射變換來推導(dǎo)或估算全局運動GM。 換言之，全局運動計算部157推導(dǎo)全局運動GM的仿射參數(shù)a ~ f。
然后，在步驟S206中，全局運動計算部157基于所推導(dǎo)的全 局運動GM來計算用于凄t學(xué)運算的所選塊的理i侖局部運動矢量 LMVs。
然后，在步驟S207中，全局運動計算部157對每一個所選塊 計算由塊匹配處理確定的局部運動矢量LMV與在步驟S206中確定 的理i侖局部運動矢量LMVs之間的i吳差En。
對于由塊匹配確定的局部運動矢量與理論局部運動矢量之間 的誤差計算，如果重點在于數(shù)學(xué)運算的精確度，則應(yīng)利用勾股定理 正確地執(zhí)行距離計算。然而，如果重點在于減少數(shù)學(xué)運算而非精確度，則可以將水平和垂直方向上兩個運動矢量之間確定的距離和用 作近似距離。
然后，在步驟S208中，全局運動計算部157使用為所選塊確 定的所有誤差En來計算平均值Eave和誤差En的最大值Emax。然 后，在步驟S209中，全局運動計算部157判定平均值Eave是否小 于預(yù)先確定的閾^直ea以及最大值Emax是否小于預(yù)先確定的閾^直 0b。
如果作為圖32中步驟S209的判定結(jié)果判定并不滿足這些條 件，則處理前進到步驟S211，其中，全局運動計算部157從用于推 導(dǎo)全局運動的塊中排除在步驟S207中確定的塊的誤差En中誤差 En滿足En-Emax的一個塊?；蛘?，在步驟S211中，全局運動計 算部157 4企測誤差En滿足Er^eb的那些塊并從用于推導(dǎo)全局運動 GM的塊中排除所有4全測出的塊。
然后，在步驟S212中，全局運動計算部157判定作為步驟S211 中的塊排除結(jié)果的剩余塊數(shù)是否小于預(yù)先確定的閾值ec。如果在步 驟S212中判定剩余塊數(shù)不小于閾值0c，則處理返回到步驟S212, 以將剩余塊設(shè)置為所選塊來重復(fù)從步驟S202開始的步驟的處理。
如果剩余塊數(shù)小于閾值0c，則由于無法獲得適當(dāng)?shù)娜诌\動 GM,所以對象參考幀的圖像不能用于與本實施例中的圖像進行重 疊。因此，如果在步驟S212中判定剩余塊數(shù)小于闊值ec，則在步 驟S213中，全局運動計算部157跳過后面用于參考幀的所有處理。 由此，全局運動計算部157結(jié)束圖31和圖32的處理。
另一方面，如果在步驟S202中判定不是第一次執(zhí)行收斂數(shù)學(xué) 運算的收斂循環(huán)，則全局運動計算部157在步驟S204中判定在步驟S208中確定的塊的誤差En的最大值Emax是否大于預(yù)先確定的 閾值6d。
將閾值9d選擇為以下值當(dāng)普通仿射變換凈皮用于執(zhí)4亍全局運
不會排除傾斜失真分量的矢量。
如果在步驟S204中判定誤差En的最大值Emax大于預(yù)定閾值 ed,則全局運動計算部157前進至步驟S203的處理，其中，其使 用普通仿射變換來推導(dǎo)全局運動GM。換言之，全局運動計算部157 計算用于擴展仿射變換的參數(shù)。此后，全局運動計算部157重復(fù)地 執(zhí)行從上述步驟S203開始的步驟的處理。
如果在步驟S204中判定誤差En的最大值Emax小于或等于預(yù) 定閾值0d,則全局運動計算部157在步驟S205中僅使用所選塊的 局部運動矢量LMV以及4吏用擴展仿射變換來4,導(dǎo)全局運動。在步 驟S205的處理之后，執(zhí)行以步驟S206開始的步驟的處理。
然后，如果在圖31的步驟S209中確定誤差En的平均值Eave 小于閾值9a且誤差En的最大值Emax小于閾值0b,則在步驟S210 中，全局運動計算部157判定凄t學(xué)運算收^:，并最終確定該時間點 的全局運動GM,》匕后結(jié)束處理禾呈序。
注意，步驟S211中是否應(yīng)該僅排除誤差En為最大誤差值Emax 的塊還是應(yīng)該排除誤差En等于或大于閾值9b的塊可以基于當(dāng)確定 全局運動矢量GMV時的收斂的快捷性和4青確度之間的平4軒來確 定。如果精確度優(yōu)先，則應(yīng)該采用前一種方法來逐個地排除誤差塊， 但如果快捷性優(yōu)先，則應(yīng)該采用后一種方法。注意，在上述處理程序的步驟S204中，誤差En的最大誤差值 Emax被用于判定使用普通仿射變換的數(shù)學(xué)運算和使用擴展仿射變 換的lt學(xué)運算之間的轉(zhuǎn)換。然而，可以不l又考慮到誤差En的最大 誤差值Emax還考慮到誤差En的平均值Eave來執(zhí)行步驟S204中 的轉(zhuǎn)換判定。
在這種情況下，在步驟S204中，判定誤差En的平均值Eave 是否大于預(yù)先確定的閾值，如果平均值Eave大于闊值，則4吏用普 通仿射變換執(zhí)行數(shù)學(xué)運算。然而，如果平均值Eave小于或等于閾 值，則使用擴展仿射變換執(zhí)行數(shù)學(xué)運算。
或者，可以在步驟S204中判定誤差En的最大值Emax和平均 值Eave是否大于各個預(yù)先確定的閾值。在這種情況下，如果確定 它們都大于各個閾值，則可以使用普通仿射變換來執(zhí)行數(shù)學(xué)運算。 然而，如果確定它們都不大于各個閾值，則可以使用擴展仿射變換 來執(zhí)行數(shù)學(xué)運算。
注意，因為類似于可以從光學(xué)變焦率或設(shè)置形狀中識別出相機 4牛動4交正范圍的事實，可以乂人最大的相枳4牛動量中獲得傾斜失真分 量的最大值，所以閾值的識別相對來說是比較容易的。
全局運動計算部157基于以上述方式計算的全局運動GM來計 算每個目標(biāo)塊的全局運動矢量GMV。具體地，全局運動計算部157 4吏用用于所計算的全局運動GM的擴展仿射變換的參凄t a ~ 1 (參見 圖25)以根據(jù)圖25的(表達(dá)式10)來確定每個目標(biāo)塊的運動矢量， 其對應(yīng)于理i侖局部運動矢量LMVs。對于圖25的(表達(dá)式10)中 的x和y， -使用每個目標(biāo)塊中心4立置的坐標(biāo)。以這種方式確定的運 動矢量變?yōu)槊總€目標(biāo)塊的全局運動矢量GMV。然后，以上述這種方式確定的目標(biāo)塊的全局運動矢量GMV凈皮 提供給運動補償圖片生成部16。然后，運動補償圖片生成部16使 用目標(biāo)塊的全局運動矢量GMV來生成目標(biāo)塊的運動補償圖片，并 將生成的運動補償圖片提供給相加部17。
圖33示出了本實施例中從圖12包括許多噪聲的圖像中確定的 目標(biāo)塊的全局運動矢量。在圖33中，每個目標(biāo)塊的全局運動矢量 由空白的箭頭標(biāo)記表示。
背景/運動圖像拾取對象判定部150的配置和處理操作的實例
在通過局部運動矢量計算部154進4于塊的再匹配時，背景/運動 圖像拾取對象判定部150獲取關(guān)于由上述全局運動矢量計算部158 計算的對應(yīng)于全局運動矢量GMV的參考塊的SAD值。然后，背景 /運動圖像拾取對象判定部150響應(yīng)于上述圖像噪聲利用校正值來 才交正所獲取的SAD <直。在本實施例的以下描述中，提供了兩種利 用校正值進行校正的方法。
<第 一實例通過偏移相加才交正SAD 4直>
圖34示出了第一實例的概念。在圖34中，橫坐標(biāo)軸表示搜索 范圍，縱坐標(biāo)軸表示SAD的值，以及圖34示出了關(guān)于一個目標(biāo)塊 的SAD表的內(nèi)容，即，SAD值。橫坐標(biāo)軸上的每個值均表示參考 塊位置，即，參考矢量，并且實線曲線表示與圖15非常相似的SAD 表的內(nèi)容。
參見圖34，類似于圖15,通過塊匹配將呈現(xiàn)最小SAD值的參 考塊的位置或參考矢量501 4企測作為局部運動矢量LMV。同時， 呈現(xiàn)出全局運動矢量GMV的另 一個參考塊的位置是圖34中的位置 503。此時，^口果關(guān)于局部運動矢量LMV的SAD值和關(guān)于全局運動 矢量GMV的SAD值保持在與由圖像噪聲所提供量相對應(yīng)的差值范 圍內(nèi)，則存在全局運動矢量GMV可以是表示最小SAD l直的參考矢 量的可能性。
具體地，盡管作為參考塊的位置的關(guān)于全局運動矢量GMV的 SAD值必須最初為最小SAD值，但考慮到由于噪聲而錯誤地將位 于不同參考塊的SAD值，即，局部運動矢量LMV的SAD值確定 為最小SADj直。
因此，在本實施例中，為了校正全局運動矢量GMV，對全局 運動矢量GMV處的SAD值添加了與圖像噪聲量相對應(yīng)的偏移值 OFS。在本實例中，從全局運動矢量GMV處的SAD值(由 SAD—GMV表示)中減去偏移值OFS以4交正SAD值。具體地，在 校正后的SAD值由MinSAD—G表示的情況下，其被表示為
MinSAD_G = SAD—GMV - OFS ...(表達(dá)式16 )
這里，如果偏移值OFS被^i殳置為非常高的值，則運動圖像拾取 對象的運動矢量也凈皮判定為最小SAD值。因此，在本實施例中， 偏移值OFS被設(shè)置為小于局部運動矢量的可靠性指標(biāo)值Ft的閾值 th (參見表達(dá)式7 )的值。
然后，背景/運動圖像拾取對象判定部150將所校正的SAD值 MinSAD—G與局部運動矢量LMV處的SAD值MinSAD進行比專交。 如果比較結(jié)果表明MinSAD—G<MinSAD,則評估關(guān)于目標(biāo)塊的SAD 值的最小值是關(guān)于與全局運動矢量GMV相對應(yīng)的參考塊的SAD值 的校正值MinSAD—G。圖34示出了滿足MinSAD—G〈MinSAD情況 下的SAD表。
71具體地，在SAD表滿足如圖34所示MinSAD—G<MinSAD的 情況下，確定關(guān)于目標(biāo)塊的真實局部運動矢量與全局運動矢量 GMV —致。然后，在這種情況下，評估與目標(biāo)塊的背景一致度較 大同時關(guān)于目標(biāo)塊的命中率卩具有較大的值。然后，關(guān)于目標(biāo)塊的 降噪處理運動矢量是全局運動矢量GMV。
這里，在本實施例中，假定命中率p為osp^i范圍內(nèi)的值。
如果局部運動矢量LMV和全局運動矢量GMV 4皮此完全一致，則 命中率P可被確定為p= 1。然而，在本實施例中，沒有執(zhí)行局部運 動矢量LMV和全局運動矢量GMV彼此是否完全一致的評估，但 是將校正的SAD值MinSAD—G與在局部運動矢量LMV處的SAD 值(MinSAD)進行比較用于評估。因此，評估結(jié)果不僅包括局部 運動矢量LMV和全局運動矢量GMV 4皮此完全一致的情況，而且 還包括它們并不完全一致的另一種情況。
然后，如下所述，在本實施例中設(shè)如果滿足 MinSAD_G<MinSAD，貝'J命中率p為侈寸:i口 P = 0.75。這里，5殳有4吏 用P = 1的原因在于上述比較結(jié)果包括如上所述局部運動矢量LMV 和全局運動矢量GMV4皮此并非完全一致的情況。
圖35示出了在第一實例的情況下背景/運動圖像拾取對象判定 部150的配置及其相關(guān)元4牛的實例。
參照圖35，所示實例的所述背景/運動圖傳^合取對象判定部150 包括SAD—GMV4全測部1501，偏移減法部1502,偏移生成部1503 和比4交判定部1504。
在本實例中，將從匹配處理部153進行塊再匹配時計算的參考 塊的SAD值和位置信息(即，參考矢量的信息)提供給局部運動 矢量計算部154。局部運動矢量計算部154檢測塊再匹配時的最小SAD值MinSAD，并計算局部運動矢量LMV,即，參考塊的位置 信息或參考矢量的信息。然后，局部運動矢量計算部154將局部運 動矢量LMV和通過塊再匹配處理獲得的SAD值的最小值MinSAD -提供給比較判定部1504。
將從匹配處理部153進行塊再匹配時計算的參考塊的SAD值 和位置信息(即，參考矢量的信息)還提供給SAD一GMV檢測部 1501。 SAD—GMV才僉測部1501才企測關(guān)于與全局運動矢量GMV — 致的參考矢量的參考塊的SAD值SAD—GMV，并將所4企測的SAD 值SAD—GMV提供給偏移減法部1502。
偏移減法部1502將來自SAD—GMV檢測部1501的SAD值 SAD一GMV中減去來自偏移生成部1503的偏移值OFS以生成才交正 后的SAD值MinSAD—G。然后，偏移減法部1502將生成的4交正后 的SAD值MinSAD—G提供給比較判定部1504。
偏移生成部1503生成對應(yīng)于圖傳_噪聲的偏移值OFS并將其提 供給偏移減法部1502。由于圖像噪聲呈現(xiàn)出對應(yīng)于圖像亮度值的 值，所以在本實施例中，不同亮度值和不同偏移值OFS之間的對照 表的信息存儲在偏移生成部1503中。
偏移生成部1503計算目標(biāo)塊的亮度值作為來自最大亮度值檢 測部1592的最大亮度值MaxTAR與來自最小亮度值檢測部1593的 最小亮度值MinTAR的差值。然后，偏移生成部1503使用所計算 的目標(biāo)塊的亮度值作為自變量搜索上述對照表，以獲取對應(yīng)于自變 量的亮度值的偏移值OFS。
比較判定部1504將對應(yīng)于局部運動矢量LMV的最小SAD值 MinSAD與來自偏移減法部1502的校正后的SAD值MinSAD—G進
行比較，并響應(yīng)于比較結(jié)果生成并輸出命中率P。才是供鄉(xiāng)合比4交判定部1504的還有來自局部運動矢量計算部154 的重新計算的局部運動矢量LMV以及來自全局運動矢量計算部 158的全局運動矢量GMV。
然后，如果滿足MinSAD—G〈MinSAD，則由于背景一致度豐交 大，所以比4交判定部1504將全局運動矢量GMV作為降p朵處理運動 矢量MVnr輸出至運動補償圖片生成部16。另一方面，如果不滿足 MinSAD—G<MinSAD,則由于背景一致度4交小，所以比4交判定部 1504將局部運動矢量LMV作為降噪處理運動矢量MVnr輸出之運 動補償圖片生成部16。
注意，用于全局運動矢量GMV的SAD_GMV 4企測部1501和 偏移減法部1502可^皮配置為以〗吏可包4舌在局部運動矢量計算部154 中。在這種情況下，局部運動矢量計算部154執(zhí)4亍塊再匹配來才企測 關(guān)于與全局運動矢量GMV相對應(yīng)的參考塊的SAD值SAD_GMV, 并沖丸行偏移值OFS的減法ft學(xué)運算。
<背景/運動圖像拾取對象判定處理的流程>
參照圖36和圖37具體描述具有圖35配置的通過局部運動矢 量計算部154進^亍的塊再匹配處理以及通過背景/運動圖傳^合取對 象判定部150進行的背景一致度評估處理的流程。通過在控制部155 的控制下的各個部件來執(zhí)行圖36和圖37的處理。注意，圖36和 圖37的處理用于SAD—GMV檢測部1501和偏移減法部1502凈皮配 置為包括在局部運動矢量計算部154中的情況。
首先，在步驟S301中，在控制部155的控制下開始塊再匹配 以在目標(biāo)塊緩沖器部151中i殳置第一個目標(biāo)塊。然后，在步驟S302 中，在控制部155的控制下，從在參考塊緩沖器152中緩存的匹配處理范圍內(nèi)的參考幀的圖像數(shù)據(jù)中設(shè)置用于將被進行塊再匹配處 理的參考塊。
然后，在步驟S303中，匹配處理部153對所i殳置的目標(biāo)塊和 所i殳置的參考塊執(zhí)4亍塊匹配處理，以計算SAD值。然后，匹配處 理部153將確定的SAD值與參考塊的位置信息或參考矢量一起才是 供纟合局部運動矢量計算部154。
然后，在步-驟S304中，局部運動矢量計算部154判定參考矢 量是否與全局運動矢量GMV —致。這對應(yīng)于SAD_GMV檢測部 1501的處理，喿作。
如果在步驟S304中判定參考矢量與全局運動矢量GMV不一 致，則在步驟S305中，局部運動矢量計算部154執(zhí)行最小SAD值 MinSAD和參考塊位置或參考矢量的更新處理。具體地，局部運動 矢量計算部154將至此所存々者的最小SAD值MinSAD與新計算的 SAD值進行比較，并將較小的值存儲作為最小SAD值MinSAD。 此外，局部運動矢量計算部154還更新表示最小SAD l直的參考塊 位置或參考矢量。
然后，在步驟S308中，控制部155判定搜索范圍內(nèi)的所有參 考塊和目標(biāo)塊的塊匹配是否完成。
然后，如果在步驟S308中判定還沒有完成對搜索范圍內(nèi)的所 有參考塊的處理，則控制部155在步驟S309中設(shè)置下一個參考塊。 然后，處理返回至步驟S302來重復(fù)上述,人步驟S302開始的步驟的處理。
另一方面，如果在步驟S304中判定參考矢量與全局運動矢量 GMV —致，則在步驟S306中，局部運動矢量計算部154從SAD值SAD—GMV中減去偏移值OFS。然后，在步驟S307中，局部運 動矢量計算部154將減法結(jié)果作為校正后的SAD值MinSAD—G與 對應(yīng)參考塊位置(即，對應(yīng)參考矢量-全局運動矢量GMV) —起
進行存儲。
然后，處理前進至步驟S308,其中，控制部155判定是否完成 了搜索范圍內(nèi)的所有參考塊的處理。
然后，如果在步驟S308中判定完成了搜索范圍內(nèi)的所有參考 》夾的處J里，則局部運動矢量^十算部154 4企測局部運動矢量LMV和 最小SAD值MinSAD,并將它們提供給比較判定部1504。在圖37 中的步驟S311中，局部運動矢量計算部154還一奪沖交正后的SAD值 MinSAD—G提供給比較判定部1504。
然后，在步驟S312中，背景/運動圖像拾取對象判定部150的 比較判定部1504判定最小SAD值MinSAD是否小于預(yù)先確定的闊 值TH1。為了解決上述問題而提供了步驟S312中的處理。
具體地，例如，如果對應(yīng)于目標(biāo)圖像上的運動圖傳^合取對象部 分的塊由于參考圖像的移動或經(jīng)受嚴(yán)重變形而消失，則發(fā)生檢測不 到^^索范圍內(nèi)的4壬一參考塊與目標(biāo)塊匹配的情況。
在剛剛所述的這種情況下，SAD表的SAD值為4皮此相似的較 大的值，以及最小SAD值MinSAD接近于其他SAD值。在剛剛所 述的這種情況下，通過從與全局運動矢量GMV —致的參考矢量的 SAD值中減去偏移值OFS所獲得的4交正后的SAD值MinSAD—G 必定小于最小SAD值MinSAD,并存在將對應(yīng)部分錯誤檢測為背 景部分的可能性。因此，為了消除該問題，在本實施例中，校正與全局運動矢量
GMV —致的參考矢量的SAD值，以4吏在最小SAD值MinSAD大 于閾值TH1的情況下，不執(zhí)行背景一致度的判定處理。
因此，如果在步驟S312中判定最小SAD值MinSAD大于閾值 TH1，則比較判定部1504不使用全局運動矢量GMV執(zhí)行背景一致 度的判定，而是在步驟S313中將命中率P設(shè)定為p = 0.25。沒有將 命中率P設(shè)定為|3 = 0的原因在于考慮到與背景一致的塊可能存在 于呈現(xiàn)出SAD值大于閾值TH1的那些目標(biāo)塊中。
然后，在步驟S314中，比較判定部1504向運動補償圖片生成 部16輸出重寫計算的局部運動矢量LMV作為目標(biāo)塊的降噪處理運
動矢量。
此后，在步驟S320中，控制部155判定是否完成對目標(biāo)幀中 的所有目標(biāo)塊的處理。^口果處理還沒有完成，則在步驟S321中， 控制部155設(shè)置下一個目標(biāo)塊。然后，處理返回步驟S302以在控 制部155的控制下重復(fù)從上述步驟S302開始的步驟的處理。
另一方面，如果在步驟S312中判定最小SAD值MinSAD小于 閾值TH1,則在步驟S315中，比較判定部1504將最小SAD值 MinSAD與才交正后的SAD值MinSAD一G進4亍比4交。然后，在步驟 S316中，比較判定部1504判定是否滿足MinSAD〉MinSAD—G。如 果判定不滿足MinSAD>MinSAD_G,則判定目標(biāo)塊與背景不一致， 并在步驟S317中將命中率P設(shè)定為(3 = 0。
處理A人步驟S317前進至步驟S314，其中，比較判定部1504 向運動補償圖片生成部16輸出重新計算的局部運動矢量LMV作為 目標(biāo)塊的降噪處理運動矢量。然后，處理前進至步驟S320以重復(fù) 從上述步驟S320開始的步驟的處理。另 一方面，々口果在步驟S316中判定滿足MinSAD>MinSAD_G， 則判定目標(biāo)塊與背景一致的程度較大，并在步驟S318中將命中率p 設(shè)定為卩=0.75。然后，在步驟S319中，比較判定部1504向運動 補償圖片生成部16輸出全局運動矢量GMV作為目標(biāo)塊的降噪處理 運動矢量。
處理從步驟S319前進至步驟S320,其中，控制部155判定是 否完成了對目標(biāo)幀內(nèi)的所有目標(biāo)塊的處理。如果在步驟S320中判 定對目標(biāo)幀內(nèi)的所有目標(biāo)塊的所述處理還沒有完成，則在步驟S321 中控制部155設(shè)置下一個目標(biāo)塊。此后，處理返回至步驟S302。
另一方面，如果在步驟S320中判定已經(jīng)完成對目標(biāo)幀內(nèi)的所 有目標(biāo)塊的處理，則控制部155結(jié)束背景/運動圖像拾取對象判定處 理操作。
注意，在上述實施例中，從全局運動矢量GMV的SAD值 SAD—GMV中減去偏移值OFS來獲得校正后的SAD值MinSAD—G, 然后將校正后的SAD值MinSAD_G與最小SAD值MinSAD進行 比專交。然而，如果通過爿奪通過4吏偏移值OFS與局部運動矢量LMV 的最小SAD值MinSAD相加獲得的值(MinSAD + OFS )與全局運 動矢量GMV的SAD值SAD—GMV進行比專交，則也是完全等同的。
<第二實例通過增益乘法才交正SAD<S>
在上述第一實例中，應(yīng)用偏移值OFS來才交正關(guān)于在與全局運動 矢量GMV —致的參考矢量位置處的參考塊的SAD值SAD—GMV。 可以應(yīng)用以下這種類4以的想法來^C替偏移值OFS的相力口，可以乘以 考慮到圖像噪聲而確定的增益g來校正SAD值SAD_GMV。在本 實例中，由于SAD值SAD_GMV在減小方向上乘以增益g，所以 增益g為g〈1。注意，在相關(guān)值具有其響應(yīng)于相關(guān)性的增加而增加 的特性的情況下，自然滿足g>l 。在第二實例中，全局運動矢量的SAD值SAD—GMV的校正后 的SAD值MinSAD—G由下式給出
MinSAD—G = SAD—GMV x g ...(表達(dá)式17 )
圖38是示出了在第二實例的情況下背景/運動圖像拾取對象判 定部150的配置實例的功能框圖。
參照圖38，除^替偏移減法部1502包括「增益乘法部1505以及 代替偏移生成部1503包括增益生成部1506之外，所示背景/運動圖 像拾取對象判定部150是對參照圖35的上述配置的背景/運動圖像 才合取對象判定部150的》務(wù)改并且配置和處理纟喿作與其相似。
由于圖傳_噪聲對應(yīng)于圖<象的亮度值，所以增益生成部1506存 儲各種亮度值與增益g ( g<l )的對照表的信息，并使用目標(biāo)塊的亮 度值作為自變量來輸出對應(yīng)增益g。
增益乘法部1505將來自SAD—GMV檢測部1501的SAD值 SAD—GMV乘以來自增益生成部1506的增益g,以生成才交正后的 SAD卩直MinSAD—G。然后，增益乘法部1505將所生成的4交正后的 SAD值MinSAD—G提供給比較判定部1504。其他配置和處理操作 與上述第一個實例相同。
在根據(jù)第二實例的背景/運動圖像拾取對象判定處理中，圖36 所示步驟S306中用于SAD的值SAD_GMV的才交正處理^皮上面給出 的表達(dá)式17的lt學(xué)運算處理所取代。其他步驟的處理與第一實例 的非常相A乂。
注意，在上述實例中，全局運動矢量GMV的SAD值SAD—GMV 乘以增益g ( g<l )以獲得4交正后的SAD值MinSAD_G,并將校正后的SAD值MinSAD—G與最小SAD值MinSAD進4亍比4交。然而， 如果將通過使局部運動矢量LMV的最小SAD值MinSAD乘以增益 g的倒數(shù)所獲得的值(MinSAD x 1/g )與全局運動矢量GMV的SAD 值SAD_GMV進4亍比4交，則也是完全等同的。
注意，第二實例中的增益g具有與第一實例的偏移值OFS類似 的防止運動圖像拾取對象的運動矢量被檢測為最小SAD值的值。 換言之，在本實例中，也將增益g設(shè)置為與偏移值OFS類似考慮到 用于局部運動矢量的可靠性指標(biāo)值Ft的閾值th (參見表達(dá)式7 )的值。
背景/運動圖像拾取對象判定部150的配置和處理操作的其他實例
順便提及，在上述實施例中，在基于全局運動GM計算的全局 運動矢量GMV可以用大于像素間距的精確度來表示的同時，以像 素間距的精確度來執(zhí)行塊匹配。因此，與全局運動矢量GMV—致 的參考矢量的參考塊位置有時會出現(xiàn)誤差。
此外，即使在上述實施例中使用擴展仿射變換，^旦誤差可能存 在于所確定的全局運動GM和實際全局運動之間。此外，在上述實 施例中的分層塊匹配中，如果在淺層的塊匹配中出現(xiàn)差錯，則差錯 無法在后面的任何層中被恢復(fù)?？紤]到上述情況，認(rèn)為最好對全局 運動矢量GMV的位置提供特定容限。
在下述實例中考慮到這個問題。在本實例中，不僅使全局運動 矢量GMV的位置Pgmv的SAD值而且使位置Pgmv附近和周圍的 SAD值也經(jīng)受上述校正，然后與最小SAD值MinSAD進行比較。
例如，如圖39所示，假設(shè)判定關(guān)于目標(biāo)塊的SAD表TBL中 的全局運動矢量GMV的位置為位置Pgmv。此時，不僅位置Pgmv的SAD值，而且與位置Pgmv直接相鄰的周圍鄰近位置PI ~ P8的 8個SAD值也經(jīng)受上述這種校正，并纟皮確定為背景一致度的判定對象。
此外，在本實例的情況下，位置Pgmv和位置P1 P8處SAD 值的九個4交正SAD值MinSAD—G—0 ~ MinSAD—G—8與重新計算的 最小SAD值MinSAD進行比較。然后，如果九個才交正SAD值中的 任何一個小于最小SAD值MinSAD，則評估目標(biāo)塊的運動矢量具 有與全局運動矢量GMV的高一致度，并且還評估背景一致度較大。
在本實例中，在將上述第一實例用作SAD值的4交正方法的情 況下的背景/運動圖像拾取對象判定部150以及背景/運動圖像拾取 》寸象判定部150周圍的多個元4牛如圖40所示。
參見圖40，所示的背景/運動圖像拾取對象判定部150是對圖 35所示的修-改，并且不同之處在于代替SAD—GMV4企測部1501而 包括GMV相鄰SAD值檢測部1507，另外還包4舌插入在偏移減法 部1502和比較判定部1504之間的最小值檢測部1508。
從來自匹配處理部153的位置信息和SAD值中，GMV相鄰 SAD值4企測部1507檢測全局運動矢量GMV的位置Pgmv和位置 Pgmv的SAD值以及在位置Pgmv附近和周圍的8個位置PI ~P8 和位置PI ~ P8的SAD值。
然后，GMV相鄰SAD值檢測部1507將檢測的SAD值提供給 偏移減法部1502。偏移減法部1502 乂人位置Pgmv及PI ~ P8的9個 SADl直中減去來自偏移生成部1503的偏移量OFS,以生成4交正后 的SAD ^f直MinSAD—G—0 ~ MinSAD—G—8。然后，偏移減法部1502 將校正后的SAD值MinSAD—G—0 ~ MinSAD—G—8提供給最小值檢 測部1508。此外，GMV相鄰SAD值才企測部1507還將檢測到的位置Pgmv 和P1 ~P8以分別對應(yīng)于各個位置的SAD值的這種方式提供給最小 值才企測部1508。最小值檢測部1508從位置Pgmv以及PI ~ P8的9個校正后的 SAD值MinSAD—G—0 ~ MinSAD—G_8才企測最小值，并將才企測結(jié)果 的最小值作為校正SAD值MinSAD—G與才交正SAD值MinSAD—G 的位置信息一起提供給比較判定部1504。比舉交判定部1504 4尋來自局部運動矢量計算部154的作為塊再 匹配結(jié)果而獲得的最小SAD值MinSAD與來自最小值;險測部1508 的校正SAD值MinSAD_G進行比較，以與上述類似的方式執(zhí)行背 景一致度的評估判定。當(dāng)不滿足MinSAD〉MinSAD—G時，比4交判定部1504將命中率 p設(shè)為(3 = 0.0，并提供局部運動矢量LMV作為降噪處理運動矢量。 該才乘作與上述實例相同。另 一方面，當(dāng)滿足MinSAD>MinSAD—G時，比4交判定部1504 判定對應(yīng)于校正SAD值MinSAD—G的位置信息是否與全局運動矢 量GMV—致，并才艮據(jù)判定結(jié)果改變命中率|3。例如，如果對應(yīng)于 校正SAD值MinSAD—G的位置信息與全局運動矢量GMV —致， 則將命中率P設(shè)為P = 0.75。另一方面，如果對應(yīng)于校正SAD值 MinSAD—G的位置信息與全局運動矢量GMV不一致，則將命中率 P設(shè)為(3 = 0.5。jt匕外，在本實例的情況下，當(dāng)滿足MinSAD〉MinSAD—G時， 全局運動矢量GMV^皮輸出作為降噪處理運動矢量。然而，在本實例中，當(dāng)滿足MinSAD〉MinSAD—G時，比較判 定部1504還可以將對應(yīng)于來自最小值檢測部1508的位置信息的局 部運動矢量LMV輸出作為降噪處理運動矢量。注意，最小值^r測部1508可包括在比4^判定部1504中。在這 種情況下，可以從9個4交正SAD值中檢測最小值，然后與最小SAD 值MinSAD進行比較，或者9個校正SAD值也可以與最小SAD值 MinSAD--進行比較。<背景/運動圖像拾取對象判定處理的流程>參照圖41和圖42進一步描述具有上面參照圖40描述的配置 的局部運動矢量計算部154進4亍的塊再匹配處理以及背景/運動圖 像拾取對象判定部150進行的背景一致度評估處理的流程。通過在 控制部155控制下的各個部件執(zhí)行圖41和圖42的處理。注意，在 SAD—GMV才企測部1501和偏移減法部1502包4舌在局部運動矢量計 算部154中的情況下，由局部運動矢量計算部154和背景/運動圖像 拾取對象判定部150執(zhí)行圖41和圖42的處理。此外，最小值檢測 部1508包4舌在比壽交判定部1504中。首先，在步驟S401中，在控制部155的4空制下，開始塊再匹 配并在目標(biāo)塊緩沖器部151中設(shè)置第一個目標(biāo)塊。然后，在步驟 S402中，在控制部155的控制下，從在參考塊緩沖器152中緩存的 匹配處理范圍內(nèi)的參考幀的圖像數(shù)據(jù)中設(shè)置進行塊再匹配處理的 參考塊。然后，在步驟S403中，匹配處理部153在所i殳置的目標(biāo)塊和 所i殳置的參考塊之間執(zhí)4亍塊匹配處理以計算SAD值。然后，匹配 處理部153將所計算的SAD值與參考塊的位置信息或參考矢量提 供給局部運動矢量計算部154。然后，在步驟S404中，局部運動矢量計算部154判定參考矢 量是否與全局運動矢量GMV —致以及參考矢量是否與全局運動矢 量GMV附近和周圍的8個位置PI ~ P8的4壬意一個一致。如果在步驟S404中判定參考矢量與全局運動矢量GMV和8 個位置PI ~P8的任意一個都不一致，則在步驟S405中，局部運動 矢量計算部154 4丸行最小SAD值MinSAD和最小SAD值MinSAD的參考塊位置或參考矢量的更新處理。然后，在步驟S408中，控制部155判定是否完成搜索范圍內(nèi) 的所有參考塊和參考塊的塊匹配。如果在步驟S408中判定還沒有完成搜索范圍的所有參考塊的 處理，則在步驟S409中，控制部155設(shè)置下一個參考塊。然后， 處理返回至步驟S402來重復(fù)以上述步驟S402開始的步驟的處理。另一方面，如果在步驟S404中判定參考矢量與全局運動矢量 GMV及周圍相鄰位置P1-P8中的一個一致，則在步驟S406中， 局部運動矢量計算部154從SAD值中減去偏移值OFS。然后，局 部運動矢量計算部154存4諸減法結(jié)果作為4交正SAD值 MinSAD—G—0 ~ MinSAD—G_8中的對應(yīng)一個，并在步驟S407中， 存儲校的SAD值的參考塊的位置或參考矢量。然后，處理前進至步驟S408，其中，判定是否完成搜索范圍內(nèi) 的所有參考塊的處理。然后，如果在步驟S408中判定已經(jīng)完成搜索范圍內(nèi)的所有參 考塊的處理，則局部運動矢量^十算部154檢測局部運動矢量LMV 和最小SAD值MinSAD,并將它們提供給比較判定部1504。此夕卜， 局部運動矢量計算部154還從9個4交正SAD值MinSAD—G—0 ~ MinSAD—G_8中才企測校正SAD值MinSAD_G作為最小值，并在圖42的步驟S411中將校正SAD值MinSAD—G提供給比較判定部 1504。參照圖42，在步驟S412中，背景/運動圖像拾取對象判定部150 的比較判定部1504判定最小SAD值MinSAD是否小于預(yù)先確定的 閾值THl。如果在步驟S412判定最小SAD值MinSAD大于閾值THl ，則 比較判定部1504不使用全局運動矢量GMV執(zhí)行背景相似度的判 定，而是在步驟S413中將命中率卩設(shè)置為(3 = 0.25。然后在步驟S414 中，比較判定部1504向運動補償圖片生成部16輸出重新計算的局 部運動矢量LMV作為目標(biāo)塊的降噪處理運動矢量。然后，處理從步驟S414前進至步驟S422，其中，控制部155判定是否完成目標(biāo)幀中的所有目標(biāo)塊的處理。如果還沒有完成處 理，則在步驟S432中，控制部155設(shè)置下一個目標(biāo)塊。然后，處 理返回步驟S402以在控制部155的控制下重復(fù)從步驟S402開始的 步-驟的上述處理。如果在步驟S412中判定最小SAD值MinSAD小于閾值THl ， 則在步驟S415中，比較判定部1504將最小SAD值MinSAD與校 正后的SAD值MinSAD—G進行比較。然后，在步驟S416中，比 較判定部1504判定是否滿足MinSAD〉MinSAD—G。然后，如果判 定不滿足MinSAD>MinSAD—G,則在步驟S417中，比專交判定部1504 判定目標(biāo)塊與背景并不一致并將命中率p設(shè)定為p = 0。然后，處理從步驟S417前進至步驟S421，其中，比較判定部 1504向運動補償圖片生成部16 ^T出全局運動矢量GMV作為目標(biāo) 塊的降噪處理運動矢量。然后，過程前進至步驟S422以重復(fù)從步 -驟S422開始的步艱《的處理。另 一方面，如果在步驟S416中判定滿足MinSAD>MinSAD—G， 則在步驟S418中，判定最小SAD值MinSAD的位置或參考矢量是 否與全局運動矢量GMV —致。如果在步驟S418中判定最小SAD 值MinSAD的位置或參考矢量與全局運動矢量GMV不一致，則在 步驟S419中，比較判定部1504將命中率P設(shè)定為P = 0.5。另 一方面，如果在步驟S418中判定最小SAD值MinSAD的位 置或參考矢量與全局運動矢量GMV—致，則在步驟S420中，比較 判定部1504將命中率(3設(shè)定為p = 0.75。然后，接著步驟S419或S420,在步驟S421中，比4交判定部 1504向運動補償圖片生成部16輸出全局運動矢量GMV作為目標(biāo) 塊的降噪處理運動矢量。接著步驟S421,處理前進至步驟S422，其中，控制部155判 定是否完成目標(biāo)幀中的所有目標(biāo)塊的處理。如果在步驟S422中判 定目標(biāo)幀中的所有目標(biāo)塊的處理尚未完成，則在步驟S423中，控 制部155設(shè)置下一個目標(biāo)塊。此后，處理返回至步驟S402。另一方面，如果在步驟S422中判定已經(jīng)完成目標(biāo)幀中的所有 目標(biāo)塊的處理，則控制部155結(jié)束背景/運動圖傳4合取對象判定處理操作。不僅考慮全局運動矢量GMV位置的SAD值而且考慮全局運動 矢量GMV位置的相鄰周圍位置的SAD值來執(zhí)行背景/運動圖像拾 :取對象判定的方法也可以應(yīng)用于上述第二實例的SAD值4交正方法中。圖43示出了在應(yīng)用第二實例的情況下背景/運動圖像拾取對象 判定部及其相關(guān)外圍部件的配置實例。除了代替SAD—GMV檢測部1501包括GMV臨近SAD值檢測部1507并且還包含插入在增益乘 法部1505和比較判定部1504之間的最小值檢測部1508夕卜，圖43 所示的背景/運動圖像拾取對象判定部是對上面參照圖38描述的背 景/運動圖傳4合取對象判定部150的》務(wù)改并具有與其類似的配置。除上述第二實例凈皮用作SAD值4交正方法之外，圖43的背景/ 運動圖像拾取對象判定部150執(zhí)行與圖38的背景/運動圖像拾取對 象判定部150非常相似的操作處理。因此，為了避免贅述，這里省 略圖43的背景/運動圖像才合取對象判定部150的操作處理的詳細(xì)描述。相加率計算部21的配置實例在本實施例中，相加率計算部21以像素為單位確定相加率a( 0 $aSl)。然后，如上所述，主要響應(yīng)于目標(biāo)圖像與運動補償圖像之 間以^象素為單位的差以及命中率(3來計算相加率ot。為此，將命中率 P、目標(biāo)圖像的數(shù)據(jù)TGv以及運動補償圖像的數(shù)據(jù)MCv提供給相 加率計算部21。這里，如果目標(biāo)圖像與運動補償圖像之間以像素為單位的差較 大，則由于圖像部分被認(rèn)為是運動部分，相加率a應(yīng)被設(shè)定為小的 值。另一方面，如果以像素為單位不存在差或存在4艮小的差，則相 加率a可被設(shè)定為大的值。然而，如果不知道目標(biāo)塊是背景靜止圖 片部分還是運動圖〗象拾取對象部分，則如上所述為了4吏移動部分處 的多次曝光不明顯，需要將相加率a設(shè)定為相對較小的值。然而，在本實施例中，因為通過命中率J3確定與背景靜止圖片 部分的一致度，所以相加率a隨著命中率(3的增加被設(shè)定為增加值， 因此背景一致度增加。此外，在本實施例中，由于圖像噪聲響應(yīng)于圖像亮度增加，所以相加率計算部21在以像素為單位的目標(biāo)圖像與運動補償圖像之 間的差中考慮對應(yīng)于圖像亮度的噪聲。具體地，如果以像素為單位 的目標(biāo)圖像與運動補償圖像之間的差在噪聲范圍之內(nèi)，則判定圖像 之間的實際差較小。另一方面，如果以像素為單位的差大于噪聲范 圍，則判定實際差4交大。為了考慮到噪聲，將最大亮度值MaxTAR與最小亮度值 MinTAR從運動矢量計算部15提供給相加率計算部21。相加率計 算部21根據(jù)最大亮度值MaxTAR和最小亮度值MinTAR計算每個 目標(biāo)塊的亮度，即，照度Lx。此外，為了能夠從相加率計算部21的外部控制相加程度，將 附加調(diào)節(jié)增益GA提供^會相加率計算部21?？赏ㄟ^用戶選擇預(yù)先準(zhǔn) 備的一個增益值來i殳定附加調(diào)節(jié)增益GA的值?；蛘撸郊诱{(diào)節(jié)增 益GA的值可響應(yīng)于拾取圖像的ISO靈敏度來確定。在后一種情況 下，可基于圖像拾取時的曝光值、快門速度等判定圖像亮度以確定 附加調(diào)節(jié)增益GA的值。具體地，在圖^f象明亮的情況下，由于噪聲 比較明顯，所以將增益設(shè)定為一個相對較小的值，以使相加率可具 有小值，但是相反在圖像較暗的情況下，將增益設(shè)定為相對較大的 值，以使相加率可具有大的值。在圖44和圖45中示出了相加率計算部21的硬/陣配置的實例。 在圖44和圖45的實例中，目標(biāo)圖像的數(shù)據(jù)TGv和運動補償圖像的 數(shù)據(jù)MCv關(guān)于亮度分量和色差分量經(jīng)受相互分離的處理。圖44示出了用于亮度分量的相加率計算部21的硬件配置的實 例。參照圖44首先描述相加率計算處理。具體地，來自目標(biāo)圖像的數(shù)據(jù)TGv內(nèi)的亮度數(shù)據(jù)Ytg通過低通 濾波器601提供給差分絕對值計算部603。同時，來自運動補償圖 像的數(shù)據(jù)MCv內(nèi)的亮度數(shù)據(jù)Ymc通過另 一個低通濾波器602提供 給差分絕對值計算部603。差分絕對值計算部603對每個像素計算 亮度數(shù)據(jù)Ytg和亮度數(shù)據(jù)Ymc之間的像素差分絕對值A(chǔ)PxY，并將 所計算的像素差分絕對值A(chǔ)PxY提供給相加率轉(zhuǎn)換輸出部608。穿過低通濾波器601的亮度數(shù)據(jù)Ytg被提供給空間平均濾波器 604。同時，穿過低通濾波器602的亮度數(shù)據(jù)Ymc^皮提供給另一個 空間平均濾波器605?？臻g平均濾波器604和605分別確定平9個^象素的均值Mtg和 Mmc,其中，這9個〗象素包括通過差分絕對值計算部603確定^f象素 差的^f象素(該<象素在下文中#1稱為關(guān)注-像素)以及分別在關(guān)注-像素 周圍的8個^f象素。然后，空間平均濾波器604和605爿尋所確定的平 均值Mtg和Mmc 4是供給差分絕對值計算部606。差分絕對值計算部606計算在平均值Mtg與平均值Mmc之間 的平均差分絕對值A(chǔ)MeY，并將計算的平均差分絕對值A(chǔ)MeY提供 纟合相加率轉(zhuǎn)換豐IT出部609。在圖44所示的相加率計算部21中，提供了用于亮度分量的噪 聲模型存儲器607。預(yù)先計算關(guān)于亮度值的像素值的噪聲標(biāo)準(zhǔn)偏差a 并存儲在噪聲模型存儲器607中。具體地，在橫坐標(biāo)軸表示像素值 的亮度值而縱坐標(biāo)軸表示噪聲標(biāo)準(zhǔn)偏差C7的情況下，噪聲標(biāo)準(zhǔn)偏差a 具有(例如)如圖46所示曲線表示的值。如圖46所示，，乘聲標(biāo)準(zhǔn) 偏差CJ相對于明亮像素較低，但相對于暗像素較高。由于噪聲根據(jù)圖像亮度而不同，所以根據(jù)圖像照度Lx的多個 噪聲模型被存儲在噪聲模型存儲器607中。然后，乂人最大亮度值MaxTAR和最小亮度值MinTAR中對每個 目標(biāo)塊確定的照度Lx被提供給噪聲模型存儲器607用于選擇與照 度相對應(yīng)的噪聲模型。由此，基于照度Lx確定應(yīng)使用哪一個噪聲模型。穿過低通濾波器601的數(shù)據(jù)TGv的亮度數(shù)據(jù)Ytg被提供給噪聲 模型存儲器607，并從噪聲模型存儲器607中獲得由照度Lx和亮度 凄t據(jù)Ytg限定的噪聲標(biāo)準(zhǔn)偏差dY。該噪聲標(biāo)準(zhǔn)偏差aY #^是供給相 加率轉(zhuǎn)換輸出部608和609。此外，來自運動矢量計算部15的命中率(3以及來自外部的附加 調(diào)節(jié)增益GA被提供給相加率轉(zhuǎn)換輸出部608和609。相加率轉(zhuǎn)換輸出部608使用利用像素差分絕對值A(chǔ)PxY、噪聲 標(biāo)準(zhǔn)偏差oY、命中率(3和增益GA作為轉(zhuǎn)換參數(shù)的轉(zhuǎn)換功能，以基 于^f象素差分絕對值A(chǔ)PxY確定相加率aYA，并輸出相加率aYA。同時，相加率轉(zhuǎn)換輸出部609 4吏用利用平均像素差分絕對值 AMeY、噪聲標(biāo)準(zhǔn)偏差ctY、命中率(3和增益GA作為轉(zhuǎn)換參數(shù)的轉(zhuǎn) 換功能，以基于平均差分絕對值A(chǔ)MeY確定相加率aYB，并輸出相 力口率aYB。如圖47所示，相加率轉(zhuǎn)換輸出部608和609主要#4居噪聲標(biāo) 準(zhǔn)偏差a和差值確定相加率a。注意，在相加率轉(zhuǎn)換輸出部608和 609中，噪聲標(biāo)準(zhǔn)偏差c7是來自噪聲模型存儲器607的噪聲標(biāo)準(zhǔn)偏差 cjY,以及差值是l象素差分絕對值A(chǔ)PxY和平均差分絕對值A(chǔ)MeY。 此夕卜，輸出相力口率a是相力口率aYA和aYB。在本實施例中，如果差值低于預(yù)定的第一閾值，其中，第一閾 值可被設(shè)定為噪聲標(biāo)準(zhǔn)偏差cj的倍數(shù)，則確定圖像部分是背景圖像部分，并且相加率o^皮設(shè)定為a= 1的最大值。然后，在差值在第一閾值<差值<第二閾值的范圍內(nèi)的情況下， 判定在背景部分與運動圖像拾取對象部分之間不能區(qū)別出圖像部 分。因此，如圖47所示，將相加率ai殳定為隨著差值的增加而線性 減小。此外，當(dāng)差值在差值>第二閾值的范圍內(nèi)時，圖^象部分凈皮確 定為運動圖像才合耳又對象部分，并且相加率為a = 0的最小值。如果目標(biāo)塊的背景一致度未知，則為了緩和如運動圖像拾取對 象圖像部分處的多次曝光的這種狀態(tài)，考慮到安全性確定第 一 閾 值，并且通常限制相加率a。簡而言之，如果已知圖^f象部分是背景 圖像部分，則第一和第二閾值被設(shè)定為相對較大的值，以便可以以 盡可能高的相加率來執(zhí)行圖像相加。然而，如果背景一致度未知，則需要關(guān)于所有目標(biāo)塊考慮如運 動圖傳j合耳又對象部分處的多次曝光的這種狀態(tài)。因此，如圖47所 示，通常將第一闊值設(shè)定為約標(biāo)準(zhǔn)偏差cj的一倍(1cj),并且將第二閾佳J殳定為約才示準(zhǔn)偏差CJ的三倍(3(7)。另一方面，在本實施例中，對如上所述的每個目標(biāo)塊計算背景 一致度作為作為指標(biāo)值的命中率P。因此，如果使用背景一致度的 命中率P,則在背景靜止圖像部分處，可使用相對較大的相加率用 f才目力口。在圖48中示出了在考慮命中率(3的情況下的相加率轉(zhuǎn)換輸出部 608和609的相加率轉(zhuǎn)換輸出特性。具體地，在圖48的實例中，響應(yīng)于命中率P改變用于差值的第一閾值。具體地，當(dāng)命中率p最小且p-o時(表示圖像部分是運動圖像拾取對象部分)，類似于圖47的實例的情況，將第一閾值設(shè)定 為一^f咅(lci)。另一方面，在命中率P為卩>0的情況下，響應(yīng)于命中 率(3的值將第一閾值改變?yōu)檩^大值。在圖48的實例中，相加率a逐漸減小的線性直線的殺牛率是固 定的，其中，差值大于第一閾值。因此，在圖48的實例中，第二 閾值響應(yīng)于第一閾值的變化自動地被更新。例如，在圖47的不考慮命中率|3 (P = 0)實例的情況下，在差 值為2d的情況下，如圖49所示相加率a總是0.5。相反，在考慮 命中率的情況下，在命中率p為P= 1.0的背景靜止圖像部分中，如 圖49聲斤示才目力口率a為a = 1,并且最大才目力口率4皮用于4目力口。在背景靜止固像部分中，由于以這種方式響應(yīng)于命中率|3設(shè)定 相對較大的相加率a，所以實現(xiàn)期望的降噪效果。同時，在運動圖 像拾取對象部分中，由于相加率a響應(yīng)于命中率P被限制為小的值， 所以可以保持多次曝光的狀態(tài)凈皮緩和的效果。注意，在上述實例中，雖然只有第一閾值響應(yīng)于命中率P而改 變并且在差值高于第一閾值的情況下相加率a逐漸減小的直線斜率 固定，但第二閾值也可以響應(yīng)于命中率改變，從而也改變逐漸減小 的直線的4斗率?，F(xiàn)在，描述附加調(diào)節(jié)增益GA對相加率轉(zhuǎn)換輸出部608和609 的影響。附加調(diào)節(jié)增益GA是用于進一步不可變控制以上述這種方式計 算的相加率a的參凄t。如上所述，附加調(diào)節(jié)增益GA由用戶i殳定或者響應(yīng)于圖像拾取條件根據(jù)圖像亮度來設(shè)定。例如，在附加調(diào)節(jié)增益GA由用戶設(shè)定的情況下，如果希望通過降噪相加實現(xiàn)較大降噪 歲文果，則增加附加調(diào)節(jié)增益GA。從而，以上述方式計算的附力口相 加率a被可變地控制為與附加調(diào)節(jié)增益GA對應(yīng)的值。圖50示出了相加率轉(zhuǎn)換專俞出部608和609中的附加調(diào)節(jié)增益 GA、命中率P和相加率a之間的關(guān)系。在圖50中，相力。率a華皮表 示為基于參考相加率ao所確定的值，其中，參考相加率(X()是在命 中率|3為|3 = 0的情況下的相加率。在圖50的實例中，附力0調(diào)節(jié)增益GA可以由用戶或響應(yīng)于圖 像拾取條件被可變地設(shè)定為GA = 0、 GA = 1 、 GA = 2和GA = 3的 4個不同的4直。命中率(3也^皮i殳定為P = 0、卩=0.25、 |3 = 0.5和|3 = 1.0的4個不同的4直。然后，當(dāng)相加率a被設(shè)定為通過將參考相加率a0與系數(shù)k( k > 1 )相乘獲得的值時，系數(shù)k是響應(yīng)于附加調(diào)節(jié)增益GA與命中率p 的纟且合所確定的倍凄t。相加率轉(zhuǎn)換輸出部608 4艮據(jù)像素差分絕對值A(chǔ)PxY、噪聲標(biāo)準(zhǔn) 偏差cjY、命中率|3和增益GA基于亮度分量的像素差來計算并輸 出輸出相加率aYA。此外，相加率轉(zhuǎn)換輸出部609根據(jù)平均差分絕 對值A(chǔ)MeY、噪聲標(biāo)準(zhǔn)偏差aY、命中率|3和增益GA基于亮度分 量的平均差來計算并輸出輸出命中率(3YB。對于色差信號分量，不計算平均差，而是僅計算像素差分絕對 值，并且與上述亮度分量類似地計算基于色差分量的相加率。具體地，將來自目標(biāo)圖像的數(shù)據(jù)TGv中的藍(lán)色色差數(shù)據(jù)Cbtg 通過^f氐通濾波器621提供給差分絕對值計算部623。同時，將來自 運動補償圖像的數(shù)據(jù)MCv中的藍(lán)色色差數(shù)據(jù)Cbmc通過低通濾波 器622提供給差分絕對值計算部623。差分絕對值計算部623對每 個像素計算色差數(shù)據(jù)Cbtg與色差數(shù)據(jù)Cbmc之間的像素差分絕對值 △PxCb,并將所計算的像素差分絕對值A(chǔ)PxCb提供給相加率轉(zhuǎn)換輸 出部625。與亮度分量的情況類似，相加率計算部21包括用于像素值的 藍(lán)色色差分量的噪聲模型存儲器624，并計算像素值的藍(lán)色色差分 量的噪聲標(biāo)準(zhǔn)偏差cj的值并預(yù)先存儲在噪聲模型存儲器624中。與 亮度分量的情況類似，與圖像的照度Lx相對應(yīng)的多個噪聲沖莫型被 存儲在噪聲模型存儲器624中。然后，將每個目標(biāo)塊的照度Lx以及穿過低通濾波器621的數(shù) 據(jù)TGv的色差數(shù)據(jù)Cbtg提供給噪聲模型存儲器624。從而，從噪 聲模型存儲器624獲得取決于照度Lx和色差數(shù)據(jù)Cbtg的噪聲標(biāo)準(zhǔn) 偏差ciCb，并將其提供給相加率轉(zhuǎn)換輸出部625。此外，將來自運動矢量計算部15的命中率p和來自外部的增 益GA提供給相加率轉(zhuǎn)換輸出部625。相加率轉(zhuǎn)換:l敘出部625具有與上述相加率轉(zhuǎn)換:;輸出部608和 609類似的配置，并且從相加率轉(zhuǎn)換輸出部625獲得基于〗象素差分 纟色對值A(chǔ)PxCb、 p喿聲標(biāo)準(zhǔn)偏差dCb、命中率p和增益GA的組合的 才目力口率aCb。類似地，將來自目標(biāo)圖像的數(shù)據(jù)TGv中的紅色色差數(shù)據(jù)Crtg 通過低通濾波器631提供給差分絕對值計算部633。此外，將來自 數(shù)據(jù)MCv中的紅色色差數(shù)據(jù)Crmc通過低通濾波器632提供給差分絕對值計算部633。差分絕對值計算部633對每個像素計算色差數(shù) 據(jù)Crtg與色差數(shù)據(jù)Crmc之間的像素差分絕對值A(chǔ)PxCr,并將所計 算的像素差分絕對值A(chǔ)PxCr提供給相加率轉(zhuǎn)換輸出部635。與亮度分量的情況類似，提供用于像素值的紅色色差分量的噪 聲模型存儲器634，并計算與像素值的紅色色差分量相對應(yīng)的噪聲 標(biāo)準(zhǔn)偏差cj的值并預(yù)先存儲在噪聲模型存儲器634中。與亮度分量 的情況類似，與圖像的照度Lx相對應(yīng)的多個噪聲級^皮存儲在噪聲 模型存儲器634中。然后，將每個目標(biāo)塊的照度Lx以及穿過低通濾波器631的圖 像數(shù)據(jù)TGv的色差數(shù)據(jù)Crtg提供給噪聲模型存儲器634。從而，從 噪聲模型存儲器634獲得取決于照度Lx和色差數(shù)據(jù)Crtg的噪聲標(biāo) 準(zhǔn)偏差ciCr，并將其4是供給相加率轉(zhuǎn)換輸出部635。此外，來自運動矢量計算部15的命中率p和來自外部的增益 GA被提供給相加率轉(zhuǎn)換輸出部635。相加率轉(zhuǎn)換車命出部635具有與上述相加率轉(zhuǎn)4灸輸出部608和 609類似的配置，并且從相加率轉(zhuǎn)換輸出部635獲得取決于〗象素差 分絕對值A(chǔ)PxCr、噪聲標(biāo)準(zhǔn)偏差cjCr、命中率p和增益GA的組合 的相力口率aCr。此外，在本實施例中，還基于目標(biāo)圖像的像素方差值確定相加 率。關(guān)于關(guān)注像素或像素本身以及例如在關(guān)注像素周圍鄰近的8個 像素來確定方差值。對亮度分量和色差分量的每一個確定方差值。 然后，從所有確定的方差值中計算相加率。具體地，如圖44所示，將目標(biāo)塊的凝:據(jù)TGv的亮度數(shù)據(jù)Ytg 通過低通濾波器601提供給空間方差濾波器610。然后，例如，從空間方差濾波器610獲得關(guān)于總共9個像素的方差值VaY，其中， 9個像素包括關(guān)注像素或像素本身以及在關(guān)注^象素周圍鄰近的8個像素。然后，如圖45所示，將目標(biāo)塊的數(shù)據(jù)TGv的藍(lán)色色差數(shù)據(jù)Cbtg 通過^氐通濾波器621 ^是供給空間方差濾波器626。然后，從空間方 差濾波器626獲得關(guān)于總共9個像素的方差值VaCb,其中，9個像 素包括關(guān)注像素或像素本身以及在關(guān)注像素周圍鄰近的8個像素。此外，將目標(biāo)塊的數(shù)據(jù)TGv的紅色色差數(shù)據(jù)Crtg通過^f氐通濾 波器631 ^是供給空間方差濾波器636。然后，從空間方差濾波器636 獲得關(guān)于總共9個像素的方差值VaCr，其中，9個像素包括關(guān)注像 素或像素本身以及在關(guān)注像素周圍鄰近的8個像素。然后，如圖44所示，方差值VaY、 VaCb和VaCr通過相加部 611進行相加，然后祐j是供給相加率轉(zhuǎn)換輸出部612。此外，將來 自運動矢量計算部15的命中率p和來自外部的增益GA提供給相 加率轉(zhuǎn)換:l敘出部612。通過相加率轉(zhuǎn)換輸出部612確定相加率aC，從而在目標(biāo)塊的 圖像包括少量紋理分量且呈現(xiàn)出中等的亮度級變化(在灰度的情況 下)的情況下抑制相加率。在本實施例的圖像被分為多塊的圖像處 理中，通過人類纟見覺感知的影響而〗吏塊邊界非常不明顯，并且特別 是在考慮到這在亮度級變化中等的情況下尤為如此。為了實現(xiàn)該目的，基本上應(yīng)該將相加率i殳定為隨著塊中方差Y直 的減小而減小。如圖51A所示，其中，橫坐標(biāo)軸表示方差值，縱坐 標(biāo)軸表示輸出相加率，本實施例中的相加率轉(zhuǎn)換輸出部612將每個 預(yù)定步長的方差值分為幾步，以響應(yīng)于每步的方差值來確定東敘出相 加率。在圖51A的實例中，將每個8的步長的方差值分為五步，并將 0 ~ 7的方差值的相力口率設(shè)定為0.0;將8 ~ 15的方差值的相加率設(shè) 定為0.25;將16 23的方差^直的相加率i殳定為0.5;將24~31的 方差值的相加率設(shè)定為0.75;對于將32以上的方差值的相加率設(shè) 定為1.0。順使^是及，如上所述圖傳二故疊加的塊之間的邊界明顯的原因在 于被疊加的圖像相互是不同的。換言之，由于關(guān)于背景靜止圖^f象部 分圖〗象相互是不同的，所以不需要響應(yīng)于方差值來抑制相加率。因此，在本實施例中，相加率轉(zhuǎn)換輸出部612響應(yīng)于命中率|3 控制方差值的步長，以使用于方差值的步長隨著命中率P的增加而 減少。通過這種控制，對于背景靜止圖像部分，抑制了相加率響應(yīng) 于方差值的降低，從而能夠以盡可能高的相加率執(zhí)行相加。具體地，在圖51A~51C的實例中，在命中率J3具有小的值(例 如，卩=0)的情況下，如圖51A所示，用于方差值的步長^皮i殳定為 "8"。然后，當(dāng)命中率p具有例如(3 = 0.5這樣的值時，如圖51B 所示，用于方差值的步長被設(shè)定為"4"。此外，在命中率P為p= l(表示圖像部分是背景靜止畫面部分) 的情況下，如圖51C所示，用于方差值的步長浮皮i殳定為"0"。 ^:言 之，在這種情況下，不執(zhí)行取決于方差值的相加率的降低。如上所述，增益GA也被提供給相加率轉(zhuǎn)換輸出部612,以便 可以基于增益GA來執(zhí)行輸出相加率的控制。在本實例的情況下， 根據(jù)增益GA與命中率p的組合可變地控制用于方差值的步長。圖52示出了相加率轉(zhuǎn)換輸出部612中增益GA、命中率|3和步 長之間的關(guān)系。此外，在圖52的實例中，通過用戶或響應(yīng)于圖《象拾取條件將增益GA可變地設(shè)定為GA = 0、 GA = 1 、 GA = 2和GA =3的4個不同的4直。此夕卜，命中率P也4皮i殳定為P = 0、 P = 0.25、 (3 = 0.5和p= 1.0的4個不同的^直。注意，在圖52的實例中，步長被設(shè)定為可通過位移位凄t學(xué)運 算得到的值。注意，在本實施例中，雖然在使用方差值計算相加率時參照圖 51A 圖51C將使用步長的多步i殳置用于上述方差值，1旦方差值可 以不被分為多步，而是可以在多步之間應(yīng)用線性內(nèi)插。此夕卜，可以 不使用線性內(nèi)插，而是代替4吏用二次曲線內(nèi)插或三次曲線內(nèi)插。以這種方式，才目力口率專爭才奐專t出部608、 609、 612、 625和635計算基于亮度差值、色差值、亮度平均差值或方差值以及命中率P 的才目力口率aYA、 aYB、 aC、 aCb和aCr。jt匕夕卜，在本實施例中，3夸相力口率aYA、 aYB、 aC、 aCb和aCr 合成以獲4尋相加率計算部21的輸出相加率a。具體地，如圖44所 示，通過乘法器613將來自相加率轉(zhuǎn)換輸出部608和609的相力口率 aYA與aYB相乘，并將乘法結(jié)果提供給另 一個乘法器614。此外， 將來自相加率轉(zhuǎn)換輸出部625的相加率aCb被提供給乘法器614， 并通過乘法器614將相加率aCb與乘法器613的乘法結(jié)果相乘。然后，將乘法器614的乘法結(jié)果提供給又一個乘法器615。此 夕卜，將來自相加率轉(zhuǎn)換輸出部635的相加率aCr提供給乘法器615, 并通過乘法器615將相加率aCr與乘法器614的乘法結(jié)果相乘。此 外，將乘法器615的乘法結(jié)果提供給再一個乘法器616。另外，將 來自相加率轉(zhuǎn)換輸出部612的相加率aC提供給乘法器616，并通 過乘法器616將相加率aC與乘法器615的乘法結(jié)果相乘。結(jié)果，從乘法器616獲得所有所計算的相力。率aYA、 aYB、 aC、 aCb和aCr的乘法結(jié)果，并將其輸出作為相加率計算部21的豐俞出 相力口率a。以這種方式，通過相加率計算部21以^象素為單位計算相加率a 作為對應(yīng)于命中率P的^L,并將其提供給相加部17。相加部17響應(yīng)于來自相加率計算部21的用于每個像素的相加 率a以像素為單位將目標(biāo)塊的圖像數(shù)據(jù)TGv與運動補償塊的圖像數(shù) 據(jù)MCv相加。然后，來自相加部17的相加圖像數(shù)據(jù)經(jīng)由圖像存儲 器部4和靜止畫面編解碼器部18#皮記錄和再生裝置部5記錄。根據(jù)上述實施例，由于可以使用作為每個目標(biāo)塊的背景一致度 的指標(biāo)值的命中率P在靜止圖像部分中將相加率a設(shè)定為相對較大 的值，所以可以獲得呈現(xiàn)出高降噪效果的圖像作為降噪圖像的卓越效果。例如，考慮來源于具有圖53A所示噪聲的這種目標(biāo)圖像以及如 圖53B所示的這種參考圖像的降噪圖像。注意，由圖53A和圖53B 的每一個中圓圈表示的部分是目標(biāo)圖像與參考圖像之間的運動圖像拾取對象部分。本實例的兩個圖像完全是由除運動圖像拾取對象 部分之外的背景靜止畫面部分形成的。如果對圖53A和圖53B的實例的兩個圖^象執(zhí)4亍塊匹配以確定 每個目 一示塊的局部運動矢量LMV并表示這才羊的局部運動矢量 LMV，則獲得如圖54所示的這種圖像。當(dāng)使用上述這種局部運動矢量LMV來根據(jù)參考圖像執(zhí)行運動 補償以執(zhí)行相加率的確定而不考慮上述命中率p時，結(jié)果的相加率 分布圖像被示出為圖55中的單色圖像。在圖55中，示出圖像，以994吏隨著相加率的增加，白色考呈度增加，而隨著相加率的降《氐，黑色 程度增加。由圖54中的圓圏表示的部分是背景靜止畫面部分，并且在此 部分中，所確定的局部運動矢量LMV是正確的。然而，由于-殳有 考慮命中率(3，所以能夠i人為在圖55的對應(yīng)部分中，相加率呈現(xiàn)4交 小的值。換言之，能夠認(rèn)為不能夠?qū)崿F(xiàn)預(yù)期的降噪效果。如果將/人關(guān)于圖53A和圖53B所示的兩個圖〗象確定的全局運 動GM生成的全局運動矢量GMV被示出作為圖像，則獲得如圖56A所示的這種圖像。然后，如果4企查在由此生成的全局運動矢量GMV與局部運動 矢量LMV之間的一致度并將作為4全查結(jié)果^皮確定輸出至運動^卜償 畫面生成部16的運動矢量表示為圖像，則獲得如圖56B所示的這 種圖<象。圖56B的右下部分處的圖l象部分中的大運動矢量對應(yīng)于圖 53A和圖53B所示的運動圖像拾取對象部分。從圖56可以看出， 才艮據(jù)本實施例，以正確的區(qū)分狀態(tài)來判定背景靜止畫面部分和運動 圖像拾取部分。然后，如果以與圖4象的對應(yīng)關(guān)系示出當(dāng)生成圖56B的運動矢量 時所計算的命中率P，則獲得如圖57所示的這種圖像。注意，在圖 57中，通過判定一致和不一致的兩個值之間的一致度，局部運動矢 量LMV與全局運動矢量GMV之間的一致度^皮表示為命中率(3的二 元4直(包4舌卩=0和卩=1)中的一個。白色的部分是(3=1的部分， 而黑色部分是(3 = 0的部分。圖58示出了以與圖^象的乂于應(yīng)關(guān)系由上述相加率計算部21確定 的才目力口率a的4直。在圖58中，相力口率a4皮表示以^f吏才目力口率a的0.0 ~0.1的值被劃分為128級，并且相加率隨著顏色從白到黑的變化而 降低(a接近a = 0.0 )。如果將圖54與圖58相互比^_,則可以i人為，才艮據(jù)本實施例， 相加率a在背景靜止畫面部分呈現(xiàn)較大值。從而，通過本實施例實 現(xiàn)了期望的降噪效果。:;主意，對目力口率4爭才奐豐lr出部608、 609、 612、 625和635可浮皮商己 置為包括響應(yīng)于上文的四個參數(shù)輸入來輸出輸出相力口率aYA、 aYB、 aC、 aCb和aCr的專爭4奐表的ROM。第二實施例在上述第一實施例中，以目標(biāo)塊為單位輸出命中率p。然后， 以目標(biāo)塊為單位的命中率P被用于控制相加率a。因此，第一實施 例存在以下問題雖然以Y象素為單位計算相加率a， ^f旦容易突出降 噪圖 <象的塊之間的邊界。因此，在第二實施例中，參考與關(guān)注塊相鄰的目標(biāo)塊的命中率 以執(zhí)行內(nèi)插處理，以使以目標(biāo)塊為單位計算的命中率p可以空間平 滑地變化。<命中率3的內(nèi)^1處理的第一實例>在命中率p的內(nèi)插處理的第一實例中，以目標(biāo)塊為單位執(zhí)^f亍命中率P的內(nèi)插。圖59A-圖60B示出了在第一實例的情況下內(nèi)4翁處 理的實例。注意，在圖59A 圖60B中，參考符號Bk表示目標(biāo)塊， 并且在每個目標(biāo)塊Bk中表示的數(shù)值表示命中率(3的值。這里，為 了簡4匕"i兌明，所計算的命中率P具有卩=1.0和p-0.5的兩個^直中 的一個。圖59A和圖59B示出了一個實例，其中，通過參照與關(guān)注目 標(biāo)塊Bk相鄰的其他目標(biāo)塊Bk的命中率|3，關(guān)注目標(biāo)塊Bk的命中 率(3在減小方向上被內(nèi)插以空間平滑地進行變化。換言之，在以目 標(biāo)塊Bk為單位計算的命中率p具有如圖59A所示這樣的值的情況 下，預(yù)定的目標(biāo)塊Bk的命中率p通過內(nèi)插處理如圖59B所示一皮改變。在圖59A和圖59B的實例中，當(dāng)關(guān)注目標(biāo)塊Bk的命中率f3為|3 =1.0且其他相鄰目標(biāo)塊Bk的命中率p為卩=0.0時，關(guān)注目標(biāo)塊-皮確定為內(nèi)插對象的目標(biāo)塊。然后，在所示的實例中，內(nèi)插對象的 目才示塊的命中率卩從卩=1.0變4匕成卩=0.5。從而，以目才示塊Bk為單位的命中率p呈現(xiàn)圖59B所示的空間平滑變化。同時，在圖60的實例中，通過參照與關(guān)注目標(biāo)塊Bk相鄰的其 他目標(biāo)塊Bk的命中率p，關(guān)注目標(biāo)塊Bk的命中率(3在增加方向上 被內(nèi)插以空間平滑地進行變化。換言之，在以目標(biāo)塊Bk為單位計 算的命中率(3具有圖60A所示這樣的值的情況下，預(yù)定的目標(biāo)塊 Bk的命中率p通過內(nèi)插處理如圖60B所示^L改變。在圖60A和圖60B的實例中，當(dāng)關(guān)注目標(biāo)塊Bk的命中率j3為 (3-0.0且其4也相鄰目標(biāo)塊Bk的命中率P為卩=1.0時，關(guān)注目才示塊 被確定為內(nèi)插對象的目標(biāo)塊。然后，內(nèi)插對象的目標(biāo)塊的命中率P 從卩=0.0變化成卩=0.5。從而，以目標(biāo)塊Bk為單位的命中率P呈 現(xiàn)如圖60B所示的空間平滑變化。從而，即使以目標(biāo)塊為單位計算命中率P,但仍可以使塊之間 的邊界不明顯。<命中率p的內(nèi)插處理的第二實例>在命中率p的內(nèi)插處理的第二實例中，以通過細(xì)分目標(biāo)塊而荻得的子塊為單位執(zhí)行命中率P的內(nèi)插。圖61A 圖61C以及圖 62A ~ 62C中示出了在第二實例中的內(nèi)插處理的實例。參看圖61A ~ 圖61C以及圖62A 62C，參考符號Bk表示目標(biāo)塊，SBk表示通 過將目標(biāo)塊Bk細(xì)分為4個部分或子塊所獲4f的子塊，以及SSBk 表示通過將目標(biāo)塊Bk劃分為16個部分或子塊所獲得的子塊。在每 個目標(biāo)塊Bk或每個子塊中描述的數(shù)值表示命中率p的值。此外， 在第二實例中，為了簡化描述，所計算的命中率p(即，在內(nèi)插處 理之前的命中率(3)采用p= l.O和p-0.5的兩個^直中的一個。在圖61A 61C的實例中，參照與關(guān)注目標(biāo)塊Bk相鄰的其他 目標(biāo)塊Bk的命中率p的值，以在關(guān)注目標(biāo)塊Bk的命中率p的減小 方向上內(nèi)插命中率P， /人而命中率p可空間平滑;也變化。在圖61A和圖61B的實例中，#(^亍當(dāng)目標(biāo)塊Bk^皮劃分為4個 子塊時以子塊SBk為單位的內(nèi)插。換言之，在以目標(biāo)塊Bk為單位 計算的命中率j3具有圖61A所示這樣的值的情況下，在預(yù)定目標(biāo)塊 Bk中的子塊SBk的命中率p通過內(nèi)插處理如圖61B所示地:故改變。在圖61B的實例中，當(dāng)關(guān)注目標(biāo)塊Bk的命中率|3為p = l.O且 其他相鄰目標(biāo)塊Bk的命中率j3為卩=0.0時，關(guān)注目標(biāo)塊被確定為 內(nèi)插對象的目標(biāo)塊。然后，內(nèi)插對象的關(guān)注目標(biāo)塊的命中率|3以子 塊SBk為單位:故變?yōu)榈陀?3 = 1.0的值。在這種情況下，不是關(guān)注目標(biāo)塊Bk中的所有子塊SBk的命中 率P都被改變?yōu)橼?0.5,而是僅與命中率p為P-O.O的其他目標(biāo)塊 Bk相鄰的那些子塊SBk的命中率p被改變?yōu)?3 = 0.5。同時，關(guān)注 目標(biāo)塊Bk中的其他子塊的命中率p^皮^f呆持在p= 1.0。在第二實例 的情況下，相鄰目標(biāo)塊Bk包括在斜方向上鄰近的那些塊。因此，與在殺牛方向上鄰近的目標(biāo)塊Bk中的命中率|3為(3 = 0.0的那些子塊 SBk的命中率p也^皮改變?yōu)橼?0.5。此外，在圖61A和圖61C的實例中，以通過將目標(biāo)塊Bk劃分 為16個部分或子塊獲得的子塊SSBk為單位執(zhí)行內(nèi)插。在本實例中， 在關(guān)注目標(biāo)塊Bk的命中率(3為p-1.0的情況下，在內(nèi)插對象的目 才示塊Bk中，以子塊SSBk為單4立用0.25 ~ 0.25、 0.5、 0.75或1.0的變化寬度來改變命中率P。換言之，在以目標(biāo)塊Bk為單位計算的命中率P如圖61A所示 的情況下，預(yù)定目標(biāo)塊Bk中的子塊SSBk的命中率(3通過內(nèi)插處 理如圖61C所示i也-波改變。在圖61C的實例中，當(dāng)關(guān)注目標(biāo)塊Bk的命中率p為卩=1.0且 其他相鄰目標(biāo)塊Bk的命中率p為|3 = 0.0時，關(guān)注目標(biāo)塊Bk被確 定為內(nèi)插對象的目標(biāo)塊。然后，內(nèi)插對象的關(guān)注目標(biāo)塊Bk的命中 率p以子塊SSBk為單位進4亍改變。在這種情況下，與命中率p為p = 0.0的其他目標(biāo)塊Bk相鄰的 子塊SSBk的命中率|3被改變?yōu)閜 = 0.25。然后，關(guān)注目標(biāo)塊Bk中 與命中率(3被改變?yōu)镴3-0.25的子塊SSBk相鄰的子塊的命中率(3 4皮 文變?yōu)?3 = 0.5。同時，在內(nèi)插對象的目標(biāo)塊Bk中與命中率J3為|3= 1.0的其他 目標(biāo)塊Bk相鄰的子塊SSBk的命中率p被保留為P=1.0。然后， 關(guān)注目標(biāo)塊Bk中與命中率p保留為|3= 1.0的子塊SSBk相鄰的子 塊的命中率p被改變?yōu)?3 = 0.75。此外，關(guān)注目標(biāo)塊Bk中與命中率 (3被改變?yōu)橼?0.75的子塊SSBk相鄰的子塊的命中率p被改變?yōu)閨3 -0.5。此外，在本實例的情況下，相鄰目標(biāo)塊Bk包括與在斜方向上 相鄰的那些塊。從而，以目標(biāo)塊Bk為單位的命中率(3呈現(xiàn)如圖61B或圖61C 所示的空間平滑變化。現(xiàn)在，參照圖62A 圖62C，實例示出了通過參考與關(guān)注目標(biāo) 塊Bk相鄰的其他目標(biāo)塊Bk的命中率|3在關(guān)注目標(biāo)塊Bk的命中率 |3的增加方向上進行的內(nèi)插以使命中率|3可呈現(xiàn)空間平滑變化。在圖62A和圖62B所示的實例中，以通過將目標(biāo)塊Bk劃分為 4個部分或子塊獲得的子塊SBk為單位執(zhí)行內(nèi)插。具體地，在以目 標(biāo)塊Bk為單位的命中率p具有圖62A所示這樣的值的情況下，預(yù) 定目標(biāo)塊Bk中的子塊SBk的命中率p通過內(nèi)插處理如圖62B所示改變。在圖62B的實例中，當(dāng)關(guān)注目標(biāo)塊Bk的命中率p為p-O.O且 其他相鄰目標(biāo)塊Bk的命中率|3為p = 1.0時，關(guān)注目標(biāo)塊Bk ^^皮確 定為內(nèi)插對象的目標(biāo)塊。然后，內(nèi)插對象的關(guān)注目標(biāo)塊的命中率|3 以子塊SBk為單位變?yōu)榇笥趐 = 0.0的值。在這種情況下，不是關(guān)注目標(biāo)塊Bk中的所有子塊SBk的命中 率P都被改變?yōu)?3 = 0.5,而是僅與命中率P為卩=0.0的其他目標(biāo)塊 Bk相鄰的那些子塊SBk的命中率p被改變?yōu)橼?0.5。同時，關(guān)注 目標(biāo)塊Bk中的其他子塊的命中率(3被保持在(3 = 1.0。在第二實例 的情況下，相鄰目標(biāo)塊Bk包括在斜方向上鄰近的那些塊。因此， 與在斜方向上鄰近的目標(biāo)塊Bk中的命中率|3為p = 0.0的那些子塊 SBk的命中率p也被改變?yōu)閨3 = 0.5。此外，在圖62A和圖62C的實例中，以通過將目標(biāo)塊Bk劃分 為16個部分或子塊獲得的子塊SSBk為單位執(zhí)行內(nèi)插。在本實例中， 在關(guān)注目標(biāo)塊Bk的命中率P為p-l.O的情況下，在內(nèi)插對象的目 標(biāo)塊Bk中，以子塊SSBk為單4立用0.25 ~ 0.25、 0.5、 0.75或1.0的
變化寬度來改變命中率p。
換言之，在以目標(biāo)塊Bk為單位計算的命中率j3如圖62A所示 的情況下，預(yù)定目標(biāo)塊Bk中的子塊SSBk的命中率p通過內(nèi)插處 理如圖62C所示地^皮改變。
在圖62C的實例中，當(dāng)關(guān)注目標(biāo)塊Bk的命中率(3為p-0.0且 其他相鄰目標(biāo)塊Bk的命中率p為p = 1.0時，關(guān)注目標(biāo)塊Bk ^t確 定為內(nèi)插對象的目標(biāo)塊。然后，內(nèi)插對象的關(guān)注目標(biāo)塊Bk的命中 率(3以子塊SSBk為單4立進4亍改變。
在這種情況下，與命中率P為P = 1,0的其他目標(biāo)塊Bk相鄰的 子塊SSBk的命中率p被改變?yōu)?3 = 0.75。然后，關(guān)注目標(biāo)塊Bk中 與命中率p被改變?yōu)閜-0.75的子塊SSBk相鄰的子塊的命中率p #皮改變?yōu)橼?0.5。
同時，在內(nèi)插對象的目標(biāo)塊Bk中與命中率P為卩=0.0的其他 目標(biāo)塊Bk相鄰的子塊SSBk的命中率|3被保留為卩=0.0。然后， 關(guān)注目標(biāo)塊Bk中與命中率p保留為(3 = 0.0的子塊SSBk相鄰的子 塊的命中率P^C改變?yōu)?3 = 0.25。此夕卜，關(guān)注目標(biāo)塊Bk中與命中率 (M皮改變?yōu)閜 = 0.25的子塊SSBk相鄰的子塊的命中率卩#:改變?yōu)?3 =0.5。
此外，在本實例的情況下，相鄰目標(biāo)塊Bk包括與在斜方向上 相鄰的那些塊。從而，以目標(biāo)塊Bk為單位的命中率p呈現(xiàn)如圖62B或圖62C 所示的空間平滑變化。
第三實施例
在上述第一實施例中，局部運動矢量計算部154執(zhí)行分層塊匹 配來計算基底面上的局部運動矢量LMV。然后，運動矢量可靠性 指標(biāo)值計算部156計算基底面的局部運動矢量LMV的可靠性指標(biāo) 值Ft。
此外，全局運動計算部157生成基底面的局部運動矢量LMV 的可靠性指標(biāo)值Ft并使用可靠性指標(biāo)值Ft來提取具有高可靠性的 那些局部運動矢量LMV。然后，全局運動計算部157 4吏用具有高 可靠性的局部運動矢量LMV來計算全局運動GM,然后從全局運 動GM中計算全局運動矢量GMV。
順使j是及，通過將縮小面運動矢量MVs和中間面運動矢量 MVm與基底面的圖像縮小率的倒數(shù)相乘，可以獲得基底面運動矢 量MVb。因此，為了計算全局運動GM，可以不確定基底面運動矢 量MVb而是從縮小面運動矢量MVs或中間面運動矢量MVm中確 定全局運動GM。
例如，為了乂人縮小面運動矢量MVs中計算全局運動GM，局 部運動矢量計算部154首先計算縮小面的局部運動矢量LMV，即， 縮小面運動矢量MVs。
然后，運動矢量可靠性指標(biāo)值計算部156計算所計算縮小面運 動矢量MVs的可靠性指標(biāo)值Ft。此外，全局運動計算部157 4吏用 縮小面的局部運動矢量LMV的可靠性指標(biāo)值來提取具有高可靠性 的那些局部運動矢量LMV。然后，全局運動計算部157〗吏用具有高可靠性的局部運動矢量LMV來計算全局運動GM和全局運動矢 量GMV。
此外，在4吏用全局運動GM的情況下，還可以從通過在直到中 間面的層中執(zhí)行塊匹配所獲得的中間面運動矢量MVm中進行類似 計算。然而，可以才艮據(jù)各層來適當(dāng)?shù)豬殳置執(zhí)4亍關(guān)于全局運動矢量 GMV ^f立置處的SAD〗直的4交正的偏移〗直O(jiān)FS或增益g。
以這種方式〗吏用縮小面或中間面的局部運動矢量來確定全局 運動GM和全局運動矢量GMV具有以下優(yōu)點。
第一個優(yōu)點在于，由于將低通濾波器用于生成上述縮小面或中 間面，所以去除了噪聲，以使所得到的局部運動矢量不太可能被噪 聲所影響。
第二個優(yōu)點在于，由于在縮小面或中間面中減少了目標(biāo)塊的數(shù) 量，所以局部運動矢量的^:目和凄史學(xué)運算成本減少，另外，由于處 理所需時間減少了，所以可以以高速執(zhí)4亍處理。
縮小面、中間面和基底面的匹配處理塊單位由于受上述實例的 硬件限制而通常具有相同尺寸。因此，具有較小圖片尺寸的縮小面 的目標(biāo)塊的數(shù)目(即，局部運動矢量的數(shù)目)與僅在基底面執(zhí)行塊 匹配的可選情況相比相對地少。
然后，在乂人縮小面運動矢量中確定全局運動和全局運動矢量 GMV的情況下，可以省略中間面和基底面上的運動矢量才企測處理。 換言之，在/人中間面運動矢量中確定全局運動和全局運動矢量 GMV的情況下，可以省略基底面的運動矢量檢測處理。因此，可 以預(yù)期處理速度的增加。特別在縮小面運動矢量MVS :故用于確定全局運動和全局運動
矢量GMV的情況下，優(yōu)點更為明顯。
圖63示出了使用縮小面運動矢量MVs確定全局運動和全局運 動矢量GMV并〗夸其與基底面上的局部運動矢量LMV相比的處理 的一l殳流程。
首先，在步駛gS501中，運動矢量計算部15執(zhí)4亍縮小面塊匹配 以確定縮小面上的每個目標(biāo)塊的局部運動矢量LMVs。然后，運動 矢量計算部15評估每個目標(biāo)塊的縮小面的局部運動矢量LMVs的 可靠性，并且僅使用具有高可靠性的那些縮小面局部運動矢量 LMVs來計算全局運動GM。然后，運動矢量計算部15/人所計算的 全局運動GM來計算全局運動矢量GMV。
然后，在步驟S502中，運動矢量計算部15對分層塊匹配執(zhí)行 縮小面塊匹配來重新計算縮小面局部運動矢量LMVs。
然后，在步驟S503中，運動矢量計算部15才艮據(jù)縮小面局部運 動矢量LMVs確定與中間面上的目標(biāo)塊相對應(yīng)的參考塊的4臾索范 圍，并才丸4亍中間面塊匹配。然后，運動矢量計算部15計算中間面 局善卩運動矢量LMVm。
然后，在步驟S504中，運動矢量計算部15才艮據(jù)中間面局部運 動矢量LMVm確定與基底面上的目標(biāo)塊相對應(yīng)的參考塊的搜索范 圍，并扭J亍基底面塊匹配。然后，運動矢量計算部15計算基底面 局部運動矢量LMVb。然后，運動矢量計算部15〗吏用基底面局部 運動矢量LMVb和在步驟S501中計算的全局運動矢量GMV來為 每個目標(biāo)塊執(zhí)行上述背景一致度的評估和判定。然后，運動矢量計 算部15確定命中率p并基于評估判定來檢測降噪處理運動矢量 MVnr。然后，在步驟S505中，運動補償圖片生成部16 4吏用述降噪處 理運動矢量MVnr以從參考幀的圖像數(shù)據(jù)中生成以塊為單位的運動
補償圖片。
然后，在步驟S506中，相加率計算部21基于在步驟S504中 計算的命中率p以^像素為單4立或以目標(biāo)塊為單4立計算相加率a。然 后，在步驟S507中，加法部17以塊為單位將在步驟S505中生成 的運動補償圖片與目標(biāo)圖像以在步驟S506中計算的相加率a進行 相加，從而生成降噪圖像。
注意，在上述圖63的處理流禾呈中，在運動矢量4企測時通過第 一次塊匹配確定的全局運動GM和全局運動矢量GMV積j皮應(yīng)用于 分層塊匹配中的基底面運動矢量。
然而，同樣在分層塊匹配的縮小面和/或中間面上，可4吏用全局 運動矢量GMV、局部運動矢量LMVs和中間面局部運動矢量LMVs 來執(zhí)行目標(biāo)塊的背景一致度評估。在這種情況下，作為背景一致度 ;平估結(jié)果的降，乘處理運動矢量MVnr可以:故用作關(guān)于縮小面或中間 面上的每個目標(biāo)塊而輸出的運動矢量。
這以使可以獲得比一般情況下具有更高精確度的關(guān)于縮小面 或中間面上的每個目標(biāo)塊的運動矢量(即，局部運動矢量)。這類 似地應(yīng)用于基底面。因此，如上所述，根據(jù)每層適當(dāng)?shù)卦O(shè)置偏移值 OFS或增益g。
圖64A~圖64D示出了當(dāng)4艮據(jù)圖63的處理流考呈執(zhí)4亍處理時的 塊匹配結(jié)果和所4企測運動矢量的方式的實例。圖64A~圖64D的實 例示出了當(dāng)將上述處理應(yīng)用于上述目標(biāo)圖像和參考圖像時的處理結(jié)果。
110圖64A示出了當(dāng)對目標(biāo)圖像和參考圖像執(zhí)行縮小面塊匹配時 局部運動矢量LMVs的4企測結(jié)果。
圖64B示出了作為對縮小面局部運動矢量LMVs執(zhí)行可靠性評 估的結(jié)果被確定為具有高可靠性的縮小面局部運動矢量LMVs和縮 小面局部運動矢量LMVs的目標(biāo)塊。注意，圖64B右下角的重點強 調(diào)塊是具有高局部運動矢量LMVs的運動圖像拾取對象部分。
圖64C示出了基于由基底面局部運動矢量LMVb計算的全局 運動GM所計算的目標(biāo)塊的全局運動矢量GMV。此外，圖64D示 出了通過再次執(zhí)行運動矢量4企測，通過背景部分和運動圖像拾取對 象部分的i平估;險測的降p朵處理運動矢量MVnr。
沖艮據(jù)圖64D,可以識別出背景部分中的運動矢量有序地3皮配置 為全局運動矢量GMV的4犬態(tài)。
注意，在圖64D中，右下角部分的大運動矢量是在4吏用局部運 動矢量LMV和全局運動矢量GMV的評估判定中^皮確定為運動圖 像拾取對象(全局運動矢量GMV不會從中輸出作為降噪處理運動 矢量)的運動圖像拾取對象塊。同時，中空的矢量表示與全局運動 矢量GMV —致的參考矢量在搜索范圍內(nèi)的有效像素區(qū)域中不存在 的塊。
準(zhǔn)備圖64A~圖64D以表明容易被識別的效果，實際目標(biāo)快的 尺寸較小。如下所述，以更小塊為單位生成命中率(3更加有效。
然而，在圖像中的運動圖像拾取對象區(qū)域和矢量以粗略單位被 才全測并被跟蹤，優(yōu)選地，基于以如圖64D所示的這種粗略單位使用 全局運動矢量GMV扭j亍的評估來l敘出降p朵處理運動矢量MVnr。 因此，不需要畫面圖像中所有塊的信息，但是如果著重于運動圖像拾取對象檢測的可靠性，則如圖64B的情況，僅從第一次運動矢量 檢測時具有高可靠性的那些矢量中執(zhí)行運動圖像拾取對象塊的分離。
通過內(nèi)插處理提高精確度
順使j是及，由于縮小面或中間面通過減小基底面而生成，所以 應(yīng)該考慮到這種縮小面運動矢量或中間面動矢量的精確度相對較 小。
因此，為了消除或減輕精確度低的問題，在使用縮小面運動矢 量或中間面動矢量的情況下，扭J亍內(nèi)插處理。具體地，4吏用由所計 算的縮小面運動矢量或所計算的中間面運動矢量表示的縮小面參 考塊位置或中間面參考塊位置附近的縮小面參考塊或中間面參考 塊的SAD值以及SAD值的位置信息來執(zhí)行內(nèi)插處理。通過該內(nèi)插 處理，可以執(zhí)行像素精確度的縮小面運動矢量或中間面運動矢量的 沖企測。下文所述的內(nèi)4悉處理以縮小面情況下的內(nèi)4翁處理為例。
例如，在水平和垂直方向上都縮至1/4的縮小面上扭^于塊匹配 的情況下，縮小面運動矢量是4像素精確度的運動矢量。然而，顯 而易見，在基底面參考幀中，1像素精確度的基底面運動矢量MVb 存在于通過將縮小面運動矢量增加至n倍所獲得的運動矢量附近。
因此，在如圖65所示確定縮小面上的最小SAD值601的情況 下，可以理想地/使用最小SAD值601附近的多個SAD值(例如， 分別〗吏用在上、下、左和右方向上與最小SAD值601相鄰的4個 SAD值602、 603、 604和605來執(zhí)行內(nèi)插處理，以檢測4l象素精確 度的運動矢量。在這種情況下，所需的內(nèi)插倍率為四倍。
例4口，可以理想地/使用二次曲線來對SAD表執(zhí)4亍內(nèi)4翁，以從 例如以n像素為單位已經(jīng)執(zhí)行了匹配處理的縮小面SAD表中計算像素精確度的運動矢量。在這種情況下，盡管可以不使用二次曲線 近似內(nèi)插而是使用線性、三次或更高階曲線近似內(nèi)插，^f旦在本實例 中，根據(jù)精確度和硬件配置之間的均衡而使用二次曲線近似內(nèi)插。
在二次曲線近似內(nèi)插中，如圖65所示，使用通過n像素精確 度的縮小面運動矢量所表示的縮小面SAD表中的SAD值的最小值 Smin以及在最小值Smin位置附近的多個SAD值(下文稱作鄰近 縮小面SAD值)。在本實例中，使用在縮小面的X方向或水平方向 以及Y方向或垂直方向上鄰近最小值Smin位置的4個鄰近的SAD 值Sxl、 Sx2和Syl、 Sy2。
如圖66所示，在X方向或水平方向上的內(nèi)4翁中，縮小面SAD 值的最小值Smin和在X方向或水平方向上處于兩個相鄰點的相鄰 縮小面SAD值Sxl和Sx2被用于應(yīng)用二次近似曲線700。具體地， 確定經(jīng)過最小值Smin以及在X方向或7jc平方向上處于兩個相鄰點 的相鄰縮小面SAD值Sxl和Sx2的二次近似曲線700。通過這種方 式，如圖66所示，二次近似曲線700假設(shè)為最小值的坐標(biāo)變?yōu)樘?供像素精確度的SAD值的最小值SXmin的縮小面運動矢量或高精 確度縮小面運動矢量的X坐標(biāo)Vx。給出此時用于二次曲線近似內(nèi) 4翁的表達(dá)式，如下面的(表達(dá)式19):
<formula>formula see original document page 113</formula>
根據(jù)計算表達(dá)式(表達(dá)式19)確定的像素精確度的SAD值的 最小值SXmirW叚設(shè)在SAD表上的X坐標(biāo)變?yōu)椤较笏鼐_度的縮小面 SAD值，I定為最小值的X坐標(biāo)Vx。
可通過多次執(zhí)行的減法來實現(xiàn)計算表達(dá)式(表達(dá)式19)中的除 法。例如，如果將被使用的像素精確度為縮小面的1/4像素間距的 精確度，則可以僅通過兩次減法就能實現(xiàn)上述除法。因此，電路規(guī)模小且數(shù)學(xué)運算時間短，并且能夠?qū)崿F(xiàn)與比二次近似曲線內(nèi)插復(fù)雜 得多的三次曲線內(nèi)插非常接近的性能。
類似地，在Y方向或垂直方向上的內(nèi)插中，縮小面SAD值的 最小<直Smin和在Y方向或垂直方向上與最小值Smin鄰近的兩個 點的鄰近縮小面SAD值Syl和Sy2用于應(yīng)用二次近似曲線。因此， 二次近似曲線假設(shè)為極小值SYmin處的Y坐標(biāo)變成像素精確度的 SAD值呈現(xiàn)最小值的Y坐標(biāo)Vy。通過下面的表達(dá)式(表達(dá)式20) 給出此時的二次曲線近似內(nèi)插的表達(dá)式
SYmin = 1/2 x ( Sy2 - Syl ) / ( Sy2 - 2Smin + Syl )...(表達(dá)式20 )
通過以這種方式對X方向和Y方向執(zhí)4于兩次二次曲線近似， 確定高精確度(即，像素精確度)的縮小面運動矢量(Vx， Vy)。
雖然在先前的描述中， -使用了縮小面SAD值以及在X方向或 水平方向和Y方向或垂直方向上與最小值鄰近的兩個點的縮小面 SAD值的最小值，但是在不同方向鄰近的縮小面SAD值的數(shù)量可 以為兩個以上。》匕夕卜，4戈替在X方向和Y方向上的二次曲線的應(yīng) 用，例如，二次曲線可以凈皮應(yīng)用于殺牛方向。jJ:匕夕卜，近如乂曲線可以^皮 應(yīng)用于除X和Y方向之外的殺+方向上。
圖67示出了通過使用如上所述的這種裝置和處理程序，能夠 通過n個像素單位精確度的SAD表的值來獲得像素精確度的矢量 檢測結(jié)果。圖67的橫坐標(biāo)軸表示內(nèi)插倍率，并表示在一維方向上 應(yīng)該"i殳定多少次分解。由于SAD表為二維的，戶斤以表面積、以平方 率降低。然而，由于由內(nèi)插引起的誤差僅以線性的程度增加，所以 可以認(rèn)可內(nèi)插技術(shù)的有用性。
114注意，自然地，上述參照圖65 ~圖67描述的內(nèi)插法不僅可應(yīng) 用于縮小面，而且還可應(yīng)用于中間面和基底面。在向基底面應(yīng)用內(nèi) 插技術(shù)的情況下，所獲得的局部運動矢量LMV具有比像素間距更 高的精確度，即，子像素精確度。
在基底面上確定子像素精確度的局部運動矢量LMV的情況 下，將凈皮llT出作為降噪處理運動矢量MVnr的全局運動矢量GMV 應(yīng)該為與其一致的基底面的子l象素精確度的局部運動矢量LMV。 具體地，對于^皮確定為背景的快，可以輸出由全局運動GM計算的 全局運動矢量GMV，或者可以l俞出與全局運動矢量GMV —致的 局部運動矢量LMV。盡管可以l餘出全局運動矢量GMV和局部運動 矢量LMV的任意一個，但在這種情況下，最好輸出更高精確度的 局部運動矢量LMV作為全局運動矢量GMV。
另 一方面，在基底面上計算子^象素精確度的局部運動矢量LMV 的情況下，還具有運動補償圖片生成部16可生成子^f象素精確度的 內(nèi)插圖像來作為運動補償圖片的優(yōu)點。
實施例的效果
如上所述，根據(jù)上述本實施例，可以以高精確度檢測關(guān)于圖像 中所有目標(biāo)塊的運動矢量。此外，可以判定圖像部分是背景圖像部
分還是運動圖像拾取對象部分，并且可以獲得作為這種判定的指標(biāo) 值的命中率。然后，可響應(yīng)于命中率將圖像的相加率設(shè)定為大的值。
因此，可以執(zhí)行迄今為止比較困難的高精確度的局部運動矢量 的檢測以及整個圖像的背景靜止畫面區(qū)域和運動圖像拾取對象部 分的提取。此外，在背景靜止畫面區(qū)域中，可以以高相加率執(zhí)行圖 像的疊加。因此，可獲得呈現(xiàn)出期望降噪效果的降噪圖像。其他實施例和l奮改
在先前的描述中，背景/運動圖像拾取對象判定部150執(zhí)行關(guān)于 目標(biāo)幀內(nèi)的所有目標(biāo)塊的背景一致度的評估判定。
然而，背景/運動圖像拾取對象判定部150可通過^f又使用具有高 可靠性的那些局部運動矢量LMV的收斂凄t學(xué)運算來確定全局運 動。上面參照圖31和圖32所示從全局運動的收斂數(shù)學(xué)運算中排除 的具有高可靠性的那些局部運動矢量LMV是運動圖像拾取對象塊 的具有高可靠性的局部運動矢量LMV。另外，最終用于在全局運 動的收斂凄t學(xué)運算才乘作中計算全局運動的那些局部運動矢量LMV 可被確定為背景塊。
因此，呈現(xiàn)具有高可靠性的局部運動矢量LMV的那些評估塊 不需要再次經(jīng)受背景和運動圖像拾取對象之間的評估判定。因此， 對于剛剛描述的具有高可靠性的局部運動矢量LMV的這種目標(biāo) 塊，可以省略塊再匹配處理和背景/運動圖像拾取對象判定處理。這 就可以縮4豆處理時間和凄t學(xué)運算量。
注意，在全局運動收斂數(shù)學(xué)運算中，最終用于計算全局運動的 局部運動矢量LMV可^皮判定為背景塊，它們的命中率(3可凈皮判定 為|3= 1.0。
然后，當(dāng)命中率卩為l.O時，目標(biāo)塊和補償圖片塊之間的相加 率祐 沒置為1.0。通過這樣，對背景部分執(zhí)4亍正向加強相加，可以 預(yù)期高降噪效果。
注意，在上述實例中，雖然通過運動補償以目標(biāo)塊為單位生成 運動補償圖^象，^旦因為獲得了全局運動GM,所以可以通過運動補 償以像素為單位來生成。具體地，例如，在呈現(xiàn)高背景一致度(其中，其命中率p達(dá)到1.0或0.75)的目標(biāo)塊的圖像的情況下，對每 個像素根據(jù)全局運動計算全局運動矢量。然后，針對各個像素所計 算的全局運動矢量被用于執(zhí)行運動補償。由于運動補償結(jié)果可能與 像素位置一致，所以還執(zhí)行內(nèi)插處理來生成運動補償像素，并4吏用 運動補償像素來生成運動補償圖片。
在以這種方式以<象素為單位進4于運動補償?shù)那闆r下，可以期望 獲得更平滑的運動內(nèi)插圖像。
注意，在上述實施例中，雖然SAD值被才企測作為相關(guān)值，但 相關(guān)^f直當(dāng)然不限于SAD <i。
此外，在上述實施例中，雖然4丸行關(guān)于靜止圖片的運動4企測處 理和圖像的疊加處理以使多個拾取圖像被取入圖像存儲部4并對由 此取入的拾取圖像執(zhí)行上述運動檢測和圖像疊加處理。然而，處理 對象的多個圖像可類似地如運動圖片的圖像拾取時實時地生成。
注意，自然地，運動矢量檢測對象的圖像信息不受拾取圖像信 息的限制。
此外，在上述實施例中，基于運動矢量可靠性指標(biāo)值執(zhí)4亍運動 矢量的可靠性判定。然而，除相關(guān)值的第一極大值與第二極大值之 間的差或比，在取相關(guān)值的第 一極大值的參考矢量與取相關(guān)值的第 二極大值的另一參考矢量之間的位置差異也可被用于進行可靠性 的判定。此外，相關(guān)值的第三極大值、高階極大值或取這種極大值 的參考矢量的位置分布可以另外被用于可靠性的判定。
注意，在上述實施例中，為了減小執(zhí)行全局運動的數(shù)學(xué)運算處 理時的數(shù)學(xué)運算負(fù)荷，對于局部運動矢量LMV的可靠性指標(biāo)值， 二進制至0和1 ;故用于加^L系it W。然而，通過局部運動矢量LMV的可靠性指標(biāo)值的歸一化獲得、并例如取等于或大于0^f旦等于或小 于1的加權(quán)系數(shù)w可自然地按原樣被用于執(zhí)行全局運動的數(shù)學(xué)運
算處理。
此外，可以不通過使用如上述實施例的仿射變換的單個處理計 算全局運動，而是可通過^f吏用加速傳感器(例如，陀螺)4企測為施 加給整個圖像拾取元件的位移的全局運動。然后，以這種方式才企測
的全局運動可^皮用于以上述類^f以的方式確定全局運動矢量GMV, 并且可以將由此確定的全局運動矢量GMV與局部運動矢量LMV 進行比較以確定它們的 一 致度。
在這種情況下，只有一個從全局運動中確定的全局運動矢量 GMV可與不同的局部運動矢量LMV進行比4交。此夕卜，可以判定在 圖像或幀的中心位置發(fā)生全局運動，以使從全局運動中確定每個目 標(biāo)塊的全局運動矢量GMV，其中將中心位置設(shè)置為原始坐標(biāo)。
或者，可以外部地生成對于將被疊加的圖像的每個目標(biāo)塊的全 局運動矢量GMV。在這種情況下，圖像處理裝置不需要執(zhí)4亍上述 關(guān)于全局運動矢量GMV的這種計算，而是可以4又乂人外部獲取全局 運動矢量GMV。在圖^象處理裝置外部，可以通過^f又包括上述單個 處理或通過使用諸如陀螺的傳感器并執(zhí)行必要的計算來生成全局 運動矢量GMV。
尤其對于靜止圖像，在連續(xù)拍攝的圖像被預(yù)先存儲并在后面的 時間點執(zhí)行降噪處理的情況下，相對容易地在外部計算全局運動并 獲耳又全局運動矢量GMV。
此外，在上述實施例中，雖然在靜止圖片的圖像拾取時將本發(fā) 明應(yīng)用于運動矢量檢測和背景/運動圖像拾取對象判定，但自然地，
118本發(fā)明還可以應(yīng)用于執(zhí)行運動圖片的圖像拾取時的運動矢量4企測 和背景/運動圖像拾取對象判定的情況。
圖68示出了考慮到運動圖片圖像拾取的圖像拾取裝置的硬件 配置的實例。在圖68中，與圖1所示圖傳4合取裝置類似的那些部 件-故指定為相同標(biāo)號并省略了重疊描述。
此外，在通過圖68的圖傳j合取裝置進4亍運動圖片的降，喿處理 時，針對每個IV (V是用于幀或場的垂直周期)從圖像拾取元件 11輸入的拾取圖像被用作目標(biāo)圖像，而IV和2V之前的圖像至加 法之后的輸出圖像被用作參考圖像。
不僅參照IV之前的圖像而且參照2V之前的圖像的原因在于， 在隔行掃描圖像的情況下，利用2V之前的圖像靜止物品呈現(xiàn)專交大 的匹S5率。
此外，在圖68的系統(tǒng)中，從局部矢量中計算全局運動，并才艮 據(jù)目標(biāo)圖像中的每塊或每個像素的運動矢量是否與全局運動一致 來生成命中率信息，從而在后續(xù)階段控制相加率ct。圖像拾取系統(tǒng) 由此提供呈現(xiàn)高降噪效果的運動圖片。
注意，圖68的圖俜4合取裝置中的編解碼部22 #:配置為執(zhí)4亍 MPEG方式的壓縮編石馬。
雖然前面的描述針對圖像信息是拾取圖像信息的情況，但本發(fā) 明對象的圖像信息當(dāng)然不限于4合取圖像信息。
此外，在上述實施例中，雖然以像素為單位計算相加率，但可 以在目標(biāo)塊中確定相加率以執(zhí)4亍相加。
雖然使用特定術(shù)語描述了本發(fā)明的優(yōu)選實施例，但這種描述指 示為了例示的目的，應(yīng)理解，在不背離所附^^又利要求的精神或范圍 的情況下，可以進行各種修改和變化。
權(quán)利要求
1.一種圖像處理裝置，包括局部運動矢量檢測裝置，用于將目標(biāo)畫面圖像分割為多個目標(biāo)塊，對每個目標(biāo)塊，在設(shè)置在不同于所述目標(biāo)畫面圖像的參考畫面圖像上的搜索范圍內(nèi)設(shè)置多個參考塊，所述多個參考塊具有與所述目標(biāo)塊相同的尺寸，確定所述目標(biāo)塊與所述參考塊之間的相關(guān)值，并檢測所述目標(biāo)塊的局部運動矢量作為所述參考塊中計算出相關(guān)值的最大值的那一個參考塊相對于所述目標(biāo)塊的位移；全局運動矢量獲取裝置，用于獲取由表示施加給整個目標(biāo)畫面圖像的變形的全局運動確定的每個目標(biāo)塊的全局運動矢量；指標(biāo)值計算裝置，用于對每個目標(biāo)塊，計算表示由所述局部運動矢量檢測裝置檢測的所述局部運動矢量與由所述全局運動矢量獲取裝置獲取的所述全局運動矢量之間的一致度的指標(biāo)值；運動補償裝置，用于生成運動補償圖像，其中，使用由所述局部運動矢量檢測裝置檢測的所述局部運動矢量對所述參考塊進行運動補償；相加率計算裝置，用于響應(yīng)于由所述指標(biāo)值計算裝置計算的對應(yīng)指標(biāo)值來計算每個目標(biāo)塊的圖像與對應(yīng)的運動補償圖像之間的相加率；以及相加裝置，用于利用由所述相加率計算裝置計算的各個相加率來使所述目標(biāo)塊的圖像與所述對應(yīng)的運動補償圖像相加。
2. 根據(jù)權(quán)利要求1所述的圖像處理裝置，還包括全局運動計算裝置，用于根據(jù)每個目標(biāo)塊的多個局部運 動矢量計算表示施加給所述整個目標(biāo)畫面圖^f象的變形的所述 全局運動，其中，所述全局運動矢量獲取裝置根據(jù)由所述全局運動計算裝 置計算的所述全局運動計算每個目標(biāo)塊的所述全局運動矢量。
3. 根據(jù)權(quán)利要求1所述的圖像處理裝置，還包括用于從外部獲取表示施加給所述整個目標(biāo)畫面圖像的變 形的所述全局運動的裝置，其中，所述全局運動矢量獲取裝置包括用于根據(jù)所獲取的全局運動計算每個目標(biāo)塊的所述 全局運動矢量的裝置。
4. 根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述全局運動矢量獲取裝置包括用于從外部獲取每個目標(biāo)塊的所述全局運動矢量的裝置。
5. 根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述相加率計算裝置基于所述目標(biāo)塊的圖^f象與所述運動 補償圖像之間的差以及所述指標(biāo)值來計算所述相加率。
6. 根據(jù)權(quán)利要求5所述的圖像處理裝置，其中，所述相加率計算裝置以像素為單位計算所述相加率的值。
7. 根據(jù)權(quán)利要求1所述的圖像處理裝置，還包括指標(biāo)值4交正裝置，用于響應(yīng)于所述目標(biāo)塊的相鄰目標(biāo)塊 的指標(biāo)值校正由所述指標(biāo)值計算裝置計算的每個目標(biāo)塊的所 述指標(biāo)值，以使所述目標(biāo)塊的指標(biāo)值可呈現(xiàn)出空間平滑變化。
8. 根據(jù)權(quán)利要求1所述的圖像處理裝置，還包括指標(biāo)值4交正裝置，用于細(xì)分所述目標(biāo)塊并響應(yīng)于所述目 標(biāo)塊的相鄰目標(biāo)塊的指標(biāo)值校正由所述指標(biāo)值計算裝置計算 的每個目標(biāo)塊的所述指標(biāo)值，以使所述指標(biāo)值可以所述目標(biāo)塊 的細(xì)分塊為單位呈現(xiàn)出空間平滑變化。
9 一種圖^象處理方法，包4舌以下步驟局部運動矢量檢測步驟，將目標(biāo)畫面圖l象分割為多個目 標(biāo)塊，對每個目標(biāo)塊，在設(shè)置在不同于所述目標(biāo)畫面圖像的參 考畫面圖像上的搜索范圍內(nèi)設(shè)置多個參考塊，所述多個參考塊 具有與所述目標(biāo)塊相同的尺寸，確定所述目標(biāo)塊與所述參考塊 之間的相關(guān)值，并檢測所述目標(biāo)塊的局部運動矢量作為所述參 考塊中計算出相關(guān)值的最大值的那一個參考塊相對于所述目標(biāo)塊的位移；全局運動矢量獲取步驟，獲取由表示施加給整個目標(biāo)畫 面圖像的變形的全局運動確定的針對每個所述目標(biāo)塊的全局 運動矢量；指標(biāo)值計算步驟，對每個目標(biāo)塊計算表示在所述局部運 動矢量^r測步驟中檢測的所述局部運動矢量與在所述全局運 動矢量獲取步驟中獲取的所述全局運動矢量之間的一致度的 指標(biāo)值；運動補償步驟，生成運動補償圖〗象，其中，^L用在所述 局部運動矢量檢測步驟中檢測的所述局部運動矢量對所述參考塊進行運動補償；相加率計算步驟，響應(yīng)于在所述指標(biāo)值計算步驟中計算 的對應(yīng)指標(biāo)值來計算每個目標(biāo)塊的圖 <象與對應(yīng)的運動補償圖 l象之間的相加率；以及相加步驟，利用在所述相加率計算步驟中計算的各個相 加率來使所述目標(biāo)塊的圖像與所述對應(yīng)的運動補償圖像相加。
10. —種圖4象處理裝置，包^":局部運動矢量檢測部，；陂配置為^l尋目標(biāo)畫面圖^f象分割為 多個目標(biāo)塊，對每個目標(biāo)塊，在設(shè)置在不同于所述目標(biāo)畫面圖 像的參考畫面圖像上的搜索范圍內(nèi)設(shè)置多個參考塊，所述多個 參考塊具有與所述目標(biāo)塊相同的尺寸，確定所述目標(biāo)塊與所述 參考塊之間的相關(guān)^f直，并檢測所述目標(biāo)塊的局部運動矢量作為 所述參考塊中計算出相關(guān)值的最大值的那一個參考塊相對于 所述目標(biāo)塊的位移；全局運動矢量獲取部，被配置為獲取對由表示施加給整 個目標(biāo)畫面圖 <象的變形的全局運動確定的每個目標(biāo)塊的全局 運動矢量；指標(biāo)^f直計算部，#皮配置為對每個目標(biāo)塊計算表示由所述 局部運動矢量檢測部4全測的所述局部運動矢量與由所述全局 運動矢量獲取部獲取的所述全局運動矢量之間的一致度的指 標(biāo)值；運動補償部，被配置為生成運動補償圖像，其中，使用 由所述局部運動矢量檢測部檢測的所述局部運動矢量對所述 參考塊進行運動補償；相加率計算部，^皮配置為響應(yīng)于由所述指才示值計算部計 算的對應(yīng)指標(biāo)值來計算每個目標(biāo)塊的圖像與對應(yīng)的運動補償圖4象之間的相力口率；以及相加部，用于利用由所述相力o率計算部計算的各個相力口 率來使所述目標(biāo)塊的圖像與所述對應(yīng)的運動補償圖<象相加。
全文摘要
本發(fā)明公開了圖像處理裝置和圖像處理方法，其中，該圖像處理裝置包括運動矢量檢測部、全局運動矢量獲取部、指標(biāo)值計算部、運動補償部、相加率計算部和相加部。通過本發(fā)明，根據(jù)目標(biāo)塊是背景靜止圖片部分還是運動圖像部分，通過適當(dāng)?shù)南嗉勇蕡?zhí)行以塊為單位的圖像相加，并且可以獲得實現(xiàn)了期望降噪效果的相加結(jié)果圖像。
文檔編號H04N5/232GK101600113SQ200910146408
公開日2009年12月9日 申請日期2009年6月2日 優(yōu)先權(quán)日2008年6月2日
發(fā)明者三屋晃二, 倉田徹 申請人:索尼株式會社