圖像處理設(shè)備、圖像處理方法和程序的制作方法
【專利摘要】本發(fā)明提供了計算具有高可靠度的全局運動向量(GMV)的方法和裝置。計算對應(yīng)于塊的局部運動向量(LMV)、以及作為每個塊的LMV的可靠度指標(biāo)的塊權(quán)重，并根據(jù)塊權(quán)重計算全局運動向量(GMV)。針對關(guān)注塊和與關(guān)注塊鄰近的鄰近塊計算對應(yīng)于塊的局部運動向量(LMV)的可靠度，還計算關(guān)注塊和鄰近塊的局部運動向量(LMV)的相似度，并通過應(yīng)用可靠度和相似度執(zhí)行的計算處理來計算塊權(quán)重。通過該特征，可以高效地計算具有高可靠度的全局運動向量(GMV)。
【專利說明】圖像處理設(shè)備、圖像處理方法和程序
【技術(shù)領(lǐng)域】
[0001]本公開涉及一種圖像處理設(shè)備、圖像處理方法和程序。具體地，本公開涉及用于執(zhí)行檢測圖像中的運動向量的處理的圖像處理設(shè)備、圖像處理方法和程序。
【背景技術(shù)】
[0002]在諸如運動圖像的壓縮的圖像編碼中，檢測運動向量，并執(zhí)行基于運動向量信息的數(shù)據(jù)壓縮處理。在被稱作圖像編碼系統(tǒng)的MPEG系統(tǒng)中，例如，執(zhí)行將每個幀分割成塊并針對當(dāng)前幀和參考幀的對應(yīng)塊中的每個塊檢測運動向量的處理。然而，當(dāng)塊單位的運動向量信息包括在壓縮數(shù)據(jù)中時，數(shù)據(jù)量增大。當(dāng)通過例如平搖、傾斜和手抖等來移動攝像裝置時，各個塊的多數(shù)運動向量是共同的。在這種情況下，可以通過不設(shè)置塊單位的運動向量而是設(shè)置對應(yīng)于單個幀的單個運動向量并執(zhí)行編碼處理，來減少數(shù)據(jù)量。
[0003]塊單位的單獨的運動向量被稱作局部運動向量(LMV)，并且對應(yīng)于單個幀的單個運動向量被稱作全局運動向量(GMV)。例如在MPEG-4中采用使用全局運動向量(GMV)的數(shù)據(jù)編碼。
[0004]例如，如圖1(a)所示，存在在時間t0和tl處拍攝的兩個幀圖像10和11。這兩個幀是通過例如平搖、傾斜、手抖等移動攝像裝置而拍攝的幀，并且如附圖所示拍攝圖像整體地移動。
[0005]當(dāng)對這種圖像進(jìn)行編碼時，每個幀被分割成例如n像素Xn像素的多個塊。常規(guī)地，通過檢測各個塊單位的運動向量(MV)，S卩，局部運動向量(LMV)，執(zhí)行使用塊單位的各個運動向量的數(shù)據(jù)壓縮和恢復(fù)處理。然而，當(dāng)通過平搖、傾斜、手抖等移動攝像裝置時，如圖1 (b)所示,任何每個塊的運動向量變?yōu)榛旧舷嗤南蛄俊?br> [0006]在這種情況下，如圖1(c)所示，通過執(zhí)行使用表示整個屏幕的運動的單個運動向量21的圖像編碼，可以極大提高編碼效率。表示整個屏幕的運動的這樣的向量被稱作全局運動向量(GMV)。
[0007]全局運動向量(GMV)可以被表示為下述數(shù)據(jù):所述數(shù)據(jù)使用不僅伴隨有簡單的平行移動而且伴隨有使用多個參數(shù)的旋轉(zhuǎn)、放大和縮小的仿射變換和投影陰影變換(projection shadow transformation)的數(shù)據(jù),如附圖所示。如上所述,作為應(yīng)用全局運動向量(GMV)的編碼方法，采用MPEG-4等。
[0008]在MPEG-4中，應(yīng)用全局運動向量(GMV)，采用使用全局運動補償(GMC)的圖像編碼方法作為標(biāo)準(zhǔn)，在編碼裝置(編碼器)側(cè)檢測全局運動向量(GMV)，并通過使用從解碼裝置(解碼器)側(cè)傳送的全局運動向量(GMV)執(zhí)行基于全局運動補償(GMC)的恢復(fù)。
[0009]全局運動向量(GMV)在圖2所示的當(dāng)前幀與參考幀之間的對應(yīng)相似像素位置(x，y)和(x’，y’)的關(guān)系中被表示為使用平行移動、旋轉(zhuǎn)、放大、縮小、仿射變換、投影陰影變換等的數(shù)據(jù)，并且通常單個全局運動向量(GMV)被應(yīng)用于單個幀圖像。應(yīng)注意，屏幕可以被分割成均具有例如大于正常塊大小的片(Piece)，并且可以針對各個片設(shè)置全局運動向量(GMV)。也就是，對于幀圖像，全局運動向量(GMV)的數(shù)目不限于一個，并且可以采用下述配置:其中針對幀圖像中包括的多個塊設(shè)置作為共同運動向量的單個全局運動向量(GMV)，或針對單個幀設(shè)置多個全局運動向量(GMV)。
[0010]在僅表示例如平行移動(平移)的向量的情況下，全局運動向量(GMV)通過使用兩個參數(shù)Iiatl, aj表示如下。
[0011]
【權(quán)利要求】
1.一種圖像處理設(shè)備，包括: 局部運動向量計算部，其將作為幀圖像的分割區(qū)域的塊設(shè)置為在所述幀圖像中在所述塊之間夾有間隔，并計算對應(yīng)于每個設(shè)置的塊的運動向量作為局部運動向量(LMV)； 塊權(quán)重計算部，其把塊權(quán)重計算為對應(yīng)于每個塊的所述局部運動向量(LMV)的可靠性指標(biāo)；以及 全局運動向量計算部，其輸入所述局部運動向量(LMV)和所述塊權(quán)重并計算全局運動向量(GMV)，所述全局運動向量(GMV)是所述幀圖像中包括的所述多個塊的共同運動向量， 其中，所述塊權(quán)重計算部計算與目標(biāo)塊和與所述目標(biāo)塊鄰近的近場塊中的每個塊對應(yīng)的所述局部運動向量(LMV)的可靠度、以及所述目標(biāo)塊和每個近場塊的所述局部運動向量(LMV)之間的相似度，并通過應(yīng)用所述可靠度和所述相似度的算術(shù)處理來計算所述塊權(quán)重。
2.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，所述塊權(quán)重計算部提取所述可靠度高的近場塊作為可靠近場塊，從所述可靠近場塊之中提取所述相似度高的相似塊，并執(zhí)行將所述相似塊與所述可靠近場塊之比設(shè)置為所述目標(biāo)塊的權(quán)重的處理。
3.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，所述塊權(quán)重計算部通過應(yīng)用基于對應(yīng)于各個塊的所述局部運動向量(LMV)而關(guān)聯(lián)的塊之間的絕對像素值差之和來計算所述可靠度。
4.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，所述塊權(quán)重計算部通過應(yīng)用基于對應(yīng)于各個塊的所述局部運動向量(L MV)而關(guān)聯(lián)的塊的特征點數(shù)目或方差來計算所述可靠度。
5.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，所述塊權(quán)重計算部通過確定所述目標(biāo)塊和所述近場塊的每個局部運動向量(LMV)是否近似于對應(yīng)于一個全局運動的旋轉(zhuǎn)的運動向量(GMV)，來執(zhí)行所述相似度的計算。
6.根據(jù)權(quán)利要求5所述的圖像處理設(shè)備，其中，所述塊權(quán)重計算部通過在考慮到所述圖像處理設(shè)備中的圖像校正部能夠校正旋轉(zhuǎn)的容許旋轉(zhuǎn)角度的情況下確定所述目標(biāo)塊和所述近場塊的每個局部運動向量(LMV)是否在所述容許旋轉(zhuǎn)角度內(nèi)近似于對應(yīng)于所述全局運動的旋轉(zhuǎn)的運動向量(GMV)，來執(zhí)行所述相似度的計算。
7.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，所述塊權(quán)重計算部通過使所述目標(biāo)塊的可靠度與將下述值的相加的結(jié)果除以所述近場塊的可靠度的相加值的結(jié)果相乘來計算所述塊權(quán)重:所述值是通過將所述目標(biāo)塊與所述近場塊之間的相似度與所述近場塊的可靠度相乘而獲得的。
8.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，所述塊權(quán)重計算部計算將下述值的相加的結(jié)果除以所述近場塊的可靠度的相加值的結(jié)果以作為所述塊權(quán)重:所述值是通過使所述目標(biāo)塊與所述近場塊之間的相似度與近場塊的可靠度相乘而獲得的。
9.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，所述塊權(quán)重計算部計算將所述目標(biāo)塊與所述近場塊之間的相似度的相加值除以所述近場塊的可靠度的相加值的結(jié)果以作為所述塊權(quán)重。
10.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，所述全局運動向量計算部通過應(yīng)用成本計算表達(dá)式來計算用于使成本最小化的所述全局運動向量(GMV)的參數(shù)，其中對應(yīng)于各個塊的所述局部運動向量(LMV)和各個塊權(quán)重被應(yīng)用于所述成本計算表達(dá)式。
11.根據(jù)權(quán)利要求10所述的圖像處理設(shè)備，其中，所述全局運動向量計算部計算考慮了平移和旋轉(zhuǎn)的三軸順應(yīng)的全局運動向量的參數(shù)、或考慮了仿射變換的六軸順應(yīng)的全局運動向量的參數(shù)。
12.—種由圖像處理設(shè)備執(zhí)行的圖像處理方法，所述圖像處理方法包括: 局部運動向量計算步驟，其中局部運動向量計算部將作為幀圖像的分割區(qū)域的塊設(shè)置為在所述幀圖像中在所述塊之間夾有間隔，并計算對應(yīng)于每個設(shè)置的塊的運動向量作為局部運動向量(LMV)； 塊權(quán)重計算步驟，其中塊權(quán)重計算部把塊權(quán)重計算為對應(yīng)于每個塊的所述局部運動向量(LMV)的可靠性指標(biāo)；以及 全局運動向量計算步驟，其中全局運動向量計算部輸入所述局部運動向量(LMV)和所述塊權(quán)重并計算全局運動向量(GMV)，所述全局運動向量(GMV)是所述幀圖像中包括的所述多個塊的共同運動向量， 其中，在所述塊權(quán)重計算步驟中，所述塊權(quán)重計算部計算與目標(biāo)塊和與所述目標(biāo)塊鄰近的近場塊中的每個塊對應(yīng)的所述局部運動向量(LMV)的可靠度、以及所述目標(biāo)塊和每個近場塊的所述局部運動向量(LMV)之間的相似度，并通過應(yīng)用所述可靠度和所述相似度的算術(shù)處理來計算所述塊權(quán)重。
13.一種程序，所述程序使圖像處理設(shè)備執(zhí)行圖像處理: 局部運動向量計算步驟，使局部運動向量計算部將作為幀圖像的分割區(qū)域的塊設(shè)置為在所述幀圖像中在所述塊之間夾有間隔，并計算對應(yīng)于每個設(shè)置的塊的運動向量作為局部運動向量(LMV)； 塊權(quán)重計算步驟，使塊權(quán)重計算部把塊權(quán)重計算為對應(yīng)于每個塊的所述局部運動向量(LMV)的可靠性指標(biāo)；以及 全局運動向量計算步驟，使全局運動向量計算部輸入所述局部運動向量(LMV)和所述塊權(quán)重并計算全局運動向量(GMV)，所述全局運動向量(GMV)是所述幀圖像中包括的所述多個塊的共同運動向量， 其中，在所述塊 權(quán)重計算步驟中，通過計算與目標(biāo)塊和與所述目標(biāo)塊鄰近的近場塊中的每個塊對應(yīng)的所述局部運動向量(LMV)的可靠度、以及所述目標(biāo)塊和每個近場塊的所述局部運動向量(LMV)之間的相似度，通過應(yīng)用所述可靠度和所述相似度的算術(shù)處理來計算所述塊權(quán)重。
【文檔編號】H04N19/51GK103765898SQ201280040885
【公開日】2014年4月30日 申請日期:2012年7月23日 優(yōu)先權(quán)日:2011年9月2日
【發(fā)明者】玉山研, 半田正樹, 江山碧輝 申請人:索尼公司