專利名稱：運(yùn)動(dòng)向量檢測(cè)方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及依據(jù)MPEG(活動(dòng)圖像編碼專家組)進(jìn)行圖像編碼處理時(shí)所用的對(duì)運(yùn)動(dòng)向量進(jìn)行檢測(cè)的運(yùn)動(dòng)向量檢測(cè)方法和裝置。
背景技術(shù)：
MPEG方式，是將畫(huà)面內(nèi)DCT(離散余弦變換)、圖像間運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)和可變長(zhǎng)編碼組合在一起對(duì)活動(dòng)圖像數(shù)據(jù)進(jìn)行壓縮的編碼方式。
通常，圖像間運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)中所進(jìn)行的運(yùn)動(dòng)向量檢測(cè)，靠所謂的塊匹配進(jìn)行。這種塊匹配，對(duì)屬于處理對(duì)象的基準(zhǔn)圖像中按規(guī)定像素?cái)?shù)目分割的基準(zhǔn)塊，提取以參照?qǐng)D像內(nèi)同一位置為起點(diǎn)的運(yùn)動(dòng)向量所對(duì)應(yīng)的參照塊和具有與上述規(guī)定像素?cái)?shù)目相同的像素?cái)?shù)的區(qū)域，運(yùn)算基準(zhǔn)塊和參照塊所對(duì)應(yīng)的像素其差分的絕對(duì)值，對(duì)基準(zhǔn)塊內(nèi)全部像素進(jìn)行差分絕對(duì)值的和運(yùn)算處理。而檢測(cè)運(yùn)動(dòng)向量時(shí)，邊使參照?qǐng)D像探索區(qū)內(nèi)提取的區(qū)域每次移動(dòng)1像素，邊重復(fù)進(jìn)行上述塊匹配，以上述差分絕對(duì)值之和給出最小值的點(diǎn)為基點(diǎn)檢測(cè)運(yùn)動(dòng)向量。
但進(jìn)行上述塊匹配時(shí)，是將針對(duì)參照?qǐng)D像求出運(yùn)動(dòng)向量時(shí)的探索區(qū)域和針對(duì)基準(zhǔn)圖像求出運(yùn)動(dòng)向量時(shí)的探索區(qū)域作為相同大小范圍進(jìn)行的。而求出基準(zhǔn)圖像運(yùn)動(dòng)向量時(shí)，即便是基準(zhǔn)塊的運(yùn)動(dòng)向量在某種程度上可預(yù)測(cè)，也是以參照?qǐng)D像的運(yùn)動(dòng)向量為基準(zhǔn)，以某種一定大小的區(qū)域?yàn)樘剿鲄^(qū)域，檢測(cè)出基準(zhǔn)圖像運(yùn)動(dòng)向量的。
此外，靠上述塊匹配對(duì)運(yùn)動(dòng)向量進(jìn)行的檢測(cè)處理，對(duì)于進(jìn)行塊匹配時(shí)所進(jìn)行的上述差分其絕對(duì)值求和處理，運(yùn)算量非常龐大，這花費(fèi)MPEG等圖像壓縮處理的一大半時(shí)間，用軟件實(shí)現(xiàn)時(shí)便成為障礙，故希望減少運(yùn)算量。

發(fā)明內(nèi)容
本發(fā)明第一目的，是針對(duì)上述實(shí)際情況提出的，其目的在于，提供一種可以減少對(duì)隔行掃描方式的場(chǎng)圖像檢測(cè)運(yùn)動(dòng)向量時(shí)運(yùn)算量的運(yùn)動(dòng)向量檢測(cè)方法。
而本發(fā)明第二目的在于，提供一種在保證檢測(cè)運(yùn)動(dòng)向量時(shí)檢測(cè)精度的同時(shí)可以減少運(yùn)算量的運(yùn)動(dòng)向量檢測(cè)方法和裝置。
此外，本發(fā)明第三目的在于，提供一種可以減少檢測(cè)運(yùn)動(dòng)向量時(shí)進(jìn)行塊匹配的次數(shù)，以便檢測(cè)運(yùn)動(dòng)向量時(shí)實(shí)現(xiàn)減少運(yùn)算量和縮短處理時(shí)間的運(yùn)動(dòng)向量檢測(cè)方法和裝置。
本申請(qǐng)發(fā)明人，為了達(dá)到上述第一目的，反復(fù)進(jìn)行了銳意研究，結(jié)果發(fā)現(xiàn)，隔行掃描方式中，對(duì)構(gòu)成活動(dòng)圖像的各場(chǎng)圖像進(jìn)行運(yùn)動(dòng)向量檢測(cè)時(shí)，前場(chǎng)圖像和后場(chǎng)圖像相關(guān)度高這一點(diǎn)可用于運(yùn)動(dòng)向量預(yù)測(cè)。
本發(fā)明第一目的的運(yùn)動(dòng)向量檢測(cè)方法，正是根據(jù)這樣的見(jiàn)解完成的，為一種對(duì)依據(jù)隔行掃描方式的場(chǎng)圖像進(jìn)行運(yùn)動(dòng)向量檢測(cè)的運(yùn)動(dòng)向量檢測(cè)方法，其特征在于，用第一場(chǎng)圖像，對(duì)第二場(chǎng)圖像進(jìn)行運(yùn)動(dòng)向量檢測(cè)；根據(jù)參照的場(chǎng)圖像和第三場(chǎng)圖像之間的場(chǎng)間距離同所述第一場(chǎng)圖像和第二場(chǎng)圖像之間的場(chǎng)間距離的比值，設(shè)定對(duì)第三場(chǎng)圖像進(jìn)行運(yùn)動(dòng)向量檢測(cè)時(shí)的探索區(qū)域；以針對(duì)所述第二場(chǎng)圖像的運(yùn)動(dòng)向量其指示點(diǎn)乘以所述比值為起點(diǎn)，在所述設(shè)定的探索區(qū)域中對(duì)第三場(chǎng)圖像進(jìn)行運(yùn)動(dòng)向量檢測(cè)。
利用這種運(yùn)動(dòng)向量檢測(cè)方法的話，便用針對(duì)其他場(chǎng)圖像的運(yùn)動(dòng)向量，變動(dòng)設(shè)定對(duì)場(chǎng)圖像進(jìn)行運(yùn)動(dòng)向量檢測(cè)時(shí)的探索區(qū)域，在該設(shè)定的探索區(qū)域內(nèi)進(jìn)行塊匹配，對(duì)第三場(chǎng)圖像進(jìn)行運(yùn)動(dòng)向量檢測(cè)。
而達(dá)到上述第二目的的本發(fā)明運(yùn)動(dòng)向量檢測(cè)方法和裝置，其特征在于，確定以與基準(zhǔn)幀在時(shí)間或空間上接近的參照幀所包含的參照塊中表示運(yùn)動(dòng)向量的點(diǎn)為中心的第一探索區(qū)域；確定以根據(jù)基準(zhǔn)幀和參照幀之間的幀間距離使所述參照塊運(yùn)動(dòng)向量延長(zhǎng)的點(diǎn)為中心的第二探索區(qū)域；在包含所述第一探索區(qū)域和第二探索區(qū)域的運(yùn)動(dòng)向量探索區(qū)域內(nèi)，運(yùn)算基準(zhǔn)幀所包含的基準(zhǔn)塊圖像數(shù)據(jù)和參照幀所包含的參照塊圖像數(shù)據(jù)，對(duì)基準(zhǔn)塊進(jìn)行運(yùn)動(dòng)向量檢測(cè)。
這種運(yùn)動(dòng)向量檢測(cè)方法和裝置，對(duì)基準(zhǔn)塊進(jìn)行運(yùn)動(dòng)向量檢測(cè)時(shí)，進(jìn)行以參照塊運(yùn)動(dòng)向量為基點(diǎn)確定第一探索區(qū)域，并按照使參照塊運(yùn)動(dòng)向量延長(zhǎng)的點(diǎn)確定第二探索區(qū)域這種處理，在包含第一探索區(qū)域和第二探索區(qū)域的運(yùn)動(dòng)向量探索區(qū)域中對(duì)基準(zhǔn)塊進(jìn)行運(yùn)動(dòng)向量檢測(cè)處理。
此外，本申請(qǐng)發(fā)明人，為了達(dá)到上述第三目的反復(fù)進(jìn)行銳意研究，結(jié)果發(fā)現(xiàn)，進(jìn)行運(yùn)動(dòng)向量檢測(cè)時(shí)，相鄰像素塊的運(yùn)動(dòng)向量中相關(guān)度高這一點(diǎn)，可用于運(yùn)動(dòng)向量的預(yù)測(cè)。
本發(fā)明第三目的的運(yùn)動(dòng)向量檢測(cè)方法和裝置，正是根據(jù)這樣的見(jiàn)解完成的，其特征在于，在第一探索區(qū)域中對(duì)第一塊進(jìn)行運(yùn)動(dòng)向量檢測(cè)；根據(jù)針對(duì)與所述第二塊在水平方向或垂直方向兩側(cè)相鄰的所述第一塊的運(yùn)動(dòng)向量，設(shè)定對(duì)第二塊進(jìn)行運(yùn)動(dòng)向量檢測(cè)時(shí)的第二探索區(qū)域；在所述第二探索區(qū)域中進(jìn)行塊匹配來(lái)檢測(cè)針對(duì)所述第二塊的運(yùn)動(dòng)向量。
利用這種運(yùn)動(dòng)向量檢測(cè)方法和裝置的話，對(duì)上述第一塊在第一探索區(qū)域中進(jìn)行塊匹配來(lái)進(jìn)行運(yùn)動(dòng)向量的檢測(cè)，對(duì)與上述第一塊相鄰的第二塊，則用針對(duì)相鄰的第一塊的運(yùn)動(dòng)向量設(shè)定第二探索區(qū)域，在與上述規(guī)定探索區(qū)域不同規(guī)模的第二探索區(qū)域中進(jìn)行塊匹配，對(duì)第二塊進(jìn)行運(yùn)動(dòng)向量的檢測(cè)。
本發(fā)明其他目的以及本發(fā)明所獲得的具體優(yōu)點(diǎn)，從以下對(duì)實(shí)施例所作的說(shuō)明當(dāng)中可進(jìn)一步明了。


圖1是表示適用本發(fā)明的第一實(shí)施例運(yùn)動(dòng)向量檢測(cè)裝置構(gòu)成的框圖。
圖2是隔行掃描方式場(chǎng)圖像的場(chǎng)間距離的說(shuō)明圖。
圖3是表示第一實(shí)施例運(yùn)動(dòng)向量檢測(cè)裝置所具有的CPU按照運(yùn)動(dòng)向量檢測(cè)程序進(jìn)行運(yùn)動(dòng)向量檢測(cè)處理步驟的流程圖。
圖4是確定規(guī)定探索區(qū)域?qū)\(yùn)動(dòng)向量VTT進(jìn)行探索的說(shuō)明圖。
圖5是用運(yùn)動(dòng)向量VTT確定對(duì)運(yùn)動(dòng)向量VBB進(jìn)行探索的起點(diǎn)和探索區(qū)域的說(shuō)明圖。
圖6是用運(yùn)動(dòng)向量VTT確定對(duì)運(yùn)動(dòng)向量VTB進(jìn)行探索的起點(diǎn)和探索區(qū)域的說(shuō)明圖。
圖7是用運(yùn)動(dòng)向量VTT確定對(duì)運(yùn)動(dòng)向量VBT進(jìn)行探索的起點(diǎn)和探索區(qū)域的說(shuō)明圖。
圖8是用以說(shuō)明第一實(shí)施例運(yùn)動(dòng)向量檢測(cè)裝置中探索區(qū)域設(shè)定、運(yùn)動(dòng)向量檢測(cè)處理的流程圖。
圖9是用以說(shuō)明第一實(shí)施例運(yùn)動(dòng)向量檢測(cè)裝置中探索區(qū)域設(shè)定、運(yùn)動(dòng)向量檢測(cè)處理的流程圖。
圖10是由CPU生成映射圖的處理的說(shuō)明圖。
圖11是一例CPU存儲(chǔ)器生成的映射圖的說(shuō)明圖。
圖12是另一例CPU存儲(chǔ)器生成的映射圖的說(shuō)明圖。
圖13是表示適用本發(fā)明的第二實(shí)施例運(yùn)動(dòng)向量檢測(cè)裝置構(gòu)成的框圖。
圖14是第三實(shí)施例運(yùn)動(dòng)向量檢測(cè)裝置所具有的CPU進(jìn)行運(yùn)動(dòng)向量檢測(cè)處理時(shí)幀圖像按宏塊單位分割的說(shuō)明圖。
圖15是表示第三實(shí)施例運(yùn)動(dòng)向量檢測(cè)裝置所具有的CPU按照運(yùn)動(dòng)向量檢測(cè)程序進(jìn)行運(yùn)動(dòng)向量檢測(cè)處理步驟的流程圖。
圖16是表示第三實(shí)施例運(yùn)動(dòng)向量檢測(cè)裝置所具有的CPU按照運(yùn)動(dòng)向量檢測(cè)程序進(jìn)行運(yùn)動(dòng)向量檢測(cè)處理步驟的流程圖。
圖17是水平方向上相鄰宏塊指示不同方向時(shí)用相鄰宏塊運(yùn)動(dòng)向量設(shè)定探索區(qū)域進(jìn)行運(yùn)動(dòng)向量檢測(cè)的說(shuō)明圖。
圖18是水平方向上相鄰宏塊指示大致相同方向時(shí)用相鄰宏塊運(yùn)動(dòng)向量設(shè)定探索區(qū)域進(jìn)行運(yùn)動(dòng)向量檢測(cè)的說(shuō)明圖。
圖19是垂直方向上相鄰宏塊指示不同方向時(shí)用相鄰宏塊運(yùn)動(dòng)向量設(shè)定探索區(qū)域進(jìn)行運(yùn)動(dòng)向量檢測(cè)的說(shuō)明圖。
圖20是水平方向上相鄰宏塊指示大致相同方向時(shí)用相鄰宏塊運(yùn)動(dòng)向量設(shè)定探索區(qū)域進(jìn)行運(yùn)動(dòng)向量檢測(cè)的說(shuō)明圖。
具體實(shí)施例方式
以下參照附圖詳細(xì)說(shuō)明本發(fā)明第一、第二和第三目的涉及的第一、第二和第三而且，以下說(shuō)明中，將利用前場(chǎng)圖像和后場(chǎng)圖像之間的相關(guān)度設(shè)定探索區(qū)域來(lái)檢測(cè)運(yùn)動(dòng)向量的運(yùn)動(dòng)向量檢測(cè)裝置作為第一實(shí)施例說(shuō)明，利用時(shí)間上先后幀或先后場(chǎng)的相關(guān)度設(shè)定探索區(qū)域來(lái)檢測(cè)運(yùn)動(dòng)向量的運(yùn)動(dòng)向量檢測(cè)裝置作為第二實(shí)施例說(shuō)明，而利用相鄰像素塊運(yùn)動(dòng)向量當(dāng)中相關(guān)度高這一點(diǎn)設(shè)定探索區(qū)域來(lái)檢測(cè)運(yùn)動(dòng)向量的運(yùn)動(dòng)向量檢測(cè)裝置則作為第三實(shí)施例說(shuō)明。
本發(fā)明第一實(shí)施例的運(yùn)動(dòng)向量檢測(cè)裝置例如按圖1所示構(gòu)成。
該運(yùn)動(dòng)向量檢測(cè)裝置1包括CPU(中央處理單元)2，在場(chǎng)圖像依據(jù)MPEG2規(guī)范的圖像編碼處理當(dāng)中對(duì)運(yùn)動(dòng)向量進(jìn)行檢測(cè)處理。該CPU2通過(guò)啟動(dòng)運(yùn)動(dòng)向量檢測(cè)程序，對(duì)運(yùn)動(dòng)向量進(jìn)行檢測(cè)處理。該CPU2檢測(cè)運(yùn)動(dòng)向量時(shí)，利用存儲(chǔ)器3存儲(chǔ)的圖形數(shù)據(jù)和運(yùn)動(dòng)向量檢測(cè)程序。這時(shí)，CPU2通過(guò)將控制信號(hào)輸出給存儲(chǔ)器3和HDD(硬盤(pán)驅(qū)動(dòng)器)4，對(duì)它們加以控制，使得HDD4中存儲(chǔ)的圖像數(shù)據(jù)和運(yùn)動(dòng)向量檢測(cè)程序存儲(chǔ)至存儲(chǔ)器3。
而CPU2對(duì)圖像數(shù)據(jù)依據(jù)例如MPEG方式進(jìn)行圖像壓縮處理時(shí)，通過(guò)對(duì)I(Intra幀內(nèi))圖像進(jìn)行DCT(離散余弦變換)處理的同時(shí)，對(duì)B(Bidirectionallypredictive雙向預(yù)測(cè))、P(Predictive預(yù)測(cè))圖像進(jìn)行運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)，來(lái)進(jìn)行圖像壓縮處理。這時(shí)，CPU2對(duì)一場(chǎng)圖像求運(yùn)動(dòng)向量時(shí)，參照時(shí)間上先后場(chǎng)圖像的場(chǎng)間距離來(lái)確定探索運(yùn)動(dòng)向量時(shí)的探索區(qū)域。然后，CPU2通過(guò)在上述探索區(qū)域中按例如8×8像素組成的宏塊單位進(jìn)行塊匹配，來(lái)檢測(cè)運(yùn)動(dòng)向量。
該CPU2進(jìn)行塊匹配時(shí)，提取作為運(yùn)動(dòng)向量檢測(cè)處理對(duì)象的基準(zhǔn)場(chǎng)圖像中所包含的分割為規(guī)定像素?cái)?shù)目的基準(zhǔn)塊，和以該基準(zhǔn)塊所對(duì)應(yīng)的參照?qǐng)鰣D像位置為起點(diǎn)指示運(yùn)動(dòng)向量的一參照塊，運(yùn)算基準(zhǔn)塊和參照塊所對(duì)應(yīng)的像素的差分絕對(duì)值，對(duì)基準(zhǔn)塊內(nèi)的全部像素進(jìn)行差分絕對(duì)值的和運(yùn)算處理。
而且，CPU2進(jìn)行運(yùn)動(dòng)向量檢測(cè)時(shí)，邊使參照?qǐng)鰣D像探索區(qū)內(nèi)提取的區(qū)域每次移動(dòng)1像素，邊重復(fù)進(jìn)行上述塊匹配，以上述差分絕對(duì)值之和給出最小值的點(diǎn)為基點(diǎn)檢測(cè)運(yùn)動(dòng)向量。另外，下面詳細(xì)說(shuō)明該CPU2進(jìn)行的運(yùn)算上述探索區(qū)域以檢測(cè)運(yùn)動(dòng)向量的處理步驟。
存儲(chǔ)器3通過(guò)由上述CPU2控制，來(lái)控制所存儲(chǔ)的內(nèi)容。該存儲(chǔ)器3根據(jù)CPU2輸出的控制信號(hào)由HDD4存儲(chǔ)運(yùn)動(dòng)向量檢測(cè)程序和圖像數(shù)據(jù)，同時(shí)讀取所存儲(chǔ)的運(yùn)動(dòng)向量檢測(cè)程序和圖像數(shù)據(jù)。
HDD4存儲(chǔ)圖像數(shù)據(jù)和運(yùn)動(dòng)向量檢測(cè)程序。而且，該HDD4根據(jù)CPU2輸出的控制信號(hào)，將指定的圖像數(shù)據(jù)輸出給存儲(chǔ)器3。
該HDD4存儲(chǔ)的圖像數(shù)據(jù)如圖2所示，是依據(jù)隔行掃描方式、前場(chǎng)圖像(T)和后場(chǎng)圖像(B)交替排列而成的時(shí)間序列的活動(dòng)圖像數(shù)據(jù)。而且，CPU2將例如前場(chǎng)圖像T1和下一前場(chǎng)圖像T2之間的場(chǎng)間距離設(shè)定為“1.0”時(shí)，便將前場(chǎng)圖像T1和后場(chǎng)圖像B2之間的場(chǎng)間距離設(shè)定為“1.5”，后場(chǎng)圖像B1和前場(chǎng)圖像T2之間的場(chǎng)間距離設(shè)定為“0.5”，后場(chǎng)圖像B1和后場(chǎng)圖像B2之間的場(chǎng)間距離設(shè)定為“1.0”，對(duì)上述探索區(qū)域進(jìn)行運(yùn)算處理。
圖1所示的I/F(接口)電路5，由例如外部輸入圖像數(shù)據(jù)，同時(shí)根據(jù)CPU2輸出的控制信號(hào)將圖像數(shù)據(jù)輸出至外部。該I/F電路5從例如外部輸入圖像數(shù)據(jù)時(shí)，將該圖像數(shù)據(jù)輸出至HDD4。
這樣構(gòu)成的第一實(shí)施例的運(yùn)動(dòng)向量檢測(cè)裝置1，由CPU2對(duì)多個(gè)場(chǎng)圖像組成的圖像數(shù)據(jù)進(jìn)行運(yùn)動(dòng)向量檢測(cè)時(shí)，通過(guò)執(zhí)行HDD4存儲(chǔ)的運(yùn)動(dòng)向量檢測(cè)程序，進(jìn)行圖3中流程圖所示處理。
首先在步驟S1中，CPU2如圖4所示，進(jìn)行將探索起點(diǎn)設(shè)定為(0，0)的處理。具體來(lái)說(shuō)，CPU2進(jìn)行的是將為了檢測(cè)運(yùn)動(dòng)向量而進(jìn)行塊匹配時(shí)的探索區(qū)域其起點(diǎn)設(shè)定為(0，0)作為初始設(shè)定這種處理。
下一步驟S2中，CPU2將按例如上述圖2所示利用前場(chǎng)圖像T1對(duì)前場(chǎng)圖像T2進(jìn)行運(yùn)動(dòng)補(bǔ)償時(shí)所用的、對(duì)運(yùn)動(dòng)向量VTT進(jìn)行探索的探索區(qū)域S0，設(shè)定為以例如上述起點(diǎn)(0，0)為中心、點(diǎn)(-32，-32)和點(diǎn)(+32，+32)為對(duì)角點(diǎn)定義的矩形區(qū)域。另外，該步驟S2中，CPU2也可以是對(duì)運(yùn)動(dòng)向量VTT進(jìn)行檢測(cè)時(shí)足以對(duì)探索區(qū)域正確地檢測(cè)運(yùn)動(dòng)向量的任意規(guī)模。
下一步驟S3中，CPU2通過(guò)在上述步驟S2中確定的探索區(qū)域內(nèi)進(jìn)行塊匹配，對(duì)運(yùn)動(dòng)向量VTT進(jìn)行檢測(cè)處理。具體來(lái)說(shuō)，CPU2將例如前場(chǎng)圖像T1設(shè)定為上述參照?qǐng)鰣D像，并且將前場(chǎng)圖像T2設(shè)定為上述基準(zhǔn)場(chǎng)圖像，用前場(chǎng)圖像T1所包含的規(guī)定像素?cái)?shù)目組成的基準(zhǔn)塊A，在探索區(qū)域內(nèi)進(jìn)行塊匹配。由此，CPU2對(duì)前場(chǎng)圖像T2所包含的參照塊B進(jìn)行探索，檢測(cè)運(yùn)動(dòng)向量VTT。
下一步驟S4中，CPU2轉(zhuǎn)移到以后場(chǎng)圖像B1為參照?qǐng)鰣D像、并以后場(chǎng)圖像B2為基準(zhǔn)場(chǎng)圖像對(duì)運(yùn)動(dòng)向量VBB進(jìn)行檢測(cè)的處理。此時(shí)，CPU2如圖5所示進(jìn)行處理，將對(duì)運(yùn)動(dòng)向量VBB進(jìn)行探索的起點(diǎn)設(shè)定為上述步驟S3中檢測(cè)出的運(yùn)動(dòng)向量VTT前端的座標(biāo)位置(hTT，vTT)。這里，由于進(jìn)行運(yùn)動(dòng)向量VTT檢測(cè)時(shí)所采用的基準(zhǔn)場(chǎng)圖像和參照?qǐng)鰣D像之間的場(chǎng)間距離和后場(chǎng)圖像B1和后場(chǎng)圖像B2之間的場(chǎng)間距離相同，因而CPU2在不使運(yùn)動(dòng)向量VTT前端伸縮的情況下，將對(duì)運(yùn)動(dòng)向量VBB進(jìn)行探索的起點(diǎn)設(shè)定為運(yùn)動(dòng)向量VTT前端的座標(biāo)位置(hTT，vTT)。
下一步驟S5中，CPU2設(shè)定以上述步驟S4中設(shè)定的座標(biāo)位置(hTT，vTT)為中心的規(guī)定像素?cái)?shù)目所組成的圖5中探索區(qū)域SBB。這里，CPU2將例如以點(diǎn)(hTT，vTT)為中心、以點(diǎn)(hTT-4，vTT-4)和點(diǎn)(hTT+4，vTT+4)為對(duì)角點(diǎn)定義的矩形區(qū)域設(shè)定為探索區(qū)域SBB。另外，該步驟S5當(dāng)中，CPU2也可以將進(jìn)行運(yùn)動(dòng)向量VBB檢測(cè)時(shí)的探索區(qū)域SBB設(shè)定為任意像素?cái)?shù)目。
下一步驟S6中，CPU2通過(guò)在上述步驟S5中設(shè)定的探索區(qū)域SBB內(nèi)與上述步驟S3相同進(jìn)行塊匹配，來(lái)進(jìn)行運(yùn)動(dòng)向量VBB的檢測(cè)處理。
下一步驟S7中，CPU2轉(zhuǎn)移到以前場(chǎng)圖像T1為參照?qǐng)鰣D像、并以后場(chǎng)圖像B2為基準(zhǔn)場(chǎng)圖像對(duì)運(yùn)動(dòng)向量VTB進(jìn)行檢測(cè)的處理。此時(shí)，CPU2如圖6所示進(jìn)行處理，將對(duì)運(yùn)動(dòng)向量VTB進(jìn)行探索的起點(diǎn)設(shè)定為上述步驟S3中檢測(cè)出的運(yùn)動(dòng)向量VTT長(zhǎng)度1.5倍的座標(biāo)位置。具體來(lái)說(shuō)，由于前場(chǎng)圖像T1和后場(chǎng)圖像B2之間的場(chǎng)間距離，與前場(chǎng)圖像T1和前場(chǎng)圖像T2之間的場(chǎng)間距離相比為1.5倍，因而CPU2進(jìn)行的是將對(duì)運(yùn)動(dòng)向量VTB進(jìn)行探索的起點(diǎn)設(shè)定為座標(biāo)位置(1.5hTT，1.5vTT)的處理。
下一步驟S8中，CPU2以上述步驟S7中設(shè)定的座標(biāo)位置(1.5hTT，1.5vTT)為中心，設(shè)定上述步驟S5中所設(shè)定的探索區(qū)域其1.5倍的像素?cái)?shù)目所組成的探索區(qū)域STB。具體來(lái)說(shuō)，CPU2將以座標(biāo)(1.5hTT，1.5vTT)為中心、座標(biāo)(1.5hTT-6，1.5vTT-6)和座標(biāo)(1.5hTT+6，1.5vTT+6)為對(duì)角點(diǎn)定義的矩形區(qū)域設(shè)定為探索區(qū)域STB。
下一步驟S9中，CPU2通過(guò)在上述步驟S8中設(shè)定的探索區(qū)域STB內(nèi)與上述步驟S3相同進(jìn)行塊匹配，來(lái)進(jìn)行運(yùn)動(dòng)向量VTB的檢測(cè)處理。
下一步驟S10中，CPU2轉(zhuǎn)移到以后場(chǎng)圖像B1為參照?qǐng)鰣D像、并以前場(chǎng)圖像T2為基準(zhǔn)場(chǎng)圖像對(duì)運(yùn)動(dòng)向量VBT進(jìn)行檢測(cè)的處理。此時(shí)，CPU2如圖7所示進(jìn)行處理，將對(duì)運(yùn)動(dòng)向量VBT進(jìn)行探索的起點(diǎn)設(shè)定為上述步驟S3中檢測(cè)出的運(yùn)動(dòng)向量VTT長(zhǎng)度0.5倍的座標(biāo)位置。具體來(lái)說(shuō)，由于后場(chǎng)圖像B1和前場(chǎng)圖像T2之間的場(chǎng)間距離，與前場(chǎng)圖像T1和前場(chǎng)圖像T2之間的場(chǎng)間距離相比為0.5倍，因而CPU2進(jìn)行的是將對(duì)運(yùn)動(dòng)向量VBT進(jìn)行探索的起點(diǎn)設(shè)定為座標(biāo)位置(0.5hTT，0.5vTT)的處理。
下一步驟S11中，CPU2以上述步驟S10中設(shè)定的座標(biāo)位置(0.5hTT，0.5vTT)為中心，設(shè)定上述步驟S5中所設(shè)定的探索區(qū)域其0.5倍的像素?cái)?shù)目所組成的探索區(qū)域SBT。具體來(lái)說(shuō)，CPU2將以座標(biāo)(0.5hTT，0.5vTT)為中心、座標(biāo)(0.5hTT-2，0.5vTT-2)和座標(biāo)(0.5hTT+2，0.5vTT+2)為對(duì)角點(diǎn)定義的矩形區(qū)域設(shè)定為探索區(qū)域SBT。
下一步驟S12中，CPU2通過(guò)在上述步驟S11中設(shè)定的探索區(qū)域SBT內(nèi)與上述步驟S3相同進(jìn)行塊匹配，來(lái)進(jìn)行運(yùn)動(dòng)向量VBT的檢測(cè)處理。
進(jìn)行這種處理的結(jié)果是，CPU2得到2個(gè)運(yùn)動(dòng)向量，是根據(jù)前場(chǎng)圖像T1和后場(chǎng)圖像B1這2個(gè)場(chǎng)圖像之間關(guān)系來(lái)對(duì)前場(chǎng)圖像T2的運(yùn)動(dòng)向量進(jìn)行預(yù)測(cè)的2個(gè)運(yùn)動(dòng)向量。而且，CPU2從這2個(gè)運(yùn)動(dòng)向量當(dāng)中選擇最佳的運(yùn)動(dòng)向量，作為對(duì)于前場(chǎng)圖像T2的運(yùn)動(dòng)向量。另外，對(duì)于后場(chǎng)圖像B2的運(yùn)動(dòng)向量，CPU2也從根據(jù)前場(chǎng)圖像T1和后場(chǎng)圖像B1這2個(gè)場(chǎng)圖像所預(yù)測(cè)的運(yùn)動(dòng)向量當(dāng)中選擇最佳的運(yùn)動(dòng)向量。
所具有的CPU2進(jìn)行這種處理的第一實(shí)施例運(yùn)動(dòng)向量檢測(cè)裝置1，對(duì)依據(jù)隔行掃描方式的場(chǎng)圖像進(jìn)行運(yùn)動(dòng)向量檢測(cè)處理時(shí)，如上述步驟S1～步驟S3所示，先檢測(cè)運(yùn)動(dòng)向量VTT再檢測(cè)其他運(yùn)動(dòng)向量VBB、VBT、VTB時(shí)，以上述運(yùn)動(dòng)向量VTT的前端位置為探索起點(diǎn)，同時(shí)根據(jù)場(chǎng)間距離進(jìn)行塊匹配，使檢測(cè)其他運(yùn)動(dòng)向量VBB、VBT、VTB時(shí)的探索區(qū)域變化，因而可利用前場(chǎng)圖像和后場(chǎng)圖像之間的相關(guān)度來(lái)縮小探索區(qū)域的像素規(guī)模。所以，利用該運(yùn)動(dòng)向量檢測(cè)裝置1的話，可通過(guò)縮小探索區(qū)域的像素規(guī)模來(lái)減少檢測(cè)運(yùn)動(dòng)向量的運(yùn)算量，同時(shí)還可縮短處理時(shí)間。
另外，對(duì)上述CPU2處理的說(shuō)明中，是就先檢測(cè)運(yùn)動(dòng)向量VTT再設(shè)定檢測(cè)其他運(yùn)動(dòng)向量VBB、VBT、VTB時(shí)探索區(qū)域的情形進(jìn)行說(shuō)明的，但運(yùn)動(dòng)向量檢測(cè)裝置1也可以先檢測(cè)運(yùn)動(dòng)向量VTT、VBB、VBT、VTB當(dāng)中任一運(yùn)動(dòng)向量，再使檢測(cè)其他運(yùn)動(dòng)向量時(shí)的探索區(qū)域其像素規(guī)模與場(chǎng)間距離成正比變化。
此外，對(duì)上述CPU2處理的說(shuō)明中，說(shuō)明的是對(duì)于各個(gè)場(chǎng)圖像求出運(yùn)動(dòng)向量時(shí)。用時(shí)間上靠前配置的某一場(chǎng)圖像求出運(yùn)動(dòng)向量的一例，具體來(lái)說(shuō)，說(shuō)明的是對(duì)于例如前場(chǎng)圖像T2求出運(yùn)動(dòng)向量時(shí)，用前場(chǎng)圖像T1和后場(chǎng)圖像B1求出運(yùn)動(dòng)向量VTT和運(yùn)動(dòng)向量VTB的情形，但也可以僅求出運(yùn)動(dòng)向量VTT和運(yùn)動(dòng)向量VTB其中一個(gè)運(yùn)動(dòng)向量，作為對(duì)于各個(gè)場(chǎng)圖像的運(yùn)動(dòng)向量。
接下來(lái)說(shuō)明本發(fā)明適用的第二實(shí)施例運(yùn)動(dòng)向量檢測(cè)裝置。該第二實(shí)施例的運(yùn)動(dòng)向量檢測(cè)裝置，與上述第一實(shí)施例的運(yùn)動(dòng)向量檢測(cè)裝置1相同，具有圖1所示構(gòu)成。
CPU2內(nèi)部具有存儲(chǔ)器，對(duì)于按照運(yùn)動(dòng)向量檢測(cè)程序進(jìn)行塊匹配檢測(cè)運(yùn)動(dòng)向量的探索區(qū)域，確定以時(shí)間上接近基準(zhǔn)幀的參照幀所包含的參照塊中表示運(yùn)動(dòng)向量的點(diǎn)為中心的第一探索區(qū)域，并以根據(jù)基準(zhǔn)幀和參照幀的場(chǎng)間距離或幀間距離所延長(zhǎng)的點(diǎn)為中心設(shè)定第二探索區(qū)域。
而CPU2對(duì)構(gòu)成基準(zhǔn)幀的每一基準(zhǔn)塊，生成表明是進(jìn)行塊匹配的探索區(qū)域的標(biāo)志，并存儲(chǔ)于上述存儲(chǔ)器，來(lái)進(jìn)行運(yùn)動(dòng)向量的檢測(cè)。由此，CPU2在上述存儲(chǔ)器中生成一映射圖，用以判斷是否存在與基準(zhǔn)幀相對(duì)應(yīng)的標(biāo)志。
此時(shí)，CPU2以例如“1”作為進(jìn)行塊匹配的標(biāo)志，而以例如“0”作為不進(jìn)行塊匹配的標(biāo)志，生成映射圖。而且，CPU2參照標(biāo)志組成的映射圖，在所設(shè)定的探索區(qū)域內(nèi)進(jìn)行塊匹配，來(lái)進(jìn)行運(yùn)動(dòng)向量的檢測(cè)。
用圖8和圖9中流程圖說(shuō)明該第二實(shí)施例運(yùn)動(dòng)向量檢測(cè)裝置1中所具有的CPU2的處理。
首先在步驟S21中，CPU2判定宏塊單位的參照塊中是否存在運(yùn)動(dòng)向量。而且，CPU2當(dāng)判定參照塊存在運(yùn)動(dòng)向量時(shí)進(jìn)入步驟S2，而判定參照塊中不存在運(yùn)動(dòng)向量時(shí)則進(jìn)入步驟S23。
下一步驟S22中，CPU2將上述運(yùn)動(dòng)向量探索區(qū)域的中心位置設(shè)定為參照塊運(yùn)動(dòng)向量的前端位置。具體來(lái)說(shuō)，CPU2將距上述中心位置規(guī)定像素?cái)?shù)目的矩形區(qū)域設(shè)定為運(yùn)動(dòng)向量探索區(qū)域，并設(shè)定為生成由表明進(jìn)行塊匹配的標(biāo)志所組成的映射圖的區(qū)域。
下一步驟S24中，CPU2如圖10所示，將上述步驟S22中設(shè)定的運(yùn)動(dòng)向量探索區(qū)域的中心位置設(shè)定為上述存儲(chǔ)器存儲(chǔ)的標(biāo)志所組成的映射圖的中心位置，將以(-Sh，-Sv)和(+Sh，+Sv)為對(duì)角點(diǎn)的矩形區(qū)域設(shè)定為映射圖基區(qū)。具體來(lái)說(shuō)，該CPU2便在內(nèi)部存儲(chǔ)器中生成一在上述基區(qū)內(nèi)表明進(jìn)行塊匹配的“1”標(biāo)志或表明不進(jìn)行塊匹配的“0”標(biāo)志所組成的映射圖。
下一步驟S25中，CPU2將以參照塊運(yùn)動(dòng)向量前端為中心、具有規(guī)定像素?cái)?shù)目的區(qū)域設(shè)定為第一探索區(qū)域，并以參照塊運(yùn)動(dòng)向量起延長(zhǎng)的點(diǎn)為中心位置設(shè)定為第二探索區(qū)域。此時(shí)，CPU2根據(jù)為運(yùn)動(dòng)向量檢測(cè)對(duì)象的基準(zhǔn)幀和上述參照塊所存在的參照幀之間的幀間距離，確定從參照塊運(yùn)動(dòng)向量起延長(zhǎng)的點(diǎn)的位置，確定以這樣確定的點(diǎn)為中心的第二探索區(qū)域的大小。也就是說(shuō)，該CPU2將與基準(zhǔn)幀和參照幀之間距離成正比的區(qū)域大小設(shè)定為第二探索區(qū)域大小。接下來(lái)，該CPU2根據(jù)對(duì)第一探索區(qū)域和第二探索區(qū)域的設(shè)定，生成表明進(jìn)行塊匹配的標(biāo)志。接著，CPU2設(shè)定將所設(shè)定的第一探索區(qū)域和第二探索區(qū)域相連的連線，將上述第一探索區(qū)域、第二探索區(qū)域和連線所包圍的區(qū)域視為運(yùn)動(dòng)向量探索區(qū)域，生成標(biāo)志。
因此，CPU2通過(guò)將如上所述設(shè)定的第一探索區(qū)域和第二探索區(qū)域設(shè)定為例如圓形，將第二探索區(qū)域其大小設(shè)定為半徑隨幀間距離變大，在存儲(chǔ)器基區(qū)內(nèi)對(duì)第一探索區(qū)域和第二探索區(qū)域相連的切線作為連線所包圍的表示運(yùn)動(dòng)向量探索區(qū)域的標(biāo)志進(jìn)行映射變換，在存儲(chǔ)器內(nèi)生成給出圖11所示第一探索區(qū)域A、第二探索區(qū)域B和連線C所包圍的運(yùn)動(dòng)向量探索區(qū)域的映射圖。另外，上述圖11中，帶網(wǎng)格部分表示標(biāo)志為1，，的運(yùn)動(dòng)向量探索區(qū)域，而空白部分則表示標(biāo)志為“0”的區(qū)域。
而判定上述步驟S21中參照塊不存在運(yùn)動(dòng)向量的步驟S23中，CPU2將運(yùn)動(dòng)向量探索區(qū)域的中心位置設(shè)定為基準(zhǔn)塊內(nèi)的座標(biāo)(0，0)。
下一步驟S26中，CPU2將以上述步驟S23中設(shè)定的運(yùn)動(dòng)向量探索區(qū)域的中心為中心位置、以(-Sh，-Sv)和(+Sh，+Sv)為對(duì)角點(diǎn)的矩形區(qū)域設(shè)定為映射圖基區(qū)，進(jìn)入步驟S27。具體來(lái)說(shuō)，CPU2根據(jù)步驟S21中判定參照塊中不存在運(yùn)動(dòng)向量，在存儲(chǔ)器中生成映射圖，將以運(yùn)動(dòng)向量探索區(qū)域的中心為上述矩形區(qū)域的中心位置、以(-Sh，-Sv)和(+Sh，+Sv)為對(duì)角點(diǎn)的矩形區(qū)域作為運(yùn)動(dòng)向量探索區(qū)域。
步驟S27中，CPU2將上述步驟S25或步驟S26生成的映射圖中上述基區(qū)左上座標(biāo)位置指定為初始位置。具體來(lái)說(shuō)，該CPU2檢測(cè)運(yùn)動(dòng)向量時(shí)所進(jìn)行的塊匹配探索位置從上述基區(qū)左上座標(biāo)(H，V)開(kāi)始。其中，H和V是表示上述映射圖中座標(biāo)位置的變量。
下一步驟S28中，CPU2根據(jù)對(duì)運(yùn)動(dòng)向量進(jìn)行檢測(cè)的基準(zhǔn)幀，從存儲(chǔ)器3當(dāng)中讀取宏塊單位的基準(zhǔn)塊的圖像數(shù)據(jù)。
下一步驟S29中，CPU2從存儲(chǔ)器中存儲(chǔ)的映射圖讀出座標(biāo)(H，V)的標(biāo)志。
下一步驟S30中，CPU2判定上述步驟S29中讀出的標(biāo)志是“1”還是“0”。具體來(lái)說(shuō)，該CPU2利用存儲(chǔ)器存儲(chǔ)的映射圖座標(biāo)位置所對(duì)應(yīng)的基準(zhǔn)塊像素和參照塊像素，判定是否進(jìn)行塊匹配。接著，CPU2當(dāng)標(biāo)志為“1”時(shí)，即進(jìn)行塊匹配時(shí)進(jìn)入圖9所示的步驟S31，當(dāng)標(biāo)志為“0”時(shí)，即不進(jìn)行塊匹配時(shí)進(jìn)入圖9所示的步驟S35。
步驟S31中，CPU2根據(jù)參照幀從存儲(chǔ)器3讀出與座標(biāo)(H，V)相當(dāng)?shù)膮⒄諌K的圖像數(shù)據(jù)。
下一步驟S32中，CPU2通過(guò)比較上述步驟S28讀出的上述座標(biāo)(H，V)所對(duì)應(yīng)的基準(zhǔn)塊的圖像數(shù)據(jù)和與上述步驟S31輸入的座標(biāo)(H，V)相當(dāng)?shù)膮⒄諌K的圖像數(shù)據(jù)，來(lái)運(yùn)算構(gòu)成基準(zhǔn)塊的各像素和構(gòu)成參照塊的各像素之間的差分，運(yùn)算差分的絕對(duì)值和。
下一步驟S33中，CPU2判定上述步驟S32中求出的差分絕對(duì)值和是否最小。而且，CPU2判定差分絕對(duì)值和最小時(shí)便進(jìn)入步驟S34中，將差分絕對(duì)值和作為最小值存儲(chǔ)座標(biāo)(H，V)，而判定并非最小時(shí)便進(jìn)入步驟S35中。由此，CPU2對(duì)運(yùn)動(dòng)向量進(jìn)行檢測(cè)。
接著在步驟S35中，CPU2通過(guò)使映射圖的座標(biāo)(H，V)遞增來(lái)指定下一像素，步驟S36判定映射圖座標(biāo)是否是右下，即判定座標(biāo)是否是(右側(cè)Right，底端Bottom)。接下來(lái)，CPU2判定映射圖座標(biāo)不是右下時(shí)，便對(duì)步驟S35指定的像素進(jìn)行步驟S29以后的處理，而判定映射圖座標(biāo)為右下時(shí)，則結(jié)束對(duì)基準(zhǔn)塊進(jìn)行運(yùn)動(dòng)向量檢測(cè)的處理。
所具有的CPU2進(jìn)行這種處理的第二實(shí)施例運(yùn)動(dòng)向量檢測(cè)裝置1，對(duì)某個(gè)基準(zhǔn)塊進(jìn)行運(yùn)動(dòng)向量檢測(cè)時(shí)，通過(guò)在步驟S25中確定用參照塊的運(yùn)動(dòng)向量進(jìn)行塊匹配的區(qū)域，并重復(fù)步驟S29至步驟S36的處理，來(lái)僅對(duì)生成有標(biāo)志的座標(biāo)進(jìn)行塊匹配，用步驟S32運(yùn)算得到的差分絕對(duì)值和為最小時(shí)的參照塊座標(biāo)，來(lái)檢測(cè)基準(zhǔn)塊的運(yùn)動(dòng)向量。
所以，第二實(shí)施例的運(yùn)動(dòng)向量檢測(cè)裝置1如上述步驟S25說(shuō)明的那樣，用參照塊的運(yùn)動(dòng)向量來(lái)設(shè)定第一探索區(qū)域和第二探索區(qū)域，僅在包含該第一探索區(qū)域和第二探索區(qū)域的探索區(qū)域內(nèi)進(jìn)行塊匹配，因而與不用參照塊設(shè)定探索區(qū)域時(shí)相比較，可縮小探索區(qū)域。因而，利用第二實(shí)施例運(yùn)動(dòng)向量檢測(cè)裝置1的話，可減少進(jìn)行塊匹配的次數(shù)，并可以大幅減少用于運(yùn)動(dòng)向量檢測(cè)的運(yùn)算量。
而且，利用第二實(shí)施例運(yùn)動(dòng)向量檢測(cè)裝置1的話，可以在保持運(yùn)動(dòng)向量檢測(cè)處理精度的同時(shí)減少運(yùn)算量，可縮短處理時(shí)間。
此外，通過(guò)一并采用如第一實(shí)施例中說(shuō)明的那樣利用后場(chǎng)圖像和前場(chǎng)圖像之間相關(guān)進(jìn)行探索區(qū)域設(shè)定處理的運(yùn)動(dòng)向量檢測(cè)程序，可進(jìn)一步縮小探索區(qū)域，減少進(jìn)行塊匹配的次數(shù)。
另外，對(duì)第二實(shí)施例運(yùn)動(dòng)向量檢測(cè)裝置1處理的說(shuō)明中，是就圖11所示的在步驟S25中將第一探索區(qū)域A和第二探索區(qū)域B形成為圓形區(qū)域的一例加以說(shuō)明的，但運(yùn)動(dòng)向量檢測(cè)裝置1，也可以如圖12所示將第一探索區(qū)域和第二探索區(qū)域形成為矩形區(qū)域，在第一探索區(qū)域和第二探索區(qū)域相連的直線和上述第一探索區(qū)域和第二探索區(qū)域所包圍的上述運(yùn)動(dòng)探索區(qū)域內(nèi)進(jìn)行運(yùn)動(dòng)向量檢測(cè)這種處理。通過(guò)象這樣第一探索區(qū)域和第二探索區(qū)域取矩形區(qū)域，運(yùn)動(dòng)向量檢測(cè)裝置1與設(shè)定圓形區(qū)域的探索區(qū)域相比，可以減少用于探索區(qū)域設(shè)定的處理量，可進(jìn)一步縮短處理時(shí)間。
將上述第二實(shí)施例的運(yùn)動(dòng)向量檢測(cè)裝置1作為功能框，對(duì)圖13所示的運(yùn)動(dòng)向量檢測(cè)裝置100進(jìn)行說(shuō)明。
該運(yùn)動(dòng)向量檢測(cè)裝置100，包括一基準(zhǔn)幀存儲(chǔ)器101，以存儲(chǔ)作為求得運(yùn)動(dòng)向量的對(duì)象的基準(zhǔn)幀圖像數(shù)據(jù)。該基準(zhǔn)幀存儲(chǔ)器101，其存儲(chǔ)的基準(zhǔn)幀圖像數(shù)據(jù)由運(yùn)動(dòng)檢測(cè)部102按例如宏塊單位的基準(zhǔn)塊讀取。
而且，該運(yùn)動(dòng)向量檢測(cè)裝置100，還包括一參照幀存儲(chǔ)器103，以存儲(chǔ)對(duì)基準(zhǔn)幀進(jìn)行運(yùn)動(dòng)向量檢測(cè)時(shí)所用的參照幀圖像數(shù)據(jù)。該參照幀存儲(chǔ)器103根據(jù)探索區(qū)域確定部104輸出的參照塊讀出控制信號(hào)，將參照幀圖像數(shù)據(jù)按例如宏塊單位的參照塊輸出給運(yùn)動(dòng)檢測(cè)部102。
上述運(yùn)動(dòng)檢測(cè)部102，通過(guò)利用上述基準(zhǔn)幀存儲(chǔ)器101輸出的基準(zhǔn)塊和上述參照幀存儲(chǔ)器103輸出的參照塊進(jìn)行塊匹配，對(duì)基準(zhǔn)塊進(jìn)行運(yùn)動(dòng)向量檢測(cè)。這里，所謂塊匹配，是將基準(zhǔn)幀和參照幀分割為規(guī)定像素?cái)?shù)目的矩形小區(qū)域(基準(zhǔn)塊、參照塊)，就每一塊進(jìn)行運(yùn)動(dòng)向量檢測(cè)這種處理。對(duì)于基準(zhǔn)塊和參照塊的大小來(lái)說(shuō)，有例如橫向8像素×縱向8像素、橫向16像素×縱向16像素等。而且，該運(yùn)動(dòng)檢測(cè)部102將對(duì)基準(zhǔn)塊檢測(cè)出的運(yùn)動(dòng)向量不僅向外部輸出，而且向探索區(qū)域確定部104輸出。
探索區(qū)域確定部104將運(yùn)動(dòng)檢測(cè)部102輸出的運(yùn)動(dòng)向量用作參照塊的運(yùn)動(dòng)向量，由運(yùn)動(dòng)檢測(cè)部102進(jìn)行上述塊匹配，來(lái)進(jìn)行基準(zhǔn)塊運(yùn)動(dòng)向量檢測(cè)時(shí)運(yùn)動(dòng)向量探索區(qū)域確定這種處理。具體來(lái)說(shuō)，該探索區(qū)域確定部104不僅通過(guò)用參照塊的運(yùn)動(dòng)向量運(yùn)算來(lái)確定以參照塊中表示運(yùn)動(dòng)向量的點(diǎn)為中心的第一探索區(qū)域，還通過(guò)根據(jù)基準(zhǔn)幀和參照幀之間幀間距離運(yùn)算來(lái)確定以參照塊運(yùn)動(dòng)向量起延長(zhǎng)的點(diǎn)為中心的第二探索區(qū)域。然后，該探索區(qū)域確定部104就包含上述第一探索區(qū)域和第二探索區(qū)域的運(yùn)動(dòng)向量探索區(qū)域生成參照塊讀出控制信號(hào)，由參照幀存儲(chǔ)器103將運(yùn)動(dòng)向量探索區(qū)域所包含的參照塊輸出給運(yùn)動(dòng)檢測(cè)部102。
這里，探索區(qū)域確定部104，內(nèi)部具有存儲(chǔ)器，確定上述各探索區(qū)域，而且就每一構(gòu)成基準(zhǔn)幀的各基準(zhǔn)塊，生成一標(biāo)志以表明是進(jìn)行塊匹配的區(qū)域并存儲(chǔ)于上述存儲(chǔ)器。由此，探索區(qū)域確定部104在上述存儲(chǔ)器中生成用于判斷是否存在基準(zhǔn)幀所對(duì)應(yīng)標(biāo)志的映射圖。探索區(qū)域確定部104令例如“1”作為進(jìn)行塊匹配的標(biāo)志，而令“0”作為不進(jìn)行塊匹配的標(biāo)志，生成映射圖。然后，由運(yùn)動(dòng)檢測(cè)部102進(jìn)行塊匹配時(shí)，探索區(qū)域確定部104參照標(biāo)志組成的映射圖，生成參照塊讀出控制信號(hào)，輸出給參照幀存儲(chǔ)器103。
就由這樣構(gòu)成的運(yùn)動(dòng)向量檢測(cè)裝置100生成上述標(biāo)志、對(duì)一個(gè)基準(zhǔn)塊進(jìn)行運(yùn)動(dòng)向量檢測(cè)的處理來(lái)說(shuō)，與上述圖8和圖9流程圖中的處理大致相同，但下面再次參照?qǐng)D8和圖9說(shuō)明圖13所示的運(yùn)動(dòng)向量檢測(cè)裝置100的處理。
檢測(cè)該運(yùn)動(dòng)向量的處理，首先在步驟S21中，探索區(qū)域確定部104判定對(duì)參照幀存儲(chǔ)器103輸出的宏塊單位的參照塊是否存在運(yùn)動(dòng)向量，當(dāng)判定存在運(yùn)動(dòng)向量時(shí)進(jìn)入步驟S22，而當(dāng)判定不存在運(yùn)動(dòng)向量時(shí)則進(jìn)入步驟S23。
下一步驟S22中，探索區(qū)域確定部104將上述運(yùn)動(dòng)向量探索區(qū)域的中心位置設(shè)定為參照塊運(yùn)動(dòng)向量的前端位置。
下一步驟S24中，探索區(qū)域確定部104如圖10所示，將上述步驟S22中設(shè)定的運(yùn)動(dòng)向量探索區(qū)域的中心位置設(shè)定為上述存儲(chǔ)器存儲(chǔ)的標(biāo)志所組成的映射圖的中心位置，而將以(-Sh，-Sv)和(+Sh，+Sv)為對(duì)角點(diǎn)的矩形區(qū)域設(shè)定為映射圖的基區(qū)。具體來(lái)說(shuō)，該探索區(qū)域確定部104在內(nèi)部存儲(chǔ)器中生成一由上述基區(qū)內(nèi)表示進(jìn)行塊匹配的“1”標(biāo)志或表示不進(jìn)行塊匹配的“0”標(biāo)志所組成的映射圖。
下一步驟S25中，探索區(qū)域確定部104將以參照塊運(yùn)動(dòng)向量前端為中心、具有規(guī)定像素?cái)?shù)目的區(qū)域設(shè)定為第一探索區(qū)域，并根據(jù)幀間距離以參照塊運(yùn)動(dòng)向量起延長(zhǎng)的點(diǎn)為中心位置設(shè)定為第二探索區(qū)域。而且，該探索區(qū)域確定部104根據(jù)對(duì)第一探索區(qū)域和第二探索區(qū)域的設(shè)定，生成表明進(jìn)行塊匹配的標(biāo)志。此外，探索區(qū)域確定部104設(shè)定將所設(shè)定的第一探索區(qū)域和第二探索區(qū)域相連的連線，將上述第一探索區(qū)域、第二探索區(qū)域和連線所包圍的區(qū)域作為運(yùn)動(dòng)向量探索區(qū)域，生成標(biāo)志。
因此，探索區(qū)域確定部104通過(guò)將如上所述設(shè)定的第一探索區(qū)域和第二探索區(qū)域設(shè)定為例如圓形，將第二探索區(qū)域其大小設(shè)定為半徑隨幀間距離變大，在存儲(chǔ)器基區(qū)內(nèi)對(duì)第一探索區(qū)域和第二探索區(qū)域相連的切線作為連線所包圍的表示運(yùn)動(dòng)向量探索區(qū)域的標(biāo)志進(jìn)行映射變換，在存儲(chǔ)器內(nèi)生成給出圖11所示第一探索區(qū)域A、第二探索區(qū)域B和連線C所包圍的運(yùn)動(dòng)向量探索區(qū)域的映射圖。另外，上述圖11中，帶網(wǎng)格部分表示標(biāo)志為“1”的運(yùn)動(dòng)向量探索區(qū)域，而空白部分則表示標(biāo)志為“0”的區(qū)域。
而判定上述步驟S21中參照塊不存在運(yùn)動(dòng)向量的步驟S23中，探索區(qū)域確定部104將運(yùn)動(dòng)向量探索區(qū)域的中心位置設(shè)定為基準(zhǔn)塊內(nèi)的座標(biāo)(0，0)。
下一步驟S26中，探索區(qū)域確定部104將以上述步驟S23中設(shè)定的運(yùn)動(dòng)向量探索區(qū)域的中心為中心位置、以(-Sh，-Sv)和(+Sh，+Sv)為對(duì)角點(diǎn)的矩形區(qū)域設(shè)定為映射圖基區(qū)，進(jìn)入步驟S27。步驟S26中，探索區(qū)域確定部104根據(jù)步驟S21中判定參照塊中不存在運(yùn)動(dòng)向量，在存儲(chǔ)器中生成映射圖，將以運(yùn)動(dòng)向量探索區(qū)域的中心為上述矩形區(qū)域的中心位置、以(-Sh，-Sv)和(+Sh，+Sv)為對(duì)角點(diǎn)的矩形區(qū)域作為運(yùn)動(dòng)向量探索區(qū)域。
步驟S27中，探索區(qū)域確定部104將上述步驟S25或步驟S26生成的映射圖中上述基區(qū)左上座標(biāo)位置指定為初始位置。具體來(lái)說(shuō)，該探索區(qū)域確定部104使運(yùn)動(dòng)檢測(cè)部102檢測(cè)運(yùn)動(dòng)向量時(shí)所進(jìn)行的塊匹配探索位置是從上述基區(qū)左上座標(biāo)(H，V)開(kāi)始。其中，H和V是表示上述映射圖中座標(biāo)位置的變量。
下一步驟S28中，運(yùn)動(dòng)檢測(cè)部102根據(jù)對(duì)運(yùn)動(dòng)向量進(jìn)行檢測(cè)的基準(zhǔn)幀，從基準(zhǔn)幀存儲(chǔ)器101當(dāng)中讀取宏塊單位的基準(zhǔn)塊的圖像數(shù)據(jù)。
下一步驟S29中，探索區(qū)域確定部104從存儲(chǔ)器中存儲(chǔ)的映射圖當(dāng)中讀出座標(biāo)(H，V)的標(biāo)志。
下一步驟S30中，探索區(qū)域確定部104判定上述步驟S29中讀出的標(biāo)志是“1”還是“0”。具體來(lái)說(shuō)，該探索區(qū)域確定部104利用存儲(chǔ)器存儲(chǔ)的映射圖座標(biāo)位置所對(duì)應(yīng)的基準(zhǔn)塊像素和參照塊像素，判定是否進(jìn)行塊匹配。而且，探索區(qū)域確定部104當(dāng)標(biāo)志為“1”時(shí)，即進(jìn)行塊匹配時(shí)，進(jìn)入圖9所示的步驟S31，當(dāng)標(biāo)志為“0”時(shí)，即不進(jìn)行塊匹配時(shí)，進(jìn)入圖9所示的步驟S35。
接著在步驟S35中，探索區(qū)域確定部104通過(guò)使映射圖的座標(biāo)(H，V)遞增來(lái)指定下一像素，步驟S36判定映射圖座標(biāo)是否是右下，即判定座標(biāo)是否是(右側(cè)Right，底端Bottom)。接下來(lái)，探索區(qū)域判定部104當(dāng)判定映射圖座標(biāo)不是右下時(shí)，便對(duì)步驟S35指定的像素進(jìn)行步驟S29以后的處理，而判定映射圖座標(biāo)為右下時(shí)，則結(jié)束對(duì)基準(zhǔn)塊進(jìn)行運(yùn)動(dòng)向量檢測(cè)的處理。
步驟S31中，探索區(qū)域確定部104通過(guò)將參照塊讀出控制信號(hào)輸出給參照幀存儲(chǔ)器103，控制使得參照幀存儲(chǔ)器103將參照幀與座標(biāo)(H，V)相當(dāng)?shù)膮⒄諌K的圖像數(shù)據(jù)輸出給運(yùn)動(dòng)檢測(cè)部102。
下一步驟S32中，運(yùn)動(dòng)檢測(cè)部102通過(guò)比較上述步驟S28讀出的上述座標(biāo)(H，V)所對(duì)應(yīng)的基準(zhǔn)塊的圖像數(shù)據(jù)和與上述步驟S31輸入的座標(biāo)(H，V)相當(dāng)?shù)膮⒄諌K的圖像數(shù)據(jù)，來(lái)運(yùn)算構(gòu)成基準(zhǔn)塊的各像素和構(gòu)成參照塊的各像素之間的差分，運(yùn)算差分的絕對(duì)值和。
下一步驟S33中，運(yùn)動(dòng)檢測(cè)部102判定上述步驟S32中求出的差分絕對(duì)值和是否最小，判定差分絕對(duì)值和最小時(shí)便進(jìn)入步驟S34，將差分絕對(duì)值和作為最小值來(lái)存儲(chǔ)座標(biāo)(H，V)。由此，運(yùn)動(dòng)檢測(cè)部102便檢測(cè)出運(yùn)動(dòng)向量。
接著在步驟S35中，探索區(qū)域確定部104如上所述指定基區(qū)內(nèi)的下一參照塊，步驟S36中指定的參照塊座標(biāo)在步驟S36中判定映射圖座標(biāo)是否是右下，即判定座標(biāo)是否是(右側(cè)Right，底端Bottom)。
象這樣運(yùn)動(dòng)向量檢測(cè)裝置100對(duì)某個(gè)基準(zhǔn)塊進(jìn)行運(yùn)動(dòng)向量檢測(cè)時(shí)，通過(guò)在步驟S25中確定用參照塊的運(yùn)動(dòng)向量進(jìn)行塊匹配的區(qū)域，并重復(fù)步驟S29至步驟S36的處理，來(lái)僅對(duì)生成有標(biāo)志的座標(biāo)進(jìn)行塊匹配，用步驟S32運(yùn)算得到的差分絕對(duì)值和為最小時(shí)的參照塊座標(biāo)，來(lái)檢測(cè)基準(zhǔn)塊的運(yùn)動(dòng)向量。
所以，進(jìn)行這種處理的運(yùn)動(dòng)向量檢測(cè)裝置100如上述步驟S25說(shuō)明的那樣，用參照塊的運(yùn)動(dòng)向量來(lái)設(shè)定第一探索區(qū)域A和第二探索區(qū)域B，僅在包含該第一探索區(qū)域A和第二探索區(qū)域B的運(yùn)動(dòng)向量探索區(qū)域內(nèi)進(jìn)行塊匹配，因而與不用參照塊設(shè)定探索區(qū)域時(shí)相比較，可縮小探索區(qū)域。因而，利用運(yùn)動(dòng)向量檢測(cè)裝置100的話，可減少進(jìn)行塊匹配的次數(shù)，并可以大幅減少用于運(yùn)動(dòng)向量檢測(cè)的運(yùn)算量。而且，利用進(jìn)行上述處理的運(yùn)動(dòng)向量檢測(cè)裝置100的話，可以在保持運(yùn)動(dòng)向量檢測(cè)處理精度的同時(shí)減少運(yùn)算量，可縮短處理時(shí)間。
另外，對(duì)上述第二實(shí)施例運(yùn)動(dòng)向量檢測(cè)裝置1及100其處理的說(shuō)明中，除了圖11所示例以外，也可以如圖12所示，將第一探索區(qū)域和第二探索區(qū)域形成為矩形區(qū)域，在第一探索區(qū)域和第二探索區(qū)域相連的直線和上述第一探索區(qū)域和第二探索區(qū)域所包圍的上述運(yùn)動(dòng)探索區(qū)域內(nèi)進(jìn)行運(yùn)動(dòng)向量檢測(cè)這種處理。
接下來(lái)說(shuō)明用于實(shí)現(xiàn)本發(fā)明第三目的的第三實(shí)施例。另外，以下對(duì)第三實(shí)施例的說(shuō)明中，說(shuō)明的是用第一實(shí)施例的圖1所示構(gòu)成的運(yùn)動(dòng)向量檢測(cè)裝置1所適用的一例。
該第三實(shí)施例運(yùn)動(dòng)向量檢測(cè)裝置，利用相鄰像素塊運(yùn)動(dòng)向量中相關(guān)度高這一點(diǎn)，設(shè)定探索區(qū)域，檢測(cè)運(yùn)動(dòng)向量。
這時(shí)，CPU2對(duì)場(chǎng)圖像或幀圖像求運(yùn)動(dòng)向量時(shí)，通過(guò)設(shè)定進(jìn)行運(yùn)動(dòng)向量探索時(shí)的探索區(qū)域，在上述探索區(qū)域中按例如8×8像素組成的宏塊單位進(jìn)行塊匹配，來(lái)檢測(cè)運(yùn)動(dòng)向量。具體來(lái)說(shuō)，CPU2按照運(yùn)動(dòng)向量檢測(cè)程序，就每一宏塊分割幀圖像，用相鄰宏塊的運(yùn)動(dòng)向量，設(shè)定進(jìn)行塊匹配時(shí)的探索區(qū)域。
CPU2進(jìn)行運(yùn)動(dòng)向量檢測(cè)時(shí)，首先通過(guò)在規(guī)定探索區(qū)內(nèi)對(duì)圖14中帶網(wǎng)格部分所示每隔1個(gè)宏塊進(jìn)行塊匹配，來(lái)進(jìn)行運(yùn)動(dòng)向量檢測(cè)處理。接著，CPU2采用對(duì)于上述帶網(wǎng)格部分中的宏塊的運(yùn)動(dòng)向量運(yùn)算探索區(qū)域，通過(guò)在該探索區(qū)域進(jìn)行塊匹配，對(duì)圖14中空白部分的宏塊進(jìn)行運(yùn)動(dòng)向量檢測(cè)處理。
這樣構(gòu)成的運(yùn)動(dòng)向量檢測(cè)裝置1，通過(guò)由CPU2在對(duì)幀圖像的圖像數(shù)據(jù)進(jìn)行運(yùn)動(dòng)向量檢測(cè)時(shí)執(zhí)行HDD4中存儲(chǔ)的運(yùn)動(dòng)向量檢測(cè)程序，來(lái)進(jìn)行圖15和圖16中流程圖所示的處理。
首先在步驟S41中，CPU2通過(guò)對(duì)如圖17所示在水平方向上排列有多個(gè)宏塊而成的行的地址進(jìn)行指定，來(lái)進(jìn)行行號(hào)(No.)的指定處理。這里，CPU對(duì)水平方向排列有宏塊(MB)的多個(gè)行當(dāng)中位于最上部的行號(hào)(0)進(jìn)行指定。其中，上述行號(hào)從上部起包括0，1，2，…，底端(Bottom)。
下一步驟S42中，CPU2在上述步驟S41中指定的行“0”當(dāng)中，對(duì)檢測(cè)運(yùn)動(dòng)向量的宏塊序號(hào)(0)進(jìn)行指定處理。構(gòu)成各行的多個(gè)宏塊序號(hào)，從左端至右端包括0，1，2，…，右側(cè)(Right)。
下一步驟S43中，CPU2對(duì)上述步驟S42指定的序號(hào)的宏塊設(shè)定探索區(qū)域。這里，CPU2將探索區(qū)域設(shè)定為由規(guī)定像素?cái)?shù)目所組成的搜索范圍R。此時(shí)，CPU2將例如相對(duì)于表示宏塊中心位置的座標(biāo)具有(±R，±R)對(duì)角點(diǎn)的矩形區(qū)域設(shè)定為探索區(qū)域。而且，CPU2將32×32像素組成的矩形區(qū)域設(shè)定為例如搜索范圍R的探索區(qū)域。然后，該CPU2還通過(guò)利用由規(guī)定像素?cái)?shù)目組成的探索區(qū)域中在時(shí)間上有前后的幀圖像所對(duì)應(yīng)的宏塊，進(jìn)行上述塊匹配，來(lái)進(jìn)行運(yùn)動(dòng)向量的檢測(cè)處理。
下一步驟S44中，CPU2對(duì)與上述步驟S43中進(jìn)行運(yùn)動(dòng)檢測(cè)的宏塊在水平方向上左右錯(cuò)開(kāi)2個(gè)序號(hào)的宏塊進(jìn)行指定處理。
接下來(lái)在步驟S45中，CPU2判斷上述步驟S44指定的宏塊是否位于幀圖像右端。而CPU2判斷所指定的宏塊位于幀圖像右端位置時(shí)，進(jìn)入步驟S46，而判斷并非位于右端位置時(shí)則返回步驟S43。具體來(lái)說(shuō)，CPU2通過(guò)進(jìn)行上述步驟S43～步驟S45所示的處理，就所指定行中從位于左端的宏塊起向右端每隔2個(gè)序號(hào)，進(jìn)行上述步驟S43中說(shuō)明的在規(guī)定探索區(qū)域?qū)\(yùn)動(dòng)向量的檢測(cè)處理。
下一步驟S46中，CPU2對(duì)上述步驟S42指定的序號(hào)“0”的宏塊其右側(cè)相鄰的序號(hào)“1”的宏塊進(jìn)行指定處理。
下一步驟S47中，CPU2判斷上述步驟S46或下面說(shuō)明的步驟S54中指定序號(hào)的宏塊其右側(cè)相鄰的宏塊是否存在。而且，CPU2當(dāng)判斷指定序號(hào)的宏塊其右側(cè)不存在相鄰的宏塊時(shí)進(jìn)入步驟S48，而當(dāng)判斷指定序號(hào)的宏塊其右側(cè)存在相鄰的宏塊時(shí)，則進(jìn)入步驟S49。
步驟S48中，CPU2通過(guò)對(duì)上述步驟S47中判斷為其右側(cè)相鄰的宏塊不存在的宏塊，設(shè)定上述步驟S43中上述規(guī)定的探索區(qū)域，在該探索區(qū)域進(jìn)行塊匹配，來(lái)進(jìn)行運(yùn)動(dòng)向量的檢測(cè)處理，進(jìn)入步驟S54。
而步驟S49中，CPU2運(yùn)算上述步驟S46或下面述及的步驟S54中指定的宏塊兩側(cè)相鄰的宏塊其運(yùn)動(dòng)向量的差分，運(yùn)算該差分的絕對(duì)值ΔV。這里，上述運(yùn)動(dòng)向量差分的絕對(duì)值ΔV，當(dāng)宏塊兩側(cè)相鄰的宏塊運(yùn)動(dòng)向量所指示的方向?yàn)榇笾孪嗤较驎r(shí)為較小數(shù)值，而宏塊兩側(cè)相鄰的宏塊運(yùn)動(dòng)向量所指示的方向越是不同，其數(shù)值便越大。
下一步驟S50中，CPU2判斷上述步驟S49運(yùn)算得到的差分絕對(duì)值ΔV與搜索范圍r相比是否足夠大。這里，“r”為任意值，所謂搜索范圍r是指具有點(diǎn)(-r，-r)和點(diǎn)(+r，+r)作為對(duì)角點(diǎn)的矩形區(qū)域。而該搜索范圍r定義的矩形區(qū)域所占據(jù)區(qū)域比上述步驟S43中搜索范圍R定義的矩形區(qū)域要小，例如為6×6像素組成的矩形區(qū)域。而且，CPU2當(dāng)差分絕對(duì)值ΔV與搜索范圍r相比足夠大時(shí)，即相鄰的宏塊各運(yùn)動(dòng)向量所指示方向不同時(shí)，便進(jìn)入步驟S51，而差分絕對(duì)值ΔV與搜索范圍r相比并非足夠大時(shí)，即相鄰的宏塊各運(yùn)動(dòng)向量所指示方向?yàn)榇笾孪嗤较驎r(shí)，則進(jìn)入步驟S52。
步驟S51中，CPU2將針對(duì)上述步驟S46或下面述及的步驟S54中指定的宏塊在水平方向兩側(cè)相鄰的宏塊的各運(yùn)動(dòng)向量作為圖17所示指定的宏塊的左上座標(biāo)位置，以所指示點(diǎn)為中心，分別設(shè)定按搜索范圍r定義的探索區(qū)域A、B。而且，CPU2通過(guò)在各探索區(qū)域A、B中進(jìn)行塊匹配，來(lái)進(jìn)行運(yùn)動(dòng)向量檢測(cè)，進(jìn)入步驟S54。
而步驟52中，CPU2則利用針對(duì)步驟S46或步驟S54中指定的宏塊在水平方向兩側(cè)相鄰的宏塊的各運(yùn)動(dòng)向量，運(yùn)算圖18所示的平均運(yùn)動(dòng)向量AveV(h，v)。
下一步驟S53中，CPU2設(shè)定以平均運(yùn)動(dòng)向量AveV(h，v)前端所指示的座標(biāo)位置(h，v)為中心、以點(diǎn)(-r，-r)和點(diǎn)(+r，+r)為對(duì)角點(diǎn)的矩形探索區(qū)域C。然后，CPU2通過(guò)在所設(shè)定的探索區(qū)域C中進(jìn)行塊匹配，對(duì)步驟S46或步驟S54中指定的宏塊進(jìn)行運(yùn)動(dòng)向量檢測(cè)。
下一步驟S54中，CPU2進(jìn)行從上述步驟S53中檢測(cè)出運(yùn)動(dòng)向量的宏塊起在水平方向上向右前進(jìn)2個(gè)序號(hào)這種處理。
下一步驟S55中，CPU2判斷上述步驟S54指定序號(hào)的宏塊是否位于水平行的右端。而且，CPU2當(dāng)判斷所指定的宏塊位于水平行右端時(shí)便進(jìn)入步驟S56，而判斷所指定的宏塊并非位于水平行右端時(shí)則返回步驟S47。也就是說(shuō)，CPU2通過(guò)重復(fù)上述步驟S42～步驟S55的處理，對(duì)正進(jìn)行上述處理的水平行其構(gòu)成的全部宏塊進(jìn)行運(yùn)動(dòng)向量檢測(cè)。
步驟S56中，CPU2進(jìn)行從進(jìn)行過(guò)上述步驟S43至步驟S55處理的水平行起，向底端前進(jìn)2個(gè)序號(hào)，對(duì)新水平行進(jìn)行指定這種處理。
下一步驟S57中，CPU2判斷上述步驟S56指定的水平行序號(hào)是否是底端。而且，CPU2當(dāng)判斷所指定的水平行為底端時(shí)便進(jìn)入圖16所示的步驟S58，而判斷所指定的水平行并非為底端時(shí)則返回步驟S42，對(duì)所指定的水平行進(jìn)行上述步驟S42～步驟S55所示的處理。也就是說(shuō)，CPU2通過(guò)進(jìn)行步驟S41～步驟S57的處理，便從幀圖像中序號(hào)“0”的水平行至底端水平行每隔2個(gè)序號(hào)進(jìn)行上述步驟S42～步驟S55所示的處理。
下一步驟S58中，CPU2對(duì)如圖14所示多個(gè)宏塊在垂直方向上排列而成的水平行進(jìn)行指定序號(hào)的處理。這里，CPU2在宏塊按水平方向排列的多個(gè)水平行當(dāng)中，指定上端起向下1個(gè)序號(hào)相鄰的水平行“1”的序號(hào)。
下一步驟S59中，CPU2進(jìn)行在上述步驟S58中指定的水平行“1”當(dāng)中指定進(jìn)行運(yùn)動(dòng)向量檢測(cè)的宏塊序號(hào)“0”這種處理。
下一步驟S60中，CPU2判斷上述步驟S59中指定的宏塊下側(cè)是否存在宏塊。而且，CPU2當(dāng)判斷所指定的宏塊下側(cè)并不存在宏塊時(shí)，便進(jìn)入步驟S61，而判斷所指定的宏塊下側(cè)存在宏塊時(shí)則進(jìn)入步驟S62。
步驟S61中，CPU2對(duì)于上述步驟S60中判斷為并不存在下側(cè)相鄰的宏塊的宏塊，設(shè)定上述步驟S43中搜索范圍R的探索區(qū)域，通過(guò)在該探索區(qū)域中進(jìn)行塊匹配來(lái)進(jìn)行運(yùn)動(dòng)向量的檢測(cè)處理，進(jìn)入步驟S67。
而步驟S62中，CPU2運(yùn)算在上述步驟S59或下面述及的步驟S67指定的宏塊在垂直方向上相鄰的宏塊其運(yùn)動(dòng)向量的差分，運(yùn)算該差分絕對(duì)值ΔV。
下一步驟S63中，CPU2判斷上述步驟S62中運(yùn)算得到的差分絕對(duì)值ΔV是否大于搜索范圍r。而且，CPU2當(dāng)差分絕對(duì)值ΔV小于搜索范圍r時(shí)進(jìn)入步驟S65，而差分絕對(duì)值ΔV并非小于搜索范圍r時(shí)，則進(jìn)入步驟S64。
步驟S64中，CPU2將針對(duì)上述步驟S59或下面述及的步驟S67中指定的宏塊在垂直方向兩側(cè)相鄰的宏塊的各運(yùn)動(dòng)向量作為圖19所示指定的宏塊的左上座標(biāo)位置，以所指示點(diǎn)為中心，分別設(shè)定按搜索范圍r定義的探索區(qū)域D、E。而且，CPU2通過(guò)在各探索區(qū)域D、E中進(jìn)行塊匹配，來(lái)進(jìn)行運(yùn)動(dòng)向量檢測(cè)。
而步驟65中，CPU2則利用針對(duì)步驟S59或步驟S67中指定的宏塊在垂直方向兩側(cè)相鄰的宏塊的各運(yùn)動(dòng)向量，運(yùn)算圖20所示的平均運(yùn)動(dòng)向量AveV(h，V)。
下一步驟S66中，CPU2設(shè)定以平均運(yùn)動(dòng)向量AveV(h，v)前端所指示的座標(biāo)位置(h，v)為中心、以點(diǎn)(-r，-r)和點(diǎn)(+r，+r)為對(duì)角點(diǎn)的矩形探索區(qū)域F。而且，CPU2通過(guò)在所設(shè)定的探索區(qū)域內(nèi)進(jìn)行塊匹配，對(duì)步驟S59或步驟S67中指定的宏塊進(jìn)行運(yùn)動(dòng)向量檢測(cè)。
下一步驟S67中，CPU2進(jìn)行從上述步驟S66中檢測(cè)出運(yùn)動(dòng)向量的宏塊起在水平方向上向右前進(jìn)1個(gè)序號(hào)這種處理。
下一步驟S68中，CPU2判斷上述步驟S67指定序號(hào)的宏塊是否位于水平行的右端。而且，CPU2當(dāng)判斷所指定的宏塊位于水平行右端時(shí)便進(jìn)入步驟S69，而判斷所指定的宏塊并非位于水平行右端時(shí)則返回步驟S60。也就是說(shuō)，CPU2通過(guò)重復(fù)上述步驟S60～步驟S68的處理，對(duì)正進(jìn)行上述處理的水平行其構(gòu)成的全部宏塊進(jìn)行運(yùn)動(dòng)向量檢測(cè)。
步驟S69中，CPU2進(jìn)行從進(jìn)行過(guò)上述步驟S59至步驟S68處理的水平行起，向底端前進(jìn)2個(gè)序號(hào)，對(duì)新水平行進(jìn)行指定這種處理。
下一步驟S70中，CPU2判斷上述步驟S69指定的水平行序號(hào)是否是底端。而且，CPU2當(dāng)判斷所指定的水平行為底端時(shí)便結(jié)束處理，而判斷所指定的水平行并非為底端時(shí)則返回步驟S59，對(duì)所指定的水平行進(jìn)行上述步驟S42～步驟S68所示的處理。也就是說(shuō)，CPU2通過(guò)進(jìn)行步驟S58～步驟S70的處理，便在幀圖像垂直方向上從序號(hào)“0”的水平行至底端水平行每隔2個(gè)序號(hào)進(jìn)行上述步驟S59～步驟S68所示的處理。
上述第三實(shí)施例的運(yùn)動(dòng)向量檢測(cè)裝置1，通過(guò)執(zhí)行步驟S41～步驟S57所示的處理，對(duì)所指定的水平行當(dāng)中沿水平方向排列的全部宏塊進(jìn)行運(yùn)動(dòng)向量檢測(cè)，通過(guò)執(zhí)行步驟S58～步驟S70所示的處理，便指定非上述步驟S41～步驟S57處理對(duì)象的水平行，用垂直方向上相鄰的宏塊檢測(cè)運(yùn)動(dòng)向量，這樣對(duì)構(gòu)成幀圖像的全部宏塊進(jìn)行運(yùn)動(dòng)向量檢測(cè)。
所以，利用第三實(shí)施例運(yùn)動(dòng)向量檢測(cè)裝置1的話，通過(guò)進(jìn)行步驟S43所示的處理，對(duì)構(gòu)成幀圖像的部分宏塊在規(guī)定像素規(guī)模的探索區(qū)域內(nèi)進(jìn)行塊匹配，來(lái)進(jìn)行運(yùn)動(dòng)向量的檢測(cè)處理，對(duì)于其他宏塊，則通過(guò)參照相鄰的宏塊運(yùn)動(dòng)向量，在像素規(guī)模比上述規(guī)定像素規(guī)模小的探索區(qū)域內(nèi)進(jìn)行塊匹配，對(duì)運(yùn)動(dòng)向量進(jìn)行檢測(cè)，因而，與對(duì)于構(gòu)成幀圖像的全部宏塊預(yù)先設(shè)定的規(guī)定像素規(guī)模的探索區(qū)域中進(jìn)行塊匹配來(lái)進(jìn)行運(yùn)動(dòng)向量檢測(cè)的情況相比，可縮小探索區(qū)域，可以減少進(jìn)行塊匹配的次數(shù)。所以，利用第三實(shí)施例運(yùn)動(dòng)向量檢測(cè)裝置1的話，可以大幅縮短進(jìn)行運(yùn)動(dòng)向量檢測(cè)所需的處理時(shí)間。具體來(lái)說(shuō)，第三實(shí)施例運(yùn)動(dòng)向量檢測(cè)裝置1將上述步驟S43中搜索范圍R設(shè)定為32×32像素，而將參照相鄰的宏塊運(yùn)動(dòng)向量時(shí)的上述搜索范圍r設(shè)定為6×6像素時(shí)，可以將對(duì)構(gòu)成幀圖像的全部宏塊進(jìn)行運(yùn)動(dòng)向量檢測(cè)所需的處理時(shí)間縮短為1/100。
而且，利用第三實(shí)施例運(yùn)動(dòng)向量檢測(cè)裝置1的話，通過(guò)進(jìn)行步驟S49和步驟S50所示處理，對(duì)進(jìn)行運(yùn)動(dòng)向量檢測(cè)的宏塊相鄰的宏塊運(yùn)動(dòng)向量其指示方向進(jìn)行判斷，根據(jù)各運(yùn)動(dòng)向量所指示方向使設(shè)定的探索范圍變動(dòng)，因而，相鄰宏塊運(yùn)動(dòng)向量即便指示不同方向，也可以進(jìn)行高精度的運(yùn)動(dòng)向量檢測(cè)。
另外，上述第一～第三實(shí)施例的運(yùn)動(dòng)向量檢測(cè)裝置，可以僅進(jìn)行上述第一～第三實(shí)施例中說(shuō)明的處理，此外，也可以進(jìn)行組合處理設(shè)定探索區(qū)域來(lái)進(jìn)行運(yùn)動(dòng)向量檢測(cè)。由此，運(yùn)動(dòng)向量檢測(cè)裝置可進(jìn)一步減少運(yùn)動(dòng)向量檢測(cè)的運(yùn)算量。
工業(yè)實(shí)用性綜上所述，本發(fā)明第一目的的運(yùn)動(dòng)向量檢測(cè)方法和裝置，通過(guò)將參照的場(chǎng)圖像和第三場(chǎng)圖像之間的場(chǎng)間距離同上述第一場(chǎng)圖像和第二場(chǎng)圖像之間的場(chǎng)間距離作比較，來(lái)運(yùn)算對(duì)第三場(chǎng)圖像進(jìn)行運(yùn)動(dòng)向量檢測(cè)時(shí)的探索區(qū)域，因而可以使針對(duì)第三場(chǎng)圖像求運(yùn)動(dòng)向量時(shí)的探索區(qū)域其規(guī)模變化。所以，利用本運(yùn)動(dòng)向量檢測(cè)方法和裝置的話，可以利用運(yùn)動(dòng)向量中前場(chǎng)圖像和后場(chǎng)圖像之間相關(guān)度高這一點(diǎn)，來(lái)設(shè)定規(guī)模小的探索區(qū)域。因而，按照本運(yùn)動(dòng)向量檢測(cè)方法和裝置，可通過(guò)縮小進(jìn)行運(yùn)動(dòng)向量檢測(cè)時(shí)進(jìn)行塊匹配的探索區(qū)域，來(lái)減少進(jìn)行塊匹配的次數(shù)，可以減少處理時(shí)間。
而本發(fā)明第二目的的運(yùn)動(dòng)向量檢測(cè)方法和裝置，確定與基準(zhǔn)幀在時(shí)間或空間上接近的參照幀所包含的參照塊中表示運(yùn)動(dòng)向量的點(diǎn)為中心的第一探索區(qū)域，確定根據(jù)幀間距離使上述參照塊運(yùn)動(dòng)向量延長(zhǎng)的點(diǎn)為中心的第二探索區(qū)域，在包含上述第一探索區(qū)域和第二探索區(qū)域的運(yùn)動(dòng)向量探索區(qū)域內(nèi)，對(duì)基準(zhǔn)塊進(jìn)行運(yùn)動(dòng)向量檢測(cè)，因此可以根據(jù)參照塊運(yùn)動(dòng)向量使運(yùn)動(dòng)向量探索區(qū)域變形對(duì)運(yùn)動(dòng)向量進(jìn)行檢測(cè)。所以，利用本運(yùn)動(dòng)向量檢測(cè)方法和裝置的話，與對(duì)運(yùn)動(dòng)向量進(jìn)行探索的區(qū)域固定的場(chǎng)合相比，可縮小運(yùn)動(dòng)向量探索區(qū)域，可減少對(duì)運(yùn)動(dòng)向量進(jìn)行檢測(cè)而進(jìn)行塊匹配的次數(shù)，可減少運(yùn)算量。
此外，本發(fā)明第三目的的運(yùn)動(dòng)向量檢測(cè)方法和裝置，根據(jù)針對(duì)與第二塊在水平方向或垂直方向兩側(cè)相鄰的第一塊的運(yùn)動(dòng)向量，設(shè)定對(duì)第二塊進(jìn)行運(yùn)動(dòng)向量檢測(cè)時(shí)的第二探索區(qū)域，在第二探索區(qū)域中進(jìn)行塊匹配來(lái)檢測(cè)針對(duì)第二塊的運(yùn)動(dòng)向量，因此，可在像素規(guī)模與對(duì)第一塊進(jìn)行運(yùn)動(dòng)向量檢測(cè)時(shí)的探索區(qū)域不同的第二探索區(qū)域中，進(jìn)行塊匹配來(lái)對(duì)第二塊進(jìn)行運(yùn)動(dòng)向量檢測(cè)。所以，按照本運(yùn)動(dòng)向量檢測(cè)方法和裝置，可以根據(jù)針對(duì)第二塊所相鄰的第一塊的運(yùn)動(dòng)向量，使第二探索區(qū)域與第一探索區(qū)域相比形成為較小像素規(guī)模，可通過(guò)減少進(jìn)行運(yùn)動(dòng)向量檢測(cè)時(shí)進(jìn)行塊匹配的次數(shù)，來(lái)實(shí)現(xiàn)運(yùn)動(dòng)向量檢測(cè)時(shí)運(yùn)算量的減少和處理時(shí)間的縮短。
權(quán)利要求
1.一種運(yùn)動(dòng)向量檢測(cè)方法，對(duì)多個(gè)塊組成的圖像進(jìn)行運(yùn)動(dòng)向量檢測(cè)，其特征在于，在第一探索區(qū)域中對(duì)第一塊進(jìn)行運(yùn)動(dòng)向量檢測(cè)；根據(jù)針對(duì)與所述第二塊在水平方向或垂直方向兩側(cè)相鄰的所述第一塊的運(yùn)動(dòng)向量，設(shè)定對(duì)第二塊進(jìn)行運(yùn)動(dòng)向量檢測(cè)時(shí)的第二探索區(qū)域；在所述第二探索區(qū)域中進(jìn)行塊匹配來(lái)檢測(cè)針對(duì)所述第二塊的運(yùn)動(dòng)向量。
2.如權(quán)利要求l所述的運(yùn)動(dòng)向量檢測(cè)方法，其特征在于，判定針對(duì)與所述第二塊在水平方向或垂直方向兩側(cè)相鄰的所述第一塊的各運(yùn)動(dòng)向量其指示方向，根據(jù)所述各運(yùn)動(dòng)向量其指示方向，設(shè)定第二探索區(qū)域。
3.如權(quán)利要求2所述的運(yùn)動(dòng)向量檢測(cè)方法，其特征在于，針對(duì)與所述第二塊在水平方向或垂直方向兩側(cè)相鄰的所述第一塊的各運(yùn)動(dòng)向量其指示方向?yàn)榇笾孪嗤较驎r(shí)，運(yùn)算各運(yùn)動(dòng)向量的平均來(lái)設(shè)定所述第二探索區(qū)域。
4.如權(quán)利要求2所述的運(yùn)動(dòng)向量檢測(cè)方法，其特征在于，針對(duì)與所述第二塊在水平方向或垂直方向兩側(cè)相鄰的所述第一塊的各運(yùn)動(dòng)向量其指示方向?yàn)椴煌较驎r(shí)，按各運(yùn)動(dòng)向量的指示方向來(lái)設(shè)定所述第二探索區(qū)域。
5.一種運(yùn)動(dòng)向量檢測(cè)裝置，對(duì)多個(gè)塊組成的圖像進(jìn)行運(yùn)動(dòng)向量檢測(cè)，其特征在于，包括在第一探索區(qū)域中對(duì)第一塊進(jìn)行運(yùn)動(dòng)向量檢測(cè)的第一運(yùn)動(dòng)向量檢測(cè)手段；探索區(qū)域設(shè)定手段，根據(jù)針對(duì)與所述第二塊在水平方向或垂直方向兩側(cè)相鄰、所述第一運(yùn)動(dòng)向量檢測(cè)手段檢測(cè)出的第一塊的運(yùn)動(dòng)向量，設(shè)定對(duì)第二塊進(jìn)行運(yùn)動(dòng)向量檢測(cè)時(shí)的第二探索區(qū)域；和在所述第二探索區(qū)域中進(jìn)行塊匹配來(lái)檢測(cè)針對(duì)所述第二塊運(yùn)動(dòng)向量的第二運(yùn)動(dòng)向量檢測(cè)手段。
6.如權(quán)利要求5所述的運(yùn)動(dòng)向量檢測(cè)裝置，其特征在于，所述探索區(qū)域設(shè)定手段，判定針對(duì)與所述第二塊在水平方向或垂直方向兩側(cè)相鄰的所述第一塊的各運(yùn)動(dòng)向量其指示方向，根據(jù)所述各運(yùn)動(dòng)向量其指示方向，設(shè)定第二探索區(qū)域。
7.如權(quán)利要求6所述的運(yùn)動(dòng)向量檢測(cè)裝置，其特征在于，所述探索區(qū)域設(shè)定手段，針對(duì)與所述第二塊在水平方向或垂直方向兩側(cè)相鄰的所述第一塊的各運(yùn)動(dòng)向量其指示方向?yàn)榇笾孪嗤较驎r(shí)，運(yùn)算各運(yùn)動(dòng)向量的平均來(lái)設(shè)定所述第二探索區(qū)域。
8.如權(quán)利要求6所述的運(yùn)動(dòng)向量檢測(cè)裝置，其特征在于，所述探索區(qū)域設(shè)定手段，針對(duì)與所述第二塊在水平方向或垂直方向兩側(cè)相鄰的所述第一塊的各運(yùn)動(dòng)向量其指示方向?yàn)椴煌较驎r(shí)，按各運(yùn)動(dòng)向量的指示方向來(lái)設(shè)定所述第二探索區(qū)域。
全文摘要
依據(jù)MPEG(活動(dòng)圖像編碼專家組)進(jìn)行圖像編碼處理時(shí)所用的運(yùn)動(dòng)向量檢測(cè)時(shí)，對(duì)利用場(chǎng)圖像和幀圖像之間的相關(guān)、各圖像的圖像間距離的相關(guān)、圖像內(nèi)像素塊的相關(guān)等檢測(cè)運(yùn)動(dòng)向量時(shí)的探索區(qū)域進(jìn)行運(yùn)算，在該探索區(qū)域內(nèi)進(jìn)行運(yùn)動(dòng)向量的檢測(cè)，來(lái)減少運(yùn)算量。
文檔編號(hào)H04N7/36GK1496128SQ0315304
公開(kāi)日2004年5月12日 申請(qǐng)日期1999年10月18日 優(yōu)先權(quán)日1998年10月22日
發(fā)明者安藤裕司 申請(qǐng)人:索尼株式會(huì)社