專利名稱：高效的移動向量檢測的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及在兩個(gè)圖像之間的移動向量的檢測，更具體地講是指移動向量的高效檢測。
使用移動向量檢測的系統(tǒng)的一個(gè)實(shí)例是根據(jù)電影畫面編碼專家組(MPEG)標(biāo)準(zhǔn)所提出的系統(tǒng)，其涉及對移動圖像的高效壓縮編碼。在MPEG標(biāo)準(zhǔn)中，利用離散余弦變換(DCT)和具有移動補(bǔ)償?shù)念A(yù)測編碼對一個(gè)圖像進(jìn)行編碼。在移動補(bǔ)償過程中要使用移動向量。


圖1表示根據(jù)MPEG標(biāo)準(zhǔn)提出的一種裝置的實(shí)例。圖像數(shù)據(jù)也稱像素?cái)?shù)據(jù)提供到輸入端201，該輸入端將圖像數(shù)據(jù)加到移動向量檢測電路202和減法電路203。
移動向量檢測電路202產(chǎn)生一些現(xiàn)時(shí)幀相對于參照幀的移動向量并將這些移動向量提供給移動補(bǔ)償電路204，該移動補(bǔ)償電路將各移動向量與來自幀存儲器205中所存儲的參照幀相作用，以便產(chǎn)生移動補(bǔ)償?shù)膱D像數(shù)據(jù)。即電路204利用來自電路202的移動向量對從幀存儲器205讀取的參照幀進(jìn)行移動補(bǔ)償。電路204將已移動補(bǔ)償?shù)膱D像數(shù)據(jù)提供給減法電路203和加法電路206。
減法電路203的功能是從由輸入端201提供的現(xiàn)時(shí)幀的圖像數(shù)據(jù)減去參照幀的已移動補(bǔ)償?shù)膱D像數(shù)據(jù)以便產(chǎn)生差分?jǐn)?shù)據(jù)，并將得到的差分?jǐn)?shù)據(jù)提供到DCT電路207。
DCT電路將該差分?jǐn)?shù)據(jù)變換產(chǎn)生系數(shù)數(shù)據(jù)，并將該系數(shù)數(shù)據(jù)提供給量化器208，量化器的功能是對系數(shù)數(shù)據(jù)進(jìn)行量化并將經(jīng)量化的數(shù)據(jù)提供到輸出端209和逆量化器210。
逆量化器210對提供給它的經(jīng)量化的數(shù)據(jù)進(jìn)行逆量化以便產(chǎn)生被復(fù)原的系數(shù)數(shù)據(jù)并將該復(fù)原的系數(shù)數(shù)據(jù)提供到逆DCT電路211，該電路211對被復(fù)原的系數(shù)數(shù)據(jù)進(jìn)行逆變換，以便產(chǎn)生被復(fù)原的差分?jǐn)?shù)據(jù)，并將被復(fù)原的差分?jǐn)?shù)據(jù)提供到加法電路206。加法電路206將參照幀的已移動補(bǔ)償?shù)膱D像數(shù)據(jù)與被復(fù)原的差分?jǐn)?shù)據(jù)相加，以便產(chǎn)生該現(xiàn)時(shí)幀的預(yù)測圖像數(shù)據(jù)，并將該預(yù)計(jì)的現(xiàn)時(shí)幀圖像數(shù)據(jù)提供到幀存儲器205，該存儲器將該預(yù)計(jì)的現(xiàn)時(shí)幀圖像數(shù)據(jù)作為下一參照幀而存儲起來。
下面介紹用于產(chǎn)生移動向量的三種常規(guī)方法。通常選擇現(xiàn)時(shí)幀的一部分或一方塊并確定參照幀中最接近疊合的方塊。對于現(xiàn)時(shí)幀的該方塊的移動向量是介于現(xiàn)時(shí)幀的該方塊的座標(biāo)與參照幀的最接近疊合的方塊的座標(biāo)之間的差值。移動向量檢測電路202可以使用三種常規(guī)方法中的任何一種，本文將這種方法稱為全域掃描法、多步法和內(nèi)插法。全域掃描法和多步法產(chǎn)生的移動矢量具有的分辨力為一個(gè)像素。
下面解釋產(chǎn)生移動向量的全域掃描法。
圖2表示有現(xiàn)時(shí)幀221和參照幀222?，F(xiàn)時(shí)幀221如圖所示包含一個(gè)參照方塊223。參照幀222如圖所示包含一個(gè)校驗(yàn)方塊224。校驗(yàn)方塊224在一個(gè)預(yù)定的掃描范圍內(nèi)移動，并且對在該預(yù)定掃描范圍中校驗(yàn)方塊224的每一個(gè)位置上，檢測參照方塊223和校驗(yàn)方塊224之間的疊合程度。當(dāng)在某位置處相對于參照方塊該校驗(yàn)方塊具有最好的疊合度，就限定了一個(gè)疊合的方塊，并且設(shè)定對該參照方塊的移動向量，以便指示該疊合的方塊。
圖3表示利用全域掃描法獲得各移動向量的常規(guī)移動向量檢測裝置的一個(gè)實(shí)例?，F(xiàn)時(shí)幀的圖像數(shù)據(jù)提供到輸入端233，該輸入端將現(xiàn)時(shí)幀圖像數(shù)據(jù)送到現(xiàn)時(shí)幀存儲器231。參照幀的圖像數(shù)據(jù)提供到輸入端234，該輸入端將參照幀圖像數(shù)據(jù)送到參照幀存儲器232?？刂破?35控制現(xiàn)時(shí)幀存儲器231和參照幀存儲器232的讀取。
現(xiàn)時(shí)幀的參照方塊的像素?cái)?shù)據(jù)從現(xiàn)時(shí)幀存儲器231讀取。參照幀的校驗(yàn)方塊的像素?cái)?shù)據(jù)從參照幀存儲器232讀取。地址移動電路236產(chǎn)生用于讀取校驗(yàn)方塊像素?cái)?shù)據(jù)的地址數(shù)據(jù)，使得校驗(yàn)方塊在預(yù)定的向量掃描范圍內(nèi)按一個(gè)像素接一個(gè)像素地移動。
圖4表示正在預(yù)定的向量掃描范圍SV之內(nèi)移動的一個(gè)校驗(yàn)方塊241。起初，該校驗(yàn)方塊位于在掃描范圍的左上角，并且得到各差值之和，如下文所介紹。然后，校驗(yàn)方塊向右按一個(gè)像素移動，并得到各差值之和。校驗(yàn)方塊再次向右按一個(gè)像素移動并得一個(gè)和，直到它已經(jīng)到達(dá)掃描范圍的最右邊界。然后，校驗(yàn)方塊定位到掃描范圍的左上角，向下移動一個(gè)像素并得到一個(gè)和。校驗(yàn)方塊向右移動一個(gè)像素并在該位置處得到一個(gè)和，直到它已到達(dá)掃描范圍的最右邊界。按驗(yàn)方塊再次移動到最左邊界，但是從左上角向下二個(gè)像素并得到一個(gè)和。這個(gè)程序重復(fù)進(jìn)行，直到校驗(yàn)方塊已經(jīng)遍及整個(gè)掃描范圍。
參照方塊像素?cái)?shù)據(jù)和校驗(yàn)方塊素?cái)?shù)據(jù)被提供到差分電路237，其將這些數(shù)據(jù)相減并向絕對值加法電路238提供所形成的差值。絕對值加法電路238對在參照方塊中的每一個(gè)像素位置累積各差值，作為各差值的絕對值之和，并將該和提供到判別電路239。即在預(yù)定掃描范圍SV中的校驗(yàn)方塊的每一個(gè)位置處，加法電路238得到一個(gè)各差值的和。
各差值之和可以用如下方程表示E =Σi = 1M X N( W i x ｜ A i - B i ｜ ) ( 方程1 )]]>其中(MXN)代表每個(gè)參照方塊和校驗(yàn)方塊的尺寸，Ai代表參照方塊的各像素，Bi代表校驗(yàn)方塊的各像素。Wi代表加權(quán)系數(shù)。
另一方面，代替差值的絕對值，可以在方程式1中使用差值的平方值。
判別電路239選擇一個(gè)對應(yīng)于各差值的最小之和的校驗(yàn)方塊位置作為疊合的方塊，計(jì)算在參照方塊和疊合方塊之間的移動向量并將該移動向量提供到輸出端240。
因?yàn)槿驋呙璺ǖ倪M(jìn)行是通過使校驗(yàn)方塊在預(yù)定的掃描范圍內(nèi)按單個(gè)像素移動，需要大量的計(jì)算，以便利用這一方法得到一個(gè)移動向量。然而，這一方法總能在預(yù)定掃描范圍內(nèi)找到最佳的疊合方塊。
下面解釋產(chǎn)生移動向量的多步法。
多步法的第一步的進(jìn)行是以和全域掃描法一樣的方式，除去校驗(yàn)方塊按照(i)個(gè)像素移動，i＞1，而不是按照一個(gè)素以外。多步法的每一個(gè)接續(xù)的步驟以和全域掃描法一樣的方式進(jìn)行，具有的分辨力變得更細(xì)，掃描范圍更小以及集中在由先前步驟所得到的最佳疊合方塊上，直到多步法的最后一步，校驗(yàn)方塊按照一個(gè)像素移動遍及最終的掃描范圍，該掃描范圍要比原來的掃描范圍小。
圖5表示利用多步法獲得各移動向量的常規(guī)移動向量檢測裝置的一個(gè)實(shí)例。將現(xiàn)時(shí)幀的圖像數(shù)據(jù)提供到輸入端253，其將現(xiàn)時(shí)幀圖像數(shù)據(jù)送到現(xiàn)時(shí)幀存儲器251。將參照幀的圖像數(shù)據(jù)提供到輸入端254，其將參照幀圖像數(shù)據(jù)送到參照幀存儲器252?？刂破?55控制現(xiàn)時(shí)幀存儲器251和參照幀存儲器252的讀寫。
現(xiàn)時(shí)幀的參照方塊的像素?cái)?shù)據(jù)從現(xiàn)時(shí)幀存儲器251讀取。參照幀的校驗(yàn)方塊的像素?cái)?shù)據(jù)從參照幀存儲器252讀取。地址移動電路256A產(chǎn)生用于讀取校驗(yàn)方塊像素?cái)?shù)據(jù)的地址數(shù)據(jù)，使得在預(yù)定的向量掃描范圍內(nèi)，在每次讀取時(shí)，在第一步校驗(yàn)方塊例如按照兩個(gè)像素移動。
將參照方塊像素?cái)?shù)據(jù)和校驗(yàn)方塊像素?cái)?shù)據(jù)提供到差分電路257，該電路將這些數(shù)據(jù)相減并將所形成的差值加到絕對值加法電路258。絕對值加法電路258對在參照方塊中的每一個(gè)像素位置，累積各差值作為各差值絕對值之和，并將該和提供給差別電路259。
差別電路259選擇對應(yīng)于各差值的最小之和的校驗(yàn)方塊位置作為對該第一步的疊合方塊，計(jì)算在參照方塊和疊合方塊之間的粗略移動向量。
然后在第二步，再次從參照幀存儲器25升讀取校驗(yàn)方塊像素?cái)?shù)據(jù)，不過讀出是受地址移動電路256B控制的，使得校驗(yàn)方塊在集中在由第一步得到的最佳疊合方塊的掃描范圍內(nèi)按單個(gè)像素移動。判別電路259選擇對應(yīng)于各差值的最小之和的校驗(yàn)方塊位置作為對該第二步的疊合方塊，計(jì)算在參照方塊和疊合方塊之間的精細(xì)向量并將該精細(xì)向量提供給輸出端260。
圖6表示在預(yù)定的向量掃描范圍SV之間，按照每(i)個(gè)像素(例如，兩個(gè)像素)移動的校驗(yàn)方塊261。在下一步，校驗(yàn)方塊在圍繞著從第一步所得到的最佳疊合方塊的一個(gè)位置處按照每個(gè)像素移動。多步法可以使用三步或其以上。例如，在第一步，校驗(yàn)方塊可以移動經(jīng)過4個(gè)像素，第二步，校驗(yàn)方塊移動經(jīng)過兩個(gè)像素，在第三步，校驗(yàn)方塊移動經(jīng)過一個(gè)像素。
多步法比全域掃描法需要較少的計(jì)算，但是不可能在預(yù)定的掃描范圍內(nèi)找到最佳疊合方塊。特別是，當(dāng)在第一步得到的粗略移動向量是錯(cuò)誤的，就不可能得到正確的移動向量。
已經(jīng)有人提出，在該第一步，將方塊的尺寸(N×M)放大為(2N×2M)，二次取樣以便產(chǎn)生一個(gè)尺寸為(N×M)的方塊，并且在二次取樣的掃描范圍內(nèi)移動校驗(yàn)方塊，以便得到粗略移動向量。然而，這種方法也不能夠在原有的預(yù)定掃描范圍內(nèi)找到最佳移動向量。
下面介紹產(chǎn)生移動向量的內(nèi)插法。
以和全域掃描法一樣的方式進(jìn)行內(nèi)插法，除去參照幀的各像素是內(nèi)插的以及校驗(yàn)方塊按照內(nèi)插的分辨力移動。例如，內(nèi)插的像素可以在參照幀的掃描范圍內(nèi)的每對像素之間得到，以及校驗(yàn)方塊可以按照一半原有像素分辨力移動(內(nèi)插的分辨力的一個(gè)像素)。
圖7表示這樣一種常規(guī)移動向量檢測裝置的一個(gè)實(shí)施，該裝置利用內(nèi)插法得到的移動向量其精度優(yōu)于一個(gè)像素。現(xiàn)時(shí)幀的圖像數(shù)據(jù)提供到輸入端273，其將現(xiàn)時(shí)幀圖像數(shù)據(jù)送到現(xiàn)時(shí)幀存儲器271。參照幀的圖像數(shù)據(jù)提供到輸入端274，其將參照幀圖像數(shù)據(jù)送到參照幀存儲器272?？刂破?75控制現(xiàn)時(shí)幀存儲器271和參照幀272存儲器的讀寫。
現(xiàn)時(shí)幀的參照方塊的像素?cái)?shù)據(jù)由現(xiàn)時(shí)幀存儲器271讀取。
從參照幀存儲器272讀取的數(shù)據(jù)加到內(nèi)插電路281，該電路對相鄰的讀出像素也稱為原有像素實(shí)行內(nèi)插，以便在原有像素之間形成內(nèi)插的像素。讀出的和內(nèi)插的像素?cái)?shù)據(jù)形成校驗(yàn)方塊的像素?cái)?shù)據(jù)。
圖8表示從存儲器272所讀取的像素?cái)?shù)據(jù)用涂滿的圓圈(●)表示。由兩個(gè)原有的像素形成的內(nèi)插數(shù)據(jù)用“×”(×)表示。由四個(gè)原有數(shù)據(jù)形成的內(nèi)插數(shù)據(jù)用空的圓圈(○)表示。例如，內(nèi)插的像素?cái)?shù)據(jù)H-1/2.0由下式得到H-1/2.0＝(D-1，0+Do，o)/2 (方程2)內(nèi)插的像素?cái)?shù)據(jù)H-1/2′-1/2由下式得到H-1/2，-1/2＝(D-1，-1+Do，-1+D0，0+D-1，0)/4(方程3)將參照方塊像素?cái)?shù)據(jù)和校驗(yàn)方塊像素?cái)?shù)據(jù)提供到差分電路277，該電路將這些數(shù)據(jù)相減并將所形成的差值提供到絕對值求和電路278。絕對值加法電路278累積各差值作為對于在參照方塊中的每個(gè)像素位置上的各差值的絕對值之和，并將該和提供到判別電路279。
判別電路279選擇一個(gè)對應(yīng)于各差值的最小之和的校驗(yàn)方塊位置作為疊合的方塊，計(jì)算在參照方塊和疊合方塊之間的移動向量，并將該移動向量提供到輸出280。因?yàn)樾ｒ?yàn)方塊包含在各參照幀像素之間的半程內(nèi)插像素，移動向量具有的精度為半個(gè)像素，即分辨力優(yōu)于一個(gè)像素。
內(nèi)插法產(chǎn)生的移動向量的分辨力高于全域掃描法，但是比全域掃描法需要更多的計(jì)算。
在上述的檢測移動向量的各方法中，所需的計(jì)算量都是很大的。因此，應(yīng)用這些方法中的任何一種方法的裝置都需要大量的硬件、占用長的時(shí)間來運(yùn)作以及建造費(fèi)用大。
已經(jīng)有人提出一種裝置，在該裝置中，沿兩個(gè)方塊的水平方向和豎直方向的伸展是獨(dú)立進(jìn)行的，移動向量的檢測沿水平和豎直方向是獨(dú)立進(jìn)行的。然而，沿水平方向的伸展和沿豎直方向的伸展獨(dú)立地應(yīng)用在這個(gè)所提方法中，它的移動向量檢測精度不佳。
因此，本發(fā)明的一個(gè)目的是提供一種用于檢測移動向量的方法和裝置，它們避免了上述先有技術(shù)的缺點(diǎn)。
本發(fā)明的另一個(gè)目的是更有效的檢測移動向量，同時(shí)沒有降低檢測精度。
本發(fā)明的再一個(gè)目的是利用簡化的電路裝置檢測移動向量。
本發(fā)明的再一個(gè)目的是減少進(jìn)行檢測向量所需的計(jì)算量。
根據(jù)本發(fā)明的一個(gè)方面，用于檢測移動向量的方法和裝置存儲和讀出具有第一尺寸的參照方塊并且所讀出的參照方塊分成第一組小方塊。具有至少像第一尺寸一樣大的第二尺寸的掃描范圍被存儲，所存儲的掃描范圍的一部分響應(yīng)于一個(gè)控制信號而被讀出作為具有第一尺寸的校驗(yàn)方塊，該控制信號指示所存儲的掃描范圍的各不同的部分。讀出的校驗(yàn)方塊分成第二組小方塊，它們和第一組小方塊相比較，以便確定從掃描范圍讀出的哪一個(gè)校驗(yàn)方塊最佳疊合參照方塊，并在產(chǎn)生參照方塊和最佳疊合的校驗(yàn)方塊之間移動向量。
第一和第二組小方塊至少沿兩個(gè)方向形成。沿第一方向由讀出的參照方塊所分成的小方塊與沿第一方向由讀出的校驗(yàn)方塊所分成的小方塊進(jìn)行比較。沿第二方向由讀出的參照方塊所分成的小方塊與沿第二方向由讀出的校驗(yàn)方塊所分成的小方塊進(jìn)行比較。
對于在第一組和第二組小方塊中的每一個(gè)小方塊產(chǎn)生至少一個(gè)特征值。將第一組和第二組小方塊的各特征值進(jìn)行比較。
當(dāng)?shù)谝唤M和第二組小方塊沿至少兩個(gè)方向形成時(shí)，以及對于沿第一和第二方向中的每一個(gè)方向形成的每一個(gè)小方塊至少產(chǎn)生一個(gè)特征值時(shí)，那么，將沿第一方向由讀出的參照方塊所分成的小方塊與沿第一方向由讀出的校驗(yàn)方塊所分成的小方塊相比較，將沿第二方向由讀出的參照方塊分成的小方塊與沿第二方向由讀出的校驗(yàn)方塊分成的小方塊相比較。
因此，在檢測移動向量過程中使用的計(jì)算量可以減少，同時(shí)基本上沒有降低移動向量的檢測精度。
在根據(jù)本發(fā)明的多步法中，掃描范圍的各粗略部分分別相差至少兩個(gè)像素，并且根據(jù)由掃描范圍的各粗略部分讀出的各校驗(yàn)方塊產(chǎn)生一個(gè)粗略移動向量。掃描范圍的次分組的各粗細(xì)部分分別相差一個(gè)像素，并且根據(jù)由掃描范圍的次分組的各粗細(xì)部分讀出的各校驗(yàn)方塊產(chǎn)生一個(gè)精細(xì)移動向量。
在根據(jù)本發(fā)明的內(nèi)插法中，對由存儲的掃描范圍讀出的像素進(jìn)行內(nèi)插以便產(chǎn)生內(nèi)插的像素，掃描范圍被分成第二組小方塊，使得移動向量具有的分辨力優(yōu)于一個(gè)像素。
根據(jù)本發(fā)明的另一個(gè)方面，用于檢測移動向量的方法和裝置存儲和讀出具有第一尺寸的參照方塊，并產(chǎn)生至少一個(gè)表示讀出的參照方塊的第一特征值。具有至少與第一尺寸一樣大的第二尺寸的掃描范圍被存儲起來，并且響應(yīng)于一個(gè)控制信號讀出存儲的掃描范圍的一部分作為具有第一尺寸的校驗(yàn)方塊，該控制信號指示所存儲的掃描范圍的各不同部分。產(chǎn)生至少一個(gè)代表讀出的校驗(yàn)方塊的第二特征值，并與至少一個(gè)第一特征值比較，以便判定哪一個(gè)由掃描范圍讀出的校驗(yàn)方塊最疊合該參照方塊，以及在參照方塊和最佳疊合校驗(yàn)方塊之間產(chǎn)生一個(gè)移動向量。
根據(jù)本發(fā)明的再一個(gè)方面，用于檢測移動向量的方法和裝置存儲和讀出第一和第二參照方塊，并分別產(chǎn)生代表讀出的第一和第二參照方塊的至少一個(gè)第一特征值和至少一個(gè)第二特征值。存儲第一和第二掃描范圍，讀出第一和第二掃描范圍其中之一的一部分，以及產(chǎn)生至少一個(gè)代表各掃描范圍的讀出部分的第三特征值。至少一個(gè)第一和第三特征值相比較，產(chǎn)生一個(gè)作為該比較結(jié)果函數(shù)的第一移動向量。至少一個(gè)第二和第三特征值相比較，產(chǎn)生一個(gè)作為該比較結(jié)果函數(shù)的第二移動向量。
當(dāng)結(jié)合附圖閱讀對本發(fā)明的各優(yōu)選實(shí)施例的如下詳細(xì)介紹時(shí)本發(fā)明的上述目的和其它目的、特征和優(yōu)點(diǎn)將變得很明顯，在各附圖中各對應(yīng)部分用相同的參考數(shù)碼來標(biāo)識。
圖1是采用移動補(bǔ)償?shù)某Ｒ?guī)預(yù)測編碼裝置的方塊圖;
圖2是表示在圖1所示裝置所采用的參照幀、現(xiàn)時(shí)幀、校驗(yàn)方塊和參照方塊之間的相互關(guān)系的示意圖;
圖3是利用常規(guī)全域掃描法的移動向量檢測裝置的方塊圖;
圖4是-示意圖，作為參考解釋圖3中所示裝置;
圖5是利用常規(guī)多步法的移動向量檢測裝置的方塊圖;
圖6是-示意圖，作為參考解釋圖5中所示的裝置;
圖7是用于高精度地檢測移動矢量的、利用常規(guī)內(nèi)插法的移動向量檢測裝置的方塊圖;
圖8是介紹內(nèi)插像素的示意圖;
圖9是根據(jù)本發(fā)明的移動向量檢測裝置的方塊圖;
圖10是表示在圖9所示裝置所采用的參照幀、現(xiàn)時(shí)幀、校驗(yàn)方塊、參照方塊之間相互關(guān)系的示意圖;
圖11A和11B是表示一個(gè)參照方塊的、分別沿水平和豎直方向的小方塊的示意圖;
圖12A和12B是表示一個(gè)校驗(yàn)方塊的、分別沿水平和豎直方向的小方塊的示意圖;
圖13A和13B是介紹一個(gè)方塊和它細(xì)分為小方塊的網(wǎng)格的示意圖;
圖14是根據(jù)本發(fā)明的另一種移動向量檢測裝置的方塊圖;
圖15是介紹沿豎直和水平方向?qū)⒄辗綁K細(xì)分為小方塊的示意圖;
圖16是介紹沿豎直和水平方向?qū)⑿ｒ?yàn)方塊細(xì)分為小方塊的示意圖;
圖17是根據(jù)本發(fā)明的用于一個(gè)參照方塊的特征提取電路的方塊圖;
圖18是根據(jù)本發(fā)明的用于校驗(yàn)方塊的特征提取電路的方塊圖;
圖19是介紹校驗(yàn)方塊移動的示意圖;
圖20是根據(jù)本發(fā)明的另外一種移動向量檢測裝置的方塊圖;
圖21是介紹對于一系列的參照方塊的預(yù)定向量掃描范圍的方塊圖;
圖22A和22B是示意圖，作為參考解釋圖20所示裝置的工作;
圖23A和23B是介紹沿兩個(gè)傾斜方向?qū)⒁粋€(gè)方塊細(xì)分為各小方塊的示意圖;
圖24是根據(jù)本發(fā)明的另一種移動向量檢測裝置的方塊圖;
圖25A至25C是示意圖，介紹沿水平方向?qū)⒁粋€(gè)方塊細(xì)分為小方塊以及根據(jù)本發(fā)明的多步法，將小方塊細(xì)分為更小的方塊;
圖26A至26C是示意圖，介紹沿豎直方向?qū)⒁粋€(gè)方塊細(xì)分為小方塊以及根據(jù)本發(fā)明的多步法，將小方塊細(xì)分為更小的方塊;
圖27A至27C表示用于獲得根據(jù)本發(fā)明的移動向量的多步法的第一步;
圖28A至28C表示用于獲得根據(jù)本發(fā)明的移動向量的多步法的第二步;
圖29是根據(jù)本發(fā)明的再一種移動向量檢測裝置的方塊圖;以及圖30是根據(jù)本發(fā)明的再一種移動向量檢測裝置的方塊圖。
根據(jù)本發(fā)明，為了高效地檢測移動向量，圖像的每一個(gè)方塊被分成更小的方塊并獲得一個(gè)代表每一個(gè)小方塊的特征值。因?yàn)閷⒄辗綁K的小方塊的特征值與一個(gè)校驗(yàn)方塊的小方塊的特征值相比較，與上述的用于檢測移動向量的常規(guī)方法比較所需的計(jì)算較少，該常規(guī)方法即全域掃描法。多步和內(nèi)插法。即因?yàn)橐粋€(gè)特征值代表在一小方塊中的所有像素，因此，對于各參照和校驗(yàn)方塊的小方塊的各特征值進(jìn)行比較所需的計(jì)算要少于對各參照和校驗(yàn)方塊的每一個(gè)像素進(jìn)行比較所需的計(jì)算。
因?yàn)樘卣髦荡硪粋€(gè)小方塊，例如可以利用通過將在小方塊中的所有像素進(jìn)行求和或平均所得到的數(shù)值、在小方塊中的各像素的最小值和最大值、一個(gè)或多個(gè)利用哈達(dá)馬變換、DCT變換或在小方塊中的各像素進(jìn)行子波變換所得到的系數(shù)、由哈達(dá)馬變換、DCT變換或?qū)υ谛》綁K中的各像素進(jìn)行子波變換所得到的系數(shù)的最大值和最小值，或者其它一個(gè)或多個(gè)代表性的數(shù)值。
下面參閱各附圖特別是圖9，介紹根據(jù)本發(fā)明的移動向量檢測裝置。圖9所示的裝置適合于存儲現(xiàn)時(shí)幀和校驗(yàn)幀，以便從現(xiàn)時(shí)幀得到一個(gè)參照方塊和從參照幀得到一個(gè)校驗(yàn)方塊。以及在參照幀的一個(gè)預(yù)定掃描范圍內(nèi)部改變校驗(yàn)方塊的位置。圖9所示裝置還適合于將每一個(gè)參照和校驗(yàn)方塊分成各小方塊，以便得到每個(gè)小方塊的特征值并且將參照方塊和校驗(yàn)方塊的小方塊的特征值進(jìn)行比較。這樣的一個(gè)校驗(yàn)方塊位置選擇作為疊合方塊的位置，該位置對應(yīng)于在校驗(yàn)方塊的小方塊的特征值和參照方塊的小方塊的特征值之間所得到最佳匹配，并且得到在參照方塊和疊合方塊之間一個(gè)移動向量。
圖9所示裝置包含輸入端2、4，現(xiàn)時(shí)幀存儲器1、參照幀存儲器3、控制器5、小方塊形成電路6、7、特征提取電路8A、8B、9A、9B、比較和絕對值加法電路10A、10B、加權(quán)加法電路11、判別電路12和地址移動電路14。
圖9所示裝置為了得到移動向量采用由本發(fā)明加以變更的全域掃描法。
將現(xiàn)時(shí)幀的圖像數(shù)據(jù)提供到輸入端2，再由端2送到現(xiàn)時(shí)幀存儲器1，它的功能是存儲該現(xiàn)時(shí)幀。將參照幀的圖像數(shù)據(jù)提供到輸入端4，再由端4送到參照幀存儲器3，它的功能是存儲該參照幀?？刂破?控制現(xiàn)時(shí)幀和參照幀存儲器1、3的讀、寫。
現(xiàn)時(shí)幀存儲器1還具有的功能是按一參照方塊為(N×M)個(gè)像素，例如(16×16)個(gè)像素輸出現(xiàn)時(shí)幀的圖像數(shù)據(jù)，并將該參照方塊送到小方塊形成電路6。
參照幀存儲器3還具有的功能是按一校驗(yàn)方塊為(N×M)個(gè)像素輸出參照幀的圖像數(shù)據(jù)，并將校驗(yàn)方塊送到小方塊形成電路7。地址移動電路14是可控制的，以便改變作用于參照幀存儲器3的讀出地址，以便在預(yù)定的向量掃描范圍內(nèi)按每個(gè)像素移動校驗(yàn)方塊的位置。
小方塊形成電路6適合于將參照方塊細(xì)分為多個(gè)小方塊。例如，電路6可以沿水平方向?qū)⒄辗綁K分成M個(gè)小方塊，以及沿豎直方向也可以將參照方塊的對照物細(xì)分成N個(gè)小方塊。電路6還適合于將沿水平方向被分成M個(gè)小方塊的參照方塊提供到特征提取電路8A，以及將沿豎直方向被分成N個(gè)小方塊的參照方塊提供到特征提取電路8B。
與之相似，小方塊形成電路7適合于將校驗(yàn)方塊分成多個(gè)小方塊，以及將沿水平方向被分成M個(gè)小方塊的校驗(yàn)方塊提供到特征提取電路9A此外將沿豎直方向被分成N個(gè)小方塊的校驗(yàn)方塊提供到特征提取電路9B。
特征提取電路8A、9A中的每一個(gè)都是可控制的，以便對于提供到其上的每一個(gè)小方塊得到一個(gè)或多個(gè)特征值，并將各特征值輸出到比較和絕對值加法電路10。與之相似，特征提取電路8B、9B是可控制的，以便得到各特征值并該特征值輸出到比較和絕對值加法電路10B。
因?yàn)樘卣髦荡硇》綁K，例如可以采用通過對在小方塊中的所有像素進(jìn)行加法或平均所得到的數(shù)值、在小方塊各像素中的最小值和最大值、利用哈達(dá)馬變換、DCT變換或?qū)υ谛》綁K中的各像素進(jìn)行子波變換所得到的一個(gè)或多個(gè)系數(shù)、利用哈達(dá)馬變換、DCT變換或?qū)υ谛》綁K中的各像素進(jìn)行子波變換所得到的系數(shù)的最大值和最小值，或者其它一個(gè)或一些有代表性的數(shù)值。
特征值提取電路8A、8B、9A、9B可以包含一些低通濾過器。
比較和加法電路10A的功能是得到一些差值的絕對值之和，這些差值為介于沿水平方向通過細(xì)分參照方塊所形成的小方塊的特征值與沿水平方向通過細(xì)分校驗(yàn)方塊所形成的小塊的特征值之間的差值，并且將這一沿水平方向之和提供到加權(quán)加法電路11。
比較和絕對值加法電路10B的功能是得到一些差值的絕對值之和，該差值為介于沿豎直方向通過細(xì)分參照方塊所形成的各小方塊的特征值與沿豎直方向通過細(xì)分校驗(yàn)方塊所形成的各小方塊的特征值之間的差值，并將這一沿豎直方向的和提供到加權(quán)加法電路11上。
代替得到各差值的絕對值之和，利用電路10A、10B中的每一個(gè)可以得到各差值的平方和。
加權(quán)加法電路11適合于水平方向之和與豎直方向之和相加，并且對綜合的水平方向與豎直方向之和進(jìn)行加權(quán)計(jì)算得到一個(gè)等效值，將該等效值提供給判別電路12。例如，水平方向差值之和乘以系數(shù)Wh可被加權(quán)，豎直方向差值之和乘以系數(shù)Wv可被加權(quán)，Wh+Wv＝1。對于靜止圖像最好選擇Wh＝Wv＝0.5。對于主要沿水平方向移動的移動圖像，相互關(guān)系應(yīng)當(dāng)是Wn＞W(wǎng)v，例如Wn＝0.7、Wv＝0.3。例如對每幀圖像加權(quán)系數(shù)Wh、Wv可以利用加權(quán)確定電路(未表示)自適應(yīng)選擇。
校驗(yàn)方塊在預(yù)定的向量掃描范圍內(nèi)按逐個(gè)像素移動，如上面對于常規(guī)的全域掃描法所解釋的那樣。在校驗(yàn)方塊的每次重新定位時(shí)，判別電路12的功能是將在預(yù)定掃描范圍內(nèi)部的校驗(yàn)方塊的各位置的等效值進(jìn)行比較。判別電路12確定對應(yīng)于最小的等效值的校驗(yàn)方塊的位置，產(chǎn)生一個(gè)介于參照方塊與對應(yīng)于最小等效值的校驗(yàn)方塊位置之間的移動向量，并將該移動向量提供到輸出端13。
圖10表示具有參照方塊15的現(xiàn)時(shí)幀17和具有校驗(yàn)方塊16的參照幀18。下面介紹在參照方塊15和校驗(yàn)方塊16之間的疊合度的檢測方法。
圖11A表示沿水平方向細(xì)分的參照方塊15，借此形成小方塊HA1、HA2、HA3…得到對于小方塊HA1、HA2、HA3…的特征值ha1、ha2、ha3…。圖11B表示沿豎直方向細(xì)分的參照方塊15，借此形成小方塊VA1、VA2、VA3…得到對于小方塊VA1、VA2、VA3…的特征值Va1、Va2、Va3…。圖11A和11B所示的分割稱為按水平方向和豎直方向的雙方向分布。
與之相似，圖12A和12B表示沿水平方向細(xì)分的校驗(yàn)方塊16，以便形成小方塊HB1、HB2、HB3…，分別得到與各小方塊對應(yīng)的特征值hb1、hb2、hb3…，以及沿豎直方向細(xì)分的校驗(yàn)方塊16，以便形成小方塊VB1、VB2、VB3…，分別得到與各小方塊對應(yīng)的特征值Vb1、Vb2、Vb3…。
圖9所示的比較電路10A將參照方塊15的各特征值ha1、ha2、ha3…與校驗(yàn)方塊16的各特征值hb1、hb2、hb3…進(jìn)行比較，以便確定參照方塊15和校驗(yàn)方塊16的疊合程度。圖9所示的比較電路10B將參照方塊15的各特征值Va1、Va2、Va3…與校驗(yàn)方塊16的各特征值Vb1、Vb2、Vb3…進(jìn)行比較，以便確定參照方塊15與校驗(yàn)方塊16的疊合程度。
根據(jù)本發(fā)明將代表參照和校驗(yàn)方塊的各特征值相比較所需要的計(jì)算量與根據(jù)常規(guī)的全域掃描法將參照和校驗(yàn)方塊的各像素相比較所需要的計(jì)算量相比要小。因此，本發(fā)明減少了為了檢測移動向量所需的計(jì)算。
如上所述，當(dāng)由每一個(gè)參照和校驗(yàn)方塊形成各小方塊時(shí)，移動向量的檢測精度基本上與在常規(guī)的全域掃描法中的移動向量的精度基本相同。
下面介紹利用一維哈達(dá)馬變換實(shí)現(xiàn)特征提取的情況。
一個(gè)小方塊的各像素可以進(jìn)行哈達(dá)馬變換，以便得到一系列的哈達(dá)馬常數(shù)。假設(shè)通過將一數(shù)列分成(n)份所得到的一維數(shù)列的每一項(xiàng)被設(shè)定為2m(m＝1、2、3…)，Ai(2m)＝(Ai1，Ai2，…Ai2m)在這種情況下，2m×2m的哈達(dá)馬數(shù)列表示如下。

當(dāng)采用上述方程，對Ai進(jìn)行哈達(dá)馬變換時(shí)，得到如下方程ai(2m)＝H(2m，2m)×Ai(2m) (方程5A)ai(2m)＝(ai1，ai2，…ai2m) (方程5B)通過從ai1到ai2m當(dāng)中提取一項(xiàng)或多項(xiàng)，完成特征提取。
當(dāng)項(xiàng)Ai不等于2m時(shí)，以相似方式按照下文能夠進(jìn)行特征提取。當(dāng)假設(shè)各項(xiàng)數(shù)目等于(m′)時(shí)，形成(n×m′)的變換數(shù)列H(m′，n)，其中所有的項(xiàng)都等于1或-1。利用如下數(shù)列變換Ai，ai(m′)＝H(m′，n)×Ai(m′)(方程6A)ai(m′)＝(ai1，ai2，…，aim) (方程6B)在這種情況下，通過從ai1到aim中提取一項(xiàng)或多項(xiàng)實(shí)現(xiàn)特征提取。
在上述本發(fā)明的實(shí)施例中，沿兩個(gè)方向即水平方向和豎直方向?qū)γ恳粋€(gè)參照方塊和校驗(yàn)方塊分成各小方塊。另一方面，能夠?qū)⒚恳粋€(gè)參照方塊和校驗(yàn)方塊細(xì)分成小方格的網(wǎng)格(即棋盤或格柵)。圖13A表示一個(gè)未分割的方塊，即是一個(gè)參照方塊或是校驗(yàn)方塊。圖13B表示將圖13A所示的方格被分割成小方塊的網(wǎng)格。對于每一個(gè)參照方塊和校驗(yàn)方塊，對網(wǎng)絡(luò)中的每一個(gè)小方格得到一個(gè)特征值。對與參照方塊和校驗(yàn)方塊的各小方塊相對應(yīng)的各特征值進(jìn)行比較。對于網(wǎng)格分布的小方塊所需的計(jì)算量要比對于包含逐個(gè)像素比較的常規(guī)全域掃描法所需要的計(jì)算量要小。然而對于網(wǎng)格分布的小方格所需的計(jì)算量比如圖11A、11B、12A和12B所示的沿兩個(gè)方向的小方塊所需的計(jì)算量要大。
例如，當(dāng)移動向量的檢測是利用將在水平方向包含(A)個(gè)像素及沿豎直方向?yàn)?B)個(gè)像素的如圖13B所示的一個(gè)方塊，分割為在每一維具有(i)個(gè)像素的小方塊的網(wǎng)格時(shí)，所形成的小方塊的總數(shù)等于(A/i)×(B/i)。假如圖13A所示的方塊代之以沿兩個(gè)方向細(xì)分成小方塊。如圖11A、11B或12A、12B所示，所形成的小方塊的總數(shù)等于(A/i)+(B/i)。因?yàn)檠貎蓚€(gè)方向分布如圖11A、11B或12A、12B所示所形成的小方塊數(shù)要小于以網(wǎng)格分布如圖13B所示所形成的小方塊數(shù)，兩個(gè)方向分布比網(wǎng)格分布需要較少的計(jì)算，而產(chǎn)生的移動向量具有基本相同的精度。
圖14表示根據(jù)本發(fā)明的移動向量檢測裝置的另一個(gè)實(shí)施例，其中通過對各像素累積得到校驗(yàn)方塊的小方塊的特征值。
將現(xiàn)時(shí)幀的圖像數(shù)據(jù)提供到輸入端23，其再將該圖像數(shù)據(jù)送到現(xiàn)時(shí)幀存儲器21，該存儲器的功能是存儲該現(xiàn)時(shí)幀。參照幀的圖像數(shù)據(jù)提供到輸入端24，其將該圖像數(shù)據(jù)送到參照幀存儲器22，該存儲器的功能是存儲該參照幀?？刂破?6控制現(xiàn)時(shí)幀存儲器21和參照幀存儲器22的讀寫。
現(xiàn)時(shí)幀存儲器21還具有的功能是按一參照方塊為(N×M)個(gè)像素，例如(16×16)個(gè)像素輸出現(xiàn)時(shí)幀的圖像數(shù)據(jù)，并將該參照方塊提供到多路信號分配器27。
參照幀存儲器22還具有的功能是按一校驗(yàn)方塊為(N×M)個(gè)像素輸出參照幀的圖像數(shù)據(jù)，并將該校驗(yàn)方塊提供到多路信號分配器29。地址移動電路25是可控制的，以便改變加到參照幀存儲器22上的讀出地址，使得在預(yù)定的向量掃描范圍內(nèi)按逐個(gè)像素移動校驗(yàn)方塊的位置。
多路信號分配器27、29適合于將分別提供到其上的參照方塊和校驗(yàn)方塊沿兩個(gè)方向細(xì)分成多個(gè)小方塊。沿水平方向細(xì)分的小方塊提供到特征提取電路28A、30A。沿豎直方向細(xì)分的小方塊提供到特征提取電路28B、30B。
特征提取電路28A、30A中的每一個(gè)是可控制的，以便將提供到其上的每一個(gè)小方塊得到一個(gè)或多個(gè)特征值，并將該特征值輸出到減法電路31A。與之相似，特征提取電路28B、30B是可控制的，以便得到各特征值并將該特征值輸出到減法電路31B。
具體地說，特征電路28A、28B和30A、30B根據(jù)如下方程，從由各方塊A(n、n)，B(n、n)，n＝1-16所分成的各小方塊的像素得到特征值han、van、hbn和vbn，n＝1-16，ha n=Σi = 116A ( n . i ) (方程7A )]]>Va n=Σi = 116A ( i . n ) (方程7B )]]>hb n=Σi = 116B ( n . i ) (方程7C )]]>
Vb n=Σi = 116B ( i . n ) (方程7D )]]>圖17表示適用于特征提取電路28A、28B的電路結(jié)構(gòu)。參照方塊的各小方塊的像素提供到輸入端38，其再將各像素提供到加法器37的輸入端37。加法器37的輸出加到加法器37的另一個(gè)輸入端。加法器37的功能是對沿一個(gè)方向的各小方塊的像素求和，以便得到小方塊的特征值并將該特征值提供到輸出端39。
圖18表示適用于在提取電路30A、30B的電路結(jié)構(gòu)，當(dāng)校驗(yàn)方塊在預(yù)定的向量掃描范圍內(nèi)移動時(shí)，該電路減少計(jì)算量，它包含加法電路41、鎖存電路42、減法電路43和選擇器44。
圖19表示如實(shí)線所示的小方塊的現(xiàn)時(shí)位置。這個(gè)小方塊的現(xiàn)時(shí)位置(C、P)的特征值hbcp1hbCP1＝B(1.1)+B(1.2)+B(1.3)+…+B(1.16) (方程8A)這個(gè)小方塊的下一個(gè)位置，即向右移動一個(gè)像素，用間斷線表示。這個(gè)小方塊的下一個(gè)位置(n.p)的特征值hbnp1是hbn.p1＝B(1，2)+B(1，3)+B(1.4)+…+B(1.17) (方程8B)通過比較方程8A和8B，將會理解，它們的相互關(guān)系如下hbn.p1＝hbc.p.1-B(1.1)+B(1.17) (方程8C)根據(jù)方程8B計(jì)算hbn.p1比根據(jù)方程8C計(jì)算hbn.p1需要更多的計(jì)算。因此，通過根據(jù)方塊8C構(gòu)成特征電路30A、30B，當(dāng)校驗(yàn)方塊在預(yù)定的向量掃描范圍內(nèi)移動時(shí)，計(jì)算量被降低。
校驗(yàn)方塊的各小方塊的像素提供到圖18所示的輸入端45，其再將各像素送到加法器41的輸入端和鎖存電路42。選擇器44的輸出加到加法器41的另一個(gè)輸入端。加法器41的功能是將新提供的像素加到選擇器44的輸出上，并將其結(jié)果提供到減法器43和選擇器44。鎖存電路42的功能是存儲多個(gè)像素以及對所存儲的像素的其中之一作為輸出送到減法器43。減法器43的功能是從由加法器41所接收的結(jié)果減去由鎖存電路42接收的像素，并將因此而得到的數(shù)值送到輸出端46和選擇器44。
起始，對接驗(yàn)方塊的第一個(gè)位置，選擇器44的功能是選擇加法器41的輸出并提供加法器41的輸出作為它自己的輸出。鎖存電路42將各像素存儲在它的存儲位置并在校驗(yàn)方塊的第一個(gè)位置產(chǎn)生一個(gè)零值輸出。因此，加法器41對校驗(yàn)方塊的第一個(gè)位置的沿水平方向或豎直方向的各小方塊的像素求和。在校驗(yàn)方塊的下一個(gè)位置，當(dāng)從輸入端45接收像素B(1.17)時(shí)，加法器41產(chǎn)生結(jié)果值hbc.p1+B(1.17)。鎖存電路42將它的最久的數(shù)值，例如B(1.1)提供到減法器43，減法器利用已鎖存的數(shù)值產(chǎn)生一個(gè)輸出值即hbc.p1+B(1.17)-B(1.1)?，F(xiàn)在選擇器44的功能是選擇減法器43的輸出，使得利用較少的計(jì)算就能得到對重新定位的校驗(yàn)方塊的特征值。
圖14所示的減法電路31A的功能是從參照方塊沿參照方塊的水平方向的小方塊的特征值減去校驗(yàn)方塊沿校驗(yàn)方塊的水平方向的小方塊的特征值han-hbn值n＝1-16，并且將該結(jié)果提供到絕對值電路32A。與之相似減法電路31B的功能是從參照方塊沿豎直方向的小方塊的特征值減去校驗(yàn)方塊沿豎直方向的小方塊的特征值Van-Vbn.n＝1-16，并將該結(jié)果提供到絕對值電路32B。
絕對值電路32A、32B是可控制的。以便分別得到提供到其上的相減結(jié)果的絕對值，｜han-hbn｜，｜Van-Vbn｜，n＝1-16，并且將該絕對值分別提供到加法電路33A、33B。
加法電路33A、33B適合于分別將提供到其上的各差值的絕對值求和，Σ｜han-hbn｜，Σ｜Van-Vbn｜，n＝1-16，并將水平方向和豎直方向的差值的和提供到加權(quán)加法電路34。
加權(quán)加法電路34是可控制的，以便對各差之和進(jìn)行加權(quán)運(yùn)算將它們加在一起，產(chǎn)生一個(gè)結(jié)果(Wh.Σ｜han-hbn｜)+(Wv.Σ｜Van-Vbn1)，并將該結(jié)果提供到比較和判別電路35。
比較和判別電路35的功能是對在預(yù)定的向量掃描范圍內(nèi)某一位置的校驗(yàn)方塊作為疊合的方塊，在該位置使由加權(quán)加法電路34接收的結(jié)果值降至最小，以便確定介于參照方塊和疊合方塊之間的移動向量，并將該移動向量提供到輸出端36。
圖20表示本發(fā)明的移動向量檢測裝置的再一個(gè)實(shí)施例，其中在檢測先前的移動向量的過程中所得到的特征值在檢測現(xiàn)時(shí)的移動向量過程中被重新使用。圖20中的裝置表示一個(gè)簡化的硬件設(shè)計(jì)。
下面參照圖21解釋在圖20中所示實(shí)施便的機(jī)能，圖21示有向量掃描范圍A1、B1、A2、B2、A3、B3和參照方塊C1、D1、C2、D2、C3、D3。
對在圖21中所示的參照方塊C1，預(yù)定的向量掃描范圍包含范圍A1、B1。當(dāng)對于參照方塊C1的移動向量被檢測時(shí)，需要在參照方塊C1中的各小方塊的特征值以及需要在向量掃描范圍A1和B1中的各小方塊的特征值。
對于圖21所示的下一個(gè)參照方塊D1，預(yù)定的向量掃描范圍包含范圍B1、A2。當(dāng)對參照方塊D1要檢測移動向量時(shí)，需要在參照方塊D1中的各小方塊的特征值以及需要在向量掃描范圍B1和A2中的各小方塊的特征值。因?yàn)橄惹霸趯⒄辗綁KC1的移動向量的檢測過程中已得到在向量掃描范圍B1中的各小方塊的特征值，當(dāng)對參照方塊D1進(jìn)行檢測移動向量時(shí)，重新利用這些特征值是高效的。
與之相似，在對參照方塊C2檢測移動向量時(shí)，重新利用對于向量掃描范圍A2的特征值是高效的，這些特征值是先前在檢測參照方塊D1的移動向量的過程中所得到的。
一般而言，由先前的向量掃描范圍得到的一半的特征值對現(xiàn)時(shí)的向量掃描范圍可以被重新利用。
下面將僅對水平方向解釋圖20所示的實(shí)施例。本技術(shù)領(lǐng)域的一般熟練人員將很容易理解沿豎直方向的工作情況。
參照幀的圖像數(shù)據(jù)(像素)提供到輸入端53。其再將該參照幀像素提供到掃描范圍存儲器51、52，其中每一個(gè)都適合于存儲一半的預(yù)定向量掃描范圍，并分別將存儲在其中的數(shù)據(jù)例如沿水平方向的小方塊提供到選擇器54。選擇器54適合于選擇提供到其上的向量掃描范圍中的小方塊，并將所選擇的小方塊加到加法電路55和鎖存電路56。
圖20中所示的加法器55、鎖存電路56、減法器57和選擇器58的功能一般地說，與圖18所示的對應(yīng)元件相同，是為了得到該一半預(yù)定掃描范圍的、沿水平方向的小方塊的特征值。
選擇器59適合于從減法器57提供特征值到特征值存儲器60、61，它們中的每一個(gè)都適合于存儲對于一半的預(yù)定向量掃描范圍的特征值，并將存儲在其中的數(shù)值提供到選擇器62。選擇器62是可控制的，以便將加到其上的特征值提供到減法電路63、64。
現(xiàn)時(shí)幀的圖像數(shù)據(jù)(像素)提供到輸入端73，其再將現(xiàn)時(shí)幀的參照方塊數(shù)據(jù)提供到參照方塊存儲器71、72，它們中的每一個(gè)都適合于存儲該參照方塊，并將所存儲的參照方塊分別提供到加法電路74、75。
加法器74還接收其自身的輸出，其功能是對該參照方塊沿水平方向的各小方塊的像素累加，借此得到存儲在參照方塊存儲器71的參照方塊沿水平方向的各小方塊的特征值。加法器74將該特征值提供到減法器63。
減法器63是可控制的，其從參照方塊的各小方塊的特征值減去校驗(yàn)方塊的各小方塊的特征值，并將所形成的差值提供到絕對值電路76，該電路76適合于產(chǎn)生各特征值之間差值的絕對值，并且將差值的絕對值提供到加法器77。
加法器77還接收它自身的輸出，其功能是對參照和校驗(yàn)方塊的沿水平方向各小方塊的特征值之間差值的絕對值求和并將其和提供到輸出端78。
加法器75、減法器64、絕對值電路79和加法器80的功能分別與加法器74、減法器63、絕對值電路76和加法器77相同。加法器77將它的和送到輸出端81。
從下面解釋將會理解，減法器63、絕對值電路76和加法器77將第一參照方塊的特征值與在特定掃描范圍中的特征值相比較，而減法器64、絕對值電路79和加法器80將第二參照方塊的特征值與在相同特定掃描范圍中的特征值相比較。因此，對特定掃描范圍的特征值僅計(jì)算一次，并在兩個(gè)分離的參照方塊的移動向量的檢測過程中使用。
下面參閱圖22A和22B解釋圖20所示實(shí)施例的工作。圖20A表示各存儲器51、52、71、72的占位，圖22B表示對其特征值進(jìn)行比較的各方塊。
在時(shí)間T1期間，如圖22A所示，在掃描范圍A1中的數(shù)據(jù)被讀出送入掃描范圍存儲器51，參照方塊C1的數(shù)據(jù)被讀出送入?yún)⒄辗綁K存儲器71，加法器55得到在向量掃描范圍A1中的特征值，該特征值是存儲在特征值存儲器60的。加法器74得到存儲在參照方塊存儲器71中的參照方塊C1的數(shù)據(jù)產(chǎn)生的特征值。
如圖22B所示，在時(shí)間T2期間，減法器63、絕對值電路76和加法器77將參考方塊C1的特征值與掃描范圍A1中的特征值相比較。此外，如圖22A所示，在時(shí)間T2期間，在向量掃描范圍B1中的數(shù)據(jù)被讀出送到掃描范圍存儲器52，在下一個(gè)參照方塊D1中的數(shù)據(jù)被讀出送到參照方塊存儲器72、以及加法器55得到在向量掃描范圍B1中的特征值，該特征值是存儲在特征值在存儲器61中的。加法器75得到由存儲在參照方塊存儲器73中的參照方塊D1的數(shù)據(jù)形成的特征值。
如圖22B所示，在時(shí)間T3期間，減法器63、絕對值電路76和加法器77將參照方塊C1的特征值與在掃描范圍B1中的特征值相比較。因此，還如圖21中所示的，將參照方塊C1與包含A1、B1的掃描范圍相比較并得到對于參照方塊C1的、在掃描范圍A1和B1中的移動向量。在時(shí)間T3的終點(diǎn)，輸出參照方塊C1的移動向量。
此外，如圖22B所示，在時(shí)間T3期間，減法器64、絕對值電路79和加法器80將參照方塊D1的特征與在掃描范圍B1中的特征值相比較。因此，在時(shí)間T3期間，如圖22A所示，在向量掃描范圍A2中的數(shù)據(jù)被讀出送到掃描范圍存儲器51，在下一個(gè)參照方塊C2中的數(shù)據(jù)被讀出送入?yún)⒄辗綁K存儲器71，加法器55和減法器57得到在向量掃描范圍A2中的特征值，該特征值是存儲在特征值存儲器60中的。加法器74得到在參照方塊存儲器71中存儲的參照方塊C2的數(shù)據(jù)所形成的特征值。
以與上述相似的方式，得到對于各參照方塊D1、C2、D2、C3、D3…的移動向量。
如上所述，用于形成各小方塊的兩個(gè)方向可以是水平方向和豎直方向。另一方面，用于形成各小方塊的兩個(gè)方向可以是兩個(gè)其它的基本相垂直的方向，例如如圖23A所示的朝前傾斜的方向和如圖23B所示的相反傾斜的方向。圖23A和23B所示的傾斜方向相對于水平軸線分別成45°和135°角。
當(dāng)用于細(xì)分一個(gè)方塊的兩個(gè)方向是水平方向和豎直方向時(shí)，在圖像中的水平和豎直線可以很容易地由對于各小方塊的特征值被辨別，但是有時(shí)不可能由特征值辨別彼此互相垂直的對角線。與之相似，當(dāng)如圖23A、23B所示，用于細(xì)分一個(gè)方塊的兩個(gè)方向是傾斜的方向時(shí)，由各小方塊的特征值可以很容易的辨別對角線，但是有時(shí)由該特征值來辨別水平線和豎直線是困難的。因此，將會理解，沿多個(gè)兩個(gè)方向細(xì)分方塊，例如水平方向、豎直方向，向前傾斜方向和相反傾斜方向，提高了移動檢測的精度。
下面討論為產(chǎn)生移動向量本發(fā)明對多步法的應(yīng)用。對于多步法，要產(chǎn)生特征值，使得能夠得到在按步掃描的間隔中所須有的精度。
圖24表示本發(fā)明的移動向量檢測裝置的再一個(gè)實(shí)施例，其利用由本發(fā)明的改進(jìn)的多步法來得到移動向量。
下面參閱圖25-28介紹根據(jù)本發(fā)明的用于得到移動向量的多步法。
圖25A和26A表示一個(gè)方塊，其可以是包含(A×B)個(gè)像素的參照方塊或校驗(yàn)方塊。
本發(fā)明的多步法的第一步包含將一方塊沿水平方向和豎直方向也稱為水平線度和豎直線度細(xì)分成小方塊。圖25B表示將圖25A所示的方塊沿水平方向被細(xì)分為(A/(ix))個(gè)小方塊，每個(gè)面積含(ix)×(B)個(gè)像素。圖26B表示將圖26A所示的方塊沿豎直方向細(xì)分為(B/(iy))個(gè)小方塊，每個(gè)面積含(A)×(iy)個(gè)像素。經(jīng)過一個(gè)空間濾過器，從通過按照掃描間隔ix細(xì)分所得到的小方塊撮(A/ix+B/iy)個(gè)疊合的小方塊。因此，能夠得到在該步驟中所要求的掃描間隔中的所需精度。
根據(jù)本發(fā)明的多步法的下一步是將前一步期間所形成的小方塊進(jìn)一步細(xì)分為更小的方塊。圖25C表示將圖25B所示的小方塊沿水平方向細(xì)分為(b)個(gè)更小的方塊，1≤b＜B/iy，產(chǎn)生總數(shù)為(A/(ix))×(b)個(gè)更小的方塊，每個(gè)更小的方塊的面積包含(A/(ix)×(B/b)個(gè)像素。圖26C表示將圖26B的每一個(gè)小方塊沿豎直方向細(xì)分為(a)個(gè)更小的方塊，1≤a＜A/ix，產(chǎn)生總數(shù)為(B/(iy)×(a)個(gè)更小的方塊，每個(gè)更小的方塊面積有(B/(iy))×(A/a)個(gè)像素。在該下一步，得到在圖25C和26C中所示的每個(gè)更小的方塊的特征值，借此，提高了對移動向量的檢測精度。
當(dāng)沿某一線度的分割段數(shù)設(shè)定為(k)時(shí)，(k)是在滿足如下方程的某一范圍的一個(gè)數(shù)值，相對于檢測移動向量的常規(guī)多步法的硬件規(guī)模，根據(jù)本發(fā)明的裝置的硬件規(guī)模可以降低。
k＝((A/ix)×b)+((B/iy)×a))＜A×B/iy.iy(方程9)圖27和28表示根據(jù)本發(fā)明的用于檢測移動向量的多步法的工作實(shí)例。
如圖27A和28A所示，參照方塊和檢驗(yàn)方塊的尺寸設(shè)定為(16×16)個(gè)像素，向量掃描范圍設(shè)定為((+15)像素×(-16)像素)。
在第一步，掃描間隔ix設(shè)定為2個(gè)像素。如圖27B和27C所，該(16×6)方塊沿豎直方向按每兩個(gè)像素細(xì)分成小方塊，沿水平方向按每兩個(gè)像素也細(xì)分成小方塊。因此，該方塊沿水平方向被細(xì)分成16/2個(gè)小方塊，沿豎直方向也被分成16/2個(gè)小方塊。為了增加檢測精度，沿水平方向和豎直方向的八個(gè)小方塊的每一個(gè)被細(xì)分為2個(gè)更小的方塊。因此，沿每一個(gè)方向形成總數(shù)為16/2×2更小的方塊，即形成總數(shù)為2×(16/2×2)＝32更小的方塊。對每個(gè)更小的方塊得到一個(gè)特征值。通過因此得到的32個(gè)特征值，產(chǎn)生精度為2個(gè)像素的移動向量。
在第二步，掃描間隔ix設(shè)定為一個(gè)像素。如圖28B和28C所示，該(16×16)方塊沿豎直方向按每個(gè)像素細(xì)分為小方塊，沿水平方向按每個(gè)像素細(xì)分為小方塊。因此，該方塊沿水平方向細(xì)分為16/1個(gè)小方塊，沿豎直方向也細(xì)分為16/1個(gè)小方塊。為了提高檢測精度，沿水平方向和豎直方向的16個(gè)小方塊中的每一個(gè)被細(xì)分為4個(gè)更小的方塊。因此，沿水平方向形成總數(shù)為16/1×4個(gè)更小的方塊，即形成總數(shù)為2×(16/1×4＝128個(gè)更小的方塊。對每個(gè)更小的方塊得到一個(gè)特征值。通過利用因此而得到的128個(gè)特征值，產(chǎn)生精度為一個(gè)像素的移動向量。
當(dāng)參照方塊和校驗(yàn)方塊被細(xì)分成網(wǎng)格狀的小方塊以及對如圖13B所示的，因此而形成的小方塊中的每一個(gè)得到一個(gè)特征值，并實(shí)施多步法，選定一種用于特征值提取的方法，以便在掃描間隔中的所需精度能夠被保持，該掃描間隔是在確定掃描間隔的步驟中所需要的。利用這種方法，需要的精度得到保證而計(jì)算量并沒有增加。
返回參閱圖24，現(xiàn)時(shí)幀的圖像數(shù)據(jù)(像素)加到輸入端92，其再將各像素送到現(xiàn)時(shí)幀存儲器91，它是可控制的，以便存儲現(xiàn)時(shí)幀的圖像數(shù)據(jù)。參照幀的像素加到輸入端94，其再將該像素送到參照幀存儲器93，它是可控制的，以便存儲參照幀的圖像數(shù)據(jù)?？刂破?5控制現(xiàn)時(shí)幀和參照幀存儲器91、93的讀寫。
現(xiàn)時(shí)幀存儲器91還有功能是按照一參照方塊含(N×M)個(gè)像素輸出現(xiàn)時(shí)幀的圖像數(shù)據(jù)，并將該參照方塊提供到小方塊形成電路96。
參照幀存儲器93還具有的功能是按一校驗(yàn)方塊含(N×M)個(gè)像素輸出參照幀的圖像數(shù)據(jù)，并將校驗(yàn)方塊提供到小方塊形成電路97，地址移動電路105是可控制的，以便改變作用到參照幀存儲器93的讀出地址，以便在預(yù)定向量掃描范圍內(nèi)按每次(i)個(gè)像素移動校驗(yàn)方塊的位置，即精度為(i)個(gè)像素，地址移動電路106是可控制的，以便改變作用到參照幀存儲器93的讀出地址，使得在預(yù)定的向量掃描范圍內(nèi)按單個(gè)像素移動校驗(yàn)方塊的位置，即精度為一個(gè)像素。
小方塊形成電路96、97、特征提取電路98A、98B、99A、99B、比較和絕對值求和電路100A、100B以及加權(quán)加法電路101，如圖24所示，其功能一般與圖9的對應(yīng)元件相同。圖24所示的加權(quán)加法電路101將其輸出提供到判別電路102。
在根據(jù)本發(fā)明的多步法的第一步進(jìn)行的過程中，校驗(yàn)方塊在預(yù)定的向量掃描范圍內(nèi)按每次(i)個(gè)像素由地址移動電路105控制移動。在校驗(yàn)方塊的每次重新定位時(shí)，判別電路102的功能是將在預(yù)定掃描范圍內(nèi)部的校驗(yàn)方塊的各位置的等效值相比較。判別電路102確定對應(yīng)于最小的等效值的校驗(yàn)方塊的位置，產(chǎn)生在參照方塊和對應(yīng)于最小的等效值的校驗(yàn)方塊的位置之間的粗略移動向量，并將該粗略移動向量提供到控制器95。
在根據(jù)本發(fā)明的多步法的下一步的實(shí)施過程中，由地址移動電路106控制，在鄰近由粗略移動向量所指示的區(qū)域?yàn)橹行牡姆秶?，校?yàn)方塊按逐個(gè)像素進(jìn)行移動。在每次校驗(yàn)方塊的重新定位時(shí)，判別電路102的功能是將在預(yù)定的掃描范圍內(nèi)部的校驗(yàn)方塊位置的特征值進(jìn)行比較。判別電路102確定對應(yīng)于最小的等效值的校驗(yàn)方塊的位置，產(chǎn)生在參照方塊和對應(yīng)于最小的等效值的校驗(yàn)方塊的位置之間的精細(xì)移動向量，并將具有精度為一個(gè)像素的精細(xì)移動向量提供到輸出端103。
圖24表示實(shí)行兩步掃描的裝置，在本技術(shù)領(lǐng)域的一般熟練人員將會很容易理解，怎樣構(gòu)成一個(gè)實(shí)行三步掃描或四步掃描的裝置。
在第一步，尺寸為(N×M)的方塊被放大兩倍，借此形成一個(gè)(2N×2M)的方塊。通過對這樣一個(gè)方塊進(jìn)行二次取樣，得到為(N×M)的方塊。通過按每次兩個(gè)像素移動二次取樣的方塊進(jìn)行方塊的疊合，借此得到一個(gè)粗略移動向量。在下一步，還可能通過按單個(gè)像素移動為(N×M)的移動向量來進(jìn)行方塊的疊合最終檢測到具有高精度的移動向量。
對于利用多步法檢測移動向量，本發(fā)明的變化是首先利用小方塊的特征檢測一個(gè)粗圖移動向量，然后，利用將參照方塊和校驗(yàn)方塊的逐個(gè)像素比較，檢測到一個(gè)具有高精度的移動向量，這種變化所需計(jì)算比常規(guī)多步法要少并且產(chǎn)生一個(gè)具有高精度的移動向量。
下面介紹將本發(fā)明應(yīng)用于內(nèi)插法，用來產(chǎn)生高精度移動向量。
圖29表示本發(fā)明的移動向量檢測裝置的再一個(gè)實(shí)施例，其采用內(nèi)插法，用于得到精度為1/2像素的移動向量，圖29所示裝置對參照幀的各像素進(jìn)行內(nèi)差運(yùn)算，并且在已內(nèi)插的參照幀的預(yù)定掃描范圍內(nèi)部按逐個(gè)像素移動參照方塊，以便得到一個(gè)內(nèi)插的參照幀的分辨力為一個(gè)像素的移動向量，在原有的參照幀分辨力的情況下其對應(yīng)的精度為1/2像素。
圖29中的輸入端112、114、現(xiàn)時(shí)幀存儲器111、控制器115、小方塊形成電路116、117、特征提取電路118A、118B、119A、119B、比較和絕對值加法電路120A、120B，加權(quán)加法電路121和判別電路122其功能一般與圖9所示的對應(yīng)元件相同。
參照幀存儲器113的功能是存儲從輸入端114接收來的參照幀的像素，并將其中所存儲的數(shù)據(jù)提供開關(guān)電路126，這種提供響應(yīng)于從地址移動電路124所接收的地址數(shù)據(jù)。
開關(guān)126適合于響應(yīng)于一個(gè)控制信號(未表示)將參照幀數(shù)據(jù)提供到內(nèi)插電路125或開關(guān)電路127。
內(nèi)插電路125是可控制的，以便對參照方塊數(shù)據(jù)進(jìn)行內(nèi)插運(yùn)算并將內(nèi)插的數(shù)據(jù)提供到開關(guān)127。正發(fā)參閱圖8上面所解釋的，當(dāng)數(shù)據(jù)位置直接介于像素之間時(shí)，從兩個(gè)原有的像素形成內(nèi)插的數(shù)據(jù)，并且由4個(gè)原有的像素形成內(nèi)插的數(shù)據(jù)，其時(shí)該數(shù)據(jù)處在由4個(gè)原有像素形成的五點(diǎn)梅花形的中心。
開關(guān)127是可控制的，以便選擇施加到其上的內(nèi)插的數(shù)據(jù)或原有的像素?cái)?shù)據(jù)作為校驗(yàn)方塊數(shù)據(jù)。地址移動電路124、存儲器113、內(nèi)插器125和開關(guān)126、127其功能是按內(nèi)插的像素的分辨力在預(yù)定的向量掃描范圍內(nèi)，按逐個(gè)像素方式移動校驗(yàn)方塊的位置。
更具體地說，校驗(yàn)方塊每次移動一個(gè)像素，選擇開關(guān)126、127的輸入端126A、127A，內(nèi)插器125在原有參照方塊像素之間形成內(nèi)插的數(shù)據(jù)，這等效于按照1/2像素移動校驗(yàn)方塊。校驗(yàn)方塊每次移動對應(yīng)于1/2像素的距離，判別電路122將由加權(quán)加法電路121產(chǎn)生的等效值進(jìn)行比較，確定對應(yīng)于最小的等效值的校驗(yàn)方塊的位置，產(chǎn)生一個(gè)參照方塊和對應(yīng)于最小等效值的校驗(yàn)方塊位置之間的移動向量，并將該精度為1/2像素的移動向量提供到輸出端123。
圖30表示根據(jù)本發(fā)明的檢測移動向量的再一個(gè)實(shí)施例，其利用內(nèi)插法用于得到精度為1/2像素的移動向量。圖30所示裝置將校驗(yàn)方塊的小方塊的特征值進(jìn)行內(nèi)插運(yùn)算，以便得到精度為1/2像素的移動向量。
輸入端132、134、現(xiàn)時(shí)幀存儲器131、參照幀存儲器133、控制器135、小方塊形成電路136、137、特征提取電路138A、138B、139A、139B、比較和絕對值加法電路140A、140B、加權(quán)加法電路141和判別電路142，如圖30所示其功能一般與圖9所示對應(yīng)元件相同。地址移動電路144是可控制的，用以將各地址提供到參照幀存儲器133，使得校驗(yàn)方塊的位置按逐個(gè)像素在預(yù)定的向量掃描范圍內(nèi)移動。
在圖30所示的實(shí)施例中，特征值提取電路139A、139B將校驗(yàn)方塊的沿水平方向和豎直方向的各小方塊的特征值分別提供到內(nèi)插電路146A、146B并分別提供到選擇器147A、147B。
內(nèi)插器146A、148B每一個(gè)都適合于對提供到其上的特征值進(jìn)行內(nèi)插，并將內(nèi)插的特征值分別提供到選擇器147A、147B。
選擇器147A、147B的功能是將校驗(yàn)方塊的小方塊的原有及內(nèi)插的特征值提供到比較和絕對值加法電路140A、140B。原有的和內(nèi)插的特征值的綜合產(chǎn)生分辨力為1/2像素的特征值，其等效于按照1/2像素移動校驗(yàn)方塊。
判別電路142將對應(yīng)于校驗(yàn)方塊的每次重新定位的等效值進(jìn)行比較，產(chǎn)生分辨力為1/2像素的移動向量并將該移動向量提供到輸出端143。
為了以1/2像素的精度檢測移動向量，本發(fā)明進(jìn)行的變動是首先以一個(gè)像素的精度，在預(yù)定的掃描范圍內(nèi)找到最佳疊合校驗(yàn)方塊的位置，然后，對在鄰近最佳疊合方塊位置處的數(shù)據(jù)進(jìn)行內(nèi)插運(yùn)算，并且最后對新的最佳疊合的方塊在內(nèi)插的范圍內(nèi)進(jìn)行掃描。
為了以1/2像素的精度檢測移動向量，本發(fā)明進(jìn)行的另一變動是首先按照(i)個(gè)像素的精度檢測移動向量，然后，將多步掃描和以1/2像素的精度進(jìn)行的移動向量的檢測相結(jié)合。
本發(fā)明還包括進(jìn)一步沿兩個(gè)線度例如水平和豎直的，進(jìn)一步細(xì)分已形成的小方塊，得到每一個(gè)進(jìn)一步細(xì)分的小方塊的特征值，并利用因此得到的特征值來檢測一個(gè)移動向量。
雖然，通過參閱附圖本文已經(jīng)詳細(xì)地介紹了本說明的一個(gè)解釋實(shí)施例及其各種變化方案，應(yīng)當(dāng)理解，本發(fā)明并不局限于該具體實(shí)施例和所介紹的變化方案，其中可以由本技術(shù)領(lǐng)域的熟練人員在不脫離由所提出的權(quán)利要求所限定的、本發(fā)明的保護(hù)范圍或構(gòu)思的情況下進(jìn)行各種變化和進(jìn)一步改進(jìn)。
權(quán)利要求
1.一種用于檢測移動向量的裝置，包含第一存儲裝置，用于存儲和讀出具有第一尺寸的參照方塊；第一小方塊形成裝置，用于將讀出的參照方塊分成第一組小方塊；第二存儲裝置，用于存儲具有第二尺寸的掃描范圍，該第二尺寸至少像第一尺寸一樣大，以及用于響應(yīng)于控制信號按具有所述第一尺寸的校驗(yàn)方塊讀出所存儲的掃描范圍的一部分；第二小方塊形成裝置，用于將讀出的校驗(yàn)方塊分成第二組小方塊；指示裝置，用于按照所述控制信號指示存儲在所述第二存儲中的所述掃描范圍的不同的部分；以及比較和產(chǎn)生裝置，用于比較所述第一組和第二組小方塊，以便確定從所述掃描范圍讀出的哪一個(gè)校驗(yàn)方塊最佳疊合所述參照方塊，以及用于產(chǎn)生一個(gè)所述參照方塊和該最佳疊合的校驗(yàn)方塊之間的一個(gè)移動矢量。
2.如權(quán)利要求1所述的裝置，其中所述的第一和第二小方塊形成裝置分別是可控制的，以便沿至少兩個(gè)方向分成所述第一和第二組小方塊。
3.如權(quán)利要求2所述的裝置，其中所述的至少兩個(gè)方向包含一個(gè)豎直方向和一個(gè)水平方向。
4.如權(quán)利要求2所述的裝置，其中所述的至少兩個(gè)方向包含一個(gè)基本上與第二傾斜方向相垂直的第一傾斜方向。
5.如權(quán)利要求2所述的裝置，其中所述的小方塊形成一個(gè)網(wǎng)格。
6.如權(quán)利要求2所述的裝置，其中所述的第一和第二小方塊形成裝置分別是可控制的，以便沿所述至少兩個(gè)方向中的一個(gè)方向及沿所述至少兩個(gè)方向的另一個(gè)方向所述的形成的小方塊中的每一個(gè)進(jìn)行細(xì)分。
7.如權(quán)利要求2所述的裝置，其中所述的比較裝置是可控制的，以便將沿第一方向由所述讀出的參照方塊分成的小方塊與沿所述第一方向由所述讀出的檢驗(yàn)方塊分成的小方塊相比較，并還可控制以便將沿第二方向由所述讀出的參照方塊分成的小方塊與沿第二方向由所述讀出的校驗(yàn)方塊分成的小方塊相比較。
8.如權(quán)利要求7所述的裝置，其中所的比較裝置是可控制的，以便對相對于沿所述第二方向的所述小方塊的比較值對沿所述第一方向的所述小方塊的比較值進(jìn)行加權(quán)運(yùn)算。
9.如權(quán)利要求1所述的裝置，其中所述的比較裝置包含差分裝置，用于得到在由所述讀出的參照和校驗(yàn)方塊分成的所述第一和第二組小方塊中的各自小方塊之間的差值;絕對值裝置，用于得到所述差值的各自的絕對值;以及加法裝置，用于將在所述讀出的參照和校驗(yàn)方塊的所述小方塊之間的各差值的絕對值相加。
10.如權(quán)利要求1所述的裝置，還包括第一特征裝置，用于對在所述第一組小方塊中的每一個(gè)小方塊，產(chǎn)生至少一個(gè)第一特征值;第二特征裝置，用于對在所述第二組小方塊中的每一個(gè)小方塊，產(chǎn)生至少一個(gè)第二特征值;并且其中的所述比較裝置是可控制的，以便將所述的第一和第二特征值相比較。
11.如權(quán)利要求10所述的裝置，其中的由所述的讀出的參照方塊和所述讀出的校驗(yàn)方塊的每一個(gè)小方塊都包含一些像素;并且所述至少一個(gè)第一和第二特征值中的每一個(gè)都包含在所述每一個(gè)小方塊中的各像素的一個(gè)和值、在所述每一個(gè)小方塊中的各像素的一個(gè)平均值、在所述每一個(gè)小方塊中的各像素的最小值和最大值、在所述每一個(gè)小方塊中的各像素的至少一個(gè)哈達(dá)馬變換系數(shù)、在所述每一個(gè)小方塊中的各像素的至少一個(gè)DCT系數(shù)、在所述每一個(gè)小方塊中的各像素的至少一個(gè)子波變換系數(shù)、在所述每一個(gè)小方塊中的各像素的至少一個(gè)哈達(dá)馬變換系數(shù)的最大值和最小值、在所述每一個(gè)小方塊中的各像素的至少一個(gè)DCT變換系數(shù)的最大值和最小值、以及在所述每一個(gè)小方塊中的各像素的至少一個(gè)子波變換系數(shù)的最大和最小值。
12.如權(quán)利要求10所述的裝置，其中所述的第一和第二特征裝置包含低通濾過裝置，其用于分別對在所述第一和第二組小方塊中的所述每一個(gè)所述小方塊進(jìn)行低通濾過。
13.如權(quán)利要求10所述的裝置，其中所述的第二特征裝置是可控制的，以便修改由所述讀出的校驗(yàn)方塊分成的所述小方塊中的現(xiàn)時(shí)的一個(gè)小方塊的特征值，從而產(chǎn)生由所述讀出的校驗(yàn)方塊分成的所述小方塊中的下一個(gè)小方塊的特征值。
14.如權(quán)利要求13所述的裝置，其中由所述讀出的校驗(yàn)方塊分成的每個(gè)小方塊都包含一些像素;以及所述第二特征裝置包含加法裝置，其用于將所述小方塊的所述下一個(gè)小方塊的像素與所述小方塊的現(xiàn)時(shí)的一個(gè)小方塊的所述特征值相加，以便產(chǎn)生一個(gè)中間結(jié)果;以及減法裝置，其用于從所述中間結(jié)果減去所述小方塊中的所述現(xiàn)時(shí)的一個(gè)小方塊的一個(gè)像素，使得產(chǎn)生所述小方塊的所述下一個(gè)小方塊的所述特征值。
15.如權(quán)利要求10所述的裝置，其中所述的第一和第二小方塊形成裝置分別是可控制的，以便沿至少兩個(gè)方向形成第一和第二組小方塊;所述第一和第二特征裝置每一個(gè)都包含第一裝置，其用于對沿第一方向所形成的每一個(gè)小方塊產(chǎn)生至少一個(gè)特征值;以及第二裝置，其用于對于沿第二方向所形成的每一個(gè)小方塊產(chǎn)生至少一個(gè)特征值;以及所述比較裝置，其是可控制的，以便將沿所述第一方向由所述讀出的參照方塊所分成的小方塊與沿所述第一方向由所述讀出的檢驗(yàn)方塊所分成的小方塊相比較，并還可控制以便將沿所述第二方向由所述讀出的參照方塊分成的小方塊與沿所述第二方向由所述讀出的校驗(yàn)方塊分成的小方塊相比較。
16.如權(quán)利要求15所述的裝置，其中所述的比較裝置是可控制的，以便將相對于沿所述第二方向的所述小方塊的比較值對沿所述第一方向的所述小方塊的比較進(jìn)行加權(quán)運(yùn)算。
17.如權(quán)利要求10所述的裝置，進(jìn)一步包含內(nèi)插裝置，用于對在所述第二組小方塊中的所述小方塊的特征值進(jìn)行內(nèi)插運(yùn)算，以便產(chǎn)生內(nèi)插的特征值;以及其中的所述比較裝置是可控制的，以便將所述第一組小方塊的所述特征值與所述第二組小方塊的所述內(nèi)插的特征值相比較，使得所述移動向量具有的分辨力優(yōu)于一個(gè)像素。
18.如權(quán)利要求1所述的裝置，其中所述的掃描范圍包含一些像素;所述指示裝置是可控制的，該裝置用于指示所述掃描范圍的各不同的部分，指示分別相差至少兩個(gè)像素的所述掃描范圍的粗略部分，以及第二讀取控制裝置是可控制的，以便指示分別相差一個(gè)像素的所述掃描范圍的次分組的精細(xì)部分;以及所述用于產(chǎn)生移動向量的裝置是可控制的，以便根據(jù)該讀出的校驗(yàn)方塊從所述掃描范圍的所述粗略部分產(chǎn)生一個(gè)粗略移動向量，并且可受控制以便根據(jù)該讀出的校驗(yàn)方塊從所述掃描范圍的所述次分組的所述精細(xì)部分產(chǎn)生一個(gè)精細(xì)移動向量。
19.如權(quán)利要求18所述的裝置，其中所述的指示裝置包含第一讀取控制裝置，其用于指示所述掃描范圍的所述粗略部分，以及第二讀取控制裝置，其用于指示所述掃描范圍的所述次分組的所述精細(xì)部分。
20.如權(quán)利要求18所述的裝置，進(jìn)一步包含內(nèi)插裝置，其用于對所述掃描范圍的所述次分組的讀出部分進(jìn)行內(nèi)插運(yùn)算以便形成內(nèi)插數(shù)據(jù);以及其中所述的第二小方塊形成裝置是可控制的，以便地形成插入到所述第二組小方塊中的內(nèi)插數(shù)據(jù)，使得所述精細(xì)移動向量具有的分辨力優(yōu)于一個(gè)像素。
21.如權(quán)利要求1所述的裝置，其中所述的掃描范圍包含一些像素;并且進(jìn)一步包含內(nèi)插裝置，其用于對所述存儲的掃描范圍讀出的各像素進(jìn)行內(nèi)插運(yùn)算以便形成內(nèi)插的像素;并且其中所述的第二小方塊形成裝置是可控制的，以便也形成插入到所述第二組小方塊的所述內(nèi)插像素，便得所述移動向量具有的分辨力優(yōu)于一個(gè)像素。
22.如權(quán)利要求21所述的裝置，其中所述的內(nèi)插裝置是可控制的，以便對兩個(gè)所述掃描范圍的讀出像素進(jìn)行內(nèi)插運(yùn)算，以便形成其中一個(gè)所述的內(nèi)插像素。
23.一種檢測移動向量的裝置，包含第一存儲裝置，用于存儲和讀出具有第一尺寸的參照方塊;第一特征裝置，用于產(chǎn)生至少一個(gè)代表讀出的參照方塊的第一特征值;第二存儲裝置，用于存儲具有像所述第一尺寸一樣大的第二尺寸以及用于響應(yīng)于控制信號，按照具有所述第一尺寸的一個(gè)校驗(yàn)方塊讀出存儲的掃描范圍的一部分;第二特征裝置，用于產(chǎn)生至少一個(gè)代表讀出的校驗(yàn)方塊的第二特征值;指示裝置，用于按照所述控制信號，指示存儲在所述第二存儲裝置中的所述掃描范圍的各不同部分;以及比較和產(chǎn)生裝置，用于比較所述第一和第二特征值，以便確定從所述掃描范圍讀出的哪一個(gè)校驗(yàn)方塊最佳疊合所述參照方塊，以及用于產(chǎn)生在所述參照方塊和最佳疊合的校驗(yàn)方塊之間的移動向量。
24.如權(quán)利要求23所述的裝置，其中的所述第一和第二特征裝置中的每一個(gè)都包含低通濾過裝置，其分別對所述讀出的參照和校驗(yàn)方塊進(jìn)行低通濾過。
25.如權(quán)利要求23所述的裝置，其中所述的第二特征裝置是可控制的，以便修改一個(gè)現(xiàn)時(shí)讀出的校驗(yàn)方塊的特征值，產(chǎn)生下一個(gè)讀出的校驗(yàn)方塊的特征值。
26.如權(quán)利要求23所述的裝置，其中所述的掃描范圍包含一些像素;所述的指示裝置指示所述掃描范圍的各不同的位置，該裝置是可控制的以便指示分別差至少兩個(gè)像素的、所述掃描范圍的粗略部分，以及然后可被控制以便指示分別相關(guān)一個(gè)像素的所述掃描范圍的次分組的精細(xì)部分;以及所述用于產(chǎn)生移動向量的所述裝置是可控制，以便根據(jù)讀出的校驗(yàn)方塊，由所述掃描范圍的所述精略部分產(chǎn)生一個(gè)粗略移動向量，以及被控制以便根據(jù)校驗(yàn)方塊由所述掃描范圍的所述次分組的所述精細(xì)位置產(chǎn)生精細(xì)移動向量。
27.如權(quán)利要求23所述的裝置，其中所述的掃描范圍包含一些像素;并進(jìn)一步包含內(nèi)插裝置，其用于對從所述存儲的掃描范圍中讀出的各像素進(jìn)行內(nèi)插計(jì)算以便形成內(nèi)插的數(shù)據(jù);以及其中所述的第二特征裝置是可控制的，以便也產(chǎn)生代表所述內(nèi)插的像素的特征值，使得所述移動向量具有的分辨力優(yōu)于一個(gè)像素。
28.如權(quán)利要求23所述的裝置，進(jìn)一步包含內(nèi)插裝置，其用于對于代表所述校驗(yàn)方塊的所述至少一個(gè)特征值進(jìn)行內(nèi)插計(jì)算，以便產(chǎn)生至少一個(gè)內(nèi)插的特征值，并且其中所述的比較裝置是可控制的，以便將代表所述參照方塊的所述至少一個(gè)第一特征值與所述至少一個(gè)內(nèi)插的特征值相比較。
29.一種檢測移動向量的裝置，包含參照方塊存儲裝置，用于存儲和讀出第一和第二參照方塊;第一特征裝置，用于產(chǎn)生分別代表讀出的第一和第二參照方塊的至少一個(gè)特征值和至少一個(gè)第二特征值;掃描范圍存儲裝置，用于存儲和讀出第一第二掃描范圍;第二特征裝置，用于產(chǎn)生至少一個(gè)的代表所述第一和第二掃描范圍其中之一的讀出的第三特征值;第一裝置，用于將所述至少一個(gè)第一特征值與所述至少一個(gè)第三特征值相比較，以及用于形成第一移動向量，其介于所述讀出的第一參照方塊與所述第一和第二掃描范圍其中的所述一個(gè)的所述讀出的部分之間;以及第二裝置，用于將所述至少一個(gè)第二特征值與所述至少一個(gè)第三特征值相比較，以及用于形成第二移動向量，其介于所讀出的第二參照方塊與所述第一和第二掃描范圍其中的所述一個(gè)的所述讀出的部分之間。
30.如權(quán)利要求29所述的裝置，其中所述的參照方塊存儲裝置和所述掃描范圍存儲裝置分別是可控制的，以便沿著至少兩個(gè)方向按照小方塊讀出所述第一和第二參照方塊和所述第一和第二掃描范圍。
31.如權(quán)利要求29所述的裝置，其中所述的第二特征裝置包含第一選擇裝置，用于選擇所述第一掃描范圍的讀出部分和所述第二掃描范圍的讀出部分的其中一個(gè);特征值產(chǎn)生裝置，用于產(chǎn)生至少一個(gè)代表所述第一掃描范圍的讀出部分的第四特征值，以及用于產(chǎn)生至少一個(gè)代表所述第二掃描范圍的讀出部分的第五特征值;特征存儲裝置，用于存儲和讀出至少一個(gè)所述第四和第五特征值;以及第二選擇裝置，用于像所述至少一個(gè)第三特征值一樣選擇讀出的至少一個(gè)第四和第五特征值中的一個(gè)。
32.一種檢測移動向量的方法，包含的步驟是存儲和讀出具有第一尺寸的參照方塊;將讀出的參照方塊細(xì)分成第一組小方塊;在座一個(gè)掃描范圍，該范圍具有的第二尺寸至少與所述第一尺寸一樣大;響應(yīng)于控制信號，按照具有所述第一尺寸的校驗(yàn)方塊讀出存儲的掃描范圍的一部分;將讀出的校驗(yàn)方塊分成第二小方塊;按照所述控制信號指示在所述第二存儲裝置中存儲的所述掃描范圍的各不同部分;將所述第一和第二組小方塊相比較，以便確定從所述掃描范圍讀出的哪一個(gè)校驗(yàn)方塊最佳疊合所述的參照方塊;以及產(chǎn)生在所述參照方塊和最佳疊合的校驗(yàn)方塊之間的移動向量。
33.如權(quán)利要求32所述的方法，其中所述的形成步驟是沿至少兩個(gè)方向形成所述第一和第二組小方塊，以及所述的比較步驟是將沿所述第一方向由所述讀出參照方塊形成的小方塊與沿所述第一方向由所述讀出校驗(yàn)方塊形成的小方塊相比較，并將沿第二方向由所述讀出的參照方塊形成的小方塊與沿所述第二方向由所述讀出的校驗(yàn)方塊形成的小方塊相比較。
34.由權(quán)利要求32所述的方法，進(jìn)一步包含的步驟是對在所述第一組小方塊中的每一個(gè)小方塊產(chǎn)生至少一個(gè)特征值，對在所述第二組小方塊中的每一個(gè)小方塊產(chǎn)生至少一個(gè)特征值，以及其中所述的比較步驟，是將所述第一第二組小方塊的各特征值進(jìn)行比較。
35.如權(quán)利要求34所述的方法，其中所述的形成步驟是沿至少兩個(gè)方向形成所述第一和第二組小方塊;每一個(gè)所述產(chǎn)生步驟是對沿第一方向形成的每一個(gè)小方塊產(chǎn)生至少一個(gè)特征值，對沿第二方向形成的每一個(gè)小方塊產(chǎn)生至少一個(gè)特征值;以及所述的比較步驟是將沿所述第一方向由所述讀出的參照方塊形成的小方塊與沿所述第一方向由所述讀出的校驗(yàn)方塊形成的小方塊相比較，以及將沿所述第二方向由所述讀出的參照方塊形成的小方塊與沿所述第二方向由所述讀出的校驗(yàn)方塊形成的小方塊相比較。
36.如權(quán)利要求32所述的方法，其中所述的掃描范圍包含一些像素，所述的指示步驟是指示分別相差至少兩個(gè)像的所述掃描范圍的精略部分，以及指示分別相差一個(gè)像素的所述掃描范圍的次分組的精細(xì)位置，以及所述的產(chǎn)生移動向量的步驟是根據(jù)由所述掃描范圍的所述粗略部分讀出的校驗(yàn)方塊產(chǎn)生一個(gè)精略移動向量，并根據(jù)由所述掃描的所述次分組的所述精細(xì)部分讀出的校驗(yàn)方塊產(chǎn)生一個(gè)精細(xì)移動向量。
37.如權(quán)利要求32所述的方法，其中所述的掃描范圍包含一些像素;以及包含內(nèi)插步驟，對由所述存儲的掃描范圍讀出的各像素進(jìn)行內(nèi)插運(yùn)算以便形成內(nèi)插的像素;以及其中所述的形成讀出的校驗(yàn)方塊的步驟是形成插入到所述第二組小方塊的所述內(nèi)插的像素，使得所述的移動向量具有的分辨力優(yōu)于一個(gè)像素。
38.一種檢測移動向量的方法，包含的步驟是存儲和讀出具有第一尺寸的參照方塊;產(chǎn)生至少一個(gè)代表讀出的參照方塊的第一特征值;存儲一個(gè)掃描范圍，其具有的第二尺寸至少像所述第一尺寸一樣大;響應(yīng)于控制信號，按照具有所述第一尺寸的校驗(yàn)方塊輸出存儲的掃描范圍的一部分;產(chǎn)生至少一個(gè)代表讀出的校驗(yàn)方塊的第二特征值;按照所述控制信號，指示在所述第二存儲裝置中存儲的所述掃描范圍的各不同的部分;將所述的第一和第二特征值相比較以便確定由所述掃描范圍讀出的哪一個(gè)校驗(yàn)方塊最佳疊合所述參照方塊;以及產(chǎn)生一個(gè)在所述參照方塊和最佳疊合的校驗(yàn)方塊之間的移動向量。
39.一種檢測移動向量的方法，包含的步驟是存儲和讀出第一第二參照方塊;產(chǎn)生分別代表讀出的第一和第二參照方塊的至少一個(gè)第一特征值和至少一個(gè)第二特征值;存儲和讀出第一第二掃描范圍;產(chǎn)生至少一個(gè)代表所述第一和第二掃描范圍中的一個(gè)讀出部分的第三特征值;將所述至少一個(gè)第一特征值與所述至少一個(gè)第三特征值相比較;作為所述至少一個(gè)第一和第三特征值的比較結(jié)果的函數(shù)，產(chǎn)生第一移動向量，其介于所述讀出的第一參照方塊與所述第一和第二掃描范圍其中的所述一個(gè)所述讀出部分之間;將所述至少一個(gè)第二特征值與所述至少一個(gè)第三特征值相比較;以及作為所述至少一個(gè)第二和第三特征值的比較結(jié)果的函數(shù)，產(chǎn)生第二移動向量，其介于所述讀出的第二參照方塊與所述第一和第二掃描范圍其中的所述一個(gè)的所述讀出部分之間。
40.如權(quán)利要求32所述的方法，其中所述的第一和第二參照方塊和所述的第一和第二掃描范圍是沿至少兩個(gè)方向按照小方塊讀出的。
全文摘要
一參照方塊沿水平及豎直方向各分成小方塊。得到由參照方塊形成的每個(gè)小方塊的特征值。類似地，得到由校驗(yàn)方塊形成的代表小方塊的特征值。將參照方塊和校驗(yàn)方塊的水平特征值比較，且將它們的豎直特征值比較。比較的結(jié)果包含一個(gè)評定參照和檢驗(yàn)方塊的疊合度的等效值。在一預(yù)定的掃描范圍移動校驗(yàn)方塊，對方塊的每一位置重復(fù)該過程。參照方塊和校驗(yàn)方塊一位置之間產(chǎn)生移動向量，在該位置兩個(gè)方塊最佳匹配。
文檔編號H04N7/32GK1109245SQ9411616
公開日1995年9月27日 申請日期1994年8月3日 優(yōu)先權(quán)日1993年8月3日
發(fā)明者小倉英史, 高昌利, 山下啟太郎 申請人:索尼公司