專利名稱：實時操作的用于識別和定位場景中相對運動的區(qū)域并用于確定位移的方向和速度的方法 ...的制作方法
技術領域：
本發(fā)明的目的在于提供一種實時操作的用于識別和定位場景中相對運動的區(qū)域并用于確定所述相對運動的速度和方向的方法和裝置。
相對運動指的是在一個近似不動的環(huán)境中所述區(qū)域(它可以包括廣義上的“物體”，其中包括生物或生物體的一部分，例如手)的運動，或者有時也指在至少部分地運動的環(huán)境中所述區(qū)域(或“物體”)的大致完全固定。
本發(fā)明涉及一種來自觀測系統(tǒng)的數字視頻輸出信號的處理，所述觀測系統(tǒng)包括光學輸入系統(tǒng)或者能夠形成被觀測的場景的圖像的物鏡，并可以通過光電轉換系統(tǒng)或檢測器把接收到的圖像轉換成一個數字輸出信號。
一般地說，觀測系統(tǒng)包括用于觀測要被監(jiān)視的場景的視頻攝像機或帶磁帶機的攝像機(此時所述數字輸出信號包括由具有數字輸出的攝像機輸出的數字視頻信號，或由模/數轉換器輸出的數字信號，模/數轉換器的輸入端和輸出模擬視頻信號的攝像機的輸出相連)。
觀測系統(tǒng)還可以包括光學儀器(雙目鏡，觀察鏡筒，取景器)的物鏡，通過這些光學儀器，至少射出的光束的一部分被采樣，及具有標準的相關電子系統(tǒng)的光電傳感器，例如CCD型或CMOS型的，傳感器接收由所述一部分光束形成的圖像并通過相關的電子系統(tǒng)將它轉換為一個數字視頻輸出信號。
本發(fā)明主要包括來自觀測系統(tǒng)，尤其是視頻攝像機的數字視頻輸出信號的處理，所述觀測系統(tǒng)具有數字輸出端，用于實時地確定信號表示在所述場景中的相對運動的區(qū)域的存在和位置，并當所述區(qū)域實際上在所述場景中相對于近似不動的環(huán)境正在移動時，表示其移動的速度和方向。
迄今為止，用于識別和定位相對運動的物體和確定位移的速度和方向的最好的系統(tǒng)是動物和人的視覺系統(tǒng)，例如，獵人在其隱蔽處定位動物的位移以及位移的速度和方向。
現有技術的監(jiān)視裝置例如人造視網膜，模擬的(Giocomo Indiveri等人，在Procciidings of NicroNeuro’96第15-22頁)或數字的(Pierre-Francois Rüedi在Proceedings of MicroNeuro’96第23-29頁)已經提出了，但第一涉及具有復雜結構的檢測器和模擬單元，第二涉及識別物體邊緣的裝置；此外，在所述裝置中使用非常快速的和高容量的存儲器，以便進行實時操作，并且只能獲得關于運動區(qū)域或物體的有限的信息。
因而，作出了存儲來自視頻攝像機或類似儀器的幀輸出信號的建議，其中包括在一個第一二維存儲器中的關于代表由攝像機在時刻t0觀測的場景的像素的數據序列，和在一個第二二維存儲器中的代表所述在時刻t1的場景的下一個相應幀的視頻信號。如果物體在t0和t1之間已經運動，則可確定一方面，物體在t0和t1之間在場景中移動的距離d，以及另一方面，相對于相同像素的兩個連續(xù)的相應幀的開始之間的時間T=t1-t0。那么位移速度等于d/T。這種類型的系統(tǒng)要求非常大的總存儲容量，如果其要求獲得表征該位移的精確的速度和方向指示的話。此外，在獲得速度和位移方向指示時，存在某些延遲；所以直到時間t1+R才得到這個信息，其中R是用于計算時間間隔t0-t1所需的時間。這兩個缺點(需要大的存儲容量和獲得所需信息時的延遲)限制了這類系統(tǒng)的應用。
此外法國專利NO.2.611.063，其中的一個發(fā)明人(Mr.PatrickPirim)是本發(fā)明的發(fā)明人，描述了一種用于實時處理序列數據流，尤其是從帶磁帶機的攝像機輸出的信號，以便進行數據壓縮的一種方法和裝置。按照這個前面的專利，對第一序列使用分級法則形成信號電平的直方圖，存儲表示和這個直方圖相關的高斯函數，從其中提取最大和最小電平，下一個序列或第二個序列的電平和與對于每個像素相同的恒定的時間常數一道存儲的所述信號電平比較，產生參照分類法則表征下一個所述序列的二進制分類信號，從這個二進制信號產生一個表示一個有意義的范圍的位置和持續(xù)時間的輔助信號，最后使用所述輔助信號產生一個定位被稱為主要范圍的最長持續(xù)時間的范圍的信號，并且這些操作對序列信號的隨后序列重復進行。這種分類的方法和裝置使數據能夠壓縮，在序列數據的被處理的流中只保持感興趣的參數。尤其是，這個方法能夠處理表示視頻圖像的數字視頻信號，以便提取并定位在所述圖像中的至少一個區(qū)域的至少一個特征。因而可以對信號的亮度與/或色度級分類，以便表征并定位圖像中的物體。
美國專利No 5488430通過分別確定在被觀測的區(qū)域的圖像中的水平和垂直變化來檢測和估算位移。使用不同的信號分別檢測沿水平和垂直方向從右到左，從左到右，從頂到底，從底到頂的運動，其中首先對水平/垂直差信號和幀差信號進行“異”運算，其次使用水平/垂直信號的和與幀差信號的和相對于K×3窗口的比。在這個美國專利No 548430中，利用沿著兩個正交的水平和垂直方向的圖像計算在這兩個正交方向有相同的表示間距的值K，間距K按照要被確定的位移速度被定義。按照這一美國專利的裝置對差值信號施加一組以列12(在開始和結尾)和列13(在開始)表示的計算操作，確定沿兩個正交方向的每個方向的運動的方向，這需要非常復雜的(因此難于執(zhí)行)電子計算單元進行特定的除、乘和求和；而且，由于從在水平和垂直坐標軸上的投影開始，需要附加復雜的計算單元才能獲得位移的速度和方向(開平方以獲得速度的值并計算arctg函數以便獲得指定的方向)。最后，美國專利No 5488430沒有包括通過對于每個像素是可變的時間常數來平滑像素值，以便補償這些值的過快地變化的的任何裝置。
與此相反，按照本發(fā)明的方法使用本發(fā)明提供的數字型裝置實現，這些裝置具有相當簡單的結構和相當小的存儲容量，并通過這種裝置利用多種結果和應用(根據應用對應于隔行掃描幀的完整的半圖像或完整的圖像)可以快速地獲得所需的信息。
在Institute of Electrical and Electronics Engineers,vol.3,1994，第1925-1930頁，由Alberto Tomita Sr.和Rokuya Ishii發(fā)表的標題為“HandShape Extraction from a Sequence of Digitized Gray-Scale Images”的文章中實現了一種運動檢測，它通過在由根據人手的形狀的直方圖的形成跟隨的相繼的圖像之間相減，以便在數字化的場景中提取人手的形狀。直方圖分析根據人手固有的灰度進行。它不包括形成平面坐標的直方圖的任何裝置。這篇文章的作者的唯一目的是檢測人手的位移，例如為了用手代替一般的鼠標，識別人手的位移，用于向計算機輸入數據。
與此相反，本發(fā)明不限于檢測手的位移，而是能夠檢測場景中的任何物體(在最廣義上說)的相對位移，并且不使用根據手的灰度值的直方圖，而是使用代表位移(如果有的話)的一些特定數字變量的直方圖和平面坐標的直方圖。
按照本發(fā)明處理來自觀測系統(tǒng)的數字視頻輸出信號，這個信號以已知的方式包括幀序列(對應于在每個圖像兩個隔行幀的情況下的半圖像，或每個圖像一個幀情況下的一個完整圖像)每個包括給定數量的連續(xù)行和在這些行中的每行中的給定數量的像素或圖像點，為了使用相當小的存儲容量獲得能夠表示在觀測的場景中是否存在相對運動的區(qū)域的信號，并且如果有，如果它實際上相對于其環(huán)境正在運動的話，則確定所述區(qū)域的位置，速度和方向，通過產生兩個數字信號，一個代表在兩個相繼的相應幀之間，對于同一像素位置，像素信號有大的改變或未改變，另一個代表這一改變的大小，如果有的話，并在同一時刻在幀的一部分中進行這兩個信號對于像素的矩陣分布。
本發(fā)明的第一個目的在于，提供一種實時操作的方法，用于識別和定位在一個通過觀測系統(tǒng)觀測的場景中的相對運動的區(qū)域，所述觀測系統(tǒng)具有由數字視頻信號構成的輸出，所述視頻信號包括連續(xù)的相應的幀，每個幀由連續(xù)的行構成，每行包括連續(xù)的像素，并用于確定位移的速度和方向，所述方法的特征在于，它對于數字視頻輸出信號進行如下的操作順序使用數字時間常數對所述數字視頻輸出信號進行平滑處理，它的數字值對于所述輸出信號的每個像素可以獨立地被修正，在一方面，在平滑之后，存儲所述輸出信號的幀，在另一方面，存儲和所述幀相關的時間常數，-對于每個像素位置進行時間處理，在于首先確定其存在，其次確定在當前幀和剛剛前面的平滑和存儲的幀之間像素信號的大小是否有顯著變化的值，并產生兩個數字信號，第一個信號是二進制的或具有兩個可能的值的1位的信號，兩個可能值之一表示兩個相繼幀之間存在顯著變化，而另一個代表不存在所述顯著變化，所述二進制信號的值修正所述時間常數的存儲值，以便如果所述信號代表顯著改變的話，減少所述時間常數；以及如果所述信號不存在這種變化的話，增加所述時間常數；所述減少或增加以定量的方式進行，而第二個數字信號，即幅值信號，是一個多位信號，其具有量代所述變化的幅度的有限的位數；以及對于數字視頻輸出信號的每一幀進行包括以下步驟的空間處理在給定的觀測時刻，只分配在一幀中的一部分像素值(在整個幀期間通過所述矩陣被掃描的一部分)，首先是所述二進制信號，其次是所述數字幅值信號，到具有若干行和列的矩陣中，所述行數和列數和視頻信號中的行數和每行的像素數相比是小的，以便表征像素值，在這雙倍的瞬時矩陣表示中確定一個特定的區(qū)域，其中所述二進制信號具有一個值，希望用于表示有無重大變化，以及在幀的相同部分內因而也是在同一個觀測時刻對于在矩陣中的相鄰像素沿著從原始像素開始時所取的方向，所述數字幅度信號是否改變了一個顯著值，產生信號表示相對位移的區(qū)域的存在和位置，以及相對其環(huán)境的相對的幀間速度和該位移的方向，如果有的話，從這兩個二進制和幅值數字信號的瞬時矩陣分布中獲得。
最好是，按照本發(fā)明的方法的特征在于，其還包括首先形成分布在矩陣中的信號數值的直方圖，其次形成在平面中具有可變的坡度的兩個坐標軸的斜度的直方圖，識別在形成的每個直方圖中被處理值的重大變化的范圍，以及對于每個識別的范圍，推斷是否有相對運動的區(qū)域，如果有，判斷其位置、速度和所取的方向。
在特定的實施例中所述矩陣是方陣，具有相同的奇數行和列(2l+1)，并且考慮嵌套的矩陣含有3×3,5×5,7×7,...(2l+1)×(2l+1)個元素，其中心在所述方陣的中心，以便確定最小的嵌套矩陣，其中所述數字信號沿著從所述中心開始的方向改變，所述二進制信號的值表示沿著該方向的門限值已經被超過，-所述矩陣是六角陣，并且考慮尺寸增加的嵌套的六角陣，其中心在該六角陣的中心，以便確定最小的嵌套矩陣，其中所述數字信號沿所取方向而改變，-所述矩陣是具有單行和單列的倒L矩陣，并對于單行和單列考慮含有3×3個像素、5×5個像素，7×7個像素，...(2l+1)×(2l+1)個像素的嵌套的矩陣，以便確定最小的矩陣，其中信號沿所取方向，即具有最陡的斜度和恒定數量的行而改變。
有利的是，所述時間常數的形式是2p，其中p是小于16的數，并且其可以被以不多于4位來表達，通過對p減或加一個單位而使時間常數減少或增加。
在此情況下，如果需要，使用Mallat時標算法考慮完整幀的相繼減少的部分，并選擇這些部分中的最大的，其給出可和p值匹配的方向指示、位移和速度。
本發(fā)明的另一個目的在于，提供一種實時操作的裝置，用于識別和定位在一個通過觀測系統(tǒng)觀測的場景中相對運動的區(qū)域，所述觀測系統(tǒng)具有由數字視頻信號構成的輸出，所述視頻信號包括連續(xù)的相應的幀，每個幀由連續(xù)的行構成，每行包括連續(xù)的像素，并通過使用上述的方法用來確定位移的速度和方向，所述裝置接收所述視頻輸出信號作為其輸入，其特征在于，其以組合的形式包括-一種裝置，用于使用數字時間常數對所述數字視頻輸出信號進行平滑處理，所述數字時間常數的數值對于所述每個輸出信號的像素可以獨立地被修正，-一種裝置，用于首先在平滑之后存儲所述輸出信號的幀，其次存儲和所述幀相關的平滑時間常數，-時間處理單元，用于分析在所述數字信號的當前幀和剛剛被平滑并存儲的幀之間，對于同一像素位置的像素信號的值隨時間的變化，所述單元包括一個存儲器，所述存儲器能夠接收、存儲和檢索關于相應的前一個平滑的幀的信息；還有比較裝置，對于在輸入視頻信號幀中的像素的每一位置，通過產生二進制的信號，或者具有兩個值的一位信號，這兩個值之一表示超過門限值，另一個表示沒有超過門限值，用于確定在當前像素信號和所述存儲器中存儲的前一幀的同一像素位置的像素信號表示值之間的差的絕對值是否超過一個門限；以及計算裝置，其能夠確定具有小的位數的多位數字幅值信號，其值取決于在數字視頻信號的當前幀和剛剛前面被平滑并存儲的幀之間的同一像素的值的變化量；以及-空間處理單元，在其中輸入來自由時間處理單元處理的給定幀中的像素的所述連續(xù)的二進制和數字幅值信號的輸出，所述空間處理單元包括用于表征像素的幅值的裝置，這些裝置只分配相對于同一時刻，即對于一幀，的所述二進制和數字幅值信號，到分別比在所述數字視頻信號的幀中的行數和每行像素數少的行數和列數的矩陣中，所述的幀在整個幀的持續(xù)時間跨過所述矩陣被掃描，尋找裝置，用于確定在所述矩陣內像素的區(qū)域，其中，在此時刻，二進制信號具有檢索的值；以及用于確定在所述矩陣內像素區(qū)域的裝置，其中，在同一時刻對于相鄰像素的數字幅值信號改變一個顯著的量；以及一種裝置，其響應來自兩個前面的裝置的指示，產生表示像素的這一區(qū)域并因而表示觀測的場景內相對運動的區(qū)域的存在和位置的信號，該信號還表示當所述區(qū)域實際上相對于其環(huán)境而運動時該區(qū)域相對的幀間速度和方向。
空間處理單元最好還包括一個輸出端，用于提供延遲的數字視頻信號，其包括具有等于矩陣的各行的持續(xù)時間減去一行的持續(xù)時間的延遲的輸入數字視頻信號，以便在所述時間處理單元中進行矩陣分析的同時提供輸出信號。
按照本發(fā)明的裝置的空間處理單元最好包括串聯(lián)的延遲裝置，每個延遲裝置提供等于兩個相繼行的開始之間的時間差的延遲，以及用于每行的串聯(lián)的延遲裝置，其中的每一個提供等于一行中兩個相繼像素之間的時間差的延遲，并且來自所有寄存器的輸出和對在每行上的第一寄存器的輸入在給定的時刻向所述識別裝置提供所述二進制信號和在同一時刻的所述數字幅值信號。
按照本發(fā)明的裝置最好還包括裝置用于形成來自所述空間處理單元的輸出值的直方圖，及在一個平面內的兩個斜度可變的坐標軸的傾斜度直方圖，該裝置用于識別每個直方圖中的一個范圍，其中被處理的值具有顯著的改變，以便在其輸出中使這個范圍有效，并對于所有直方圖導出輸出信號，該信號用于識別和定位在觀測的場景中的相對運動的區(qū)域，如果有的話；以及這些運動的速度和方向，如果所述區(qū)域相對于其環(huán)境確實在運動的話。
如果需要檢測在幾乎不運動的環(huán)境中的物體的運動，則需要確定矩陣的一部分，其中二進制信號的值表明已經超過限制，并且同時在一幀的相鄰像素之間的數字幅值信號具有顯著的改變。
與此相反，如果需要檢測在運動的環(huán)境中的不動的物體，則需要確定矩陣的一部分，其中二進制信號的值表明沒有超過限制，并且同時在一幀的相鄰像素之間的數字幅值信號沒有改變。
最好是，在實施上述方法的用于識別、定位和確定在場景中相對運動的區(qū)域的位移的速度和方向的裝置中-所述平滑裝置包括一個輸入端，其接收所述數字視頻信號，并對于所述視頻信號的一幀中的每個相繼的像素導出一個被平滑的信號，在其中輸入數字視頻信號的時間變化通過使用在另一個輸入端接收的門限信號和在一幀中關于每個像素位置的時間常數而減少，其值被不斷地修正，使得雖然變化被減小了，但是平滑裝置仍能維持輸入的數字視頻信號的變化趨勢，所述平滑裝置和所述存儲單元協(xié)同工作，存儲單元對于一幀中的每個像素位置接收、存儲并檢索被平滑的信號和所述時間常數的被更新的值，并對于每個像素位置至少輸出更新的時間常數連續(xù)值和二進制信號的連續(xù)值，所述二進制信號表明所述門限值是否被一個像素值和其平滑值之間的差的絕對值超過；所述空間處理單元以減少的數量沿著行和列進行來自所述平滑裝置的輸出，即所述二進制信號和所述時間常數的相繼值的矩陣分配；-提供一種裝置，用于在所述矩陣分配中識別一個像素區(qū)域，其中同時或者所述二進制信號的值相應于一個門限值被超過，并且在相鄰像素之間的所述時間常數沿一個方向改變一個大的值，并用于產生指示所述區(qū)域的位置和在該區(qū)域中位移的速度和方向的輸出信號；或者所述二進制信號的值相應于一個門限值沒有被超過，并且所述時間常數在相鄰像素之間沒有改變，并用于產生指示所述區(qū)域的位置的輸出信號；在最佳實施例中
-所述平滑裝置包括成組合關系的視頻存儲器或場存儲器，其存儲一幀的每個像素的連續(xù)的值和所述時間常數以及被平滑的數字視頻信號的連續(xù)值；用于對每個像素進行計算的裝置，它計算從攝像機輸出的數字視頻信號的值和前一個平滑的數字視頻信號的值之間的差的絕對值；用于比較的裝置，其比較所述的差和一個門限，并產生一個二進制信號，其兩個值中的一個值表示所述門限已被超過，另一個值表示尚未被超過；用于更新的裝置，其更新時間常數從所述存儲器中接收時間常數的前一個值，當其接收的二進制信號的值表示門限已被超過時，則使時間常數減少，當其接收的二進制信號的值表示門限未被超過時，則使時間常數增加，然而，如果其分別導致一個負值或者超過門限值的一個值，則不進行減少或增加；以及用于更新數字視頻信號的平滑值的裝置，其按照代數方法對從所述存儲器接收的該平滑信號的前一個值加上從攝像機輸出的數字視頻信號和來自所述存儲器的前一個平滑的數字視頻信號的差除以等于從所述存儲器檢索的前一個時間常數的值的系數的商；-所述時間常數是2p的形式，其中p是小于16的整數，因而可以用不多于4位表示，時間常數的減少和增加通過對p減或加一個單位來實現；-所述矩陣分配裝置以組合方式包括延遲裝置，其對從攝像機發(fā)出的數字視頻信號提供等于視頻信號的一行的時間間隔的相繼的延遲，從而對相繼的輸出提供被延遲一個延遲間隔、兩個延遲間隔、直到延遲的間隔數等于在空間分配矩陣中的行數減1的該視頻信號；用于沿著矩陣的相繼行進行矩陣分配的裝置，其首先接收來自攝像機的沒有延遲的數字視頻信號和從延遲裝置的輸出端輸出的該逐漸延遲的信號，然后接收從所述平滑裝置接收的時間常數的值和所述二進制信號的值，以便在給定的時刻，對于和矩陣相同大小的數字視頻信號的一幀中的一部分像素，產生所述時間常數值和二進制信號值的在行和列中的矩陣分配；-矩陣分配裝置包括一系列數字信號電路，即在分配矩陣中每行一個，每個具有串聯(lián)連接的移位寄存器，每個寄存器提供等于數字視頻信號的一行中兩個相繼像素之間的時間差的延遲，分配在矩陣中的像素位置被位于延遲寄存器之前的矩陣中的一點確定，其每行中的數量等于矩陣中的列數減1，并由在最下游的移位寄存器的下游的點確定；
-所述檢測裝置，其通過檢測表示門限被超過的二進制信號以及時間常數值中的變化的同時存在，檢測所述距陣中的運動區(qū)域，其中包括用于沿著離散的數字化的方向確定接近所述矩陣的中心的像素的時間常數的值改變的斜率的裝置，用于形成所述方向的原點，以及用于選擇接近這一中心原點的這個變化的最陡的斜率并確定方向的裝置，如果這一變化的同一個最大斜率具有一個以上的方向，則考慮用于選擇方向的準則，這些后面的裝置輸出代表在運動區(qū)域內位移的速度和方向的信號，以及表示這些速度和方向信號是有效的以及時間常數值的一個有效信號。
最好是，如果在按照本發(fā)明的裝置中包括用于產生直方圖的裝置，則該裝置包括-接收構成直方圖的信號和來自矩陣分配裝置的有效信號的輸入端；以及-用于對兩個平面坐標建立兩個線性的一維的直方圖，并把這兩個線性直方圖組合成為平面直方圖的裝置，所述平面直方圖代表其中輸入信號具有大的變化的區(qū)域，以及-輸出代表所述區(qū)域的信號的輸出端。
此外，用于形成直方圖的裝置最好包括-用于計算一個參考變化的裝置，其輸入端接收行序列信號、列序列信號和像素時鐘信號，其輸出表示參考變化；-用于對于兩個軸形成直方圖的兩個裝置，其接收兩個參考信號并形成這些軸的直方圖；以及-區(qū)域裝置，在其中輸入來自兩個軸的兩個直方圖形成裝置的輸出，并且其輸出包含兩個軸的全部斜率信息的信號。
在一些應用中，所述時間常數可以包括有限數量的并具有逐漸增加的值的間隔的級數，根據它們可以劃分對于每個像素位置，當前像素的值和平滑之后同一像素的前一個值之間的差的絕對值。
有利的是，為了確定二進制信號是否超過門限值，對于每個像素位置，比較當前輸入像素的值和來自存儲器的同一像素的前一個平滑值之間的差值的絕對值和一個門限值。
關于數字數字信號，其最好對于每個像素位置，作為一個表示當前像素值接近該像素的前一個平滑值的趨勢的整數而被產生。
本發(fā)明的一個特征在于，為了確定二進制信號和數字幅值信號，使用其存儲的平滑值作為前一個像素的值，以便減少可能存在于來自具有數字輸出的視頻攝像機或任何其它觀測裝置的數字視頻輸入信號中像素信號隨時間發(fā)生過大的變化。
已知平滑操作的效果是利用變化較小的信號逐漸代替隨時間而具有大的幅值改變的數字信號，因而使得在平滑的數字幅值信號中，更容易利用少量的步驟，因而較少的位進行量化。
現在參照


實施本發(fā)明的方法的本發(fā)明裝置的優(yōu)選實施例，這只是說明而已，而不是限制性的，其中圖1示意地說明具有輸入和輸出的按照本發(fā)明的整個系統(tǒng)以及對該系統(tǒng)的輸入信號；圖2以方塊圖表示形成瞬時和空間處理部件的按照本發(fā)明的裝置中的主要單元；圖3和圖4說明形成圖2的裝置的一部分的瞬時計算處理部件和空間矩陣分配處理部件的功能圖；圖5示意地表示按照本發(fā)明的系統(tǒng)中的時間處理和空間處理；圖6說明按照Freeman碼的從圖4的矩陣的中心原點開始的離散方向的數值；圖7說明在瞬時分配矩陣中兩個小的嵌套矩陣；圖8和圖9說明兩個其它類型的矩陣，分別為六角形矩陣和倒L矩陣；圖10示意地表示按照本發(fā)明的優(yōu)選實施例，具有附加部件的沿著線Z-Z1的圖2的裝置的連接；圖11以方塊圖表示所述的圖10中的附加部件；圖2和圖11沿著圖2和圖10所示的點劃線Z-Z1裝配；圖12表示兩個一維的直方圖的形成，以及由這些直方圖開始對于一個輸入信號的一個運動區(qū)域的二維直方圖；圖13表示直方圖形成和處理方塊或單元的細節(jié)以及和其相關的線性組合方塊；圖14表示一個一維的直方圖15和16說明在場景的觀測范圍中的變化的使用；圖17和18,19說明按照本發(fā)明的裝置的其它可能的應用，在圖17和18的方塊形式中，圖17涉及電視會議，圖18說明交通干道或主路的監(jiān)視，圖19說明操縱者由手動控制機器；圖20和21示意地表示本發(fā)明用于監(jiān)視要進入睡眠狀態(tài)的汽車駕駛員；圖22表示按照Mallat圖的變換的圖像。
首先參看圖1，可以看出，在優(yōu)選實施例中，按照本發(fā)明的裝置11首先包括輸入端12，其接收來自視頻攝像機或帶磁帶機的攝像機13的一個數字視頻信號S，具有一個或幾個CMOS型CCD傳感器，具有直接的數字輸出或由模/數轉換器轉換為數字輸出的模擬輸出。信號S按照已知的方式由連續(xù)的隔行掃描的幀對構成，例如TR1和TR1’,TR2和TR2’，其中每個包括連續(xù)的水平掃描行，每行(例如在TR1中的l1,1,l1,2,...,l1,17..和在TR2中的l2,1)由被攝像機13監(jiān)視的場景13a的連續(xù)的像素的元素信號或代表點的圖像點(例如行l(wèi)1,1的a1,1,a1,2,和a1,3；行l(wèi)1,2的a2,1，a2,2；行l(wèi)1,17的t17,1和a17,2；行l(wèi)2,1的a1,1和a1,2)構成；在圖中用S(PI)表示由像素PI構成的信號S。
按照已知的方式，S(PI)包括在每幀開始的幀同步(ST)信號和在每行開始的行同步(SL)信號。
因此，可以看出，S(PI)信號包括-在時間域框架內的連續(xù)序列(連續(xù)的幀)以及-在空間域的框架內的每個序列(每幀)中的一系列子序列(行，像素)。
在時間域中，將使用“連續(xù)的幀”這種表述指成對幀例如TR1-TR’1的相同類(即奇數幀，例如TR1，或偶數幀，例如TR’1)的連續(xù)幀，其形成數字視頻信號S(PI)的連續(xù)的圖像，用“在同一位置的連續(xù)的圖像”這種表述指在同類的連續(xù)幀中相同位置中的連續(xù)的像素值(PI)，例如在幀TR1中的l1,1的a1,1和在下一個相應的幀TR2中的12,1的a1,1。
此外，裝置11包括輸出端14，其輸出由其產生的幾個數字信號，它們對于表征具有相對位移的區(qū)域或“物體”(在更廣義上說，如上所述)的存在及其位置，連同位移的速度與方向是有用的，如果在靜止的環(huán)境中位移是顯著的，尤其是復合信號ZH圖示地分組表征該區(qū)域或物體的存在和位置、速度V和位移的方向DI的信號，并且如果可能，輸入的數字信號S被延遲和前面的信號同步，考慮到其計算時間，這個延遲的信號SR，在可以得到關于相對位移(如果有的話)的區(qū)域的信息即可以在處理和檢查部件10a中使用的信號ZH,(V,DI)的時刻，用于在監(jiān)視器或電視機屏幕10上顯示由攝像機13獲取的圖像。
下面參照圖2說明圖1所示的裝置11的第一部分的結構，這部分由在圖2上的由虛線圍成的框11a內的部分表示。
部件11a的主要元件首先是時間處理單元15，及相關的存儲器16，其次是空間處理單元17，及相關的延遲單元18和順序單元19，以及像素時鐘20，用于設置時間處理單元15和順序單元19的節(jié)律。
除去其它功能之外，時間處理單元15對視頻信號進行平滑-使用從視頻攝像機13發(fā)出的并包括連續(xù)的像素值PI的數字視頻信號S，由時鐘20(從信號S開始)以一幀內的像素速率(13.5MHz)產生的HP脈沖，產生下面參照圖3所述的幾個信號，并利用存儲器16交換這些信號中的兩個信號的值，即數字視頻信號的平滑的值L和平滑時間常數值C被字母O跟隨著的值L和C為來自單元15的存儲在存儲器16中的值，被字母I跟隨著的值L和C為來自存儲器16的并到達單元15的值，以及-產生一個二進制輸出信號DP，用于識別門限是否被超過，以及數字信號CO，用于指示時間常數的更新的計算值，即被送到存儲器16的值CO。
構成時間處理單元15的計算與/或比較方塊被詳細地示于圖3；單元15包括4個塊15a,15b,15c,15d。
單元15的第一塊15a使用-由連續(xù)的像素信號PI構成的輸入數字視頻信號S，以及-對于前一個相應幀的信號S的平滑值LI，它是由單元15作為SO預先計算的，并被暫時存儲在存儲器16中(下面說明)-對于同一像素位置(例如TR1中的l1,1和TR2中的l2,1的a1,1)以由時鐘20的HP時鐘信號提供的速率計算PI和LI的輸入值之間的差的絕對值AB，AB=|PI-LI|第二塊15b是測試塊該塊接收來自單元15a的上述的數字信號AB，和可以是常數但一般依賴于像素值的門限值SE的數字信號；然后使其在與所述值相同的方向上被改變，使得其形成γ校正(已知的改變SE的γ校正方法由選擇的方塊15e表示，如虛線所示)；以及-它比較AB和SE表示的這兩個數字信號，以便確定一個二進制信號DP，換句話說，一個可以等于1和0之一的信號，分別表示AB是否超過所述門限SE-如果AB大于SE，則DP將在單元15b中被指定為值1，以表示門限已經被超過；-如果AB小于或等于SE，則DP將在單元15b中被指定為值0，以表示門限值尚未被超過。
當DP=1時，則PI和LI之間的差，即輸入數字視頻信號和前一個被平滑的數字視頻信號之間的差太大，因而這差值必須通過減少平滑時間常數被減少，相反，如果DP=0，則時間常數必須被增大。
第三個方塊15c根據DP的值實現時間常數值所需要的改變-如果DP=1，方塊15c使時間常數值減少一個單位值U:CO(該常數的新值)=CI(該常數的舊值)-U；-如果DP=0，方塊15c使時間常數值增加一個相同的單位值U:CO=CI+U；因而，方塊15C在一個輸入端接收來自方塊15b的上述二進制的超過信號DP，并在另一個輸入端接收CI信號，該CI信號是在存儲器16中存儲的前一個時間常數的值，并減少或增加單位U，把時間常數CI成為輸入到所述存儲器16的CO來代替CI。
有利的是，與平滑收斂有關的時間常數，(根據平滑值達到數字視頻信號的輸入值所需時間)，利用2的冪，即2p的形式表示，其中的整數p將是在方塊15C中被減去或者加上一個單位，換句話說被減1或加1的數；在這種情況下，對于圖3的p,U=1。
-如果DP=1，方塊15C則從時間常數2p的系數p中減去一個單位(1)，成為2p-1；-如果DP=0，方塊15C則對時間常數2p的系數p中加上一個單位(1)，成為2p+1。
選擇2p形式的時間常數具有兩個優(yōu)點，首先它適應于人的視覺的生理學，其次它有助于計算，因而簡化方塊15C的結構。
方塊15C還必須符合兩個條件，即CO必須處于兩個極限值之間CO必須為非負(CO＞0)，并且不超過極限值N(CO≤N)。在CI和CO是2p的形式下，上限N用整數n來表示，它是p的最大值。
上限N(或n)可以是常數或者是變量，如果是變量，一個選擇的單元15f(虛線)實現，例如根據用戶輸入的級數的N的變化。增加N的結果是增加位移檢測的靈敏度，而減少N則改善高速度的檢測。
最后，第4方塊15d在第一輸入端接收在方塊15c中產生的新的時間常數值CO，其在第二輸入端，接收以像素值信息PI的形式的輸入數字視頻信號S，在第三輸入端，接收來自存儲器16的前一個輸入的數字視頻信號的平滑值即LI，并且計算LO=LI+(PI-LI)/CO將計算結果在輸出端輸出。
實際上，項(PI-LI)/CO代表對數字視頻信號的平滑值進行的修正，其中考慮了時間常數的修正值CO，并且其和來自攝像機13的當前輸入像素的實際值與其前一個平滑值LI之間的差成正比并和CO成反比。
如果CO=2p，則LO=LI+(PI-L1)/2po使用po，在單元15c中計算的p值，其代替存儲器16中的P前一個值pi。
因而，時間處理單元15具有4個計算方塊15a,15b,15c,15d-接收來自攝像機13的S(PI)，用于控制操作速率的HP時鐘脈沖，以及SE和N(或n)門限信號；-從來自相關存儲器16的LI和CI輸入信號開始，確定更新的信號LO和CO，它們被送到所述存儲器用于分別代替LI和CI，并且其分別代表平滑數字視頻信號和時間常數的新的計算值；以及-通過延遲單元18把上述的CO信號和由PI,LI，和SE計算的二進制門限超過信號DP送到空間處理單元17。
平滑操作的目的在于對每個像素或圖像點，通過減少改變的差值并對于每個像素利用比PI值的變化小的平滑的LO值，代替在該圖像點的連續(xù)的PI的實際改變值，使輸入的視頻信號的數字值的變化即每個PI的改變，標稱化。
因而對于每個輸入的PI，時間處理單元15和存儲器16相結合，通過使用超過或未超過信號DP的一個二進制門限值和時間常數信號CO，它是被更新的并被傳送到如圖4所示的空間處理單元中，用平滑值L0代替減少了的改變。
在一幀內的區(qū)域內的每個像素可以由兩個沿著橫軸和縱軸，即x和y，的坐標(通常是正交的)來識別，通過對像素分配兩個下標，即對于y坐標的i(行數)和對于x坐標的j(行中的像素號數)。具有下標i和j的每個像素具有視頻值(視頻信號的幅值)PIij。
如果我們現在討論對于相繼的相應的連續(xù)的幀的PIij的值在由周期T分開的時刻t0,t1,t2,t3,...，隨時間t的變化，其中周期T相應于圖像周期(通常等于兩個幀周期)，當視頻圖像信號的頻率為25Hz時為0.04s；當視頻圖像信號頻率為33Hz時，或者對于具有漸進圖像(1幀/1個圖像)的傳感器為50Hz時為0.0333s，具有位置下標i和j的視頻像素的信號具有在時刻t0,t1,t2,t3,...由PIijt0,PIijt1,PIijt2,PIijt3,...表示的相繼值。
在本發(fā)明的范圍內，用在時間處理單元15中相繼的平滑值LOijt，即LOijt0,LOijt11,LOijt2,LOijt3代替Pijt。
對于在時刻t的具有坐標i,j的每個相繼像素或圖像點，即Pijt，其實際值PIijt利用由下式給出的平滑值替換LOijt=LIijt(t-1)+(PIijt-LIijt(t-1))/COjit時間常數最好是2Pijt的形式。
在單元15中尤其是在方塊15d中，在分隔t0與t1,t1與t2,t2與t3等的時間間隔T進行的計算使得值LOijt向著值PIijt收斂，其收斂速度取決于時間常數，該時間常數是一個空間(因而和i,j有關)和時間(因而和t有關)變量，并且可以寫成COijt。
在所有情況下，當COijt較大時LOijt的收斂較慢。如果COijt=1，則不再有任何平滑作用。
顯然，在上式中，可以用直角坐標y和x代替給出行的序列號和在行中的像素序號的下標i和j。
方塊15a計算AB=|PI-LI|，其中下標i,j,t未標出，幅值AB代表對于每個三重態(tài)(triplet)i,j,t，數字視頻信號S(PI)相對于平滑信號LI的瞬時變化。
按照本發(fā)明的裝置的特征在于，在時間處理單元15中進行像素值的平滑，從而對于每個像素確定平滑時間常數和一個二進制信號的相繼值，所述二進制信號用于根據一個對于兩個相繼的相應幀的一個像素的像素值和其平滑值之間的差的絕對值識別是否門限值被超過，以便在同一時刻在平面矩陣中分配在該幀中對幀進行掃描的限定部分中的像素的所述時間常數和所述二進制信號的數值，以便根據在此時刻這兩個值的局部變化來定位相對運動的區(qū)域，并根據這一分配確定實際位移的方向和速度，這通過在下面參照圖4說明的空間處理部件來實現。
平滑的收斂由計算塊15b和15c來實現，其確定新輸入的時間常數CO(實際上是COijt)的值的改變，以便加速收斂。這通過比較AB(實際上是ABijt)和門限值來進行，門限值可以是常數或者是優(yōu)選的變量，如果是變量，則可以是像素值的函數，以便進行γ校正如果像素值增加，則門限增加，反之亦然。AB和門限值SE(實際上是SEijt，如果所述的值隨像素值而改變，這個改變在任選的計算塊15e中實現)比較的結果在塊15b中產生二進制位移信號DP，它具有如上所述的1和0的兩個可能的值。
二進制信號DP被送到塊15c，以便改變時間常數的值。因而，計算單元15c也接收來自存儲器16的輸入的時間常數CI的值，并使用被送到存儲器16的(還有其它的)時間常數的新值CO對其更新，在其中它代替較前的值CI；事實上，對于CI和CO的值，使用在兩個相繼時刻例如t0和t1的CIij和COij,t0和t1被相繼的兩個相應幀(或者奇數或者偶數)之間的時間間隔T分開。
接收DP和CI的塊15c對時間常數CI的值加上或減去一個單位值(U)，或當CO的形式是2p時對p加上或減去一個單位，這根據二進制信號DP確定門限值被超過(DP=1)或者沒有被超過(DP=0)而定。
如果門限被超過，則這個常數的值太高，因而應該減小，反之亦然。
塊15c也保證通過CI加上或減去一個單位而得出的時間常數的新值CO處于0(CO不為負)和一個門限值N(CO不大于N)之間。如果這兩個條件不滿足，塊15c則不修正CI的值(其實際上處于從0到N的間隔內，包括兩個極限)，并且然后CO=CI。
上限值N(或n)可以是常數或變量；如果是變量，必須不超過限制值N max.(或n max.)；可能的變化在用戶可利用的控制的作用下由塊15f施加。
作為一個變量，可以使N(或n)依賴于PI(其中N,n和PI實際上被分配3個下標i,j,t)，以便保證根據PI的級調節(jié)LO的改變(在塊15d計算出的)，其可以表述為“Nijt或nijt是PIijt的函數”，Nijt或nijt=f(PIijt)的確定在用于代替所示的方塊15f的計算塊中實現，并除N之外，由視頻攝像機13對其提供PI的值。
有利的是，時間常數C(實際上每個Cijt)被強制滿足具有一個數值的條件，所述數值或者是2的倍數，或者尤其是2的冪，而和i,j,t值無關；在這種特定情況下，Cijt=2p(ijt)，其中p是一個作為i,j,t的函數的小的整數，并可以用小的位數表示。這個條件提供了如上所述的附加優(yōu)點-平滑收斂法則類似于人的視覺的生理法則；-塊15c,15d的電子結構被簡化；尤其是在塊15d中，其被指定利用下式確定對于每個i,j對的時間常數值的變化LO=LI+(PI-LI)/CO如果CO是2p的形式(其中p是一個小的整數)，則計算被簡化，本身為一個小的整數的p的門限值n由有限位表示。
在所有情況下，輸入的數字視頻信號S的新的平滑值LO被送到存儲器16中，在其中它代替LI(對于每對下標ij)。
由圖2和圖3可見，包括計算塊15a,15b,15c,15d，和可選擇的塊15e與/或塊15f的時間處理單元15和存儲器16協(xié)同工作，對每個i,j,t三重態(tài)確定并提供作為上述的輸出的以下的值。
-首先，更新的平滑值LO，其被傳遞到存儲器16，用于代替前一個平滑值LI；第二，兩個數字信號，即-一個二進制信號DP，其表示給定的門限值是被來自視頻攝像機的輸入像素信號和對同一點的前一個平滑像素信號比較而得的絕對值的變化所超過(DP=1)，還是沒有被超過(DP=0)；以及-由更新的時間常數CO構成的幅值數字信號；這些數字信號DP和CO通過延遲單元18被下面將要說明的空間處理單元17接收，信號CO也被輸入存儲器16，其中對于同一像素，值CO代替前一個值CI。
因此，可以看出，用于首先存儲平滑像素信號的相繼值其次存儲時間常數的存儲器16的容量，假定在一幀中具有R個像素，并因而每個完整的圖像中具有2R個像素，至少必須是2R(e+f)位，其中e和f分別是分配給一個像素信號和一個時間常數的位數。實際上，存儲器容量不必太大；只需是超過2R(e+f)位的一個其正確操作所需的位數即可，特別是根據下標i和j用于從平滑像素信號中尋址和提取的位數以及時間常數的位數。如果每個視頻圖像由一幀組成，則使用R(e+f)位代替2R(e+f)位便足夠了。
在時刻t從時間處理單元15輸出的信號DPij和COij在圖4所示的空間處理部件中被分析和使用，圖3和圖4所示的部件在圖2中示出了。
實際上，時間處理部件15處理幀信號，而圖4中的空間處理單元17處理一幀中的像素和行的子序列。
圖5示意地說明添加在該圖上的相繼的相應幀序列TR1,TR2,TR3的時間處理，和在這些幀的第一幀即TR1中的空間處理，說明直角坐標x,y和具有坐標y,x，即在時刻t1的下標i,j的像素PI；在3個幀TR1,TR2,TR3中的具有相同下標ij的相繼像素被分別標以下標ijt1,ijt2,ijt3，它們分別具有像素值PIijt1,PIijt2,PIijt3。在圖5中的平面相應于幀的空間處理，而幀的疊加相應于時間處理(其中時間t是變量)。
空間處理單元17，延遲單元18和其相連(也示于圖4中)，和一個控制單元19協(xié)同工作，該控制單元被在每個相繼像素信號(對于該部件如圖2所示)上提供一個時鐘脈沖HP的時鐘20控制。
從時間處理單元15輸出的信號DPij，和COij被單元17分配到縮小尺寸的矩陣21中，在給定時刻t，矩陣21含有比DPij和COij中行數L和每行的像素數M小得多的行數和列數。具體地說，矩陣可以包括沿y軸的2l+1行和沿x軸(直角坐標)的2m+1列，其中l(wèi)和m是一個小的整數。有利的是，l和m被選擇是2的冪，例如l等于2a和m等于2b，其中a和b例如是大約為2到5的整數。為了簡化附圖和說明，作為例子，m將取1(當然可以不同)，并且m=l=23=8；在這種情況下，矩陣21將具有2×8+1=17行和17列。
圖4表示形成單元17的矩陣21的17行Y0,Y1,...Y15,Y16的一部分和17列X0,X1,...X15,X16的一部分。
其目的在于，在具有l(wèi)+1行，具體地說17行，和m+1列，具體地說17列的矩陣21中分配輸入流DPijt和COijt，換句話說，二進制門限超過信號DP和表示來自時間處理單元15的時間常數CO的數字幅值信號，被設置一幀包括L(312.5)行和每行M個像素的矩陣分布中，特別是根據所用的TV標準為250-800的級。
為了區(qū)別這兩個矩陣，即L×M視頻信號矩陣和標號為21的單元17的l×m矩陣，對于前一個矩陣的兩個坐標，將使用下標i和j(只有當數字視頻信號被在電視屏幕或監(jiān)視器顯示時才可看到)，并且對于后一個矩陣的兩個坐標使用下標x和y(如圖4所示)；在給定時刻，在空間處理單元17的輸入端的具有瞬時值PIijt的像素由兩個數字信號DPijt和COijt表征。這兩個信號的L×M矩陣通過掃描小得多的(2l+1)×(2m+1)的矩陣21而移動，如參照圖4所述，矩陣21實現相應于同一幀的(2l+1)×(2m+1)個像素。
在這矩陣21中，在其中l(wèi)=m=8，即2l+1=2m+1=17的情況下，每個像素分別由對于Y0到Y16行0和16(包含在內)之間的行序號和對于X0到X16列的0和16(包含在內)之間的列序號限定，。在此情況下，矩陣21將構成在平面中的17×17=289個像素的表示，而視頻信號的矩陣將包括幾萬或幾十萬甚至更多的像素。
在圖4中，長的水平矩形Y0到Y16(只示出了4個，即Y0,Y1,Y15,Y16)和垂直線X0到X16(只示出了4個，即X0,X1,X15,X16)被用于說明具有17×17個圖像點或像素的矩陣21(單元17的)，每個圖像點或像素具有在水平行和垂直列的交點限定的下標。例如，像素位置P88處于列8和行8的交點，如圖中e所示，它是矩陣21的中心。
為了在(2l+1)(2m+1)的矩陣21內進行這L×M矩陣的位置的相繼空間分配，單元17和一個延遲單元18相連，該延遲單元首先接收DP和CO信號(具有指定的下標ijt)，其次接收輸入的像素信號S，換句話說PI(也具有指定的下標ijt)，以及來自時鐘20的HP信號，和行序列信號SL與列序列信號SC(圖2和圖4)。
如圖1所示，S(PI)信號不僅包括像素值信號，例如構成時間序列(相繼的幀)和空間子序列(在每幀中的每行中的像素)的a1,1,a1,2,而且還包括同步信號ST,SL，從其開始，時鐘單元20導出一個時鐘信號，例如以13.5MHz的頻率，即在一個視頻幀中的每個像素具有一個標記脈沖，并且還有空白信號BL，它使單元19在上述同步信號期間不工作。
響應來自時鐘20(圖2)的HP和BL信號，速率控制單元19對延遲單元18提供行序列信號SL，其頻率等于13.5MHz除以每幀的列數(例如400)的商，以及一個幀信號SC，其頻率等于上述的商13.5/400MHz除以視頻圖像中的行數，例如312.5，以及HP。
單元18利用SL和SC信號以及HP時鐘信號控制在矩陣21中的一行行空間分配。
因而，相繼的行Y0-Y16接收DP和CO信號不延遲(行Y0)；延遲一個TP周期，其等于一幀行(行Y1)的時間間隔；遲2個TP(行Y2)；如此一直到延遲16個TP(行Y16)。
這些具有一幀行的持續(xù)時間即TP的相繼的延遲在串聯(lián)的16個分別用于行Y1,Y2,...Y16的延遲電路r1,r2...r16中進行，行Y0直接被提供信號DP和CO，而不經來自單元15的任何延遲。
所有電路r1,r2...r16可以利用具有16個輸出的延遲線構成，在兩個相繼輸出之間由其任何部分施加的延遲是一個等于TP的常數。
速率控制電路19控制整個L×M幀矩陣通過(2l+1)×(2m+1)的矩陣21，利用下述步驟利用行序列信號SL，輪流地對于相繼幀的相繼行進行掃描。
在17×17矩陣上的幀矩陣的行中的像素的環(huán)形位移，例如從在行Y0上的x0到X16，由在從Y0到Y16的17行的每行上的串聯(lián)的16個移位寄存器d(給出共有16×17=272個移位寄存器)實現，該移位寄存器設置在每行兩個相繼像素位置之間，即寄存器d01在位置PI00和PI01之間，寄存器d02在位置PI01和PI02之間，等等。每個寄存器使用列序列信號SC提供一個等于在一行中兩個相繼像素之間的時間差的延遲TS。
注意由于在幀TR1(圖1)中的行l(wèi)1,l2,....l17，對于S(PI)以及DP和CO，逐一地延遲TP(一個完整的行間隔)后，到達單元18，并且單元18通過逐漸增加TP的延遲將它們分配到行Y0,Y1,...,Y17，所以這些行在給定的時間，對于同一個幀位置中的行l(wèi)1,l2,...l17顯示DP和CO信號。
類似地，在給定的行，例如l1，相繼的像素信號a1,1,a1,2...在位移TS之后到達，并且移位寄存器d也提供等于TS的延遲；因此，其結果是，對于在矩陣21中的給定行Y0到Y16中的像素，在該行可利用的像素的DP和CO信號，是同時的，換句話說它們相應于同一個幀部分。
因此，對于在幀的一部分內的行和這些行中的像素，目的在于進行完全的空間處理，因為矩陣21在其17×17個像素位置中含有同一數字視頻信號S(PI)的矩陣中的17行中的每行的17個像素的DP與CO值，雖然這些像素例如a1,1在單元18中的每個相繼的行(圖1)中相繼地逐行逐像素地到達，同時顯示相應的DP、CO信號。
代表矩陣21的同時的CO、DP的信號在給定時刻在移位寄存器的16×17=272個輸出端，以及在17行前方的17個寄存器的上游可得到這17個寄存器，即寄存器d0.1,d1,1,....d16.1，它們對于17×17個位置P0.0,P0.1,...P8.8...P16.16構成總共16×17+17=17×17個輸出。
在矩陣21內部，圍繞其具有坐標x=8,y=8(這便是在矩陣21中行數和列數最好分別是奇數2l+1和2m+1的原因)的中心e我們可以具體討論一個含有3行和3列的小矩陣，其中其9個元素的中心元素實際上是具有坐標x=8,y=8的像素e。設這一小的矩陣M3是abcdef (M3)ghi其中，中心元素e用下劃線標出。
對于這個3×3個元素的矩陣，在中心元素或位置e周圍具有8個位置a,b,c,d,f,g,h,i，其相應于8個方向，每個方向從中心位置e開始直到其它8個位置中的一個。
為此目的，8個方向可以使用圖6說明的Freeman碼進行識別，其中這些方向被編碼0-7，從x軸開始，每個相隔45°。在Freeman編碼中，標號為0-7的8個可能的方向可以由3位數字表示，因為23=8，給出8種可能性。
考慮上述的小矩陣M3，按照Freeman編碼的從中心位置e開始的8個方向是3214e0567如圖6所示。
回到圖4中的具有17×17個圖像點或像素的矩陣21，我們現在說明如何識別由攝像機13觀測的場景中的相對于接近靜止的環(huán)境作相對運動的因而以由像素PIijt構成的視頻信號S表示的區(qū)域，以及如何確定相對于接近靜止的環(huán)境實際位移的速度和方向。
在兩個相繼幀之間，例如TR1和TR2(圖5)，在信號S中的PIij像素將通過兩個信號DPij和COij(通過在矩陣21中的掃描進行分配的)來表征關于其在時刻t1(第一幀)和時刻t2(第二幀)之間的改變。
如果在該矩陣的一點DP=1，則在該點的像素值有顯著改變。因此，通過在其中每一點DP=1的矩陣區(qū)域來識別實際上在運動的區(qū)域。
實際上，同時利用計算單元17a來檢查以e為中心的矩陣21的17×17個位置內的各個嵌套的方形矩陣，其大小是15×15,13×13,11×11,9×9,7×7,5×5和3×3，其中3×3矩陣是上述的M3矩陣。該裝置確定這些矩陣中的哪一個是具有沿著確定其中DP=1的區(qū)域運動方向和圍繞CO的+1和-1的改變的線排列的DP=1的尺寸最小的矩陣。對于圍繞CO的+1和-1的改變，在每個值上DP必須等于1，如果測試要被滿足的話。參加測試的最小矩陣被選擇(主要行)。
然后，在一個嵌套的矩陣中的這運動區(qū)域內，例如在具有3×3個元素的小矩陣M3中，該裝置確定是否CO在中心位置的每側上沿給定方向改變，在一個方向從+1，而在相反方向從-1開始改變。例如，如果我們在方向1中有-1,0,+1，換句話說在小矩陣M3中分別在位置g,e,c中，那么在這矩陣中從右到左沿弗里蔓碼(圖6)中的方向1存在位移。顯然，在此同時，在該小矩陣中沿該方向DP=1。當在3×3到15×15嵌套的矩陣當中CO從+1或-1在兩個相鄰位置之間沿著一個方向改變的矩陣較大時，位移速度較高。例如，如果我們在方向1具有-1,0,+1，換句話說在9×9的矩陣M9中的g,e,c，將比如果我們在3×3的矩陣M3(圖7)中有-1,0+1的位移速度快。
因為CO是2的冪，并在優(yōu)選實施例中由這個冪表示，可以通過只使用少數位用于2的冪來識別速度的延伸范圍，同時識別相關的低速度(通過增加測試裕度或變化，例如在3×3矩陣M3中在位置g,e,c中-2,0,+2表示和矩陣M3中的同一位置的-1,0,+1的相應速度一半快的速度)。
兩個試驗應當被預見可以除去不確定性-第一個試驗選擇最大的改變，即，最高的時間常數，如果在一個嵌套的矩陣中，例如小的3×3個元素的矩陣M3，沿著幾個方向具有CO的改變；-第二個試驗任意地選擇沿著該方向CO的改變是相同的兩個(或多個)方向中的一個，例如通過選擇弗里蔓碼的最小值；這種情況通常發(fā)生在當位移的實際方向大約弗里蔓碼中的兩個相繼的編碼方向之間時，例如在相應于可以標為1.5的(圖6)和x軸方向(弗里蔓碼中的方向0)大約形成67.5°的方向的方向1和2之間。
上述的實際運動中的區(qū)域的速度和方向的確定通過和單元17相關的計算單元17a(圖4)來實現，其接收對于CO和DP的上述矩陣21的17×17個輸出，(來自21的兩個輸出，即S0.1,S0.16被示出了)。單元17a處理對于相繼的嵌套矩陣的CO和DP值，并使用這些值有可能利用上述的試驗確定方向(在弗里蔓碼中)和位移速度(依賴于哪個嵌套矩陣被選擇)。
通過矩陣21的數字視頻信號的整個幀的掃描發(fā)生-首先對于該幀中的頭17行行1到17的一組考慮相對運動，從幀的左邊到幀的右邊，如圖5中對于幀TR2所示的，即從最左部的TM1部分開始，然后TM2相對于TM1移動一列，直到最右邊的TMM(其中M是每幀行中的像素數)；-然后，類似地，從左到右，對于該幀中的行2到18逐列地掃描；并且-如此一直進行下去，每次向下走一行；行3到19...直到在幀的底部的最后一組，即行L-16...L(其中L是每幀的行數)。
考慮圖2和圖4，可以看出由單元17,18和19，換句話說空間處理組件發(fā)送的信號如下-代表位移速度的信號V，其基于在被識別的區(qū)域中的CO的最大改變的幅值，該值例如可以由從0到7的8個整數表示，如果速度以2的冪的形式表示并因而具有3位的話；代表該位移方向的信號DI，由這個最大改變導出，DI的值也可以由弗里蔓碼中的8個值0-7中的一個表示，并因此含有3位；-表示速度和方向的結果是有效的有效信號VL，以便能夠從由于傾斜而沒有輸出的情況識別具有V=0和DI=0的一個有效輸出，該信號或者是1(有效輸出)，或者是0(無輸出)；因此，對于VL只需要一位；-有利的是，例如時間常數信號CO具有3位；-(由空間處理單元17及其相關的電子電路發(fā)送的3個或4個信號V,DI,VL，可能還有CO)；-一個延遲視頻信號SR，由輸入視頻信號S構成，它在延遲單元18中由16個相繼的行間隔TR，并因而是由信號S在17×17的矩陣21中的分配間隔延遲，以便獲得在矩陣21中矩陣表示同時的一個數字視頻信號，這個信號的內容可以在電視機或監(jiān)視器屏幕上被清晰地顯示；-由單元19提供的3個信號即時鐘HP，行序列SL和列序列SC信號。
嵌套的六邊形矩陣(圖8)或倒L形矩陣(圖9)可用于代替圖4，圖7中的嵌套矩形矩陣。
在圖8所示的情況下，嵌套的矩陣(其中只示出了最中心的矩陣MR1和MR2)都以相應于圖7中矩陣M3,M9的中心點(其中二進制信號是“0”)的點MR0為中心。六邊形矩陣系統(tǒng)的優(yōu)點在于，首先它允許使用斜的坐標軸xa,ya，其次可以分成尺寸相同的三角形，以便進行各向同性的速度計算。
圖9中的矩陣由從中心位置MRu開始的一行(Lu)和一列(Cu)構成，其中兩個信號DP和CO分別為DP等于“1”，并且，CO增加或減少一個單位，如果發(fā)生運動。
它被這樣確定若(相對)位移的方向-沿x坐標的方向從原點MRu開始，具有值COu，直到其中CO等于COu+1或-1的位置，在Cu列中的所有位置(方塊)中的CO信號是相同的，并且在行Lu中的所有位置二進制信號值DP等于1；-沿y坐標方向從原點MRu開始，具有值COu，直到其中CO等于COU+1或-1的位置，在Lu行中的所有位置(方塊)中的CO信號是相同的，并且在列Cu中的所有位置二進制信號值DP等于1；-或者最終相對于x,y而傾斜的方向在Lu的位置和Cu的位置二進制信號DP等于1并且CO等于COu，斜率借助于垂直于通過兩個位置的線被確定，在這兩個位置中信號COu改變一個單位的值，DP信號總是等于1。
圖9表示的情況是，DP=1,COu在兩個特定位置LU3和Cu5中改變一個單位值，并表示相應的斜率Pp。
在所有情況下，位移速度和CO改變一個單位值的位置有關。
如果CO只在LU或Cu改變一個單位，它相應于CO改變位置的值。
如果CO在LU中的一個位置以及Cu中的一個位置改變一個單位，則速度和MRU與Ex(垂直于Cu-LU通過MRU的直線的交點)之間的距離成正比。
至此參照圖1到圖9說明的系統(tǒng)和將要參照圖11-16說明的輔助系統(tǒng)構成一整套系統(tǒng)22，如圖10所示，其中首先示出了圖2中的部件11a，表示由部件11(其接收輸入的視頻信號S)傳遞給部件22a(其輸出合成的輸出信號ZH)的信號V,DI,VL,C,SR和合成信號F(HP,SL,SC)。
在部件11a和22a之間的連線Z-Z1在圖2,10，和11中示出，來自部件11a的輸出沿著Z-Z1被連接到部件22a的輸入端，以便傳送上述信號。
由單元22a提供的從此也是來自整個裝置22的輸出包括合成信號ZH，其提供關于在由視頻攝像機13監(jiān)視的場景13a中相對運動的區(qū)域的信息。
和單元11a的輸出相連的輔助的單元22a以功能塊的形式在圖11中示出了，應該記住該圖沿著線Z-Z1(在上部)和圖2沿著Z-Z1(在圖2的下部)相連。
圖11的單元主要包括直方圖形成和利用裝置，并且包括-用于傳輸下面詳述的幾個數字信號的微總線23；-標號為24,25,26,27,28,29的6個直方圖形成和處理方塊或單元，用于以下信號的直方圖延遲的數字視頻信號SR，速度V，方向(弗里蔓碼)DI，時間常數CO，第一軸x(m)，第二軸y(m)，-6個線性組合塊或單元30,31,32,33,34,35，用于組合其來自總線23的輸入而分別形成6個塊24,25,26,27,28,29的有效信號V1,V2,V3,V4,V5,V6,30和24相連，31和25相連，32和26相連，33和27相連34和28相連，35和29相連；-一個運動的區(qū)域塊或單元36，用于協(xié)調塊28，29對于x(m),y(m)軸的輸出；以及-一個標示符號轉換塊或單元37，用于接收對于x(m),y(m)軸的方向信號x(m)0,y(m)0，以及像素時鐘信號HP，行序列信號SL和列序列信號SC(這3個信號合成一組，在圖2,4,10和11中為F束)，這些信號來自圖2和4中的單元19，并形成分別被送到單元28和29的x(m)1,y(m)1信號。
單元24,25,26和27的每一個向總線23送出其SSR,SV,SDI,SDO輸出信號，而單元28和29的每一個向運動區(qū)域單元36的兩個輸入端提供信號x(m)2,y(m)2，它組合來自單元28和29的這兩個信號，并向總線23提供合成的信號xy(m)。
每個直方圖形成和處理單元24-29的操作是相同的，它們首先接收來自相關的線性組合單元30-35的有效信號V1,V2,V3,V4,V5,或V6，然后接收作為輸入要被處理的信號SR,V,DI,CO,x(m)1或y(m)1信號，這便是僅以這些單元中的一個的操作，即用于速度直方圖V的形成和處理的單元25為例進行說明的原因；和其它類似單元24,25,26,28和29的唯一的區(qū)別在于被處理的變量，注意對于6個單元24-29的不同的輸入信號都是數字信號，它們使這六個單元可以具有類似的結構和操作。
圖12示意地說明位移區(qū)域(在圖14中，示出了例如直方圖包絡38的C1，和C2)中的速度V的直方圖38和39的形狀，以x,y坐標表示(圖4的17×17個元素的矩陣21的直角坐標軸)；xM,yM分別表示兩個包絡38,39的最大的坐標，而x軸的la,lb,和y軸的lc,ld表示主要的或感興趣的速度范圍的限制，la,lb是是直方圖的主要部分的最低限，lb,ld是最高限。
橫軸la,lb的垂直線La,Lb和縱軸lc,ld的水平線Lc,Ld形成包圍主要速度(對于所有的x,y方向)的陰影區(qū)域40的矩形，較低速度的小的因而可以忽略的微區(qū)域41靠近主區(qū)域40。
因此，需要表征具有在直方圖中所示參數的最大改變的區(qū)域，在這種特定情況下是速度v，是要識別4個限制la,lb,lc,ld和兩個最大值xM,yM。方塊25持續(xù)地向微總線23提供關于V的這一信息。
類似的塊24,26和27持續(xù)以這種方式向該微總線23上分別提供關于SR,DI和CO的最大值的區(qū)域的信息。
最后，類似的塊28和29分別向單元36持續(xù)提供關于x(m)1,y(m)1的最大值的區(qū)域的信息，其把被標識為x(m)2,y(m)2的橫軸和縱軸信息分別組合成通過單元36的輸出被送到總線23上的合成信號xy(m)。
最后，總線23傳遞關于含有SR,V,DI,CO和xy(m)即，x(m)1,x(m)2，的最大值的區(qū)域的信息，以便確定在視頻攝像機13觀察的場景中是否存在一個運動的區(qū)域，從而定位這個區(qū)域，并確定位移的速度和方向。
在圖11中，在總線23上可以得到的合成輸出信號被標以ZH。該ZH信號的上述分量，特別是V和DI，換句話說運動區(qū)域的速度和方向，可以以數字或模擬形式被顯示，可以產生光信號或聲音信號，特別是當速度V超過一個限制時，或者它們被通過電纜、光纖或用于遠程應用的無線電中繼傳送給控制單元，例如圖1的單元10a，按照本發(fā)明其靠近或遠離裝置11。
圖12中的總線23上方的單元的一部分被使用，根據逐點地進行整幀的處理和一幀中相關點的處理，以便獲得一個外部整體值，確定在觀察的場景中是否有相對運動的區(qū)域，并且如果有則對其定位，此外，如果該區(qū)域實際上在運動，則確定其位移的速度和方向。這個相對運動的區(qū)域在觀察平面中沿著不一定是正交的兩個方向x,y，(例如在圖15和16的應用中)被識別，并且由在總線23下圖12中的單元的一部分構成。
現在參照圖12,13和14說明直方圖形成和處理方塊例如25，以及和其有關的線性組合方塊，例如31，的結構和操作。
塊25(圖13)包括形成直方圖的部分25a，和對直方圖形成分級器的部分25b，這兩部分在作為集成電路25c的一部分實現的軟件的控制下操作，其得出直方圖的限制值la,lb,lc,ld(圖11)。
分級器25b，以及其它直方圖形成和處理塊24,26,27,28,29(后兩個通過x(m),y(m)組合單元36)向總線23提供其輸出信息，并通過所述總線向線性組合單元31提供信息，因而其接收來自單元24,25,26,27,28,29中的分級器的所有并行信息，并且根據這些信息，其對單元25提供或不提供有效信號V2。
分級器25b使用軟件25c確定將用于限定例如包絡38或39的各個級(例如在所討論的情況下含有相同數目的速度值)。
圖14表示沿x軸的相繼的級C1,C2,...Cn-1,Cn，以及其速度V的包絡38，其在分級器25b中被確定。
圖15和16說明由單元28和29形成的由x(m),y(m)直方圖所取的部分及其在單元36中的組合，以便獲得一個斜率。
例如，我們已經討論了使用按照本發(fā)明的被裝載在車輛上的具有數字輸出的視頻攝像機觀察道路的情況。
圖15表示道路兩側，Bg在道路R左側，Bd在道路R右側，以及由單元28得到的相對于x(m)的投影Px的坡度和由單元29得到的相對于y(m)的投影Py的坡度，這些坡度的編號例如為從0到7(按照習慣不同于弗里蘭碼)。
為了給予關于右側Bd的最好的精度，換句話說關于該側指示(例如速度)的最大靈敏度，投影Px應當具有盡可能接近垂直于Bd的最佳斜度P0的斜度，具體在圖15中所示的坡度5。因此對于由單元28(圖11)確定的坡度5將獲得速度直方圖的最大值。
同樣的理由可以應用于左側Bg，關于投影Py的斜度因而也是由單元29所取的部分。
組合兩個最佳坡度的單元36對兩側Bg，和Bd提供最佳信息。
圖16說明用于確定投影Px的最佳斜度P0的應用，例如是為了滿足在歐洲在道路右側駕駛車輛Vh(情況a)時或者是在英國在道路左側駕駛車輛Vh時的情況(情況b)，以及最后為了使飛機Va在跑道中間著陸的情況(情況c)。
因而，為了有助于在路上駕駛陸地車輛(汽車、卡車)，或者有助于飛機(飛機、宇宙飛船)接近跑道時的飛行，按照本發(fā)明的裝置還包括分別代表道路或跑道的右和左側Bd和Bg的裝置，以及利用可變的坡度確定至少一個坐標軸的方向的裝置，使得其和相應的一側保持接近于正交(位置P0)。
至此我們集中討論了通過檢測其中DP=1的區(qū)域來確定在幾乎不動的環(huán)境中的實際位移的區(qū)域的裝置。為了確定在其背景正在運動的環(huán)境中(例如故障的車輛或公路上的碰撞)的不動的區(qū)域，將發(fā)生相反的情況，其中必須相對于DP=1的環(huán)境定位DP=0的區(qū)域。顯然，在這種情況下，在一個區(qū)域內速度為0，并且方向的概念將沒有意義。因此，在17a中的計算將是不同的。
按照本發(fā)明的裝置，如果只用于確定不運動的區(qū)域，可以通過消除處理速度和方向的單元或方塊，而加以簡化，具體地說方塊25,26,31,32，并且來自單元11a的輸出數量和對單元17的輸入的數量可以減少。
在按照本發(fā)明的裝置的操作單元10a中，可以提供用于在監(jiān)視器屏幕上顯示DP或CO信號的值和/或直方圖的裝置。
SR信號，即延遲的數字視頻信號，通常提供給電視或監(jiān)視器屏幕10，以便在屏幕上在本地或遠方顯示這些信號，同時相對運動被指出，以便確認這一相對運動的性質。因此，當相對位移的區(qū)域被指示時，例如通過視覺報警與/或聲音報警發(fā)出信號時，只需要觀看電視機或監(jiān)視器的屏幕10即可。
通常借助于在顯示的數字視頻信號SR上加上任意的顏色來識別在屏幕上相對運動的區(qū)域，每個顏色或顏色等級代表運動的速度與/或方向。
參照圖2,3,4,11，和13所述的各個單元都由已知類型的電子電路構成，特別是微處理器進行計算與/或比較，或使用掃描信號，存儲器，延遲單元，移位寄存器，形成線性直方圖或在平面內結合這種直方圖的單元；以及微型總線。
在各個單元11a或22a中或者在包括11a和22a的部件中的這些電子電路的組合可以使用兩個很小的集成電路或一個很小的集成電路來實現，例如使用0.7μm技術，所述集成電路具有10mm×10mm的數量級，一組兩個互連的集成單元或一個集成電路通過其輸入和視頻攝像機或其它觀測裝置的數字視頻輸出相連，并通過其輸出和一個或幾個本地或遠方使用裝置相連。在一種變形中，如果只使用在單元11a中的簡化的裝置，則最好是單片集成電路的形式的該裝置被設置在所述數字輸出和一個或幾個本地或遠方使用裝置之間。
我們現在給出一個例子，其并不限制本發(fā)明裝置的其它應用，具體地說，就是按照圖1和圖10的裝置，換句話說，就是按照圖2和11沿著線Z-Z1連接而形成的裝置。
圖17所示的第一其它的應用由在房間中運動的人的自動成幀構成，例如在電視會議期間。自動成幀消除在周圍走動的人的運動，其提高由具有數字輸出的攝像機觀察的這個人的圖像清晰度，并且如果數字視頻信號被壓縮，還簡化這種壓縮。
圖17表示上述類型的視頻攝像機13，其觀察可以在走動的人P。來自視頻攝像機的數字視頻信號S由電纜，光纖或無線電中繼向電視或監(jiān)視器屏幕10b傳送，但是也被按照本發(fā)明的的裝置11接收，并且該裝置的ZH輸出作用在單元42上，該單元響應從裝置11接收的關于人P的位置和運動的信號，根據其位置，速度和運動的方向控制所述攝像機13的電機43，使得把攝像機的光軸直接朝向人，尤其是朝向其面部，當人P前后運動時，能夠改變聚焦設置，焦距與/或攝像機的調整。
還可以控制在舞臺上的人(演員，歌手)上的一個或幾個亮點的運動，按照本發(fā)明的裝置，通過改變電視攝像機的方向把人定位在圖像中心并例如利用一個或兩個對于每個亮點的可轉動的反射鏡控制亮點的方向。
圖18說明按照本發(fā)明的裝置的一種應用的例子，其表示攝像機3或其它觀測裝置向按照本發(fā)明的裝置11輸出一個數字視頻信號S。在這種應用中，攝像機13監(jiān)視公路的一部分，以便檢測未預料到的停車，特別是在緊急停車地段，并檢測是否發(fā)生了碰撞后停車。
因此，在這種情況下，目的是確定是否在運動的環(huán)境中(其它車輛)有一個物體(車輛)在靜止，換句話說，在17×17個元素矩陣21中確定DP=0的區(qū)域。即，攝像機13觀察產生DP=1的響應的車輛流，及速度和位移方向的值。然而，如果一部車輛停止，則通過在它的觀察區(qū)域內一個DP=0的響應而被識別。
接收ZH和SR的單元44檢測是否在ZH中有其中DP=0的區(qū)域出現，并輸出一個誤差信號NL，其首先觸發(fā)裝置45中的蜂鳴器與/或視覺警報。其次控制開關46，它在電視或監(jiān)視器屏幕10上提供視頻信號S(或延遲視頻信號SR)，通過蜂鳴器與/或視覺警告使監(jiān)視者能夠在有車輛停止或者發(fā)生了碰撞時觀測公路，以便采取必要措施，例如根據停止的車輛的駕駛員的反應。
使用本發(fā)明，在監(jiān)視站中的監(jiān)視者可以容易地控制公路(或主要道路)上的多段，其中每段公路都有按照本發(fā)明的裝置11和攝像機13，來自每個裝置11的ZH和SR輸出通過電纜、光纖或無線電中繼傳送到監(jiān)視站，其中具有公共單元44；如果有由報警表示的事故與/或事件，觀察者只需要在屏幕10中觀看，在不同位置同時發(fā)生幾個事故與/事件是不常見的。
尤其是，單元44在其輸入端可以包括轉動型開關(未示出)，其從位于沿公路的各個部件13-11對產生NL信號的該單元44上的部分連續(xù)地且周期地發(fā)送ZH(和SR)信號。
相同的系統(tǒng)不僅能夠檢測車輛是否停止，或者由于碰撞而使車輛停止，而且能夠檢測車流速度是否降低(對于非常慢的交通)，由于在各個D=1的區(qū)域中速度降低，以及與此相反，一輛車高速行駛，在所觀察的區(qū)域內超過允許的速度限制。
最后，圖19說明本發(fā)明的另一種應用，即人機對話，通過手M的運動，尤其是手指DG在由坐標系統(tǒng)Cx,Cy成為矩形的區(qū)域SF內的運動。
和圖1所示的按照本發(fā)明的裝置11相關的具有數字輸出的視頻攝像機13被用于識別手M和手指DG的運動，可用于控制計算機(例如“鼠標”)或控制機器中的一些功能。例如，部件13-11可被聾啞人使用，其中使用標準的基于手的運動的聾啞符號語言，以便輸入字母符號數據并從而一個文本到計算機中，而不需使用標準鍵盤；這種操作顯然也可以由學過聾啞語言的正常人使用，可以不用鍵盤而把文本輸入計算機中。這類系統(tǒng)對時間變化不敏感，并且不需要開始和結束的手勢的精確表示。
圖20和21示意地說明本發(fā)明用于監(jiān)視汽車駕駛員，以便告知其是否打盹的情況。
在這種情況下，視頻攝像機13被設置在汽車內車身附近，例如放在后視鏡的上方，它可以監(jiān)視駕駛員。
第一種操作是以和圖17中的應用相同的方式對駕駛員成幀，圖20示意地表示在視頻屏幕上的駕駛員的圖像1C。首先，無用的左右部分被消除(由圖像的水平陰影部分表示)，因而只限于處理在這兩部分之間的圖像的中心部分。
然后，在此中心部分內，進行監(jiān)視對頭成幀的圖21的未劃陰影的區(qū)域AA。
被按照本發(fā)明的裝置檢測的相關的位移包括駕駛員以睡眠之前眨眼的速率眨眼(由區(qū)域AA的垂直運動表示)。如果其眨眼的速率或速度低于一個門限值以下，蜂鳴器則發(fā)聲，從而將其喚醒。
圖22表示當需要考慮位移速度的較寬范圍時用于克服表示時間常數CO的有限的位數p的裝置。
為此目的，將使用Mallat的圖(見S.Mallat的論文“A Theory formultiresolution signal decomposition”在IEEE Transactions on PatternAnalysis and Machine Intelligence,1989年7月第674-693頁)，其包括把整個圖像連續(xù)地分成半個，以1,2,3,4,5,6,7來識別。這形成一種壓縮，使得只處理部分圖像。因而當p=4，換句話說2p=16時，我們可以確定在較寬范圍內的速度。
如果在起初在整個圖像的框架內，按照本發(fā)明的裝置表示移動物體(廣義上)的速度超過對于該時間常數可由2p=16確定的最大速度，則需要使用局部觀察的圖像1,2,3,4,....直到移動物體的速度不超過所述在壓縮之后的局部圖像的框架內的最大速度。
借助于子波的Mallat結構只需要在圖1的圖中插入單元13A，以便進行這種視頻信號的壓縮。例如，這種單元可以包括在“ADV 601Preliminary Data Sheet”,1996年1月中描述的由美國公司ANALOGDEVICES生產的“DV 601 Low Cost Multiformat Video Codec”元件。圖2表示這種類型的可選擇的壓縮單元13a。最后，在圖2和圖3中示出了在一些微總線上傳輸的位數(1,3(如果p=3),8,15)，其說明可以為各個功能塊當其處理被減少的位數時而保留的尺寸。
很清楚，本發(fā)明能夠檢測被光電子裝置例如視頻攝像機觀察的場景中的相對運動，所述視頻攝像機以由連續(xù)的幀構成的數字視頻信號的形式發(fā)送觀察的場景，幀本身包括由連續(xù)的像素構成的連續(xù)的行，這個數字信號被分析，以便利用位移的速度和方向表示識別有相對位移的區(qū)域，如果所述區(qū)域相對于實際上近似不動的環(huán)境是在運動的話。
假定按照本發(fā)明的裝置用于確定物體(最廣義的)的位移的速度和方向，一些裝置可以和其結合以便使用這兩個參數來推斷在給定的時刻物體的將來的位置，并且沿著這個將來位置的方向提前引導輸入視頻攝像機13。
注意利用按照本發(fā)明的裝置所獲得的結果決不要求攝像機被固定，從而使得攝像機和相關的裝置可以設置在陸地、空中或海上的交通工具上(例如圖16說明的處理的實施例)。
在一個等于N的(相應于連續(xù)的幀的10的級(order))非常短的初始化間隔之后，按照本發(fā)明的裝置在每幀結束之后立即決定相對位移參數，由于按照本發(fā)明的計算的遞歸性，對每個幀已經進行了時間和空間處理。
我們已經說明了按照本發(fā)明的裝置的優(yōu)選實施例及其幾種應用。顯然，該實施例和這些應用是非限制性的例子，不脫離以下權利要求所限定的構思，本領域的技術人員可以設計出許多改變和改型。
例如，有可能實現使用在圖2中由單元11的輸出提供的信號而不使用圖11所述的信號的屬于本發(fā)明的范圍之內的方法。
關于按照本發(fā)明的裝置的應用，決不限于上面作為例子給出的這些。因而，類似于圖17中的電路可以直接和帶磁帶機的攝像機或視頻攝像機相連，以便對其進行穩(wěn)定，用于由用戶的操作失誤而引起的位移的補償。
還可以使用一個或者最好幾個按照本發(fā)明的裝置和一個最好幾個設置在大樓房間中的帶磁帶機的攝像機或具有數字視頻輸出的視頻攝像機相連，從而借助于能夠檢測和定位房間內一個或幾個人的存在及其運動而形成“智能房間”，在其中為了安全和識別的目的，以及/或者為了幫助要被執(zhí)行的任務，或者例如用于照看在另一個房間內的兒童，或在超級市場觀察顧客而對所述運動進行分析。
尤其是一直假定視頻信號在連續(xù)的隔行掃描幀對中使用，特別是在討論存儲器16的容量期間，其中在按照本發(fā)明的裝置中以成對的形式處理兩幀。然而，也可以只使用兩幀中的一幀(例如奇數幀)，以便減少存儲器容量，不過也使獲得所需信息的速度大約減少一半。還可以使用視頻攝像機或其它觀察裝置，這些裝置的數字輸出每個圖像只包括一幀。
在一些應用中，可以使專用的傳感器和按照本發(fā)明的裝置相連，例如一個或幾個加速度傳感器，以便能夠處理附加的位移參數。
顯然，本發(fā)明不限于上述的實施例或應用，而是包括在本發(fā)明的范圍和構思之內的所有改變和改型。
權利要求
1．一種實時操作的方法，用于識別和定位在一個通過觀測系統(tǒng)觀測的場景中的相對運動的區(qū)域，所述觀測系統(tǒng)具有由一個數字視頻信號構成的一個輸出，所述視頻信號包括連續(xù)的相應的幀，每個幀由連續(xù)的行構成，每行包括連續(xù)的像素，并用于確定位移的速度和方向，所述方法的特征在于，它對于數字視頻輸出信號進行包括如下的操作順序的處理-使用一個數字時間常數對所述數字視頻輸出信號進行平滑處理，其數字值對于所述輸出信號的每個像素可以獨立地被修正；-在一方面，在平滑之后，存儲所述輸出信號的一個幀，在另一方面，存儲和所述幀相關的平滑時間常數；-對于每個像素位置的時間處理，在包首先確定其存在，其次確定在當前幀和剛剛在前面的被平滑和存儲幀之間像素信號的大小顯著變化的幅值，并產生兩個數字信號，第一個信號是二進制的或具有兩個可能的值的1位的信號，兩個可能的值之一表示兩個相繼幀之間存在顯著變化，而另一個代表不存在所述顯著變化，所述二進制信號的值修正所述時間常數的存儲值，以便如果所述信號表示顯著改變的話減少所述時間常數；以及如果所述信號不表示這種變化的話，增加所述時間常數；所述減少或增加以定量的方式進行，而第二個數字信號，即幅值信號，是一個多位信號，其具有量化所述變化的幅值的有限的位數；以及-對于數字視頻輸入信號的每一幀進行包括以下步驟的一個空間處理⊙在給定的觀測時刻，只分配在一幀中的一部分像素值(在整個幀期間通過所述矩陣被掃描的一部分)，首先是所述二進制信號，其次是所述數字幅值信號，到具有若干行和列的矩陣中，所述行數和列數分別與視頻信號中的行數和每行的像素數相比是小的，以便表征像素值，⊙在雙倍瞬時矩陣表示中，通過在幀的相同部分內并從而在同一觀察時刻，沿著從一個原始像素開始的一個方向的矩陣的兩個相鄰像素的一個顯著變化值，確定一個特定的區(qū)域，其中所述二進制信號具有被尋求的值，表示一個顯著的變化是否存在，及所述數字幅值信號是否變化，并且⊙產生信號表示相對位移的區(qū)域的存在和位置，以及相對其環(huán)境的相對的幀間速度和該位移的方向，如果有的話，從這兩個二進制信號和數值數字信號的瞬時矩陣分布中獲得。
2．如權利要求1所述的方法，其特征在于還包括⊙首先形成分布在矩陣中的信號數值的直方圖，其次形成在平面中具有可變的坡度的兩個坐標軸的斜度的直方圖，⊙識別在形成的每個直方圖中被處理值的重大變化的范圍，以及⊙對于每個識別的范圍，推斷是否有相對運動的區(qū)域，如果有，判斷其位置、速度和所取的方向。
3．如權利要求1或2所述的方法，其特征在于所述矩陣是方陣，具有相同的奇數行和列(2l+1)，并且考慮嵌套的矩陣含有3×3,5×5,7×7,...(2l+1)×(2l+1)個元素，其中心在所述方陣的中心，以便確定最小的嵌套矩陣，其中所述數字信號沿著從所述中心開始的方向改變，所述二進制信號的值表示沿著該方向的門限值已經被超過。
4．如權利要求1或2所述的方法，其特征在于，所述矩陣是六角陣，并且考慮尺寸增加的嵌套的六角陣，其中心在該六角陣的中心，以便確定最小的嵌套矩陣，其中所述數字信號沿所取方向而改變，所述二進制信號的值表示按照這個方向的門限的超調。
5．如權利要求1或2所述的方法，其特征在于，所述矩陣是具有單行和單列的倒L矩陣，并對于單行和單列考慮含有3×3個像素、5×5個像素，7×7個像素，...(2l+1)×(2l+1)個像素的嵌套的矩陣，以便確定最小的矩陣，其中信號沿所取方向，即具有最陡的斜度和恒定數量的行而改變。
6．如前面任何一個權利要求所述的方法，其特征在于，所述時間常數的形式是2p，其中p是小于16的數，并且其可以被以不多于4位來表達，通過對p減或加一個單位而使時間常數減少或增加。
7．如權利要求6所述的方法，其特征在于，使用Mallat時標算法考慮完整幀的相繼減少的部分，并選擇這些部分中的最大的，其給出可和p值匹配的方向指示、位移和速度。
8．一種實時操作的裝置，用于識別和定位在一個通過觀測系統(tǒng)觀測的場景中的相對運動的區(qū)域，所述觀測系統(tǒng)具有由數字視頻信號構成的輸出，所述視頻信號包括連續(xù)的相應的幀，每個幀由連續(xù)的行構成，每行包括連續(xù)的像素，并通過使用上述的方法用來確定位移的速度和方向，所述裝置接收所述視頻輸出信號作為其輸入，其特征在于，其以組合的形式包括-一種裝置(15)，用于使用數字時間常數對所述數字視頻輸出信號進行平滑處理，其數值對于所述輸出信號的每個像素可以獨立地被修正；-一種裝置(16)，用于在平滑(LI)之后，首先存儲所述輸出信號的幀，其次存儲和所述幀相關的平滑時間常數(CI)，-一個時間處理單元(15)，用于對于同一像素位置，分析在所述數字信號的當前幀和剛被處理的被平滑的并存儲的幀之間的像素信號的值隨時間的變化，所述單元包括一個存儲器單元(16)，所述存儲器能夠接收、存儲和檢索關于相應的前一個平滑的幀的信息；還有比較裝置(15a)，對于在輸入視頻信號幀中的像素的每一位置，通過產生一個二進制的信號，或者具有兩個值的一位信號(DP)，這兩個值之一表示超過門限值，另一個表示沒有超過門限值，用于確定在當前像素信號和所述存儲器單元中存儲的前一幀的同一像素位置的像素信號表示值之間的差的絕對值是否超過一個門限；以及計算裝置(15c)，其能夠確定一個具有小的位數的多位數字幅值信號，其值取決于在數字視頻信號的當前幀和剛剛在前面的、被平滑的并存儲的幀之間的同一像素的值的變化量；以及-一個空間處理單元(11)，在其中輸入來自由時間處理單元處理的給定幀中的像素的所述連續(xù)的二進制和數字幅值信號的輸出，所述空間處理單元包括用于表征像素的幅值的裝置，這些裝置只分配相對于同一時刻，即對于一幀，的所述二進制和數字幅值信號，到分別比在所述數字視頻信號的幀中的行數和每行像素數少的行數和列數的矩陣(21)中，所述的幀為在整個幀的持續(xù)時間通過所述矩陣被掃描的幀；以及一種尋找裝置，用于確定在所述矩陣內像素的區(qū)域，其中，在此時刻，二進制信號具有檢索的值；以及用于確定在所述矩陣內像素區(qū)域的裝置，在該裝置中，在同一時刻對于相鄰像素數字幅值信號改變一個顯著的量；以及一種裝置，其響應來自兩個前面的裝置的指示，產生表示像素的這一區(qū)域并因而表示觀測的場景內相對運動的區(qū)域的存在和位置的信號，該信號還表示當所述區(qū)域實際上相對于其環(huán)境而運動時該區(qū)域相對的幀間速度和方向。
9．如權利要求7所述的裝置，其特征在于，所述空間處理單元(17，18)包括第一串聯(lián)的延遲裝置(r)，其每個用于提供一個等于兩個相繼行之間的時間差的延遲，以及第二串聯(lián)延遲裝置(d)，其每個用于對每行提供等于一行中兩個相繼像素之間的時間差的延遲，并且來自所有所述第二延遲裝置(d)的輸出和對所述第二延遲裝置(d)的串聯(lián)的輸入在每行上在給定的時刻向所述識別裝置(17a)提供在同一時刻的所述數字幅值信號和所述二進制信號。
10．如權利要求8或9所述的裝置，其特征在于，還包括用于形成來自所述空間處理單元的輸出值的直方圖，并用于形成在一個平面內的兩個斜度可變的坐標軸的直方圖的裝置(24-29)，用于識別每個直方圖中的一個范圍的裝置，其中被處理的值具有顯著的改變，以便在其輸出中使這個范圍有效，并對于所有直方圖獲得輸出信號，該信號用于識別和定位在觀測的場景中的相對運動的區(qū)域，如果有的話；以及這些運動的速度和方向，如果所述區(qū)域相對于其環(huán)境正在運動的話。
11．如權利要求8,9，或10所述的裝置，其特征在于，所述平滑裝置(15c,15d)包括一個輸入端，其接收所述數字視頻信號S(PI)，并對于所述視頻信號的一幀中的每個相繼的像素導出一個被平滑的信號(LO)，在其中輸入數字視頻信號的時間變化通過使用在另一個輸入端接收的門限信號(N)和關于在一幀中每個像素位置的時間常數(CO)而減少，其值被不斷地修正，使得雖然被減小了，但是平滑裝置仍能維持輸入的數字視頻信號的變化趨勢，所述平滑裝置和所述存儲單元(16)協(xié)同工作，存儲單元對于一幀中的每個像素位置接收、存儲并檢索被平滑的信號和所述時間常數的被更新的值，并對于每個像素位置至少輸出更新的時間常數相繼的值和二進制信號的相繼的值，所述二進制信號表明所述門限是否被一個像素值和其平滑值之間的差的絕對值所超過。
12．如權利要求8-11任何一個所述的裝置，其特征在于，所述空間處理單元(17,18)以減少的數量沿著行和列進行來自所述平滑裝置的輸出，即所述二進制信號和所述時間常數(CO)的相繼值的矩陣分配，包括識別裝置(17a)，用于在所述矩陣分配中識別一個像素區(qū)域，其中同時地或者所述二進制信號的值相應于一個門限值被超過，并且在相鄰像素之間的所述時間常數沿一個方向改變一個大的值，并用于產生指示所述區(qū)域的位置和在該區(qū)域中位移的速度和方向的輸出信號，或者所述二進制信號的值相應于一個門限值沒有被超過，并且在相鄰像素之間的所述時間常數沒有改變。
13．如權利要求10，11或12任何一個所述的裝置的應用，用于幫助驅動道路上的車輛，或接近機場跑道的飛機，其特征在于，該裝置還包括用于表示道路或跑道右側和左側Bd和Bg的裝置，以及用于確定至少一個具有可變斜率的坐標軸的方向的裝置，使得其和相應一側(位置P0)保持接近于正交。
全文摘要
本發(fā)明的目的在于提供一種實時操作的方法和裝置,用于識別和定位在場景中的相對運動的區(qū)域,并實時地確定這一相對運動的速度和方向。所述的方法進行數字視頻輸入信號S(PI)的時間處理,在于從一幀中的每個像素值和前一幀中的每個像素值之間的改變導出的二進制信號DP,用于識別有無顯著改變,以及一個表示這個改變的大小的數字信號CO,并進行空間處理,在于在矩陣中連續(xù)地分配對于通過矩陣掃描的單幀的這兩個信號,并且從矩陣分配來推導所需的相對運動及其參數。該裝置通過包括和一個存儲器16相連的一個時間處理單元15、和一個延遲單元18相連的一個空間處理單元17、時鐘單元20和用于控制單元15和17的操作速率的控制單元19來實現上述目的。
文檔編號G06K9/00GK1226329SQ9719680
公開日1999年8月18日 申請日期1997年7月22日 優(yōu)先權日1996年7月26日
發(fā)明者帕特里克·皮里姆 申請人:卡魯斯·馬格努斯有限公司