專利名稱：運動估計和/或補償的制作方法
技術領域：
本發(fā)明涉及一種用于補償和/或估計視頻圖像中的運動的方法。
在HervéBenoit的“數字電視、MPEG-1，MPEG-2和DVB系統的原理”(倫敦，1997第40-42頁)中公開了通過使用運動估計，根據前面的和/或隨后的圖像來預測P和B圖像。運動估計包括使用被稱為塊匹配的技術來規(guī)定一運動向量，該向量確保在第二圖像上的“到達”區(qū)域和第一圖像上的“出發(fā)”區(qū)域之間的相關性。這是在宏塊級(16×16象素)上完成的，通過在小搜索窗口中從前一圖像移動當前圖像的宏塊，并且將之與該窗口的所有可能宏塊進行比較，以發(fā)現最相似的一塊。在要被編碼的實際塊同匹配塊之間的差別(或者預測誤差)被計算，并且使用與對I圖像的塊相似的方式編碼。這一過程被稱為運動補償。
運動估計和/或補償的另一應用是視頻掃描速率轉換，其中視頻信號處理系統的輸出圖像速率不同于輸入圖像速率。這種應用也可以從運動向量的使用中得益，如Gerard de Haan等在“利用3D遞歸搜索塊匹配的真正運動估計”(True-motion Estimation 3-D RecursiveSearch block Matching)，IEEE Transactions on Circuits and Systemsfor Video Technology，Vol.3，No.5，October 1993，以及Gerard deHaan在“用于運動補償的解交織、降噪和圖像速率轉換的IC”(IC forMotion-compensated De-interlacing，Noise Reduction andPicture-rate conversion)，IEEE Transactions on ConsumerElectronics，Vol.45，No.3，August 1999中所述。
對于這種編碼或者掃描速率轉換方法以及運動估計和/或運動補償的其它實際應用，運動向量的確定通?；趬K匹配，由此，對于所選的、通常為方形的、編碼圖像的象素塊(典型地包含16×16或者8×8象素)，以位于其中央的象素塊規(guī)定一個環(huán)繞的子區(qū)域，該子區(qū)域通常包含例如88×40象素。該子區(qū)域被應用為在前一圖像相同空間位置的象素塊周圍的一個搜索區(qū)域或者窗口，以搜索位于該搜索區(qū)域或者窗口內的、具有匹配于被選象素塊的視頻信號信息的象素塊。也參看Hentschel，“視頻信號處理”(Video-Signalverarbeitung)，B.G.Teubner Stuttgart 1998，第214-217頁。
在當前系統中，該搜索區(qū)域或者窗口的圖像數據通常被存儲在本地緩沖器或芯片(on-chip)存儲器中，對于該存儲器有極大的帶寬要求。
搜索區(qū)域涉及一片區(qū)域，其中包括該圖像段(例如宏塊)在它所有可能的運動向量范圍內移動的所有可能位置。因而，在搜索區(qū)域的大小和運動向量范圍之間有直接關系。較大的搜索區(qū)域常?？梢愿纳七\動估計和/或補償。然而，較大的搜索區(qū)域需要更多的資源，特別是緩沖存儲器的容量，它涉及到硅面積。這導致在質量和實施成本之間的折中。
本發(fā)明的一個目的是提供一種改善的運動估計和/或補償。
所以，本發(fā)明提供了如獨立權利要求所述的運動估計和/或補償、編碼、編碼的數字視頻信號、存儲器產品、分配系統以及再現設備。在從屬權利要求中限定了有益的實施方式。
根據本發(fā)明的第一方面，該搜索區(qū)域被限定為使它的中心偏離該圖像段的中心。通過引入偏移，搜索區(qū)域可以被限定在一個有利的位置。例如，如果期望運動是在給定方向上，搜索窗口可以被限定為在該方向上有偏移，使得在期望的運動方向上可能有較大的運動向量范圍。實際上，在有利的方向上放大搜索窗口是以在相反方向上減小搜索區(qū)域為代價的。通過該搜索區(qū)域或窗口的中心偏離實際處理的圖像段(被選擇的圖像段，例如8×8象素塊)的中心，局部搜索區(qū)域或窗口的位置相對于該圖像段將變得不對稱。代替(全局)運動，也可以使用其它圖像特征來限定該搜索區(qū)域的偏移。當涉及搜索區(qū)域的圖像數據是從圖像存儲器中檢索時(其中該圖像數據被臨時存儲在緩沖存儲器中)，本發(fā)明的這一方面對于這種應用特別有益。
在實際的實施例中，該偏移只在視頻圖像的水平方向上。這樣做是有益的，因為在視頻中水平方向上的運動是最常見的。
在實際的實施例中，該偏移由全局運動參數確定。該參數可以是從圖像序列內的全局運動中提取，或者局部地適應于部分圖像中的運動屬性。在全局運動方向上運動向量的最大范圍將會增加，并且提供全局運動的補償。
依照本發(fā)明實施例的運動估計和/或補償可以被應用于涉及運動估計和/或者補償之使用的所有數字視頻信號處理功能，諸如在編碼/壓縮數字視頻信號中的運動補償預測、降噪中的運動補償濾波、視頻格式轉換中的運動補償內插、交織視頻信號的運動補償解交織等等。
以下將參考附圖更詳細地解釋本發(fā)明，其中

圖1示例了具有現有技術已知的向量限制的搜索區(qū)域，圖2示例了依照本發(fā)明實施例對全局運動補償的搜索區(qū)域，圖3示例了依照本發(fā)明實施例，用在例如視頻掃描速率轉換中可能的運動估計器結構的簡化框圖，圖4示出了依照本發(fā)明實施例的分配系統，以及圖5示出了依照本發(fā)明實施例的再現設備。
在圖1中，給出了應用運動向量V以便根據連續(xù)視頻圖像序列的前一圖像，在該序列中內插一幅圖像。這種內插通常被用在視頻掃描速率轉換中，例如從50Hz轉換到100Hz的圖像格式。
每個運動向量V描述了在第一圖像P1中圖像段B1和在第二圖像P2中圖像段B2之間位置的差別。在一維預測中，第二圖像P2通常是前一圖像，盡管第二圖像P2也可以是隨后的圖像。根據本說明書，運動向量被規(guī)定在二維平面內并且具有X分量和Y分量。
在實際的實施例中，圖像段B1和B2是例如8×8像素的塊。運動向量的確定基于現有技術中已知的所謂塊匹配技術。在第二圖像P2中，對應于第一圖像P1中的所選塊B1，所選塊B12被規(guī)定。搜索區(qū)域S取決于B1/B12的運動向量可能的范圍，該S在塊B12的周圍被規(guī)定。通常，搜索區(qū)域S可以包含在水平和垂直方向上象素塊B12的許多象素塊，并且對于8×8像素的塊，搜索區(qū)域S的大小可以是例如88×40像素。通過在搜索區(qū)域或窗口S中搜索最佳匹配象素塊B1的塊B2，來確定被分配給塊B1/B12的運動向量V。
通過使用塊匹配技術，該搜索過程可以借助于改變在某種程度上取決于運動估計的實際應用的復雜性的等級而實現，但是涉及從存儲在預測存儲器里的一組所謂候選向量中最佳向量的典型選取。此處不解釋該搜索過程的細節(jié)，但是如上所述，在Gerard de Haan等的“利用3D遞歸搜索塊匹配的真正運動估計”IEEE Transactions onCircuits and Systems for Video Technology，Vol.3，No.5，October1993以及Gerard de Haan在“用于運動補償的解交織、降噪和圖像速率轉換的IC”，IEEE Transactions on Consumer Electronics，Vol.45，No.3，August 1999中給出了對于各種選擇的復雜分析。
以這種方式，可以確定圖像P1所有塊的運動向量。該運動向量可以被用于內插圖像，以獲得期望的視頻格式轉換。
運動向量V的最大范圍涉及到搜索區(qū)域或窗口S的大小，并且由于實際象素塊位于搜索區(qū)域或窗口中央，該最大運動向量V的水平和垂直分量的最大范圍在示例的例子中在水平和垂直方向上將分別為40和16像素，這分別對應于8和5個象素的塊。
圖2示例了依照本發(fā)明實施例的運動估計和/或運動補償，其中分配給圖像P2的像素塊B12的搜索區(qū)域或窗口S被規(guī)定為，使其中央偏離象素塊B12的位置一個偏移CO。該偏移有益地由全局運動參數確定，后者被提取自例如包含了當前處理的圖像在內的圖像序列中的全局運動，該全局運動通常是由于攝像機以掃視或者傾斜的形式運動引起的。因此，搜索區(qū)域或窗口S可以相對于塊B12被不對稱定位，并且用于確定運動向量的最大范圍可以在一個水平方向和/或一個垂直方向上擴展。在圖2所示的例子中，對于搜索區(qū)域或窗口S的中心偏移CO在水平方向上等于10像素，在垂直方向上等于8像素，獲得在水平方向上(向右)50像素和在垂直方向上(向上)24像素的最大范圍。
在相對于塊B12不對稱偏移搜索區(qū)域或窗口S的簡單實施中，確定中心偏移CO的全局運動參數可以根據為一個或者多個前面的圖像所建立的運動向量的平均向量來確定。
在更先進的系統中，先前計算的向量場的統計數字可以被用于計算最大向量值，以確定中心偏移CO。
在圖3中用于例如視頻掃描速率轉換的可能運動估計器結構的簡化框圖中，輸入圖像被提供到圖像存儲器1，包含對其要確定運動向量的圖像段之分組的實際圖像對P1和P2被從該圖像存儲器1傳送到塊匹配器2。在塊匹配器2中，通過應用從局部緩沖器或者搜索區(qū)域存儲器3傳送到塊匹配器2的搜索區(qū)域S，以及通過使用從向量存儲器4傳送到塊匹配器2的一組候選運動向量CV，來實現在圖像P2中對于和圖像P1中的被選圖像塊匹配的圖像段組或塊的搜索。
臨時存儲在緩沖存儲器3中的搜索區(qū)域S是從圖像P2獲得的，后者被存儲在圖像存儲器1’中。圖像存儲器1和1’可以在一個圖像存儲器中實施。
向量存儲器4存儲為第二圖像P2的段分組或塊所確定的所有運動向量和在圖像P1中要搜索的圖像塊，候選向量組通常包含運動向量，這些向量是為前一圖像中具有相同位置的圖像塊、或者為實際圖像中相鄰的圖像塊確定的。
根據本發(fā)明，通過修改對于搜索區(qū)域的規(guī)定，以使其中心偏離當前正在研究中的該段分組或者塊的圖像位置，使得放大對于給定大小的搜索區(qū)域S的運動向量的可能范圍成為可能。
在簡單實施中，如確定運動補償參數CP所示，可以通過在向量分析器5中分析先前從向量存儲器4中找到的向量來實施這種修改。
在塊匹配器2中處理的塊匹配過程在現有技術中是已知的，并且涉及通過應用候選向量而定位的那些塊的比較或匹配。
通過這一過程，每個匹配誤差M被傳送到向量選擇器6，后者選擇最佳匹配并在向量存儲器4中存儲相應的候選向量，以便在將來的運動向量的確定中使用。
圖3中所示的簡單運動估計器結構只是實施本發(fā)明的一個例子。作為一個備選可能，來自前面處理的圖像塊或者以前圖像的運動補償參數可以被存儲在全局運動估計存儲器中，可以利用適當的選擇裝置從其中收回實際使用的運動補償參數。
圖4示出了依照本發(fā)明實施例的分配系統10。該分配系統10包括裝置100，用于獲得視頻圖像序列。裝置100可以是攝像機，但也可以是輸入單元，諸如用于接收攜帶視頻圖像序列的信號的天線。裝置100還可以是用于記錄載體的讀取單元。該分配系統還包括編碼器101，用于編碼該視頻圖像序列，以獲得編碼數字視頻信號S。編碼器101包括使用非對稱搜索區(qū)域的運動估計和/或補償裝置，例如圖3的裝置。該分配系統10還包括輸出單元102，用于輸出編碼視頻信號S，例如通過把信號S存儲在存儲器產品20上。優(yōu)選地，輸出單元102將非對稱搜索區(qū)域的偏移表示作為預測信息合并到編碼視頻信號S中。該偏移被清楚地包含在信號中，但也可以被隱含地包含在運動向量范圍內。
圖5示出了依照本發(fā)明實施例、諸如電視或者數字接收機的再現設備300。再現設備300包括輸入單元301，以獲得包含編碼視頻圖像序列的編碼數字視頻信號。該輸入單元301可以類似于分配系統的輸入單元101，被合適地安排用來接收編碼視頻圖像。編碼視頻圖像序列可以從存儲產品20’中獲得。該再現設備30還包括處理器302，使用非對稱搜索區(qū)域來執(zhí)行特別是運動補償和/或估計。另外，處理器302可以包括圖3中所給出的設備。輸出單元303(例如顯示器)輸出處理的視頻圖像。在裝置302中執(zhí)行的處理可以是利用非對稱搜索區(qū)域執(zhí)行運動估計和/或運動補償的掃描速率轉換。如果再現設備正在處理從圖4的分配系統10所獲得的信號S，則搜索區(qū)域可以由包含在信號S中的運動向量信息確定。
應當注意的是，上述實施例示例說明而非限制本發(fā)明，并且本領域技術人員能夠設計各種替換實施方式，而不脫離附加的權利要求的范圍。在權利要求中，括號中的任何參考標號都不應理解為對權利要求的限制。單詞“包含”并不排除除了權利要求中所列之外的，其它元件或者步驟的存在。本發(fā)明可以利用包含各種不同元件的硬件實施，或者利用被適當編程的計算機實施。在一個設備中，權利要求列舉了多個裝置，這些裝置中的某些可以被實現為一個以及相同的硬件。在相互不同的從屬權利要求中只是記載了某些措施，但并非表示不能使用這些措施的組合來獲益。
權利要求
1.一種用于在視頻圖像中估計和/或補償運動的方法，該方法包括選擇給定視頻圖像(P2)的圖像段(B12)；規(guī)定在該圖像段周圍的搜索區(qū)域(S)，該規(guī)定基于該圖像段的可能運動向量(V)的范圍；以及檢索與所述搜索區(qū)域有關的圖像數據；該方法的特征在于，該搜索區(qū)域(S)被規(guī)定使其中心相對于該圖像段(B12)中心具有偏移(C0)。
2.權利要求1所述的方法，其中所述偏移只在該視頻圖像的水平方向上。
3.權利要求1所述的方法，其中所述偏移只在該視頻圖像的垂直方向上。
4.權利要求1所述的方法，其中所述偏移依賴于在該視頻圖像中所述圖像段的位置。
5.權利要求1所述的方法，其中所述偏移對于在該視頻圖像內的圖像段的所有位置具有相同的值。
6.權利要求1所述的方法，其中該偏移由全局運動參數確定。
7.權利要求6所述的方法，其中所述全局運動參數取決于至少一個前面的視頻圖像的運動向量場的屬性。
8.權利要求7所述的方法，其中所述全局運動參數取決于在所述運動向量場中運動向量的最小值和最大值。
9.權利要求7所述的方法，其中所述全局運動參數取決于在所述運動向量字段中運動向量的平均值。
10.權利要求6所述的方法，其中所述全局運動參數由單獨的運動估計器確定。
11.一種對視頻圖像序列進行編碼(101)的方法，該方法包括估計和/或補償運動，該運動估計和/或補償包括選擇給定視頻圖像的圖像段(B12)；規(guī)定在該圖像段周圍的搜索區(qū)域(S)，該規(guī)定基于該圖像段的可能運動向量(V)的范圍；以及檢索與所述搜索區(qū)域有關的圖像數據；其特征在于，該搜索區(qū)域(S)被規(guī)定為使其中心具有相對于該圖像段中心的偏移，并且其中所述偏移的表示作為預測信息被合并到編碼視頻信號中。
12.一種用于估計和/或補償視頻圖像中的運動的設備(101，301)，該設備包括用于選擇給定視頻圖像的圖像段(B12)的裝置(2，4)；用于規(guī)定在該圖像段周圍的搜索區(qū)域(S)的裝置(2，3)，該規(guī)定是基于該圖像段的可能運動向量(V)的范圍；以及用于檢索與所述搜索區(qū)域有關的圖像數據的裝置(2，3)；該設備的特征在于用于規(guī)定的該裝置包括用于規(guī)定該搜索區(qū)域以使得其中心具有相對于該圖像段中心的偏移的裝置。
13.一種用于對視頻圖像序列進行編碼的編碼器(101)，該編碼器包含用于估計和/或補償運動的裝置，該運動估計和/或補償裝置包括用于選擇給定視頻圖像的圖像段(B12)的裝置；用于規(guī)定在該圖像段周圍的搜索區(qū)域(S)的裝置，該規(guī)定基于該圖像段的可能運動向量(V)的范圍；以及用于檢索與所述搜索區(qū)域有關的圖像數據的裝置；該編碼器的特征在于，該規(guī)定裝置包括用于規(guī)定該搜索區(qū)域以使其中心具有相對于該圖像段中心的偏移的裝置，并且其中，該編碼器還包括用于將所述偏移的表示作為預測信息合并到編碼視頻信號中的裝置。
14.一種編碼的數字視頻信號(S)，包括視頻圖像的編碼序列以及運動向量信息，用于根據至少一個相鄰視頻圖像來預測至少一個給定視頻圖像，該編碼數字視頻信號的特征在于包含為該給定視頻圖像的給定圖像段規(guī)定一個搜索區(qū)域的信息，以使得該搜索區(qū)域的中心具有相對于該圖像段中心的偏移。
15.一種存儲產品，包含權利要求14中所述的編碼數字視頻信號。
16.一種分配系統(10)，包括用于獲得視頻圖像序列的裝置(100)；如權利要求13中所述的編碼器(101)，用于對該視頻圖像序列進行編碼，以獲得編碼數字視頻信號(S)，以及輸出單元(102)，用于輸出該編碼視頻信號。
17.一種再現設備(300)，包括輸入單元(300)，用于獲得包含編碼視頻圖像序列的編碼數字視頻信號；以及如權利要求12所述的設備(301)，用于對至少一個給定的視頻圖像進行運動補償和/或估計，以獲得處理的視頻圖像，以及用于輸出該處理的視頻圖像的裝置(302)。
全文摘要
提供了估計和/或補償視頻圖像中的運動，其中選擇該視頻圖像的圖像段(B12)，在該圖像段周圍規(guī)定搜索區(qū)域(S)，該規(guī)定基于該圖像段可能運動向量(V)的范圍，并且檢索與所述搜索區(qū)域相關的圖像數據。規(guī)定該收縮區(qū)域，以使其中心具有相對于該圖像段中心的偏移。該偏移可由全局運動參數確定。
文檔編號H04N7/01GK1554194SQ02817782
公開日2004年12月8日 申請日期2002年8月29日 優(yōu)先權日2001年9月12日
發(fā)明者A·K·里門斯, A K 里門斯, R·J·舒特坦, 舒特坦, J·M·科特尼斯, 科特尼斯, O·A·奧喬, 奧喬, K·A·維塞斯, 維塞斯 申請人:皇家飛利浦電子股份有限公司