專利名稱：區(qū)塊方式的動作估算方法及圖框速率提高方法
技術領域：
本發(fā)明涉及一種動作估算(motion estimation)，特別是涉及一種區(qū)塊方式 (block-based)的動作估算方法，其可適用于圖框速率提高(framerate up conversion, FRUC)。
背景技術：
圖框速率提高(FRUC)技術經常用于數字影像顯示器，例如數字電視，用以在兩相鄰圖框之間產生一或多張內插圖框，因而提高圖框速率，例如，從60Hz增至120Hz甚至 240Hz0內插圖框的產生一般是使用動作補償(motioncompensation)的內插技術。如圖1 所示，是根據前一圖框及目前圖框以產生內插圖框的例子。首先，決定出目前圖框的巨集區(qū)塊(macroblock，MB)相對于前一圖框的相應巨集區(qū)塊的移動。根據此動作估算以得到內插圖框。然而，內插圖框的內插區(qū)塊的產生卻是隨機沒有規(guī)律的。由于圖框的顯示一般是規(guī)律地從左至右且由上而下，前述的隨機情形造成內插圖框于顯示時的困難或復雜。再者， 內插區(qū)塊一般并未對齊于視訊圖框的巨集區(qū)塊的分割。因此，為了處理內插區(qū)塊所進行的存儲器數據存取也將變?yōu)殡S機且為像素方式(Pixel-based)，此將造成時間的延遲。此外， 內插區(qū)塊會彼此重疊。此重疊情形使得內插圖框的顯示變得更復雜。像素方式的動作補償 (motion compensation)還會影響其他處理(例如遮蔽(occlusion)處理)的速度與精確性，使得該些處理也必須為像素方式。鑒于上述傳統(tǒng)圖框速率提高(FRUC)會產生延遲、復雜及不精確，因此亟需提出一種新穎機制，以加速并簡化產生內插圖框(例如進行圖框速率提高)時的動作補償。因此如何能創(chuàng)設一種新的區(qū)塊方式的動作估算方法及圖框速率提高方法，實屬當前重要研發(fā)課題之一，亦成為當前業(yè)界極需改進的目標。

發(fā)明內容
本發(fā)明的主要目的在于，克服現(xiàn)有的傳統(tǒng)圖框速率提高方法存在的延遲、復雜及不精確的缺陷，而提供一種新的區(qū)塊方式(block-based)的動作估算方法，使得內插圖框的動作補償成為區(qū)塊方式的處理，借此使得存儲器裝置的數據存取變?yōu)橐?guī)律的區(qū)塊方式的依序存取，因而大量地提高處理速度。本發(fā)明的另一目的在于，提供一種新的圖框速率提高(frame rate upconversion, FRUC)方法，從而更加適于實用。本發(fā)明的目的及解決其技術問題是采用以下技術方案來實現(xiàn)的。依據本發(fā)明提出的一種區(qū)塊方式的動作估算方法，包含提供一參考圖框和一目前圖框，該目前圖框被分割為互不重疊的多個巨集區(qū)塊(MB)；相對于該參考圖框，得到該目前圖框的每一該巨集區(qū)塊的動作向量(MV)，用以得到一動作向量圖(MV map)；及根據該動作向量圖，在該參考圖框和該目前圖框之間的內插圖框，決定該內插圖框中每一巨集區(qū)塊的動作向量。本發(fā)明的目的及解決其技術問題還可采用以下技術措施進一步實現(xiàn)。
前述的區(qū)塊方式的動作估算方法，其中所述的參考圖框為前一圖框。前述的區(qū)塊方式的動作估算方法，其中所述的內插圖框的巨集區(qū)塊，是從左至右且由上而下依序處理以決定該動作向量。前述的區(qū)塊方式的動作估算方法，其中所述的動作向量圖的每一動作向量的產生，是借由該目前圖框和該參考圖框之間進行區(qū)塊匹配(blockmatching)，其中該動作向量代表該目前圖框的巨集區(qū)塊相對于該參考圖框的相應巨集區(qū)塊的移動。前述的區(qū)塊方式的動作估算方法，其中所述的決定該內插圖框中每一巨集區(qū)塊的動作向量的步驟包含根據該動作向量圖，將該目前圖框的巨集區(qū)塊反向映射至該內插圖框，用以在該內插圖框中產生多個反向映射巨集區(qū)塊；分別決定該內插圖框中該多個反向映射巨集區(qū)塊和一待處理巨集區(qū)塊之間的距離；及根據該距離，自該動作向量圖選擇一動作向量，用以決定該待處理巨集區(qū)塊的動作向量。前述的區(qū)塊方式的動作估算方法，還包含一步驟，在該目前圖框中決定一搜尋范圍，其與該待處理巨集區(qū)塊相關，用以在該搜尋范圍中，將該巨集區(qū)塊反向映射至該內插圖框。前述的區(qū)塊方式的動作估算方法，其中所述的反向映射巨集區(qū)塊和該待處理巨集區(qū)塊的距離是為該反向映射巨集區(qū)塊的角落和該待處理巨集區(qū)塊的相應角落之間的距離。本發(fā)明的目的及解決其技術問題還采用以下技術方案來實現(xiàn)。依據本發(fā)明提出的一種圖框速率提高方法，包含提供一參考圖框和一目前圖框，該目前圖框被分割為互不重疊的多個巨集區(qū)塊(MB)；相對于該參考圖框，得到該目前圖框的每一該巨集區(qū)塊的動作向量(MV)，用以得到一動作向量圖(MV map)；根據該動作向量圖，在該參考圖框和該目前圖框之間的內插圖框，決定該內插圖框中每一巨集區(qū)塊的動作向量；及根據該內插圖框中每一巨集區(qū)塊的動作向量，以產生該內插圖框。本發(fā)明的目的及解決其技術問題還可采用以下技術措施進一步實現(xiàn)。前述的圖框速率提高方法，其中所述的內插圖框的巨集區(qū)塊，是從左至右且由上而下依序處理以決定該動作向量。前述的圖框速率提高方法，其中所述的決定該內插圖框中每一巨集區(qū)塊的動作向量的步驟包含根據該動作向量圖，將該目前圖框的巨集區(qū)塊反向映射至該內插圖框，用以在該內插圖框中產生多個反向映射巨集區(qū)塊；分別決定該內插圖框中該多個反向映射巨集區(qū)塊和一待處理巨集區(qū)塊之間的距離；及根據該距離，自該動作向量圖選擇一動作向量，用以決定該待處理巨集區(qū)塊的動作向量。前述的圖框速率提高方法，還包含一步驟，在該目前圖框中決定一搜尋范圍，其相關于該待處理巨集區(qū)塊，用以在該搜尋范圍中，將該巨集區(qū)塊反向映射至該內插圖框。前述的圖框速率提高方法，其中所述的反向映射巨集區(qū)塊和該待處理巨集區(qū)塊的距離是為該反向映射巨集區(qū)塊的角落和該待處理巨集區(qū)塊的相應角落之間的距離。本發(fā)明與現(xiàn)有技術相比具有明顯的優(yōu)點和有益效果。由以上技術方案可知，本發(fā)明的主要技術內容如下首先提供參考圖框和目前圖框。目前圖框被分割為互不重疊的多個巨集區(qū)塊(MB)。接著，相對于參考圖框，得到目前圖框的每一巨集區(qū)塊的動作向量(MV)， 用以得到一動作向量圖(MVmap)。根據動作向量圖，在參考圖框和目前圖框之間的內插圖框，決定內插圖框中每一巨集區(qū)塊的動作向量。
為達到上述目的，本發(fā)明提供了一種區(qū)塊方式(block-based)的動作估算方法。另外，為達到上述目的，本發(fā)明還提供了一種圖框速率提高方法。借由上述技術方案，本發(fā)明至少具有下列優(yōu)點及有益效果由于內插圖框的動作補償是為區(qū)塊方式，因此存儲器裝置的數據存取可為區(qū)塊方式(block-based)的規(guī)律循序存取，而非傳統(tǒng)方法中像素方式(pixel-based)的隨機存取，因而可以大大加快處理速度。綜上所述，本發(fā)明的區(qū)塊方式的動作估算方法和圖框速率提高方法，可以大大加快存儲器裝置的數據存取處理速度。本發(fā)明在技術上有顯著的進步，具有明顯的積極效果， 誠為一新穎、進步、實用的新設計。上述說明僅是本發(fā)明技術方案的概述，為了能夠更清楚了解本發(fā)明的技術手段， 而可依照說明書的內容予以實施，并且為了讓本發(fā)明的上述和其他目的、特征和優(yōu)點能夠更明顯易懂，以下特舉較佳實施例，并配合附圖，詳細說明如下。


圖1是根據前一圖框及目前圖框以產生內插圖框的示意圖。圖2是本發(fā)明實施例區(qū)塊方式(block-based)的動作估算(motionestimation) 方法的流程圖。圖3是圖2步驟23的詳細流程圖。圖4是圖3流程的相關示意圖。
具體實施例方式為更進一步闡述本發(fā)明為達成預定發(fā)明目的所采取的技術手段及功效，以下結合附圖及較佳實施例，對依據本發(fā)明提出的區(qū)塊方式的動作估算方法和圖框速率提高方法， 其具體實施方式
、方法(制造方法、加工方法)、步驟、特征及其功效，詳細說明如后。 圖2所示是本發(fā)明實施例的區(qū)塊方式(block-based)的動作估算(motion estimation)方法，其可適用于圖框速率提高(FRUC)。在步驟21，首先提供前一圖框(一般稱為參考圖框)及目前圖框，借由內插技術而在前一圖框和目前圖框之間產生出新圖框。一般來說，提供時間N的圖框及時間N+2的圖框，而在時間N+1產生內插圖框。在本實施例中，每一圖框被分割為互不重疊的矩形區(qū)域， 稱為巨集區(qū)塊(macroblock，MB)。例如，每一巨集區(qū)塊的尺寸可為4x4或16x16像素。接著，在步驟22，得到動作向量圖(MV map)。其中，動作向量圖也同上述分割為互不重疊的巨集區(qū)塊。動作向量圖中的每一巨集區(qū)塊包含一動作向量，其代表目前圖框的巨集區(qū)塊相對于前一圖框的相應巨集區(qū)塊的移動或位移。詳而言之，借由目前圖框和前一圖框之間的每一區(qū)塊進行區(qū)塊匹配(block matching)，以產生動作向量圖的巨集區(qū)塊的動作向量。對于目前圖框中的每一巨集區(qū)塊，區(qū)塊匹配的動作估算自前一圖框中找到最佳匹配區(qū)塊(例如當其達到最小絕對差之和(sum of absolute difference, SAD))，因而得到目前圖框的巨集區(qū)塊的動作向量。動作向量圖包含目前圖框的各個巨集區(qū)塊的動作向量。因此，本實施例的動作向量圖一般又稱為正向(forward)動作向量圖。接下來，在步驟23，根據步驟22得到的正向動作向量圖，以決定內插圖框中每一巨集區(qū)塊的動作向量。在本實施例中，內插圖框的動作向量的決定是一個區(qū)塊接著一個區(qū)塊地執(zhí)行，或者為區(qū)塊方式(block-based)。例如，巨集區(qū)塊是從左至右且由上而下依序處理。圖3所示是步驟23的詳細流程圖，而圖4所示是圖3流程的相關示意圖。在步驟231，首先在目前圖框中決定出搜尋范圍40 (如圖4所示)，其與內插圖框中的待處理巨集區(qū)塊42有關。接著，在步驟232，根據動作向量圖(例如，巨集區(qū)塊40A、 40B和40C的動作向量)，將搜尋范圍內的巨集區(qū)塊(亦即，40A、40B和40C)反向映射至內插圖框(如實線箭頭所示)，因而分別產生反向映射巨集區(qū)塊42A、42B和42C。接著，在步驟233，分別決定反向映射巨集區(qū)塊42A/42B/42C和待處理巨集區(qū)塊42的距離。在本實施例中，巨集區(qū)塊之間的距離是定義為各巨集區(qū)塊的左上角間的距離(如虛線箭頭所示)。最后，在步驟234，因為相應于巨集區(qū)塊40C的反向映射巨集區(qū)塊42C最接近待處理巨集區(qū)塊 42，因此巨集區(qū)塊40C的動作向量被選擇作為待處理巨集區(qū)塊42的動作向量。詳而言之， 待處理巨集區(qū)塊42的動作向量為巨集區(qū)塊40C的動作向量的一半。為便于說明，巨集區(qū)塊 40A、40B和40C代表本實施例搜尋范圍內的所有巨集區(qū)塊。接下來，在步驟24 (如圖2所示)，根據步驟234所選擇的動作向量，一區(qū)塊一區(qū)塊地產生內插圖框。根據步驟23和對，依序處理并顯示內插圖框中的所有巨集區(qū)塊。根據上述實施例，由于內插圖框的動作補償是為區(qū)塊方式，因此存儲器裝置的數據存取可為區(qū)塊方式(block-based)的規(guī)律循序存取，而非傳統(tǒng)方法中像素方式 (pixel-based)的隨機存取，因而可以大大加快處理速度。再者，區(qū)塊方式的動作補償可使得其他處理，例如遮蔽處理，也能以區(qū)塊方式來處理。上述實施例以正向動作向量圖作為基礎，以執(zhí)行反向映射。然而，在其他實施例中，還可使用反向動作向量圖。換句話說，同時使用正向和反向動作向量圖，用以得到內插圖框的待處理巨集區(qū)塊的二或更多個候選動作向量。反向動作向量圖也同上述被分割為互不重疊的巨集區(qū)塊。反向動作向量圖的每一巨集區(qū)塊包含一動作向量，其代表時間N的圖框(例如前一圖框)的巨集區(qū)塊相對于時間N+2的圖框(例如目前圖框)的相應巨集區(qū)塊的移動或位移。換句話說，反向動作向量圖的動作估算的方向是相反于正向動作向量圖的動作估算的方向。類似于第二圖的步驟23，根據反向動作向量圖以決定內插圖框中每一巨集區(qū)塊的反向動作向量，其細節(jié)類似于第三圖的步驟231-234。相較于僅使用正向動作向量圖，如果同時使用正向及反向動作向量圖以進行區(qū)塊方式的動作補償，可以得到較佳效能， 但須使用較多資源及時間延遲。以上所述，僅是本發(fā)明的較佳實施例而已，并非對本發(fā)明作任何形式上的限制，雖然本發(fā)明已以較佳實施例揭露如上，然而并非用以限定本發(fā)明，任何熟悉本專業(yè)的技術人員，在不脫離本發(fā)明技術方案范圍內，當可利用上述揭示的技術內容作出些許更動或修飾為等同變化的等效實施例，但凡是未脫離本發(fā)明技術方案內容，依據本發(fā)明的技術實質對以上實施例所作的任何簡單修改、等同變化與修飾，均仍屬于本發(fā)明技術方案的范圍內。
權利要求
1.一種區(qū)塊方式的動作估算方法，其特征在于，包含提供一參考圖框和一目前圖框，該目前圖框被分割為互不重疊的多個巨集區(qū)塊；相對于該參考圖框，得到該目前圖框的每一該巨集區(qū)塊的動作向量，用以得到一動作向量圖；及根據該動作向量圖，在該參考圖框和該目前圖框之間的一內插圖框，決定該內插圖框中每一巨集區(qū)塊的動作向量。
2.根據權利要求1所述的區(qū)塊方式的動作估算方法，其特征在于，其中所述的參考圖框為前一圖框。
3.根據權利要求1所述的區(qū)塊方式的動作估算方法，其特征在于，其中所述的內插圖框的巨集區(qū)塊，是從左至右且由上而下依序處理以決定該動作向量。
4.根據權利要求1所述的區(qū)塊方式的動作估算方法，其特征在于，其中所述的動作向量圖的每一動作向量的產生，是借由該目前圖框和該參考圖框之間進行區(qū)塊匹配，其中該動作向量代表該目前圖框的巨集區(qū)塊相對于該參考圖框的相應巨集區(qū)塊的移動。
5.根據權利要求1所述的區(qū)塊方式的動作估算方法，其特征在于，其中所述的決定該內插圖框中每一巨集區(qū)塊的動作向量的步驟包含根據該動作向量圖，將該目前圖框的巨集區(qū)塊反向映射至該內插圖框，用以在該內插圖框中產生多個反向映射巨集區(qū)塊；分別決定該內插圖框中該多個反向映射巨集區(qū)塊和一待處理巨集區(qū)塊之間的距離；及根據該距離，自該動作向量圖選擇一動作向量，用以決定該待處理巨集區(qū)塊的動作向量。
6.根據權利要求5所述的區(qū)塊方式的動作估算方法，其特征在于，還包含一步驟，在該目前圖框中決定一搜尋范圍，其與該待處理巨集區(qū)塊相關，用以在該搜尋范圍中，將該巨集區(qū)塊反向映射至該內插圖框。
7.根據權利要求5所述的區(qū)塊方式的動作估算方法，其特征在于，其中所述的反向映射巨集區(qū)塊和該待處理巨集區(qū)塊的距離是為該反向映射巨集區(qū)塊的角落和該待處理巨集區(qū)塊的相應角落之間的距離。
8.一種采用如權利要求1區(qū)塊方式的動作估算方法的圖框速率提高方法，包含提供一參考圖框和一目前圖框，該目前圖框被分割為互不重疊的多個巨集區(qū)塊；相對于該參考圖框，得到該目前圖框的每一該巨集區(qū)塊的動作向量，用以得到一動作向量圖；根據該動作向量圖，在該參考圖框和該目前圖框之間的一內插圖框，決定該內插圖框中每一巨集區(qū)塊的動作向量；及根據該內插圖框中每一巨集區(qū)塊的動作向量，以產生該內插圖框。
9.根據權利要求8所述的圖框速率提高方法，其特征在于，其中所述的內插圖框的巨集區(qū)塊，是從左至右且由上而下依序處理以決定該動作向量。
10.根據權利要求8所述的圖框速率提高方法，其特征在于，其中所述的決定該內插圖框中每一巨集區(qū)塊的動作向量的步驟包含 根據該動作向量圖，將該目前圖框的巨集區(qū)塊反向映射至該內插圖框，用以在該內插圖框中產生多個反向映射巨集區(qū)塊；分別決定該內插圖框中該多個反向映射巨集區(qū)塊和一待處理巨集區(qū)塊之間的距離；及根據該距離，自該動作向量圖選擇一動作向量，用以決定該待處理巨集區(qū)塊的動作向量。
11.根據權利要求10所述的圖框速率提高方法，其特征在于，還包含一步驟，在該目前圖框中決定一搜尋范圍，其相關于該待處理巨集區(qū)塊，用以在該搜尋范圍中，將該巨集區(qū)塊反向映射至該內插圖框。
12.根據權利要求10所述的圖框速率提高方法，其特征在于，其中所述的反向映射巨集區(qū)塊和該待處理巨集區(qū)塊的距離是為該反向映射巨集區(qū)塊的角落和該待處理巨集區(qū)塊的相應角落之間的距離。
全文摘要
本發(fā)明是有關于一種區(qū)塊方式的動作估算方法。該區(qū)塊方式的動作估算方法包括相對于參考圖框，得到目前圖框的每一巨集區(qū)塊的動作向量(MV)，用以得到一動作向量圖(MV map)；根據動作向量圖，在內插圖框中決定每一巨集區(qū)塊的動作向量；根據該動作向量圖，在該參考圖框和該目前圖框之間的內插圖框，決定該內插圖框中每一巨集區(qū)塊的動作向量。一種采用圖框速率提高方法，根據該內插圖框中每一巨集區(qū)塊的動作向量，以產生該內插圖框。本發(fā)明使得內插圖框的動作補償成為區(qū)塊方式的處理，借此使得存儲器裝置的數據存取變?yōu)橐?guī)律的區(qū)塊方式的依序存取，因而大量地提高處理速度。
文檔編號H04N7/46GK102215394SQ20101021520
公開日2011年10月12日 申請日期2010年6月25日 優(yōu)先權日2010年4月8日
發(fā)明者賴彥杰, 鄭朝鐘, 鈕圣君, 陳瀅如 申請人:奇景光電股份有限公司, 承景科技股份有限公司, 鄭朝鐘