專利名稱：圖像幀內(nèi)插設(shè)備、圖像幀內(nèi)插方法和圖像幀內(nèi)插程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及例如運(yùn)動圖像序列或者多相機(jī)系統(tǒng)中用于在不存在的時間位置或視 點位置處的幀圖像的內(nèi)插生成的設(shè)備、方法和程序。
背景技術(shù)：
針對如同圖12所示的由以時序順序形成的圖像幀構(gòu)成的所謂運(yùn)動圖像序列，在 現(xiàn)有幀之間內(nèi)插原先不存在的圖像幀(內(nèi)插幀)以例如進(jìn)行幀速率轉(zhuǎn)換。此外，在如同圖13所示的多相機(jī)系統(tǒng)中，由在現(xiàn)有相機(jī)之間不存在的相機(jī)(虛擬 相機(jī))拍攝而獲得的圖像幀被內(nèi)插，以得到對象圖像的更多方向表示。在如同圖12所示的運(yùn)動圖像序列中，各個圖像幀被按其時序順序來處理并在時 間方面具有前后關(guān)系。因此，可對各圖像幀進(jìn)行編號(排序)。至于由如同圖13所示的多相機(jī)系統(tǒng)拍攝的圖像，可依據(jù)拍攝相機(jī)的位置對各個 拍攝圖像(圖像幀)執(zhí)行編號(排序)。在用于根據(jù)如圖12和圖13所示配置的兩個或更多個圖像幀來進(jìn)行中間圖像幀的 內(nèi)插生成的大多數(shù)方法中，首先獲得圖像幀的各個像素的相應(yīng)位置(運(yùn)動向量)，并在隨后 創(chuàng)建內(nèi)插像素。—般而言，如圖14所示，從基準(zhǔn)幀(輸入幀1)到掃描基礎(chǔ)幀(輸入幀2)的運(yùn)動 向量上的中間位置被定義成內(nèi)插像素位置，并且在運(yùn)動向量所指示的位置處的輸入圖像幀 (輸入幀2)上的像素被用作內(nèi)插像素。該方法例如存在如下問題存在沒有運(yùn)動向量經(jīng)過的內(nèi)插像素位置(空穴)，并且 存在多個運(yùn)動向量經(jīng)過的內(nèi)插像素位置(交疊)。這導(dǎo)致了如下問題為了針對這些內(nèi)插 像素位置的后置處理而增大了處理量和電路規(guī)模。為了解決該問題，日本專利早期公布No. 2007-181674 (下文中稱為專利文獻(xiàn)1)公 開了一種用于獲得各個像素的運(yùn)動向量的方法。在該方法中，如圖15所示，內(nèi)插幀被用作 掃描基礎(chǔ)，并且在將各個內(nèi)插像素定義成中心的情況下在前一輸入圖像幀與后一輸入圖像 幀上設(shè)置搜索范圍。此外，塊匹配被執(zhí)行以使得內(nèi)插像素被置于兩個搜索位置之間的線條 上，從而獲得每一內(nèi)插像素的運(yùn)動向量。該專利文獻(xiàn)1所公開的方法消除了上述像素位置的空穴和交疊問題，并使得可通 過對有限范圍進(jìn)行數(shù)據(jù)計算來快速形成內(nèi)插幀的圖像。但是，在專利文獻(xiàn)1所公開的方法中，雖然搜索范圍有限，但是在兩個輸入圖像幀 上設(shè)置了搜索范圍，如圖15所示。這導(dǎo)致了用于這些搜索范圍的存儲器的大小很大的問題。此外，在專利文獻(xiàn)1所公開的方法中，針對每一內(nèi)插像素計算塊匹配。這導(dǎo)致了如 下問題如果塊匹配的搜索范圍很寬并且輸入圖像幀之間的內(nèi)插幀的數(shù)目很大，則處理量 很大。但是，在形成內(nèi)插幀的情況中，像專利文獻(xiàn)1所描述的方法中那樣，除非在與內(nèi)插幀前后的現(xiàn)有幀有關(guān)系的情況下獲取正確的運(yùn)動向量，否則可能無法形成自然的內(nèi)插幀。因此，希望能夠獲得用于幀內(nèi)插的正確運(yùn)動向量，并可快速且正確地形成與運(yùn)動向 量相對應(yīng)的內(nèi)插幀，而不會導(dǎo)致所使用存儲器的大小增大、處理量增大以及處理成本增大。

發(fā)明內(nèi)容
本發(fā)明希望使得可以快速且正確地獲取并利用用于形成內(nèi)插幀的運(yùn)動向量，而不 會導(dǎo)致對處理成本有影響的因素的增加，所述因素例如是處理周期的數(shù)目和功耗。根據(jù)本發(fā)明一個實施例，提供了一種圖像幀內(nèi)插設(shè)備，該設(shè)備包括決定裝置，用 于針對要在相鄰圖像幀之間內(nèi)插的內(nèi)插幀來決定具有預(yù)定大小的內(nèi)插區(qū)域；和獲取裝置， 用于在取決于所述內(nèi)插幀的位置的至少一對圖像幀之間，基于由所述決定裝置決定的內(nèi)插 區(qū)域的位置，獲取至少兩個運(yùn)動向量。該圖像幀內(nèi)插設(shè)備還包括選擇裝置，用于在將所述 內(nèi)插幀夾在中間的兩個圖像幀之間應(yīng)用由所述獲取裝置獲取的所述至少兩個運(yùn)動向量，并 基于圖像幀上具有預(yù)定大小且經(jīng)由相應(yīng)的一個運(yùn)動向量而相互關(guān)聯(lián)的圖像區(qū)域之間的相 關(guān)度來選擇要使用的運(yùn)動向量；以及形成裝置，用于通過使用由所述選擇裝置選擇的運(yùn)動 向量來形成并內(nèi)插所述內(nèi)插幀上的所述內(nèi)插區(qū)域的像素數(shù)據(jù)。在根據(jù)本發(fā)明該實施例的圖像幀內(nèi)插設(shè)備中，通過決定裝置，要在相鄰圖像幀之 間內(nèi)插的內(nèi)插幀上的內(nèi)插區(qū)域被決定。此外，通過獲取裝置，在取決于所述內(nèi)插幀的位置的 至少一對圖像幀之間，基于由所述決定裝置決定的內(nèi)插區(qū)域的位置，獲取了作為在內(nèi)插處 理中使用的運(yùn)動向量的候選的至少兩個運(yùn)動向量。之后，通過選擇裝置，在將所述內(nèi)插幀夾在中間的兩個圖像幀之間應(yīng)用由所述獲 取裝置獲取的所述至少兩個運(yùn)動向量。而且，通過選擇裝置，基于圖像幀上具有預(yù)定大小且 經(jīng)由相應(yīng)的一個運(yùn)動向量而相互關(guān)聯(lián)的圖像區(qū)域之間的相關(guān)度來選擇在內(nèi)插處理中實際 使用的一個運(yùn)動向量。由所述選擇裝置選擇的運(yùn)動向量被使用，并且所述內(nèi)插幀上的所述內(nèi)插區(qū)域的像 素數(shù)據(jù)被形成裝置形成。通過重復(fù)決定裝置、獲取裝置、選擇裝置和形成裝置的各種處理， 整個內(nèi)插幀的像素數(shù)據(jù)被形成。即，內(nèi)插幀被形成，從而使得在目標(biāo)圖像幀之間內(nèi)插(添 加)內(nèi)插幀。以這種方式，針對所決定的目標(biāo)內(nèi)插區(qū)域來獲取可能利用的多個運(yùn)動向量，并且 從運(yùn)動向量的集合中選擇最佳運(yùn)動向量。通過使用該運(yùn)動向量，可以執(zhí)行針對內(nèi)插幀的內(nèi) 插處理(形成處理)。在直到運(yùn)動向量選擇之前的處理中，并未執(zhí)行復(fù)雜處理。而且，在沒有導(dǎo)致處理負(fù) 擔(dān)增加的情況下，可以快速且正確地選擇用于形成內(nèi)插幀的運(yùn)動向量并且使得可以利用該 運(yùn)動向量。本發(fā)明的實施例可以快速且正確地獲取用于形成內(nèi)插幀的運(yùn)動向量以利用該運(yùn) 動向量，而不會導(dǎo)致對處理成本有影響的因素的增加，所述因素例如是處理周期的數(shù)目和 功耗。


圖1是用于說明應(yīng)用了本發(fā)明一個實施例的幀內(nèi)插器(圖像幀內(nèi)插設(shè)備)的配置示例的框圖；圖2是用于說明在運(yùn)動向量組創(chuàng)建器中執(zhí)行的獲取運(yùn)動向量的一組候選的處理 的概要的示圖；圖3是用于說明在運(yùn)動向量選擇器中執(zhí)行的選擇運(yùn)動向量的處理的概要的示圖；圖4是用于說明在運(yùn)動向量組創(chuàng)建器中執(zhí)行的獲取運(yùn)動向量的一組候選的處理 的細(xì)節(jié)的示圖；圖5是用于說明在運(yùn)動向量選擇器中執(zhí)行的選擇運(yùn)動向量的處理的細(xì)節(jié)的示圖；圖6是用于說明在幀內(nèi)插器中執(zhí)行的形成目標(biāo)內(nèi)插幀的處理(對幀進(jìn)行內(nèi)插的處 理)的流程圖；圖7是用于說明在圖6的步驟S2中執(zhí)行的獲取運(yùn)動向量集合的處理的流程圖；圖8是用于說明在圖6的步驟S3中執(zhí)行的從運(yùn)動向量集合中選擇在內(nèi)插處理中 使用的一個運(yùn)動向量的處理的流程圖；圖9是用于說明在多對幀中的每一對幀之間獲取多個運(yùn)動向量的情況的一個示 例的示圖；圖10是用于說明從其獲得運(yùn)動向量的幀的組合的一個示例的示圖；圖11是用于說明修改示例2的幀內(nèi)插器的框圖；圖12是用于說明幀內(nèi)插的一個示例的示圖；圖13是用于說明幀內(nèi)插的一個示例的示圖；圖14是用于說明用于幀內(nèi)插的相關(guān)技術(shù)像素內(nèi)插處理的一個示例的示圖；以及圖15是用于說明用于幀內(nèi)插的相關(guān)技術(shù)像素內(nèi)插處理的另一個示例的示圖。
具體實施例方式下面將參考附圖描述根據(jù)本發(fā)明一個實施例的設(shè)備、方法和程序。幀內(nèi)插器的配置示例圖1是用于說明通過應(yīng)用根據(jù)本發(fā)明一個實施例的設(shè)備、方法和程序來配置的幀 內(nèi)插器(圖像幀內(nèi)插設(shè)備)的配置示例的框圖。在圖1中，幀內(nèi)插器2是應(yīng)用了本發(fā)明實 施例的部分。解碼處理器1對經(jīng)預(yù)定運(yùn)動圖像編碼系統(tǒng)編碼的運(yùn)動圖像數(shù)據(jù)執(zhí)行解碼處理以 恢復(fù)編碼之前的原始運(yùn)動圖像數(shù)據(jù)。解碼處理器1將該恢復(fù)的運(yùn)動圖像數(shù)據(jù)(以幀為單位 的像素數(shù)據(jù))提供給幀內(nèi)插器2。運(yùn)動圖像編碼系統(tǒng)的示例包括諸如MPEG_2(運(yùn)動圖像專家組第2階段)、 MPEG-4 (運(yùn)動圖像專家組第4階段)和H. 264 (MPEG-4高級視頻編碼)之類的各種系統(tǒng)。在 此實施例中，解碼處理器1能夠執(zhí)行符合例如H. 264的解碼處理。具體而言，解碼處理器1例如執(zhí)行熵解碼處理、逆zigzag變換、逆量化、逆正交變 換(包括交疊平滑濾波器)、和幀內(nèi)預(yù)測(包括AC/DC預(yù)測)。此外，解碼處理器1還執(zhí)行運(yùn) 動向量預(yù)測、運(yùn)動補(bǔ)償(包括加權(quán)預(yù)測、范圍縮小、和強(qiáng)度補(bǔ)償)、去塊濾波器(deblocking filter)等等。如圖1所示，幀內(nèi)插器2包括圖像存儲器21、內(nèi)插區(qū)域決定器22、運(yùn)動向量組創(chuàng)建 器23、運(yùn)動向量選擇器24、和內(nèi)插區(qū)域像素生成器25。
圖像存儲器21具有可在其中累積多個幀的像素數(shù)據(jù)的存儲器容量。具體而言，圖 像存儲器21能夠存儲并保持用于形成內(nèi)插幀的至少兩個相鄰幀的像素數(shù)據(jù)，并且還能夠 存儲并保持要形成的內(nèi)插幀的像素數(shù)據(jù)。此外，圖像存儲器21的存儲器容量還有空間允許圖像存儲器21在形成一個內(nèi)插 幀的像素數(shù)據(jù)期間臨時存儲提供給其的全部經(jīng)解碼像素數(shù)據(jù)。如上，圖像存儲器21具有的存儲器容量能夠存儲并保持用于形成內(nèi)插幀的多個 幀的像素數(shù)據(jù)、要通過內(nèi)插形成的內(nèi)插幀的像素數(shù)據(jù)、以及在內(nèi)插處理期間從解碼處理器1 提供來的像素數(shù)據(jù)。內(nèi)插區(qū)域決定器22具有作為用于決定內(nèi)插區(qū)域的決定器的功能，該內(nèi)插區(qū)域具 有預(yù)定大小并且被處置作為要通過內(nèi)插形成的內(nèi)插幀中的內(nèi)插對象。內(nèi)插區(qū)域的最小大小 是一個像素的大小，并且取決于幀內(nèi)插器2的處理能力，還可以采用由多個像素構(gòu)成的區(qū) 域(處理塊)作為內(nèi)插區(qū)域。具體而言，作為內(nèi)插區(qū)域，例如可以采用具有與包括16像素X 16像素的宏塊相同 大小的處理塊。另外，還可以采用具有各種大小的任意處理塊，例如，8像素X8像素、4像 素X4像素、和8像素X4像素。此外，在此實施例中，內(nèi)插區(qū)域決定器22以如下方式順次決定內(nèi)插區(qū)域從作為 內(nèi)插幀中的原點的左上端開始在水平方向上移動內(nèi)插區(qū)域，而不會在當(dāng)前內(nèi)插區(qū)域與前一 內(nèi)插區(qū)域之間交疊。在內(nèi)插區(qū)域到達(dá)內(nèi)插幀的右端時，內(nèi)插區(qū)域決定器22從內(nèi)插幀的左端 開始對下一內(nèi)插區(qū)域行執(zhí)行處理。例如，當(dāng)內(nèi)插區(qū)域的大小等于一個像素的大小時，內(nèi)插區(qū)域行是以一個像素的寬 度作為其垂直寬度并且在水平方向具有一個幀的寬度的行。當(dāng)內(nèi)插區(qū)域的大小等于包括16 像素X 16像素的宏塊時，內(nèi)插區(qū)域行是以16個像素的寬度作為其垂直寬度并且在水平方 向具有一個幀的寬度的行。如上，內(nèi)插區(qū)域決定器22以在要通過內(nèi)插形成的內(nèi)插幀上按預(yù)先決定的順序移 動內(nèi)插區(qū)域的方式順次決定具有預(yù)定大小的內(nèi)插區(qū)域，并且內(nèi)插區(qū)域決定器22向運(yùn)動向 量組創(chuàng)建器23通知內(nèi)插區(qū)域被設(shè)定在內(nèi)插幀上的哪個位置。運(yùn)動向量組創(chuàng)建器23具有作為如下獲取器的功能，該獲取器用于獲取在用于內(nèi) 插由內(nèi)插區(qū)域決定器22決定的內(nèi)插區(qū)域的像素的內(nèi)插處理中使用的運(yùn)動向量的一組候選 (運(yùn)動向量集合)。具體而言，運(yùn)動向量組創(chuàng)建器23基于由內(nèi)插區(qū)域決定器22決定的內(nèi)插區(qū)域的位 置，獲取在取決于要通過內(nèi)插創(chuàng)建的內(nèi)插幀的位置的至少一對圖像幀之間的至少兩個運(yùn)動向量。后面還要詳細(xì)描述，在從其獲得運(yùn)動向量的至少一對圖像幀中，運(yùn)動向量組創(chuàng)建 器23將時間上在前位置處的圖像幀視為基準(zhǔn)幀，并將時間上在后位置處的圖像幀視為掃 描基礎(chǔ)幀。此外，運(yùn)動向量組創(chuàng)建器23針對與由內(nèi)插區(qū)域決定器22在內(nèi)插幀上決定的內(nèi)插 區(qū)域相對應(yīng)的一個或多個位置處的基準(zhǔn)幀上的具有預(yù)定大小的圖像區(qū)域，獲得到掃描基礎(chǔ) 幀的運(yùn)動向量。針對其獲得運(yùn)動向量的、在基準(zhǔn)幀上具有預(yù)定大小的圖像區(qū)域例如是包括 16像素X 16像素的宏塊或者具有另一大小的塊。
更具體而言，如果在其間獲得運(yùn)動向量的兩對或更多對圖像幀被設(shè)定，則運(yùn)動向 量組創(chuàng)建器23在每一對圖像幀之間獲得至少一個運(yùn)動向量。如果在其間獲得運(yùn)動向量的一對圖像幀被設(shè)定，則運(yùn)動向量組創(chuàng)建器23在該對 圖像幀之間獲得至少兩個運(yùn)動向量。以這種方式，運(yùn)動向量組創(chuàng)建器23創(chuàng)建在內(nèi)插處理中 使用的運(yùn)動向量的一組候選。運(yùn)動向量選擇器24具有作為如下選擇器的功能，該選擇器用于從運(yùn)動向量組創(chuàng) 建器23所創(chuàng)建(獲取)的多個運(yùn)動向量候選中選擇在由內(nèi)插區(qū)域決定器22決定的內(nèi)插區(qū) 域的像素內(nèi)插中使用的一個運(yùn)動向量。具體而言，運(yùn)動向量選擇器24以使得運(yùn)動向量各自經(jīng)過內(nèi)插幀上的內(nèi)插區(qū)域的 方式來應(yīng)用與這次要內(nèi)插的內(nèi)插幀相鄰的并且將該內(nèi)插幀夾在中間的幀之間的、由運(yùn)動向 量組創(chuàng)建器23獲取的多個運(yùn)動向量。此外，對于所應(yīng)用的多個運(yùn)動向量中的每一個，運(yùn)動向量選擇器24獲得通過兩個 圖像幀上的運(yùn)動向量而相互關(guān)聯(lián)的相應(yīng)圖像區(qū)域之間的相關(guān)度?；谙嚓P(guān)度，運(yùn)動向量選 擇器24選擇要使用的一個運(yùn)動向量。在此實施例中，通過兩個圖像幀上的運(yùn)動向量而相互關(guān)聯(lián)的相應(yīng)圖像區(qū)域之間的 相關(guān)度是通過使用例如后面還要描述的絕對差之和來掌握的。內(nèi)插區(qū)域像素生成器25具有作為如下形成單元的功能，該形成單元用于通過使 用運(yùn)動向量選擇器24所選擇的運(yùn)動向量，生成(形成)作為當(dāng)前內(nèi)插對象的內(nèi)插區(qū)域的像 素數(shù)據(jù)。具體而言，內(nèi)插區(qū)域像素生成器25通過使用運(yùn)動向量選擇器24所選擇的運(yùn)動向 量以及要通過內(nèi)插形成的內(nèi)插幀之前和之后的一個或兩個圖像幀，來生成作為當(dāng)前內(nèi)插對 象的內(nèi)插區(qū)域的像素數(shù)據(jù)。由內(nèi)插區(qū)域像素生成器25生成的、內(nèi)插幀上的內(nèi)插區(qū)域的像素數(shù)據(jù)被存儲在圖 像存儲器21中用于形成內(nèi)插幀的像素數(shù)據(jù)的存儲區(qū)域中。類似于其它圖像幀的像素數(shù)據(jù)， 由內(nèi)插區(qū)域像素生成器25形成的內(nèi)插幀的像素數(shù)據(jù)被從圖像存儲器21讀出，并被允許用 作形成幀圖像的像素數(shù)據(jù)。如上，在此實施例的幀內(nèi)插器2中，內(nèi)插區(qū)域決定器22、運(yùn)動向量組創(chuàng)建器23、運(yùn) 動向量選擇器24和內(nèi)插區(qū)域像素生成器25相互協(xié)同工作，從而能夠正確地選擇在針對每 一內(nèi)插區(qū)域的內(nèi)插處理中使用的運(yùn)動向量。此外，此實施例的幀內(nèi)插器2通過使用所選擇的運(yùn)動向量來對所決定的內(nèi)插區(qū)域 執(zhí)行內(nèi)插處理，從而能夠正確地生成各個像素數(shù)據(jù)以形成內(nèi)插幀。即，能夠正確地形成目標(biāo) 內(nèi)插幀的圖像。幀內(nèi)插器2的操作概要下面將具體描述在圖1所示的此實施例的幀內(nèi)插器2中執(zhí)行的幀內(nèi)插處理。如上面描述的，此實施例的幀內(nèi)插器2中的內(nèi)插區(qū)域決定器22以在要通過內(nèi)插 形成的內(nèi)插幀上按預(yù)先決定的順序移動內(nèi)插區(qū)域的方式，順次決定具有預(yù)定大小的內(nèi)插區(qū) 域。 此外，此實施例的幀內(nèi)插器2中的運(yùn)動向量組創(chuàng)建器23獲取緊跟在目標(biāo)內(nèi)插幀之 前的輸入幀之間的運(yùn)動向量以及與內(nèi)插幀相鄰的并且將該內(nèi)插幀夾在中間的圖像幀之間的運(yùn)動向量。圖2是用于說明在運(yùn)動向量組創(chuàng)建器23中執(zhí)行的、獲取運(yùn)動向量的一組候選的處 理的概要的示圖。這里，假定由解碼處理器1中的解碼處理產(chǎn)生的以幀為單位的像素數(shù)據(jù)被從解碼 處理器1以如圖2所示的輸入幀1、輸入幀2、和輸入幀3的順序提供到圖像存儲器21，并被 臨時存儲在圖像存儲器21中。在此情況中，因為如圖2中的箭頭所示，時間的前向方向是向右方向，所以在圖2 中，輸入幀1是最舊的幀，而輸入幀3是最新的幀。此外，假定如圖2的虛線所示，要在輸入 幀2和輸入幀3之間形成內(nèi)插幀。在此情況中，如圖2所示，首先，運(yùn)動向量組創(chuàng)建器23創(chuàng)建并獲取緊跟在內(nèi)插幀之 前的圖像幀之間(即，輸入幀1與輸入幀2之間)的第一運(yùn)動向量(MVl)。隨后，如圖2所示，運(yùn)動向量組創(chuàng)建器23創(chuàng)建并獲取與內(nèi)插幀相鄰的并且將該內(nèi) 插幀夾在中間的圖像幀之間(即，輸入幀2與輸入幀3之間)的第二運(yùn)動向量(MV2)。如后面要詳細(xì)描述的，在創(chuàng)建并獲取作為在內(nèi)插處理中使用的運(yùn)動向量的候選的 多個運(yùn)動向量時，基于由內(nèi)插區(qū)域決定器22決定的內(nèi)插區(qū)域的位置來獲得運(yùn)動向量。隨后，運(yùn)動向量選擇器24從由運(yùn)動向量組創(chuàng)建器23創(chuàng)建并獲取的第一運(yùn)動向量 (MVl)和第二運(yùn)動向量(MV2)中選擇用于生成內(nèi)插區(qū)域的圖像的一個運(yùn)動向量。圖3是用于說明在運(yùn)動向量選擇器24中執(zhí)行的選擇運(yùn)動向量的處理概要的示圖。 運(yùn)動向量選擇器24在與內(nèi)插幀相鄰的并且將內(nèi)插幀夾在中間的幀之間應(yīng)用在運(yùn)動向量組 創(chuàng)建器23中創(chuàng)建的、屬于在內(nèi)插處理中使用的運(yùn)動向量的候選的每一個運(yùn)動向量。在圖2所示的示例的情況中，如圖3所示，在將由虛線指示的內(nèi)插幀夾在中間的輸 入幀2和輸入幀3之間應(yīng)用由運(yùn)動向量組創(chuàng)建器23獲取的第一和第二運(yùn)動向量。在應(yīng)用 運(yùn)動向量時，將由內(nèi)插區(qū)域決定器22決定的內(nèi)插區(qū)域Ar用作基礎(chǔ)。在圖3中，在內(nèi)插幀上示出的區(qū)域Ar指示出由圖1所示的內(nèi)插區(qū)域決定器22決 定的內(nèi)插區(qū)域。此外，輸入幀2上的圖像區(qū)域F2Ar和輸入幀3上的圖像區(qū)域F3Ar指示出 具有預(yù)定大小并且通過在各個輸入幀上應(yīng)用的運(yùn)動向量而相互關(guān)聯(lián)的圖像區(qū)域。運(yùn)動向量選擇器24獲得圖像區(qū)域F2Ar和圖像區(qū)域F3Ar之間的相關(guān)度，圖像區(qū)域 F2Ar和圖像區(qū)域F3Ar通過所應(yīng)用的運(yùn)動向量而相互關(guān)聯(lián)并且分別在作為緊跟在內(nèi)插幀之 前的幀的輸入幀2和作為緊跟在內(nèi)插幀之后的幀的輸入幀3上。以這種方式，關(guān)于作為要使用的運(yùn)動向量的候選來獲取的每一個運(yùn)動向量，獲得 了內(nèi)插幀之前和之后的幀上的相應(yīng)圖像區(qū)域之間的相關(guān)度。隨后，運(yùn)動向量選擇器24選擇 獲得了最高相關(guān)度的運(yùn)動向量作為在將像素內(nèi)插在內(nèi)插區(qū)域中的處理中使用的運(yùn)動向量。在此實施例中，具有預(yù)定大小并且通過內(nèi)插幀之前和之后的幀上的運(yùn)動向量而相 互關(guān)聯(lián)的圖像區(qū)域之間的相關(guān)度是通過使用上面也已描述過的絕對差之和來確定的。下文 中，將絕對差之和簡稱為“SAD”。獲取運(yùn)動向量的候選組的處理和選擇運(yùn)動向量的處理的細(xì)節(jié)下面將更詳細(xì)描述獲取用于內(nèi)插的運(yùn)動向量的一組候選的處理和從所獲取的運(yùn) 動向量的該組候選中選擇用于內(nèi)插的運(yùn)動向量的處理。獲取運(yùn)動向量的候選組的處理的細(xì)節(jié)
9
首先，將在下面詳細(xì)描述在此實施例的運(yùn)動向量組創(chuàng)建器23中執(zhí)行的獲取運(yùn)動 向量的一組候選的處理。圖4是用于說明在此實施例的運(yùn)動向量組創(chuàng)建器23中執(zhí)行的、創(chuàng) 建并獲取運(yùn)動向量的一組候選的處理的細(xì)節(jié)的示圖。圖4概念性地示出了從側(cè)面看時在圖像存儲器21中捕獲的圖像幀。圖4示出了 如下情況在圖像存儲器21中臨時存儲了輸入幀1、輸入幀2和輸入幀3，并且類似于圖2 描述的情況，要在輸入幀2和輸入幀3之間形成內(nèi)插幀。此示例基于如下假設(shè)由內(nèi)插區(qū)域決定器22在虛線所指示的內(nèi)插幀上決定了內(nèi) 插區(qū)域Ar，如圖4所示。此外，此示例還基于如下假設(shè)內(nèi)插區(qū)域Ar具有例如類似于宏塊 的16像素X 16像素的大小。如以上使用圖2描述的，運(yùn)動向量組創(chuàng)建器23獲得在輸入幀1和輸入幀2(緊跟 在內(nèi)插幀之前的一對圖像幀)之間的第一運(yùn)動向量(MVl)。在此情況中，運(yùn)動向量組創(chuàng)建器23在輸入幀1上、在與內(nèi)插幀上所決定的內(nèi)插區(qū) 域Ar的位置相同的位置處設(shè)定用于獲得第一運(yùn)動向量(MVl)的圖像區(qū)域Ar(I)。在此實施 例中，圖像區(qū)域AHl)具有例如與包括16像素X 16像素的宏塊的大小相同的大小。隨后，運(yùn)動向量組創(chuàng)建器23掃描作為掃描基礎(chǔ)幀的輸入幀2，并在輸入幀2上檢測 與輸入幀1上的圖像區(qū)域Ar(I)相對應(yīng)的圖像區(qū)域。在此情況中，在輸入幀2上的掃描范 圍可取決于例如內(nèi)插幀上的內(nèi)插區(qū)域的位置來選擇。從而，如圖4所示，獲得了從輸入幀1上的圖像區(qū)域Ar(I)到輸入幀2上的相應(yīng)圖 像區(qū)域Ob(I)的第一運(yùn)動向量(MVl)。如上，從輸入幀1上與在內(nèi)插幀上決定的內(nèi)插區(qū)域Ar相同的位置處的圖像區(qū)域 Ar⑴到輸入幀2上的相應(yīng)圖像區(qū)域Ob(I)的運(yùn)動向量為目標(biāo)第一運(yùn)動向量(MVl)。接下來，運(yùn)動向量組創(chuàng)建器23獲得與內(nèi)插幀相鄰的并且將內(nèi)插幀夾在中間的輸 入幀2與輸入幀3之間的第二運(yùn)動向量(MV2)。在此情況中，如圖4所示，運(yùn)動向量組創(chuàng)建器23在輸入幀2上、在與內(nèi)插幀上決定 的內(nèi)插區(qū)域Ar的位置相同的位置處設(shè)定用于獲得第二運(yùn)動向量(MV2)的圖像區(qū)域Ar(2)。 在此實施例中，圖像區(qū)域Ar⑵也具有例如與包括16像素X 16像素的宏塊相同的大小。隨后，運(yùn)動向量組創(chuàng)建器23掃描作為掃描基礎(chǔ)幀的輸入幀3，并檢測輸入幀3上與 輸入幀2上的圖像區(qū)域Ar(2)相對應(yīng)的圖像區(qū)域。在此情況中，類似于獲得第一運(yùn)動向量 (MVl)，輸入幀3上的掃描范圍可取決于例如內(nèi)插幀上的內(nèi)插區(qū)域的位置來選擇。從而，如圖4所示，獲得了從輸入幀2上的圖像區(qū)域Ar (2)到輸入幀3上的相應(yīng)圖 像區(qū)域Ob (2)的第二運(yùn)動向量(MV2)。如上，從輸入幀2上與在內(nèi)插幀上決定的內(nèi)插區(qū)域Ar相同的位置處的圖像區(qū)域 Ar⑵到輸入幀3上的相應(yīng)圖像區(qū)域Ob⑵的運(yùn)動向量為目標(biāo)第二運(yùn)動向量(MV2)。以上述方式，運(yùn)動向量組創(chuàng)建器23在緊跟在內(nèi)插幀之前的幀之間以及在與內(nèi)插 幀相鄰并且將內(nèi)插幀夾在中間的幀之間，獲取在內(nèi)插處理中使用的運(yùn)動向量的每一個候 選。選擇運(yùn)動向量的處理的細(xì)節(jié)接下來，將在下面詳細(xì)描述在此實施例的運(yùn)動向量選擇器24中執(zhí)行的選擇運(yùn)動 向量的處理。圖5是用于說明在此實施例的運(yùn)動向量選擇器24中執(zhí)行的選擇運(yùn)動向量的處理的細(xì)節(jié)的示圖。運(yùn)動向量選擇器24在與內(nèi)插幀相鄰的并且將內(nèi)插幀夾在中間的幀之間應(yīng)用如利 用圖4描述的由運(yùn)動向量組創(chuàng)建器23創(chuàng)建的第一運(yùn)動向量(MVl)和第二運(yùn)動向量(MV2)。在此示例中，與內(nèi)插幀相鄰并且將內(nèi)插幀夾在中間的幀是緊跟在內(nèi)插幀之前的輸 入幀2和緊跟在內(nèi)插幀之后的輸入幀3，如圖4和圖5所示。在應(yīng)用第一運(yùn)動向量(MVl)和第二運(yùn)動向量(MV2)時，由內(nèi)插區(qū)域決定器22決定 的內(nèi)插幀上的內(nèi)插區(qū)域Ar被采用作為基礎(chǔ)。S卩，在輸入幀2和輸入幀3之間應(yīng)用第一運(yùn)動向量(MVl)和第二運(yùn)動向量(MV2)。 在此情況中，兩個運(yùn)動向量被應(yīng)用以使得經(jīng)過內(nèi)插幀上的內(nèi)插區(qū)域Ar中的相同位置(像 素)，如圖5所示。之后，如圖5所示，獲得了通過第一運(yùn)動向量(MVl)而相互關(guān)聯(lián)的輸入幀2上的圖 像區(qū)域Pll與輸入幀3上的圖像區(qū)域P21之間的相關(guān)值。類似地，如圖5所示，獲得了通過第二運(yùn)動向量(MV2)而相互關(guān)聯(lián)的輸入幀2上的 圖像區(qū)域P12與輸入幀3上的圖像區(qū)域P22之間的相關(guān)值。如上所述，在獲取運(yùn)動向量時，針對與宏塊具有相同大小的圖像區(qū)域獲得運(yùn)動向 量。因此，在此實施例中，輸入幀2上的圖像區(qū)域Pll和P12以及輸入幀3上的圖像區(qū)域 P21和P22全部都具有與宏塊相同的大小。此外，在此實施例中，使用SAD(絕對差之和)作為經(jīng)由第一和第二運(yùn)動向量而相 互關(guān)聯(lián)的圖像區(qū)域之間的相關(guān)值。SAD被如下所示地獲得。具體而言，針對兩個相應(yīng)圖像區(qū) 域，獲得相應(yīng)像素之間的像素值的差值，并獲得這些差值的絕對值。此外，獲得這些絕對值 的和。如上，SAD是通過針對兩個幀上的相應(yīng)圖像區(qū)域、獲得相應(yīng)位置處的像素之間的差 異的絕對值并取這些絕對值的和來實現(xiàn)的值。因此，如果由兩個相應(yīng)圖像區(qū)域中包括的像 素處理的像素值在兩個幀之間彼此嚴(yán)格相同，則SAD為“0”。從而從其獲得了較小SAD的一 對圖像區(qū)域可被視為在其間具有較高的相關(guān)度。因此，如圖5所示，運(yùn)動向量選擇器24獲得了通過第一運(yùn)動向量(MVl)相互關(guān)聯(lián) 的、輸入幀2上的圖像區(qū)域Pll和輸入幀3上的圖像區(qū)域P21之間的SAD(第一 SAD)。此外，如圖5所示，運(yùn)動向量選擇器24還獲得了通過第二運(yùn)動向量(MV2)相互關(guān) 聯(lián)的、輸入幀2上的圖像區(qū)域P12和輸入幀3上的圖像區(qū)域P22之間的SAD(第二 SAD)。隨后，運(yùn)動向量選擇器24對獲得的第一 SAD和第二 SAD進(jìn)行比較，并選擇與具有 較小SAD的圖像區(qū)域相關(guān)聯(lián)的運(yùn)動向量作為實際在針對該內(nèi)插區(qū)域的內(nèi)插處理中使用的 運(yùn)動向量。例如，如果第一 SAD小于第二 SAD，則第一運(yùn)動向量(MVl)被選擇作為用于內(nèi)插的 運(yùn)動向量。與之不同，如果第二 SAD小于第一 SAD，則第二運(yùn)動向量(MV2)被選擇作為用于 內(nèi)插的運(yùn)動向量。如上，此實施例的運(yùn)動向量選擇器24從由運(yùn)動向量組創(chuàng)建器23創(chuàng)建的第一運(yùn)動 向量和第二運(yùn)動向量中選擇更適合用于內(nèi)插的運(yùn)動向量。生成內(nèi)插區(qū)域的像素數(shù)據(jù)的處理之后，內(nèi)插區(qū)域像素生成器25使用運(yùn)動向量選擇器24所選擇的運(yùn)動向量，通過使用經(jīng)由此運(yùn)動向量而相互關(guān)聯(lián)的在前幀與在后幀之一或二者的像素數(shù)據(jù)來生成內(nèi)插幀上 的內(nèi)插區(qū)域的像素數(shù)據(jù)。內(nèi)插區(qū)域像素生成器25可通過使用例如由運(yùn)動向量選擇器24從圖像存儲器21 中的相應(yīng)幀上的相應(yīng)圖像區(qū)域加載用于SAD計算的像素數(shù)據(jù)，來創(chuàng)建內(nèi)插區(qū)域的像素數(shù) 據(jù)。在此情況中，可以是如下配置由運(yùn)動向量選擇器24加載用于SAD計算的像素數(shù) 據(jù)被臨時存儲在例如預(yù)定緩沖器中，并且內(nèi)插區(qū)域像素生成器25也可參考該像素數(shù)據(jù)。這消除了內(nèi)插區(qū)域像素生成器25從圖像存儲器21加載目標(biāo)幀上的目標(biāo)圖像部分 的像素數(shù)據(jù)的需要。因此，因為無需通過執(zhí)行多少有點復(fù)雜的尋址控制來從圖像存儲器21 加載目標(biāo)像素數(shù)據(jù)，所以可以降低處理負(fù)擔(dān)。此外，為了生成內(nèi)插區(qū)域的像素數(shù)據(jù)，可以使用各種內(nèi)插處理方法中的任一種，例 如，選擇并使用在前幀和在后幀上的相應(yīng)像素區(qū)域的任一個的像素數(shù)據(jù)的方法，以及取在 前幀和在后幀上的相應(yīng)像素區(qū)域的像素數(shù)據(jù)的平均的方法。幀內(nèi)插器2的操作的總結(jié)接下來，將在下面參考圖6至8的流程圖來總結(jié)此實施例的幀內(nèi)插器2的操作。圖 6是用于說明在幀內(nèi)插器2中執(zhí)行的形成目標(biāo)內(nèi)插幀的處理(對一幀進(jìn)行內(nèi)插的處理)的 流程圖。圖6所示的處理是在通過解碼處理器1的解碼產(chǎn)生的圖像數(shù)據(jù)被提供給圖像存儲 器21并被臨時存儲在其中以累積預(yù)定數(shù)目的幀的像素數(shù)據(jù)并且要在預(yù)定位置形成內(nèi)插幀 時，在幀內(nèi)插器2中執(zhí)行的。關(guān)于要形成內(nèi)插幀的預(yù)定位置，取決于目的可以有各種模式，例如，在每一對輸入 幀之間形成內(nèi)插幀的模式、每隔兩個幀形成內(nèi)插幀的模式、以及每隔三個幀形成內(nèi)插幀的 模式。在決定在預(yù)定位置形成內(nèi)插幀時，首先幀內(nèi)插器2中的內(nèi)插區(qū)域決定器22在此內(nèi) 插幀上決定具有預(yù)定大小的內(nèi)插區(qū)域中要形成內(nèi)插像素的位置(步驟Si)。在此情況中，同樣如上所述，內(nèi)插區(qū)域決定器22以在水平方向上從內(nèi)插幀中作為 原點的左上端開始移動內(nèi)插區(qū)域而不會在當(dāng)前內(nèi)插區(qū)域與在前內(nèi)插區(qū)域之間交疊的方式 來順次決定內(nèi)插區(qū)域。在到達(dá)內(nèi)插幀的右端處的內(nèi)插區(qū)域時，內(nèi)插區(qū)域決定器22類似地順 次決定在下一內(nèi)插區(qū)域行上的內(nèi)插區(qū)域。以這種方式，在要通過內(nèi)插形成的內(nèi)插幀上，內(nèi)插區(qū)域決定器22以按預(yù)先決定的 順序順次移動內(nèi)插區(qū)域并且覆蓋整個內(nèi)插幀的方式來決定要在其中通過內(nèi)插來實際形成 像素數(shù)據(jù)的內(nèi)插區(qū)域。在通過內(nèi)插區(qū)域決定器22來決定內(nèi)插幀上的內(nèi)插區(qū)域時，運(yùn)動向量組創(chuàng)建器23 在考慮到內(nèi)插幀的位置和所決定的內(nèi)插區(qū)域的位置的情況下，創(chuàng)建用于內(nèi)插的運(yùn)動向量的 一組候選(運(yùn)動向量的集合)(步驟S2)。之后，運(yùn)動向量選擇器24從在步驟S2由運(yùn)動向量組創(chuàng)建器23創(chuàng)建的、在內(nèi)插處 理中使用的運(yùn)動向量的該組候選(運(yùn)動向量的集合)中選擇實際在內(nèi)插處理中使用的一個 運(yùn)動向量(步驟S3)。隨后，內(nèi)插區(qū)域像素生成器25使用在步驟S3由運(yùn)動向量選擇器24選擇的運(yùn)動向量來生成(計算)內(nèi)插幀上如上所述在步驟Sl決定的內(nèi)插區(qū)域的像素數(shù)據(jù)(步驟S4)。在 此步驟S4中形成的像素數(shù)據(jù)被寫入圖像存儲器21中用于內(nèi)插幀的像素數(shù)據(jù)的記錄區(qū)域， 以使得它們可如上所述地被利用。之后，例如，內(nèi)插區(qū)域像素生成器25判斷是否已針對目標(biāo)內(nèi)插幀上的所有內(nèi)插區(qū) 域生成像素數(shù)據(jù)，即，判斷是否已完成用于形成目標(biāo)內(nèi)插幀的所有像素數(shù)據(jù)的生成(步驟 S5)。如果在步驟S5的判斷處理中判定尚未完成用于形成目標(biāo)內(nèi)插幀的所有像素數(shù)據(jù) 的生成，則重復(fù)從步驟Sl起的處理。S卩，重復(fù)包括以下步驟在內(nèi)的一系列處理決定內(nèi)插幀上的下一內(nèi)插區(qū)域(步驟 Si)；針對該內(nèi)插區(qū)域創(chuàng)建運(yùn)動向量的一組候選(步驟S2)；從運(yùn)動向量的該組候選中選擇 在內(nèi)插處理中使用的運(yùn)動向量(步驟S3)；以及通過使用所選擇的運(yùn)動向量來生成內(nèi)插區(qū) 域的像素數(shù)據(jù)(步驟S4)。以這種方式，通過幀內(nèi)插器2的功能，可在運(yùn)動圖像數(shù)據(jù)的目標(biāo)位置處補(bǔ)充內(nèi)插 幀，以使得可形成目標(biāo)運(yùn)動圖像數(shù)據(jù)。創(chuàng)建運(yùn)動向量的集合的處理接下來，將在下面描述在圖6的步驟S2中執(zhí)行的創(chuàng)建在內(nèi)插處理中使用的運(yùn)動向 量的一組候選的處理，即，創(chuàng)建運(yùn)動向量的集合的處理。圖7是用于說明在圖6的步驟S2 執(zhí)行的創(chuàng)建運(yùn)動向量的集合的處理的流程圖。以上也已描述，此實施例的幀內(nèi)插器2中的運(yùn)動向量組創(chuàng)建器23在緊跟在內(nèi)插幀 之前的輸入幀之間以及在與內(nèi)插幀相鄰且將內(nèi)插幀夾在中間的幀之間創(chuàng)建運(yùn)動向量的每 一個候選。為了此目的，如利用圖2和圖4描述的，首先運(yùn)動向量組創(chuàng)建器23獲得關(guān)于輸入 幀1中與內(nèi)插區(qū)域的位置相同的位置的第一運(yùn)動向量(MVl)(步驟S21)。具體而言，在步驟S21中，采用輸入幀2作為掃描基礎(chǔ)幀，并且如上面也已描述的， 獲得關(guān)于輸入幀1上與內(nèi)插區(qū)域相同位置處的圖像區(qū)域的到輸入幀2的運(yùn)動向量作為第一 運(yùn)動向量(MVl)。隨后，如利用圖2和圖4描述的，運(yùn)動向量組創(chuàng)建器23獲得關(guān)于輸入幀2中與內(nèi) 插區(qū)域的位置相同的位置的第二運(yùn)動向量(MV2)(步驟S22)。具體而言，在步驟S22中，采用輸入幀3作為掃描基礎(chǔ)幀，并且如上面也已描述的， 獲得關(guān)于輸入幀2上與內(nèi)插區(qū)域相同位置處的圖像區(qū)域的到輸入幀3的運(yùn)動向量作為第二 運(yùn)動向量(MV2)。以這種方式，在此實施例的運(yùn)動向量組創(chuàng)建器23中，在取決于內(nèi)插幀的位置的兩 對輸入幀的每一對之間獲得了關(guān)于與內(nèi)插區(qū)域決定器22所決定的內(nèi)插區(qū)域的位置相對應(yīng) 的圖像區(qū)域的運(yùn)動向量。選擇運(yùn)動向量的處理接下來，將在下面描述在圖6的步驟S3執(zhí)行的、從所創(chuàng)建的運(yùn)動向量的集合中選 擇在內(nèi)插處理中使用的一個運(yùn)動向量的處理。圖8是用于說明在圖6的步驟S3執(zhí)行的、從 運(yùn)動向量的集合中選擇在內(nèi)插處理中使用的一個運(yùn)動向量的處理的流程圖。首先，運(yùn)動向量選擇器24在與內(nèi)插幀相鄰且將內(nèi)插幀夾在中間的幀之間應(yīng)用通過圖6的步驟S2的處理創(chuàng)建的多個運(yùn)動向量(步驟S31)。在上述示例的情況中，在將內(nèi)插幀夾在中間的輸入幀2和輸入幀3之間應(yīng)用第一 和第二運(yùn)動向量。在此情況中，兩個運(yùn)動向量被應(yīng)用以使得經(jīng)過內(nèi)插幀上的內(nèi)插區(qū)域中的 相同位置。運(yùn)動向量選擇器24獲得第一 SAD(絕對差之和)作為通過在輸入幀2和輸入幀3 之間應(yīng)用的第一運(yùn)動向量而相互關(guān)聯(lián)的圖像區(qū)域之間的相關(guān)值(步驟S32)。類似地，運(yùn)動向量選擇器24獲得第二 SAD(絕對差之和)作為通過在輸入幀2和 輸入幀3之間應(yīng)用的第二運(yùn)動向量而相互關(guān)聯(lián)的圖像區(qū)域之間的相關(guān)值(步驟S33)。隨后，運(yùn)動向量選擇器24對步驟S32中獲得的第一 SAD (第一相關(guān)值)與步驟S33 中獲得的第二 SAD (第二相關(guān)值)進(jìn)行比較，并且選擇從其獲得較高相關(guān)的運(yùn)動向量作為用 于內(nèi)插的運(yùn)動向量(步驟S34)。在步驟S34中，可如下地進(jìn)行判定當(dāng)通過運(yùn)動向量相互關(guān)聯(lián)的圖像區(qū)域之間的 SAD的值較小時，這些圖像區(qū)域之間的相關(guān)度較高，如上面也已描述的。這樣，從其獲得了第 一和第二 SAD中的較小者的運(yùn)動向量被選擇作為用于內(nèi)插的運(yùn)動向量。如上，在此實施例的運(yùn)動向量選擇器24中，在將內(nèi)插幀夾在中間的輸入幀之間應(yīng) 用由運(yùn)動向量組創(chuàng)建器23創(chuàng)建的多個運(yùn)動向量。此外，在所應(yīng)用的各個幀中，取決于通過這多個運(yùn)動向量中的相應(yīng)一個運(yùn)動向量 而相互關(guān)聯(lián)的圖像區(qū)域之間的相關(guān)度，可以選擇用于內(nèi)插處理的最佳運(yùn)動向量。實施例的有益效果如上所述，取決于內(nèi)插幀的位置和在內(nèi)插幀上決定的內(nèi)插區(qū)域的位置在多個幀之 間創(chuàng)建運(yùn)動向量的一組候選，并且從該組中選擇用于內(nèi)插處理的最佳運(yùn)動向量從而允許內(nèi) 插處理。因此，與形成內(nèi)插幀的相關(guān)技術(shù)不同的是，無需通過針對每一個內(nèi)插幀進(jìn)行塊匹 配等來計算運(yùn)動向量。從而，對于搜尋運(yùn)動向量的搜索范圍較寬并且內(nèi)插幀的數(shù)目較大的 情況，與相關(guān)技術(shù)方法相比能夠減小計算內(nèi)插幀的運(yùn)動向量的處理量。因此，能夠快速且正確地形成內(nèi)插幀，并且可允許使用該內(nèi)插幀。從而，通過針對 需要以現(xiàn)有幀為單位在圖像中補(bǔ)充不存在的幀的各種情況(例如，對運(yùn)動圖像數(shù)據(jù)進(jìn)行速 率轉(zhuǎn)換的情況)使用本發(fā)明的實施例，可快速且正確地形成內(nèi)插幀并將其插入在目標(biāo)圖像 位置處。修改示例1在上述實施例中，取決于在內(nèi)插幀上設(shè)定的內(nèi)插區(qū)域的位置，在緊跟在內(nèi)插幀之 前的輸入幀之間以及在與內(nèi)插幀相鄰且將內(nèi)插幀夾在中間的輸入幀之間獲取每一個運(yùn)動向量。但是，運(yùn)動向量獲取的方式不限于此。例如，可在緊跟在內(nèi)插幀之前的輸入幀之間 (在上述示例的情況中，在輸入幀1與輸入幀2之間)獲取多個運(yùn)動向量，并且可從所獲取 的這些運(yùn)動向量中選擇一個運(yùn)動向量?？商娲兀稍谂c內(nèi)插幀相鄰且將內(nèi)插幀夾在中間的輸入幀之間(在上述示例的 情況中，在輸入幀2與輸入幀3之間)獲取多個運(yùn)動向量，并且可從所獲取的這些運(yùn)動向量 中選擇一個運(yùn)動向量。
14
更加可替代地，取決于在內(nèi)插幀上設(shè)定的內(nèi)插區(qū)域的位置，可以在緊跟在內(nèi)插幀 之前的輸入幀之間以及在與內(nèi)插幀相鄰且將內(nèi)插幀夾在中間的輸入幀之間各自獲取多個
運(yùn)動向量。圖9是用于說明在多對輸入幀中的每一對之間獲取多個運(yùn)動向量的情況的一個 示例的示圖。在圖9所示的示例中，類似于利用圖2和圖4描述的實施例，也存儲了輸入幀 1、輸入幀2和輸入幀3。圖9所示的示例也是基于如下假設(shè)如虛線幀所示，要在輸入幀2和輸入幀3之間 形成內(nèi)插幀。此外，假設(shè)內(nèi)插區(qū)域決定器22在內(nèi)插幀上決定了目標(biāo)內(nèi)插區(qū)域Ar，如圖9所
7J\ ο在圖9所示的示例中，同樣，在緊跟在內(nèi)插幀之前的幀之間以及在與內(nèi)插幀相鄰 且將內(nèi)插幀夾在中間的幀之間獲得運(yùn)動向量。具體而言，如圖9所示，在輸入幀1與輸入幀 2之間獲得運(yùn)動向量，并且在輸入幀2與輸入幀3之間獲得運(yùn)動向量。但是，在此示例中，在輸入幀1與輸入幀2之間以及在輸入幀2與輸入幀3之間各 自獲得運(yùn)動向量的一組多個候選。具體而言，如圖9所示，對于輸入幀1，類似于上述實施例，針對在與內(nèi)插幀上設(shè)定 的內(nèi)插區(qū)域Ar的位置相同的位置處的圖像區(qū)域Ar(Il)獲得運(yùn)動向量。另外，如圖9所示， 還獲得了關(guān)于圖像區(qū)域Ar(Il)周圍的圖像區(qū)域Ar(12)至Ar(19)的運(yùn)動向量。因此，在輸入幀1與輸入幀2之間，形成了一運(yùn)動向量候選組(運(yùn)動向量集合)，該 運(yùn)動向量候選組包括作為運(yùn)動向量候選的關(guān)于圖像區(qū)域Ar(Il)至Ar(19)的9個運(yùn)動向量 MVll 至 MV19。類似地，對于輸入幀2，類似于上述實施例，針對與內(nèi)插幀上設(shè)定的內(nèi)插區(qū)域Ar的 位置相同的位置處的圖像區(qū)域Ar(21)獲得運(yùn)動向量。另外，如圖9所示，還獲得了關(guān)于圖 像區(qū)域Ar(21)周圍的圖像區(qū)域Ar(22)至Ar(29)的運(yùn)動向量。因此，在輸入幀2與輸入幀3之間，形成了一運(yùn)動向量候選組(運(yùn)動向量集合)，該 運(yùn)動向量候選組包括作為運(yùn)動向量候選的關(guān)于圖像區(qū)域Ar(21)至Ar(29)的9個運(yùn)動向量 MV21 至 MV29。隨后，類似于上述實施例，在將內(nèi)插幀夾在中間的輸入幀2與輸入幀3之間應(yīng)用這 18個運(yùn)動向量MVll至MV19和MV21至MV29的每一個。之后，關(guān)于每一個運(yùn)動向量，獲得通過該運(yùn)動向量而相互關(guān)聯(lián)的輸入幀2上的圖 像區(qū)域與輸入幀3上的圖像區(qū)域之間的相關(guān)值。隨后，將具有最高相關(guān)(最小相關(guān)值)的 運(yùn)動向量選擇作為在內(nèi)插處理中使用的運(yùn)動向量。如上，取決于內(nèi)插幀的位置可在多對幀的每一對之間獲得多個運(yùn)動向量，并且可 從所獲得的運(yùn)動向量中選擇最佳運(yùn)動向量。通過以這種方式使用更大數(shù)目的運(yùn)動向量，可 選擇更適合的運(yùn)動向量。如果運(yùn)動向量的數(shù)目增大，則處理負(fù)擔(dān)也相應(yīng)地變得更大。因此，取決于幀內(nèi)插器 2等的性能，可如上所述地在多對幀中的任一對之間獲得多個運(yùn)動向量，并且當(dāng)然可從其選 擇運(yùn)動向量。雖然在圖9所示的示例中針對內(nèi)插幀獲得了 9個運(yùn)動向量，但是獲得運(yùn)動向量的 方式不限于此，而是可針對任意位置處的圖像區(qū)域獲得運(yùn)動向量。例如，除了關(guān)于與內(nèi)插區(qū)域相對應(yīng)的位置處的圖像區(qū)域的運(yùn)動向量之外，還可獲得關(guān)于該圖像區(qū)域的左側(cè)和右側(cè)圖 像區(qū)域的運(yùn)動向量和/或關(guān)于該圖像區(qū)域的上側(cè)和下側(cè)圖像區(qū)域的運(yùn)動向量。而且，也可以是以下情況不是獲得關(guān)于與內(nèi)插區(qū)域相對應(yīng)的位置處的圖像區(qū)域 的運(yùn)動向量，而是獲得關(guān)于與內(nèi)插區(qū)域相對應(yīng)的位置處的圖像區(qū)域周圍的圖像區(qū)域的運(yùn)動 向量，并且從其中選擇在內(nèi)插處理中使用的運(yùn)動向量。在上述實施例中，針對順次決定的每一個內(nèi)插區(qū)域，獲得了關(guān)于在輸入幀上的相 同位置處的圖像區(qū)域的運(yùn)動向量。但是，獲得運(yùn)動向量的方式不限于此。如上利用圖9所述的，可在目標(biāo)輸入幀之間獲得關(guān)于在與所決定的內(nèi)插區(qū)域的位 置相同的位置處的圖像區(qū)域周圍的預(yù)定圖像區(qū)域的運(yùn)動向量。而且，從由關(guān)于在與所決定的內(nèi)插區(qū)域相同位置處的圖像區(qū)域的運(yùn)動向量指示的 位置起的運(yùn)動向量可被包括在運(yùn)動向量的集合中。例如，在圖2、圖4和圖9所示的示例的情況中，獲得了關(guān)于輸入幀1上在與內(nèi)插區(qū) 域相同位置處的圖像區(qū)域的、到輸入幀2的第一運(yùn)動向量。在此狀態(tài)中，獲得關(guān)于輸入幀2 上由第一運(yùn)動向量指示的圖像區(qū)域的、到輸入幀3的第二運(yùn)動向量。以這種方式，以使得幀上與所決定的內(nèi)插區(qū)域相對應(yīng)的位置充當(dāng)基礎(chǔ)點的方式輪 流獲得的多個運(yùn)動向量可被包括在用于內(nèi)插的運(yùn)動向量的一組候選中。在此情況中，運(yùn)動向量不限于輸入幀1與輸入幀2之間的運(yùn)動向量以及輸入幀2 與輸入幀3之間的運(yùn)動向量。例如，還可獲得輸入幀3與下一輸入幀4之間的運(yùn)動向量。 即，作為起始點的幀位置和作為結(jié)束點的幀位置，可采用任意位置。此外，獲得運(yùn)動向量的方式不限于基于一個運(yùn)動向量來相繼獲得不同幀對(pair of frames)之間的運(yùn)動向量的方式。例如，當(dāng)然也可以是以下方式。具體而言，如圖9所 示，在輸入幀1與輸入幀2之間獲得多個運(yùn)動向量。之后，相繼獲得從輸入幀2上的由所獲 得的多個運(yùn)動向量指示的各個圖像區(qū)域起到輸入幀3的多個運(yùn)動向量。在上述示例中，如利用圖2和圖4描述的，運(yùn)動向量組創(chuàng)建器23獲得在緊跟著內(nèi) 插幀之前的幀之間的以及在與內(nèi)插幀相鄰且將內(nèi)插幀夾在中間的幀之間的運(yùn)動向量。但 是，獲得運(yùn)動向量的方式不限于此。圖10是用于說明從其獲得運(yùn)動向量的幀的組合的一個示例的示圖。如圖10所 示，可如上所述地使用緊跟在內(nèi)插幀之前的輸入幀之間的運(yùn)動向量(MVl)以及與內(nèi)插幀相 鄰且將內(nèi)插幀夾在中間的輸入幀之間的運(yùn)動向量(MV2)。另外，如圖10所示，還可以使用在輸入幀0與輸入幀1之間獲得的運(yùn)動向量 (MV3)，其中，輸入幀0與輸入幀1處在緊跟在內(nèi)插幀之前的輸入幀2之前。而且，可以使用 在緊跟在內(nèi)插幀之后的輸入幀3與輸入幀4之間獲得的運(yùn)動向量(MV4)。此外，如圖10所示，可以使用其它運(yùn)動向量，例如在輸入幀0與輸入幀2之間獲得 的運(yùn)動向量(MV5)和在輸入幀2與輸入幀4之間獲得的運(yùn)動向量(MV6)。能夠基于在如下范圍中的各種對應(yīng)關(guān)系來獲得用于內(nèi)插的運(yùn)動向量的候選在該 范圍中，可在考慮到內(nèi)插幀的位置以及內(nèi)插幀上設(shè)定的內(nèi)插區(qū)域的位置的情況下獲得可能 的運(yùn)動向量。在上述實施例中，在從用于內(nèi)插的運(yùn)動向量的一組候選中選擇實際用于內(nèi)插的一 個運(yùn)動向量時，基于不同幀上的與相應(yīng)的一個運(yùn)動向量相關(guān)聯(lián)的圖像區(qū)域之間的相關(guān)值來
16選擇運(yùn)動向量。但是，運(yùn)動向量選擇的方式不限于此。例如，可通過在計算相關(guān)值時掃描圖像區(qū)域 附近的區(qū)域并計算包括該附近區(qū)域的相關(guān)值來修改運(yùn)動向量的值。即，例如，即使在使用具 有與宏塊相同的大小的圖像區(qū)域的情況中，也可通過在考慮到該圖像區(qū)域周圍的像素的情 況下計算相關(guān)值來獲得更準(zhǔn)確的相關(guān)值。作為相關(guān)值，除了上述SAD(絕對差之和)之外，可以使用能夠指示出由像素構(gòu)成 的兩個圖像區(qū)域之間的相關(guān)度的任何其它種類的值。例如，可以使用差值平方和(SSD)或 者僅僅是差值之和。修改示例2上述實施例的幀內(nèi)插器2為了形成內(nèi)插幀，在從取決于內(nèi)插幀的位置的至少一對 幀之間的至少兩個運(yùn)動向量中選擇一個在內(nèi)插處理中使用的運(yùn)動向量之后執(zhí)行內(nèi)插處理。因此，如果預(yù)先計算目標(biāo)幀之間的運(yùn)動向量，則幀內(nèi)插器2不必獲得運(yùn)動向量，并 且可以更低的處理成本來實現(xiàn)整個幀內(nèi)插處理。于是，在此修改示例2中，例如，由解碼器針對視頻流提取的運(yùn)動向量被原樣地利 用，從而抑制了電路規(guī)模以及整個幀內(nèi)插設(shè)備的功耗。圖11是用于說明此修改示例2中的幀內(nèi)插器2A的框圖。在圖11中，與圖1所示 的幀內(nèi)插器2中的部分相同的部分被給予相同標(biāo)號，并且省略了對該部分的詳細(xì)描述以避 免幾余ο在圖11中，類似于圖1所示的解碼處理器1，解碼處理器IA具有如下功能對通 過預(yù)定運(yùn)動圖像編碼系統(tǒng)的編碼產(chǎn)生的運(yùn)動圖像數(shù)據(jù)執(zhí)行解碼處理，從而恢復(fù)編碼之前的 原始運(yùn)動圖像數(shù)據(jù)，并將該恢復(fù)的運(yùn)動圖像數(shù)據(jù)(以幀為單位的像素數(shù)據(jù))提供給幀內(nèi)插 器2A0此外，此修改示例2中的解碼處理器IA將在對運(yùn)動圖像數(shù)據(jù)進(jìn)行解碼處理的過程 中提取的運(yùn)動向量提供給幀內(nèi)插器2A中的運(yùn)動向量組提取器26 (后面將詳細(xì)描述)。從解碼處理器IA提供到運(yùn)動向量組提取器26的運(yùn)動向量被配置為使得可以辨別 出該運(yùn)動向量對應(yīng)于哪個幀以及哪個圖像區(qū)域。在此修改示例2的此幀內(nèi)插器2A中，通過在圖1與圖11之間進(jìn)行比較清楚可見， 取代運(yùn)動向量組創(chuàng)建器23提供了運(yùn)動向量組提取器26。此外，在此修改示例2的幀內(nèi)插器2A中，內(nèi)插區(qū)域決定器22決定要通過內(nèi)插形成 的內(nèi)插幀上的內(nèi)插區(qū)域，并向運(yùn)動向量組提取器26通知內(nèi)插區(qū)域被決定在內(nèi)插幀上的哪 個位置。如上面也已描述的，以使得能夠辨別出運(yùn)動向量對應(yīng)于哪個幀和哪個圖像區(qū)域的 方式向運(yùn)動向量組提取器26提供由解碼處理器IA提取的運(yùn)動向量。從而，運(yùn)動向量組提取器26提取取決于內(nèi)插幀的位置和在內(nèi)插幀上決定的內(nèi)插 區(qū)域的位置的目標(biāo)幀對之間的關(guān)于目標(biāo)圖像區(qū)域的運(yùn)動向量。目標(biāo)幀對的示例包括緊跟在內(nèi)插幀之前的那對幀以及與內(nèi)插幀相鄰且將內(nèi)插幀 夾在中間的那對幀，如利用圖2和圖4描述的。目標(biāo)圖像區(qū)域的示例包括在與內(nèi)插幀上由 內(nèi)插區(qū)域決定器22決定的內(nèi)插區(qū)域的位置相同的位置處的具有預(yù)定大小的圖像區(qū)域。因此，在圖11所示的幀內(nèi)插器2A中，運(yùn)動向量組提取器26可從提供自解碼處理器IA的運(yùn)動向量中提取在目標(biāo)幀對之間的關(guān)于目標(biāo)圖像區(qū)域的多個運(yùn)動向量。運(yùn)動向量組提取器26將所提取的運(yùn)動向量提供給運(yùn)動向量選擇器24。如上面也 已描述的，運(yùn)動向量選擇器24選擇用于內(nèi)插的一個運(yùn)動向量并將所選擇的運(yùn)動向量通知 給內(nèi)插區(qū)域像素生成器25。內(nèi)插區(qū)域像素生成器25通過使用運(yùn)動向量選擇器24所選擇的運(yùn)動向量以及要通 過內(nèi)插形成的內(nèi)插幀的在前圖像幀和在后圖像幀之一或二者來生成作為當(dāng)前內(nèi)插對象的 內(nèi)插區(qū)域的像素數(shù)據(jù)。以這種方式，圖11所示的幀內(nèi)插器2A也實現(xiàn)了與圖1所示的幀內(nèi)插器2相似的 功能。具體而言，為了形成內(nèi)插幀，幀內(nèi)插器2A在從取決于內(nèi)插幀的位置的至少一對幀之 間的至少兩個運(yùn)動向量中選擇在內(nèi)插處理中使用的一個運(yùn)動向量之后執(zhí)行內(nèi)插處理。但是，在圖11所示的修改示例2的幀內(nèi)插器2A中，無需通過掃描掃描基礎(chǔ)幀來獲 得目標(biāo)運(yùn)動向量。必要的運(yùn)動向量可從提供自解碼處理器IA的運(yùn)動向量中提取并且可被 使用。因此，無需執(zhí)行用于獲得目標(biāo)運(yùn)動向量的處理，從而可實現(xiàn)處理負(fù)擔(dān)較低的幀內(nèi) 插器2A。雖然在此修改示例2中使用了由解碼處理器IA提取的運(yùn)動向量，但是配置不限于 此。在一些情況中，圖像處理系統(tǒng)包括用于通過預(yù)定運(yùn)動圖像編碼系統(tǒng)對運(yùn)動圖像數(shù)據(jù)進(jìn) 行編碼的編碼處理器(編碼器)，并且該系統(tǒng)包括用于該編碼處理器的運(yùn)動預(yù)測處理器。在此情況中，還可以在解碼處理之后在幀內(nèi)插處理中原樣地使用由運(yùn)動預(yù)測處理 器獲得的運(yùn)動向量。因此，在具有諸如編碼器功能、解碼器功能和幀內(nèi)插功能之類的多個功 能的設(shè)備的情況中，可在實現(xiàn)各個功能時共同地使用運(yùn)動預(yù)測單元等。從而，還可實現(xiàn)能夠 縮小整個設(shè)備的電路規(guī)模的優(yōu)點。實施例的幀內(nèi)插器的配置的總結(jié)上述實施例的幀內(nèi)插器2具有以下特征。(1)在輸入了可以編號的多個圖像幀數(shù)據(jù)的設(shè)備中，幀內(nèi)插器2具有如下功能計 算在某一編號的輸入圖像幀(基礎(chǔ)幀)與另一編號的輸入圖像幀(基準(zhǔn)幀)之間的關(guān)于預(yù) 定空間區(qū)域的運(yùn)動向量的功能，以及通過使用該運(yùn)動向量來在某一連續(xù)兩幀之間的非存在 幀(內(nèi)插幀)中內(nèi)插預(yù)定圖像區(qū)域的功能。幀內(nèi)插器2從運(yùn)動向量的集合中選擇基于內(nèi)插 幀上的預(yù)定空間區(qū)域的運(yùn)動向量。(2)在上述特征(1)中，幀內(nèi)插器2針對每一運(yùn)動向量計算相關(guān)值，從而選擇基于 內(nèi)插幀上的該預(yù)定空間區(qū)域的運(yùn)動向量。(3)在上述特征(2)中，幀內(nèi)插器2通過使用編號緊跟在內(nèi)插幀之前和緊跟在內(nèi)插 幀之后的輸入圖像幀來計算相關(guān)值。(4)在上述特征(3)中，幀內(nèi)插器2計算在編號緊跟在內(nèi)插幀之前和緊跟在內(nèi)插幀 之后的輸入圖像幀上的由基于內(nèi)插幀上的預(yù)定空間區(qū)域的運(yùn)動向量指示的區(qū)域之間的相關(guān)值。(5)在上述特征(4)中，幀內(nèi)插器2能夠在緊跟著內(nèi)插幀之前和緊跟在內(nèi)插幀之后 的輸入圖像幀上移動各區(qū)域的位置，并能夠獲得關(guān)于附近位置的相關(guān)值。隨后，幀內(nèi)插器2 能夠選擇指示出在與最高相關(guān)值相對應(yīng)的位置處的區(qū)域的運(yùn)動向量。
(6)在上述特征⑴中，幀內(nèi)插器2能夠通過從自編號小于內(nèi)插幀的編號的輸入圖 像幀起的運(yùn)動向量集合中選擇至少一個運(yùn)動向量并從自編號大于內(nèi)插幀的編號的輸入圖 像幀起的運(yùn)動向量集合中選擇至少一個運(yùn)動向量來創(chuàng)建運(yùn)動向量集合。(7)在上述特征(1)中，幀內(nèi)插器2能夠根據(jù)關(guān)于另一輸入圖像幀上的在與要為其 獲得運(yùn)動向量的內(nèi)插幀上的預(yù)定空間區(qū)域相同位置處的區(qū)域的運(yùn)動向量，來創(chuàng)建運(yùn)動向量
皇A
朱口 ο此外，上述實施例的修改示例2的幀內(nèi)插器2A能夠通過利用由視頻解碼器(解碼 處理器1A)提取的運(yùn)動向量來創(chuàng)建運(yùn)動向量集合。除了用于創(chuàng)建運(yùn)動向量組的配置不同之外，圖1所示的幀內(nèi)插器2與圖11所示的 幀內(nèi)插器2A中的相應(yīng)部分具有相同配置和功能。方法和程序在利用圖1至11描述的幀內(nèi)插器2和2A中執(zhí)行的形成目標(biāo)內(nèi)插幀的處理(對幀 進(jìn)行內(nèi)插的處理)是應(yīng)用了根據(jù)本發(fā)明的實施例的方法的處理。此外，幀內(nèi)插器2中的內(nèi)插區(qū)域決定器22、運(yùn)動向量組創(chuàng)建器23、運(yùn)動向量選擇器 24和內(nèi)插區(qū)域像素生成器25各自的功能以及幀內(nèi)插器2A中的運(yùn)動向量組提取器26的功 能可通過計算機(jī)實現(xiàn)。具體而言，還可以通過例如微計算機(jī)來形成幀內(nèi)插器2和2A。因此，也可以基于通 過由例如微計算機(jī)構(gòu)成的幀內(nèi)插器2執(zhí)行的程序，來執(zhí)行利用圖6至8描述的形成目標(biāo)內(nèi) 插幀的處理(對幀進(jìn)行內(nèi)插的處理)。被配置為可通過由計算機(jī)構(gòu)成的幀內(nèi)插器2根據(jù)圖6至8所示的流程圖以這種方 式執(zhí)行的程序等同于根據(jù)本發(fā)明實施例的程序。利用圖7和圖8描述的處理是在圖6所示的步驟S2和步驟S3中執(zhí)行的處理的一 個示例。因此，在步驟S2和步驟S3中執(zhí)行的處理取決于在其間獲得運(yùn)動向量的幀對的位 置和數(shù)目以及所獲得的運(yùn)動向量的位置和數(shù)目而不同。其它在上述實施例中，作為用于獲得運(yùn)動向量的圖像區(qū)域，例如采用了與包括16像 素X 16像素的宏塊具有相同大小的區(qū)域。但是，圖像區(qū)域不限于此，而是可以采用具有任 意大小的圖像區(qū)域，只要其具有的大小使得可以正確獲得運(yùn)動向量即可。此外，在獲得運(yùn)動向量時，還可以獲得關(guān)于目標(biāo)圖像區(qū)域的運(yùn)動向量以及關(guān)于目 標(biāo)圖像區(qū)域周圍的具有預(yù)定大小的區(qū)域的運(yùn)動向量，并采用平均運(yùn)動向量作為關(guān)于目標(biāo)圖 像區(qū)域的運(yùn)動向量。以上實施例的描述是以如下情況作為示例來進(jìn)行的實施例被應(yīng)用于對由以時序 順序形成的幀圖像構(gòu)成的所謂運(yùn)動圖像序列進(jìn)行的幀內(nèi)插處理。但是，實施例的應(yīng)用目標(biāo) 不限于此。例如，本發(fā)明的實施例還可應(yīng)用于如下情況存在取決于相機(jī)位置來排序的幀圖 像并且在這些幀圖像之間插入一幀圖像，如利用圖13描述的。S卩，本發(fā)明的實施例可應(yīng)用于如下情況存在按時間或者按地點(位置)排序的幀 圖像，并且通過內(nèi)插處理在這些幀圖像之間形成不存在的幀圖像。本發(fā)明包含與在2009年6月12日向日本專利局提交的日本在先專利申請JP2009-140672所公開的主題相關(guān)的主題，該申請的全部內(nèi)容通過引用結(jié)合于此。 本領(lǐng)域技術(shù)人員應(yīng)當(dāng)了解，取決于設(shè)計要求和其它因素，可以進(jìn)行各種修改、組
合、子組合和變更，只要它們在所附權(quán)利要求或其等同物的范圍內(nèi)即可。
權(quán)利要求
一種圖像幀內(nèi)插設(shè)備，包括決定裝置，用于針對要在相鄰圖像幀之間內(nèi)插的內(nèi)插幀來決定具有預(yù)定大小的內(nèi)插區(qū)域；獲取裝置，用于在取決于所述內(nèi)插幀的位置的至少一對圖像幀之間，基于由所述決定裝置決定的內(nèi)插區(qū)域的位置，獲取至少兩個運(yùn)動向量；選擇裝置，用于在將所述內(nèi)插幀夾在中間的兩個圖像幀之間應(yīng)用由所述獲取裝置獲取的所述至少兩個運(yùn)動向量，并基于圖像幀上具有預(yù)定大小且經(jīng)由相應(yīng)的一個運(yùn)動向量而相互關(guān)聯(lián)的圖像區(qū)域之間的相關(guān)度來選擇要使用的運(yùn)動向量；以及形成裝置，用于通過使用由所述選擇裝置選擇的運(yùn)動向量來形成并內(nèi)插所述內(nèi)插幀上的所述內(nèi)插區(qū)域的像素數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的圖像幀內(nèi)插設(shè)備，其中所述獲取裝置在取決于所述內(nèi)插幀的位置的至少一對圖像幀之間，獲取處于在前位置 的基準(zhǔn)幀上的、與所述內(nèi)插幀上的內(nèi)插區(qū)域的位置相同位置處的具有所述預(yù)定大小的圖像 區(qū)域所相關(guān)的運(yùn)動向量。
3.根據(jù)權(quán)利要求1所述的圖像幀內(nèi)插設(shè)備，其中所述獲取裝置在取決于所述內(nèi)插幀的位置的至少一對圖像幀之間，獲取處于在前位置 的基準(zhǔn)幀上的、與所述內(nèi)插幀上的內(nèi)插區(qū)域的位置相同位置處的圖像區(qū)域周圍的具有預(yù)定 大小的圖像區(qū)域中的每一個圖像區(qū)域所相關(guān)的運(yùn)動向量。
4.根據(jù)權(quán)利要求1所述的圖像幀內(nèi)插設(shè)備，其中所述獲取裝置至少獲取相對于處于所述內(nèi)插幀之前的位置處的圖像幀的運(yùn)動向量以 及相對于處于所述內(nèi)插幀之后的位置處的圖像幀的運(yùn)動向量。
5.根據(jù)權(quán)利要求1所述的圖像幀內(nèi)插設(shè)備，其中所述獲取裝置從由解碼器所提取的運(yùn)動向量中獲取必要運(yùn)動向量，該解碼器用于對經(jīng) 編碼圖像數(shù)據(jù)進(jìn)行解碼以獲得以幀為單位的圖像數(shù)據(jù)。
6.一種圖像幀內(nèi)插方法，包括以下步驟由決定裝置針對要在相鄰圖像幀之間內(nèi)插的內(nèi)插幀來決定具有預(yù)定大小的內(nèi)插區(qū)域；由獲取裝置在取決于所述內(nèi)插幀的位置的至少一對圖像幀之間，基于在所述決定步驟 中決定的內(nèi)插區(qū)域的位置，獲取至少兩個運(yùn)動向量；由選擇裝置以使得在所述獲取步驟中獲取的所述至少兩個運(yùn)動向量各自經(jīng)過所述內(nèi) 插幀上的所述內(nèi)插區(qū)域的方式、在將所述內(nèi)插幀夾在中間的兩個圖像幀之間應(yīng)用所述至少 兩個運(yùn)動向量，并由所述選擇裝置基于圖像幀上具有預(yù)定大小且經(jīng)由相應(yīng)的一個運(yùn)動向量 而相互關(guān)聯(lián)的圖像區(qū)域之間的相關(guān)度來選擇要使用的運(yùn)動向量；以及由形成裝置通過使用在所述選擇步驟中選擇的運(yùn)動向量來形成并內(nèi)插所述內(nèi)插幀上 的所述內(nèi)插區(qū)域的像素數(shù)據(jù)。
7.一種計算機(jī)可讀的圖像幀內(nèi)插程序，該程序致使包含在用于處理圖像數(shù)據(jù)的圖像處 理設(shè)備中的計算機(jī)執(zhí)行以下步驟針對要在相鄰圖像幀之間內(nèi)插的內(nèi)插幀來決定具有預(yù)定大小的內(nèi)插區(qū)域； 在取決于所述內(nèi)插幀的位置的至少一對圖像幀之間，基于在所述決定步驟中決定的內(nèi)2插區(qū)域的位置，獲取至少兩個運(yùn)動向量；以使得在所述獲取步驟中獲取的所述至少兩個運(yùn)動向量各自經(jīng)過所述內(nèi)插幀上的所 述內(nèi)插區(qū)域的方式、在將所述內(nèi)插幀夾在中間的兩個圖像幀之間應(yīng)用所述至少兩個運(yùn)動向 量，并基于圖像幀上具有預(yù)定大小且經(jīng)由相應(yīng)的一個運(yùn)動向量而相互關(guān)聯(lián)的圖像區(qū)域之間 的相關(guān)度來選擇要使用的運(yùn)動向量；以及通過使用在所述選擇步驟中選擇的運(yùn)動向量來形成并內(nèi)插所述內(nèi)插幀上的所述內(nèi)插 區(qū)域的像素數(shù)據(jù)。
8. 一種圖像幀內(nèi)插設(shè)備，包括決定器，被配置來針對要在相鄰圖像幀之間內(nèi)插的內(nèi)插幀來決定具有預(yù)定大小的內(nèi)插 區(qū)域；獲取器，被配置來在取決于所述內(nèi)插幀的位置的至少一對圖像幀之間，基于由所述決 定器決定的內(nèi)插區(qū)域的位置，獲取至少兩個運(yùn)動向量；選擇器，被配置來在將所述內(nèi)插幀夾在中間的兩個圖像幀之間應(yīng)用由所述獲取器獲取 的所述至少兩個運(yùn)動向量，并基于圖像幀上具有預(yù)定大小且經(jīng)由相應(yīng)的一個運(yùn)動向量而相 互關(guān)聯(lián)的圖像區(qū)域之間的相關(guān)度來選擇要使用的運(yùn)動向量；以及形成單元，被配置來通過使用由所述選擇器選擇的運(yùn)動向量來形成并內(nèi)插所述內(nèi)插幀 上的所述內(nèi)插區(qū)域的像素數(shù)據(jù)。
全文摘要
本發(fā)明公開了圖像幀內(nèi)插設(shè)備、圖像幀內(nèi)插方法和圖像幀內(nèi)插程序。圖像幀內(nèi)插設(shè)備包括決定器，被配置來針對要在相鄰圖像幀之間內(nèi)插的內(nèi)插幀來決定具有預(yù)定大小的內(nèi)插區(qū)域；獲取器，被配置來在取決于內(nèi)插幀的位置的至少一對圖像幀之間，基于由決定器決定的內(nèi)插區(qū)域的位置，獲取至少兩個運(yùn)動向量；選擇器，被配置來在將內(nèi)插幀夾在中間的兩個圖像幀之間應(yīng)用由獲取器獲取的至少兩個運(yùn)動向量，并基于圖像幀上具有預(yù)定大小且經(jīng)由相應(yīng)的一個運(yùn)動向量而相互關(guān)聯(lián)的圖像區(qū)域之間的相關(guān)度來選擇要使用的運(yùn)動向量；以及形成單元，被配置來通過使用由選擇器選擇的運(yùn)動向量來形成并內(nèi)插該內(nèi)插幀上的內(nèi)插區(qū)域的像素數(shù)據(jù)。
文檔編號H04N7/26GK101924936SQ20101019847
公開日2010年12月22日 申請日期2010年6月7日 優(yōu)先權(quán)日2009年6月12日
發(fā)明者橫山正幸 申請人:索尼公司