確定小物體區(qū)域的方法、視頻幀之間插補(bǔ)幀的方法和裝置制造方法
【專利摘要】本發(fā)明實(shí)施例涉及視頻處理【技術(shù)領(lǐng)域】，特別涉及一種確定視頻幀中小物體區(qū)域的方法和裝置，用以較為準(zhǔn)確地在視頻幀中確定其中包括的小物體區(qū)域。本發(fā)明實(shí)施例提供的確定視頻幀中小物體區(qū)域的方法，包括：將當(dāng)前視頻幀劃分為至少兩個(gè)區(qū)域，確定每個(gè)區(qū)域?qū)?yīng)的全局運(yùn)動(dòng)矢量；確定包括當(dāng)前視頻幀和當(dāng)前視頻幀的參考幀的多幀視頻幀中任意一組相鄰幀的幀間運(yùn)動(dòng)矢量；根據(jù)所述任意一組相鄰幀的幀間運(yùn)動(dòng)矢量，以及確定的每個(gè)區(qū)域?qū)?yīng)的全局運(yùn)動(dòng)矢量，確定當(dāng)前視頻幀中的小物體候選區(qū)域；對(duì)當(dāng)前視頻幀中的小物體候選區(qū)域進(jìn)行濾波，將濾波后得到的區(qū)域確定為當(dāng)前視頻幀中的小物體區(qū)域。本發(fā)明實(shí)施例實(shí)現(xiàn)了較為準(zhǔn)確地在視頻幀中確定其中包括的小物體區(qū)域。
【專利說(shuō)明】確定小物體區(qū)域的方法、視頻幀之間插補(bǔ)幀的方法和裝置

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及視頻處理【技術(shù)領(lǐng)域】，特別涉及一種確定視頻幀中小物體區(qū)域的方法和 裝置、以及一種在兩相鄰視頻幀之間插補(bǔ)幀的方法和裝置。

【背景技術(shù)】
[0002] 在視頻技術(shù)應(yīng)用中，為了保證流暢地播放高清視頻或超高清視頻，終端播放視頻 幀的幀率需要達(dá)到至少120Hz (赫茲)，而由于傳輸帶寬的限制，視頻編碼傳輸?shù)膸手荒苓_(dá) 到25Hz或30Hz，因而需要播放高清視頻或超高清視頻的終端在接收到的視頻編碼原始幀 之間插補(bǔ)新的視頻幀以實(shí)現(xiàn)幀率轉(zhuǎn)換。
[0003] 目前需要播放高清視頻或超高清視頻的終端一般先對(duì)接收到的原始幀作運(yùn)動(dòng)估 計(jì)（即對(duì)原始幀包括的各個(gè)塊作運(yùn)動(dòng)估計(jì))，然后根據(jù)運(yùn)動(dòng)估計(jì)得到的相鄰兩幀之間的雙向 運(yùn)動(dòng)矢量，生成插補(bǔ)在該相鄰兩幀之間的新視頻幀（即插補(bǔ)幀)，為了使得插補(bǔ)幀具有良好 的連續(xù)性，需要對(duì)該根據(jù)運(yùn)動(dòng)估計(jì)得到的相鄰兩幀之間的雙向運(yùn)動(dòng)矢量作平滑濾波，并根 據(jù)平滑濾波后的該相鄰兩幀之間的雙向運(yùn)動(dòng)矢量，生成插補(bǔ)幀。
[0004] 在原始幀包括小物體區(qū)域時(shí)，在對(duì)該原始幀進(jìn)行運(yùn)動(dòng)估計(jì)后得到的運(yùn)動(dòng)矢量作平 滑濾波時(shí)，可能會(huì)使得該原始幀中的小物體區(qū)域?qū)?yīng)的運(yùn)動(dòng)矢量由該原始幀的背景運(yùn)動(dòng)矢 量所替代，而目前還沒有一種能夠確定視頻幀中的小物體區(qū)域的方法，而且在該原始幀中 的小物體區(qū)域?qū)?yīng)的運(yùn)動(dòng)矢量被該原始幀的背景運(yùn)動(dòng)矢量所替代時(shí)，根據(jù)該原始幀對(duì)應(yīng)的 運(yùn)動(dòng)矢量生成的插補(bǔ)幀中會(huì)由于缺失小物體區(qū)域的像素，從而影響高清視頻或超高清視頻 的播放質(zhì)量。其中，原始幀中滿足下列特征中的一種特征的區(qū)域稱之為小物體區(qū)域：占據(jù)原 始幀背景的比例值小于特定值的物體區(qū)域，或與原始幀背景運(yùn)動(dòng)方向不一致且占據(jù)原始幀 背景的比例值小于特定值的物體區(qū)域，或亮度值接近原始幀背景的亮度值且占據(jù)原始幀背 景的比例值小于特定值的物體區(qū)域，或與原始幀背景運(yùn)動(dòng)方向不一致且亮度值接近原始幀 背景的亮度值且占據(jù)原始幀背景的比例值小于特定值的物體區(qū)域。
[0005] 綜上所述，目前在原始幀包括小物體區(qū)域時(shí)，還沒有一種能夠確定視頻幀中的小 物體區(qū)域的方法，而且在對(duì)該原始幀進(jìn)行運(yùn)動(dòng)估計(jì)后得到的運(yùn)動(dòng)矢量作平滑濾波時(shí)，可能 會(huì)使得該原始幀中的小物體區(qū)域?qū)?yīng)的運(yùn)動(dòng)矢量被該原始幀的背景運(yùn)動(dòng)矢量所替代，造成 生成的插補(bǔ)幀中由于小物體像素的缺失，從而影響高清視頻或超高清視頻的播放質(zhì)量。


【發(fā)明內(nèi)容】

[0006] 本發(fā)明實(shí)施例提供一種確定視頻幀中小物體區(qū)域的方法和裝置，以較為準(zhǔn)確地在 視頻幀中確定其中包括的小物體區(qū)域。
[0007] 本發(fā)明實(shí)施例還提供一種在兩相鄰視頻幀之間插補(bǔ)幀的方法和裝置，以實(shí)現(xiàn)避免 生成的插補(bǔ)幀中由于小物體像素的缺失，導(dǎo)致高清視頻或超高清視頻的播放質(zhì)量不高的問(wèn) 題。
[0008] 第一方面，提供一種確定視頻幀中小物體區(qū)域的方法，包括：
[0009] 將當(dāng)前視頻幀劃分為至少兩個(gè)區(qū)域，并確定每個(gè)區(qū)域?qū)?yīng)的全局運(yùn)動(dòng)矢量；
[0010] 確定包括所述當(dāng)前視頻幀和所述當(dāng)前視頻幀的參考幀的多幀視頻幀中任意一組 相鄰幀的幀間運(yùn)動(dòng)矢量；
[0011] 根據(jù)所確定的包括所述當(dāng)前視頻幀和所述當(dāng)前視頻幀的參考幀的多幀視頻幀中 任意一組相鄰幀的幀間運(yùn)動(dòng)矢量，以及確定的所述每個(gè)區(qū)域?qū)?yīng)的全局運(yùn)動(dòng)矢量，確定所 述當(dāng)前視頻幀中的小物體候選區(qū)域；
[0012] 對(duì)所述當(dāng)前視頻幀中的小物體候選區(qū)域進(jìn)行濾波，并將濾波后得到的區(qū)域確定為 當(dāng)前視頻幀中的小物體區(qū)域；
[0013] 其中，當(dāng)前視頻幀的參考幀包括當(dāng)前視頻幀的前連續(xù)視頻幀和當(dāng)前視頻幀的后連 續(xù)視頻幀中的一種或多種。
[0014] 結(jié)合第一方面，在第一種可能的實(shí)現(xiàn)方式中，所述確定包括所述當(dāng)前視頻幀和所 述當(dāng)前視頻幀的參考幀的多幀視頻幀中任意一組相鄰幀的幀間運(yùn)動(dòng)矢量之前，還包括：
[0015] 針對(duì)包括所述當(dāng)前視頻幀和所述當(dāng)前視頻幀的參考幀的多幀視頻幀中任意一組 相鄰幀中的每幀視頻幀包括的待處理圖像塊，分別執(zhí)行：
[0016] 在當(dāng)前視頻幀的前N幀視頻幀中選擇至少一幀視頻幀；
[0017] 根據(jù)所述當(dāng)前視頻幀的前N幀視頻幀中確定的小物體區(qū)域，確定所述待處理圖像 塊在所選擇的所述至少一幀視頻幀中對(duì)應(yīng)的參考圖像塊是否均為小物體區(qū)域包括的圖像 塊；
[0018] 若是，則確定所述待處理圖像塊為第一類待處理圖像塊，否則，確定所述待處理圖 像塊為第二類待處理圖像塊；
[0019] 所述確定包括所述當(dāng)前視頻幀和所述當(dāng)前視頻幀的參考幀的多幀視頻幀中任意 一組相鄰幀的幀間運(yùn)動(dòng)矢量，包括：
[0020] 分別確定每個(gè)第一類待處理圖像塊和每個(gè)第二類待處理圖像塊的幀間運(yùn)動(dòng)矢 量；
[0021] 將確定的所述任意一組相鄰幀中的每幀視頻幀分別包括的每個(gè)第一類待處理圖 像塊和每個(gè)第二類待處理圖像塊的幀間運(yùn)動(dòng)矢量，作為所述任意一組相鄰幀的幀間運(yùn)動(dòng)矢 量。
[0022] 結(jié)合第一方面的第一種可能的實(shí)現(xiàn)方式，在第二種可能的實(shí)現(xiàn)方式中，確定所述 每個(gè)第一類待處理圖像塊的幀間運(yùn)動(dòng)矢量，包括：
[0023] 分別確定所述第一類待處理圖像塊對(duì)應(yīng)的每個(gè)候選運(yùn)動(dòng)矢量與所述第一類待處 理圖像塊所在的視頻幀的背景運(yùn)動(dòng)矢量的相差度值；
[0024] 根據(jù)確定的各個(gè)候選運(yùn)動(dòng)矢量分別對(duì)應(yīng)的相差度值，按照相差度值由小到大的順 序賦予權(quán)值由大到小的規(guī)則，為每個(gè)候選運(yùn)動(dòng)矢量分別賦予對(duì)應(yīng)的權(quán)值；
[0025] 根據(jù)為每個(gè)候選運(yùn)動(dòng)矢量分別賦予的權(quán)值和每個(gè)候選運(yùn)動(dòng)矢量指向的圖像塊與 所述第一類待處理圖像塊的像素的SAD值，確定所述第一類待處理圖像塊的幀間運(yùn)動(dòng)矢 量。
[0026] 結(jié)合第一方面的第一種可能的實(shí)現(xiàn)方式或者第一方面的第二種可能的實(shí)現(xiàn)方式， 在第三種可能的實(shí)現(xiàn)方式中，在當(dāng)前視頻幀的前N幀視頻幀中選擇至少一幀視頻幀，包括：
[0027] 選擇當(dāng)前視頻巾貞的至少一巾貞前連續(xù)視頻中貞。
[0028] 結(jié)合第一方面的第二種可能的實(shí)現(xiàn)方式或者第一方面的第三種可能的實(shí)現(xiàn)方式， 在第四種可能的實(shí)現(xiàn)方式中，確定所述第一類待處理圖像塊的幀間運(yùn)動(dòng)矢量，包括：
[0029] 針對(duì)每個(gè)候選運(yùn)動(dòng)矢量，確定所述候選運(yùn)動(dòng)矢量被賦予的權(quán)值和所述候選運(yùn)動(dòng)矢 量指向的圖像塊與所述第一類待處理圖像塊的像素的SAD值的乘積，將乘積值最小的候選 運(yùn)動(dòng)矢量作為所述第一類待處理圖像塊的幀間運(yùn)動(dòng)矢量。
[0030] 結(jié)合第一方面的第一至四種中的任一種可能的實(shí)現(xiàn)方式，在第五種可能的實(shí)現(xiàn)方 式中，確定所述當(dāng)前視頻幀中的小物體候選區(qū)域，包括：
[0031] 根據(jù)包括所述當(dāng)前視頻幀和所述當(dāng)前視頻幀的參考幀的多幀視頻幀中任意一組 相鄰幀的幀間運(yùn)動(dòng)矢量，在所述當(dāng)前視頻幀的每個(gè)參考幀中確定所述當(dāng)前視頻幀包括的每 個(gè)圖像塊對(duì)應(yīng)的匹配塊；并
[0032] 在每個(gè)參考幀中確定匹配塊附近的附近塊，并確定每個(gè)參考幀中確定的每個(gè)附近 塊的幀間運(yùn)動(dòng)矢量；
[0033] 針對(duì)所述當(dāng)前視頻幀包含的每一圖像塊，確定針對(duì)所述圖像塊確定的各個(gè)附近塊 的幀間運(yùn)動(dòng)矢量與所述圖像塊的幀間運(yùn)動(dòng)矢量的相似度值，并確定每個(gè)附近塊的幀間運(yùn)動(dòng) 矢量與全局運(yùn)動(dòng)矢量的相差度值；
[0034] 根據(jù)確定的相似度值和相差度值，確定當(dāng)前視頻幀中的小物體候選區(qū)域包括的圖 像塊，其中，小物體候選區(qū)域包括的每個(gè)圖像塊滿足當(dāng)前視頻幀對(duì)應(yīng)的每個(gè)參考幀中包含 的針對(duì)所述圖像塊確定的多個(gè)附近塊中存在第一設(shè)定個(gè)數(shù)的附近塊的相似度值均不小于 第一閾值、且存在第二設(shè)定個(gè)數(shù)的附近塊的相差度值均不小于第二閾值。
[0035] 結(jié)合第一方面的第一至五種中的任一種可能的實(shí)現(xiàn)方式，在第六種可能的實(shí)現(xiàn)方 式中，對(duì)當(dāng)前視頻幀中的小物體候選區(qū)域進(jìn)行濾波之前，還包括：
[0036] 將小物體候選區(qū)域包括的每個(gè)圖像塊標(biāo)志特定標(biāo)記；
[0037] 對(duì)當(dāng)前視頻幀中的小物體候選區(qū)域進(jìn)行濾波，將濾波后得到的區(qū)域確定為當(dāng)前視 頻幀中的小物體區(qū)域，包括：
[0038] 針對(duì)所述當(dāng)前視頻幀中小物體候選區(qū)域包括的每個(gè)圖像塊，確定在所述圖像塊水 平方向上的第一設(shè)定范圍內(nèi)標(biāo)志有所述特定標(biāo)記的圖像塊的第一個(gè)數(shù)值、和在所述圖像塊 垂直方向上的第二設(shè)定范圍內(nèi)標(biāo)志有所述特定標(biāo)記的圖像塊的第二個(gè)數(shù)值；
[0039] 在確定的所述第一個(gè)數(shù)值或第二個(gè)數(shù)值大于第三閾值時(shí)，去除所述圖像塊的特定 標(biāo)記；以及
[0040] 確定在所述圖像塊周圍的第三設(shè)定范圍內(nèi)標(biāo)志有所述特定標(biāo)記的圖像塊的第三 個(gè)數(shù)值；
[0041] 在確定的所述第三個(gè)數(shù)值小于第四閾值時(shí)，去除所述圖像塊的特定標(biāo)記；
[0042] 將當(dāng)前視頻幀中標(biāo)志有特定標(biāo)記的圖像塊確定為當(dāng)前視頻幀中的小物體區(qū)域；
[0043] 其中第三設(shè)定范圍小于第一設(shè)定范圍和第二設(shè)定范圍，第四閾值小于第三閾值。
[0044] 第二方面，提供一種基于上述確定視頻幀中小物體區(qū)域的方法的在兩相鄰視頻幀 之間插補(bǔ)幀的方法，包括：
[0045] 確定前、后兩相鄰視頻幀中的在前視頻幀中的小物體區(qū)域和在后視頻幀中的小物 體區(qū)域；
[0046] 對(duì)所述在前視頻幀中的小物體區(qū)域和所述在后視頻幀中的小物體區(qū)域以外的區(qū) 域?qū)?yīng)的幀間運(yùn)動(dòng)矢量進(jìn)行平滑濾波；
[0047] 根據(jù)所述在前視頻幀中的小物體區(qū)域和所述在后視頻幀中的小物體區(qū)域?qū)?yīng)的 幀間運(yùn)動(dòng)矢量，以及平滑濾波后得到的幀間運(yùn)動(dòng)矢量，在前、后兩相鄰視頻幀之間插補(bǔ)幀。
[0048] 第三方面，提供一種基于上述確定視頻幀中小物體區(qū)域的方法的在兩相鄰視頻幀 之間插補(bǔ)幀的方法，包括：
[0049] 根據(jù)前、后兩相鄰視頻幀的前N幀視頻幀中的小物體區(qū)域包括的待處理圖像塊， 將所述前、后兩相鄰視頻幀中的每幀視頻幀分別包括的待處理圖像塊分為第一類待處理圖 像塊和第二類待處理圖像塊；
[0050] 分別確定每個(gè)第一類待處理圖像塊和每個(gè)第二類待處理圖像塊的幀間運(yùn)動(dòng)矢量， 以及將確定的所述前、后兩相鄰視頻幀中的每幀視頻幀分別包括的每個(gè)第一類待處理圖像 塊和每個(gè)第二類待處理圖像塊的幀間運(yùn)動(dòng)矢量，作為所述前、后兩相鄰視頻幀的幀間運(yùn)動(dòng) 矢量；
[0051] 根據(jù)得到的所述前、后兩相鄰視頻幀的幀間運(yùn)動(dòng)矢量，在所述前、后兩相鄰視頻幀 之間插補(bǔ)幀，其中，N為正整數(shù)。
[0052] 結(jié)合第三方面，在第一種可能的實(shí)現(xiàn)方式中，根據(jù)前、后兩相鄰視頻幀的前N幀視 頻幀中的小物體區(qū)域包括的待處理圖像塊，將所述前、后兩相鄰視頻幀中的每幀視頻幀分 別包括的待處理圖像塊分為第一類待處理圖像塊和第二類待處理圖像塊，包括：
[0053] 針對(duì)所述前、后兩相鄰視頻幀中的每幀視頻幀分別包括的待處理圖像塊，執(zhí)行：
[0054] 在所述所述前、后兩相鄰視頻幀的前N幀視頻幀中選擇至少一幀視頻幀；
[0055] 根據(jù)所述前、后兩相鄰視頻幀的前N幀視頻幀中的小物體區(qū)域，確定待處理圖像 塊在選擇的所述至少一幀視頻幀中對(duì)應(yīng)的參考圖像塊是否均為小物體區(qū)域包括的圖像 塊；
[0056] 若是，則確定所述待處理圖像塊為第一類待處理圖像塊，否則，確定所述待處理圖 像塊為第二類待處理圖像塊。
[0057] 結(jié)合第三方面的第一種可能的實(shí)現(xiàn)方式，在第二種可能的實(shí)現(xiàn)方式中，分別確定 每個(gè)第一類待處理圖像塊的幀間運(yùn)動(dòng)矢量，包括：
[0058] 分別確定所述第一類待處理圖像塊對(duì)應(yīng)的每個(gè)候選運(yùn)動(dòng)矢量與所述第一類待處 理圖像塊所在的視頻幀的背景運(yùn)動(dòng)矢量的相差度值；
[0059] 根據(jù)確定的各個(gè)候選運(yùn)動(dòng)矢量分別對(duì)應(yīng)的相差度值，按照相差度值由小到大的順 序賦予權(quán)值由大到小的規(guī)則，為每個(gè)候選運(yùn)動(dòng)矢量分別賦予對(duì)應(yīng)的權(quán)值；
[0060] 根據(jù)為每個(gè)候選運(yùn)動(dòng)矢量分別賦予的權(quán)值和每個(gè)候選運(yùn)動(dòng)矢量指向的圖像塊與 所述第一類待處理圖像塊的像素的SAD值，確定所述第一類待處理圖像塊的幀間運(yùn)動(dòng)矢 量。
[0061] 結(jié)合第三方面的第一種可能的實(shí)現(xiàn)方式或者第三方面的第二種可能的實(shí)現(xiàn)方式， 在第三種可能的實(shí)現(xiàn)方式中，在所述前N幀視頻幀中選擇至少一幀視頻幀，包括 ：
[0062] 選擇所述前、后兩相鄰視頻幀的至少一幀前連續(xù)視頻幀。
[0063] 結(jié)合第三方面的第二種可能的實(shí)現(xiàn)方式或者第三種可能的實(shí)現(xiàn)方式，在第四種可 能的實(shí)現(xiàn)方式中，確定所述第一類待處理圖像塊的幀間運(yùn)動(dòng)矢量，包括：
[0064] 針對(duì)每個(gè)候選運(yùn)動(dòng)矢量，確定所述候選運(yùn)動(dòng)矢量被賦予的權(quán)值和所述候選運(yùn)動(dòng)矢 量指向的圖像塊與所述第一類待處理圖像塊的像素的SAD值的乘積，將乘積值最小的候選 運(yùn)動(dòng)矢量作為所述第一類待處理圖像塊的幀間運(yùn)動(dòng)矢量。
[0065] 第四方面，提供一種確定視頻幀中小物體區(qū)域的裝置，包括：
[0066] 全局運(yùn)動(dòng)矢量確定單元，用于將當(dāng)前視頻幀劃分為至少兩個(gè)區(qū)域，確定每個(gè)區(qū)域 對(duì)應(yīng)的全局運(yùn)動(dòng)矢量，并將確定的所述全局運(yùn)動(dòng)矢量傳輸至區(qū)域確定單元；
[0067] 幀間運(yùn)動(dòng)矢量確定單元，用于確定包括所述當(dāng)前視頻幀和所述當(dāng)前視頻幀的參考 幀的多幀視頻幀中任意一組相鄰幀的幀間運(yùn)動(dòng)矢量，并將確定的所述幀間運(yùn)動(dòng)矢量傳輸至 區(qū)域確定單元；
[0068] 區(qū)域確定單元，用于根據(jù)來(lái)自所述幀間運(yùn)動(dòng)矢量確定單元的包括所述當(dāng)前視頻幀 和所述當(dāng)前視頻幀的參考幀的多幀視頻幀中任意一組相鄰幀的幀間運(yùn)動(dòng)矢量，以及來(lái)自所 述全局運(yùn)動(dòng)矢量確定單元的每個(gè)區(qū)域?qū)?yīng)的全局運(yùn)動(dòng)矢量，確定所述當(dāng)前視頻幀中的小物 體候選區(qū)域，并將確定的所述當(dāng)前視頻幀中的小物體候選區(qū)域信息傳輸至處理單元；
[0069] 處理單元，用于根據(jù)來(lái)自所述區(qū)域確定單元的所述當(dāng)前視頻幀中的小物體候選區(qū) 域信息，確定所述當(dāng)前視頻幀中的小物體候選區(qū)域，對(duì)所述當(dāng)前視頻幀中的小物體候選區(qū) 域進(jìn)行濾波，并將濾波后得到的區(qū)域確定為當(dāng)前視頻幀中的小物體區(qū)域；
[0070] 其中，當(dāng)前視頻幀的參考幀包括當(dāng)前視頻幀的前連續(xù)視頻幀和當(dāng)前視頻幀的后連 續(xù)視頻幀中的一種或多種。
[0071] 結(jié)合第四方面，在第一種可能的實(shí)現(xiàn)方式中，所述裝置還包括劃分單元，用于在確 定包括當(dāng)前視頻幀和當(dāng)前視頻幀的參考幀的多幀視頻幀中任意一組相鄰幀的幀間運(yùn)動(dòng)矢 量之前，針對(duì)包括當(dāng)前視頻幀和當(dāng)前視頻幀的參考幀的多幀視頻幀中任意一組相鄰幀中的 每幀視頻幀包括的待處理圖像塊，分別執(zhí)行：
[0072] 在當(dāng)前視頻幀的前N幀視頻幀中選擇至少一幀視頻幀；根據(jù)所述當(dāng)前視頻幀的前 N幀視頻幀中確定的小物體區(qū)域，確定所述待處理圖像塊在所選擇的所述至少一幀視頻幀 中對(duì)應(yīng)的參考圖像塊是否均為小物體區(qū)域包括的圖像塊；若是，則確定所述待處理圖像塊 為第一類待處理圖像塊，否則，確定所述待處理圖像塊為第二類待處理圖像塊；
[0073] 所述幀間運(yùn)動(dòng)矢量確定單元，具體用于分別確定每個(gè)第一類待處理圖像塊和每個(gè) 第二類待處理圖像塊的幀間運(yùn)動(dòng)矢量；并將確定的所述任意一組相鄰幀中的每幀視頻幀分 別包括的每個(gè)第一類待處理圖像塊和每個(gè)第二類待處理圖像塊的幀間運(yùn)動(dòng)矢量，作為所述 任意一組相鄰幀的幀間運(yùn)動(dòng)矢量。
[0074] 結(jié)合第四方面的第一種可能的實(shí)現(xiàn)方式，在第二種可能的實(shí)現(xiàn)方式中，所述幀間 運(yùn)動(dòng)矢量確定單元，具體用于分別確定所述第一類待處理圖像塊對(duì)應(yīng)的每個(gè)候選運(yùn)動(dòng)矢量 與所述第一類待處理圖像塊所在的視頻幀的背景運(yùn)動(dòng)矢量的相差度值；根據(jù)確定的各個(gè) 候選運(yùn)動(dòng)矢量分別對(duì)應(yīng)的相差度值，按照相差度值由小到大的順序賦予權(quán)值由大到小的規(guī) 貝1J，為每個(gè)候選運(yùn)動(dòng)矢量分別賦予對(duì)應(yīng)的權(quán)值；以及根據(jù)為每個(gè)候選運(yùn)動(dòng)矢量分別賦予的 權(quán)值和每個(gè)候選運(yùn)動(dòng)矢量指向的圖像塊與所述第一類待處理圖像塊的像素的SAD值，確定 所述第一類待處理圖像塊的幀間運(yùn)動(dòng)矢量。
[0075] 結(jié)合第四方面的第一種可能的實(shí)現(xiàn)方式或者第二種可能的實(shí)現(xiàn)方式，在第三種可 能的實(shí)現(xiàn)方式中，所述劃分單元，具體用于選擇當(dāng)前視頻幀的至少一幀前連續(xù)視頻幀。
[0076] 結(jié)合第四方面的第二種可能的實(shí)現(xiàn)方式或者第三種可能的實(shí)現(xiàn)方式，在第四種可 能的實(shí)現(xiàn)方式中，所述幀間運(yùn)動(dòng)矢量確定單元，具體用于針對(duì)每個(gè)候選運(yùn)動(dòng)矢量，確定所述 候選運(yùn)動(dòng)矢量被賦予的權(quán)值和所述候選運(yùn)動(dòng)矢量指向的圖像塊與所述第一類待處理圖像 塊的像素的SAD值的乘積，將乘積值最小的候選運(yùn)動(dòng)矢量作為所述第一類待處理圖像塊的 幀間運(yùn)動(dòng)矢量。
[0077] 結(jié)合第四方面的第一至四種中任一種可能的實(shí)現(xiàn)方式，在第五種可能的實(shí)現(xiàn)方式 中，所述區(qū)域確定單元，具體用于根據(jù)包括所述當(dāng)前視頻幀和所述當(dāng)前視頻幀的參考幀的 多幀視頻幀中任意一組相鄰幀的幀間運(yùn)動(dòng)矢量，在所述當(dāng)前視頻幀的每個(gè)參考幀中確定所 述當(dāng)前視頻幀包括的每個(gè)圖像塊對(duì)應(yīng)的匹配塊；并在每個(gè)參考幀中確定匹配塊附近的附近 塊，并確定每個(gè)參考幀中確定的每個(gè)附近塊的幀間運(yùn)動(dòng)矢量；針對(duì)所述當(dāng)前視頻幀包含的 每一圖像塊，確定針對(duì)所述圖像塊確定的各個(gè)附近塊的幀間運(yùn)動(dòng)矢量與所述圖像塊的幀間 運(yùn)動(dòng)矢量的相似度值，確定每個(gè)附近塊的幀間運(yùn)動(dòng)矢量與全局運(yùn)動(dòng)矢量的相差度值；根據(jù) 確定的相似度值和相差度值，確定當(dāng)前視頻幀中的小物體候選區(qū)域包括的圖像塊，其中，小 物體候選區(qū)域包括的每個(gè)圖像塊滿足當(dāng)前視頻幀對(duì)應(yīng)的每個(gè)參考幀中包含的針對(duì)所述圖 像塊確定的多個(gè)附近塊中存在第一設(shè)定個(gè)數(shù)的附近塊的相似度值均不小于第一閾值、且存 在第二設(shè)定個(gè)數(shù)的附近塊的相差度值均不小于第二閾值。
[0078] 結(jié)合第四方面的第一至五種中任一種可能的實(shí)現(xiàn)方式，在第六種可能的實(shí)現(xiàn)方式 中，所述裝置還包括標(biāo)志單元，用于在對(duì)當(dāng)前視頻幀中的小物體候選區(qū)域進(jìn)行濾波之前，將 小物體候選區(qū)域包括的每個(gè)圖像塊標(biāo)志特定標(biāo)記；
[0079] 所述處理單元，具體用于針對(duì)所述當(dāng)前視頻幀中小物體候選區(qū)域包括的每個(gè)圖像 塊，確定在所述圖像塊水平方向上的第一設(shè)定范圍內(nèi)標(biāo)志有所述特定標(biāo)記的圖像塊的第一 個(gè)數(shù)值、和在所述圖像塊垂直方向上的第二設(shè)定范圍內(nèi)標(biāo)志有所述特定標(biāo)記的圖像塊的第 二個(gè)數(shù)值；在確定的所述第一個(gè)數(shù)值或第二個(gè)數(shù)值大于第三閾值時(shí)，去除所述圖像塊的特 定標(biāo)記；以及確定在所述圖像塊周圍的第三設(shè)定范圍內(nèi)標(biāo)志有所述特定標(biāo)記的圖像塊的第 三個(gè)數(shù)值；在確定的所述第三個(gè)數(shù)值小于第四閾值時(shí)，去除所述圖像塊的特定標(biāo)記；將當(dāng) 前視頻幀中標(biāo)志有特定標(biāo)記的圖像塊確定為當(dāng)前視頻幀中的小物體區(qū)域，其中第三設(shè)定范 圍小于第一設(shè)定范圍和第二設(shè)定范圍，第四閾值小于第三閾值。
[0080] 第五方面，提供一種在兩相鄰視頻幀之間插補(bǔ)幀的裝置，包括：
[0081] 確定單元，用于確定前、后兩相鄰視頻幀中的在前視頻幀中的小物體區(qū)域和在后 視頻幀中的小物體區(qū)域，并將確定的所述在前視頻幀中的小物體區(qū)域和在后視頻幀中的小 物體區(qū)域的信息傳輸至濾波單元；
[0082] 濾波單元，用于根據(jù)來(lái)自所述確定單元的所述在前視頻幀中的小物體區(qū)域和在后 視頻幀中的小物體區(qū)域的信息，確定所述在前視頻幀中的小物體區(qū)域和在后視頻幀中的小 物體區(qū)域，對(duì)所述在前視頻幀中的小物體區(qū)域和所述在后視頻幀中的小物體區(qū)域以外的區(qū) 域?qū)?yīng)的幀間運(yùn)動(dòng)矢量進(jìn)行平滑濾波，并將平滑濾波后得到的幀間運(yùn)動(dòng)矢量傳輸至插補(bǔ)單 元；
[0083] 插補(bǔ)單元，用于根據(jù)來(lái)自所述濾波單元的所述平滑濾波后得到的幀間運(yùn)動(dòng)矢量， 以及所述在前視頻幀中的小物體區(qū)域和所述在后視頻幀中的小物體區(qū)域?qū)?yīng)的幀間運(yùn)動(dòng) 矢量，在所述前、后兩相鄰視頻幀之間插補(bǔ)幀。
[0084] 第六方面，提供一種在兩相鄰視頻幀之間插補(bǔ)幀的裝置，包括：
[0085] 劃分單元，用于根據(jù)前、后兩相鄰視頻幀的前N幀視頻幀中的小物體區(qū)域包括的 待處理圖像塊，將所述前、后兩相鄰視頻幀中的每幀視頻幀分別包括的待處理圖像塊分為 第一類待處理圖像塊和第二類待處理圖像塊，并將所述第一類待處理圖像塊和第二類待處 理圖像塊對(duì)應(yīng)的劃分信息傳輸至處理單元；
[0086] 處理單元，用于根據(jù)來(lái)自所述劃分單元的所述劃分信息，確定所述前、后兩相鄰視 頻幀中的每幀視頻幀分別包括的待處理圖像塊中的第一類待處理圖像塊和第二類待處理 圖像塊，分別確定每個(gè)第一類待處理圖像塊和每個(gè)第二類待處理圖像塊的幀間運(yùn)動(dòng)矢量， 以及將確定的所述前、后兩相鄰視頻幀中的每幀視頻幀分別包括的每個(gè)第一類待處理圖像 塊和每個(gè)第二類待處理圖像塊的幀間運(yùn)動(dòng)矢量，作為所述前、后兩相鄰視頻幀的幀間運(yùn)動(dòng) 矢量，并將所述前、后兩相鄰視頻幀的幀間運(yùn)動(dòng)矢量傳輸至插補(bǔ)單元；
[0087] 插補(bǔ)單元，用于根據(jù)來(lái)自所述處理單元的所述前、后兩相鄰視頻幀的幀間運(yùn)動(dòng)矢 量，在所述前、后兩相鄰視頻幀之間插補(bǔ)幀，其中，N為正整數(shù)。
[0088] 結(jié)合第六方面，在第一種可能的實(shí)現(xiàn)方式中，所述劃分單元，具體用于針對(duì)所述 前、后兩相鄰視頻幀中的每幀視頻幀分別包括的待處理圖像塊，執(zhí)行：
[0089] 在所述前、后兩相鄰視頻幀的前N幀視頻幀中選擇至少一幀視頻幀；根據(jù)所述前、 后兩相鄰視頻幀的前N幀視頻幀中的小物體區(qū)域，確定待處理圖像塊在選擇的所述至少一 幀視頻幀中對(duì)應(yīng)的參考圖像塊是否均為小物體區(qū)域包括的圖像塊；若是，則確定所述待處 理圖像塊為第一類待處理圖像塊，否則，確定所述待處理圖像塊為第二類待處理圖像塊。
[0090] 結(jié)合第六方面的第一種可能的實(shí)現(xiàn)方式，在第二種可能的實(shí)現(xiàn)方式中，所述處理 單元，具體用于分別確定所述第一類待處理圖像塊對(duì)應(yīng)的每個(gè)候選運(yùn)動(dòng)矢量與所述第一類 待處理圖像塊所在的視頻幀的背景運(yùn)動(dòng)矢量的相差度值；根據(jù)確定的各個(gè)候選運(yùn)動(dòng)矢量分 別對(duì)應(yīng)的相差度值，按照相差度值由小到大的順序賦予權(quán)值由大到小的規(guī)則，為每個(gè)候選 運(yùn)動(dòng)矢量分別賦予對(duì)應(yīng)的權(quán)值；根據(jù)為每個(gè)候選運(yùn)動(dòng)矢量分別賦予的權(quán)值和每個(gè)候選運(yùn)動(dòng) 矢量指向的圖像塊與所述第一類待處理圖像塊的像素的SAD值，確定所述第一類待處理圖 像塊的幀間運(yùn)動(dòng)矢量。
[0091] 結(jié)合第六方面的第一種可能的實(shí)現(xiàn)方式或者第二種可能的實(shí)現(xiàn)方式，在第三種可 能的實(shí)現(xiàn)方式中，所述劃分單元，具體用于選擇所述前、后兩相鄰視頻幀的至少一幀前連續(xù) 視頻幀。
[0092] 結(jié)合第六方面的第二種可能的實(shí)現(xiàn)方式或者第三種可能的實(shí)現(xiàn)方式，在第四種可 能的實(shí)現(xiàn)方式中，所述處理單元，具體用于針對(duì)每個(gè)候選運(yùn)動(dòng)矢量，確定所述候選運(yùn)動(dòng)矢量 被賦予的權(quán)值和所述候選運(yùn)動(dòng)矢量指向的圖像塊與所述第一類待處理圖像塊的像素的SAD 值的乘積，將乘積值最小的候選運(yùn)動(dòng)矢量作為所述第一類待處理圖像塊的幀間運(yùn)動(dòng)矢量。 根據(jù)第一方面提供的確定視頻幀中小物體區(qū)域的方法和第四方面提供的確定視頻幀中小 物體區(qū)域的裝置，由于根據(jù)視頻幀的幀間運(yùn)動(dòng)矢量和全局運(yùn)動(dòng)矢量，確定視頻幀中的小物 體候選區(qū)域，并對(duì)視頻幀中的小物體候選區(qū)域進(jìn)行濾波，得到視頻幀中的小物體區(qū)域，從而 實(shí)現(xiàn)了能夠較為準(zhǔn)確地在視頻幀中確定其中包括的小物體區(qū)域。
[0093] 根據(jù)第二方面提供的在兩相鄰視頻幀之間插補(bǔ)幀的方法和第五方面提供的在兩 相鄰視頻幀之間插補(bǔ)幀的裝置，由于只對(duì)兩相鄰視頻幀中的每幀視頻幀中的小物體區(qū)域以 外的區(qū)域?qū)?yīng)的幀間運(yùn)動(dòng)矢量進(jìn)行平滑濾波，而且根據(jù)兩相鄰視頻幀中的每幀視頻幀中的 小物體區(qū)域的幀間運(yùn)動(dòng)矢量和平滑濾波后得到的幀間運(yùn)動(dòng)矢量，在前、后兩相鄰視頻幀之 間插補(bǔ)幀，從而避免現(xiàn)有技術(shù)中由于對(duì)兩相鄰視頻幀的幀間運(yùn)動(dòng)矢量進(jìn)行整體濾波而造成 的前、后兩相鄰視頻幀中的小物體區(qū)域的幀間運(yùn)動(dòng)矢量被該幀的背景運(yùn)動(dòng)矢量所替代的問(wèn) 題，從而提高了高清視頻或超高清視頻的播放質(zhì)量。
[0094] 根據(jù)第三方面提供的在兩相鄰視頻幀之間插補(bǔ)幀的方法和第六方面提供的在兩 相鄰視頻幀之間插補(bǔ)幀的裝置，由于不對(duì)前、后兩相鄰視頻幀的幀間運(yùn)動(dòng)矢量作平滑濾波， 而是直接根據(jù)得到的兩相鄰視頻幀的幀間運(yùn)動(dòng)矢量，在兩相鄰視頻幀之間插補(bǔ)幀，從而實(shí) 現(xiàn)了避免生成的插補(bǔ)幀中小物體像素的缺失，提高了高清視頻或超高清視頻的播放質(zhì)量。

【專利附圖】

【附圖說(shuō)明】
[0095] 圖1為本發(fā)明實(shí)施例確定視頻幀中小物體區(qū)域的方法流程示意圖；
[0096] 圖2為本發(fā)明實(shí)施例的幀間運(yùn)動(dòng)矢量示意圖；
[0097] 圖3為本發(fā)明實(shí)施例的參考幀示意圖；
[0098] 圖4為本發(fā)明實(shí)施例的物體濾波示意圖；
[0099] 圖5為本發(fā)明實(shí)施例的噪點(diǎn)濾波示意圖；
[0100] 圖6為本發(fā)明實(shí)施例確定視頻幀中小物體區(qū)域的詳細(xì)方法流程示意圖；
[0101] 圖7為本發(fā)明實(shí)施例在兩相鄰視頻幀之間插補(bǔ)幀的方法流程示意圖；
[0102] 圖8為本發(fā)明實(shí)施例在兩相鄰視頻幀之間插補(bǔ)幀的方法流程示意圖；
[0103] 圖9為本發(fā)明實(shí)施例在fn和fn+1之間插補(bǔ)幀的方法流程示意圖；
[0104] 圖10為本發(fā)明實(shí)施例在fn和fn+1之間插補(bǔ)幀的方法流程示意圖；
[0105] 圖11為本發(fā)明實(shí)施例在fn和fn+1之間插補(bǔ)幀的方法流程示意圖；
[0106] 圖12為本發(fā)明實(shí)施例確定視頻幀中小物體區(qū)域的裝置結(jié)構(gòu)示意圖；
[0107] 圖13為本發(fā)明實(shí)施例在兩相鄰視頻幀之間插補(bǔ)幀的裝置結(jié)構(gòu)示意圖；
[0108] 圖14為本發(fā)明實(shí)施例在兩相鄰視頻幀之間插補(bǔ)幀的裝置結(jié)構(gòu)示意圖；
[0109] 圖15為本發(fā)明實(shí)施例確定視頻幀中小物體區(qū)域的裝置結(jié)構(gòu)示意圖；
[0110] 圖16為本發(fā)明實(shí)施例在兩相鄰視頻幀之間插補(bǔ)幀的裝置結(jié)構(gòu)示意圖；
[0111] 圖17為本發(fā)明實(shí)施例在兩相鄰視頻幀之間插補(bǔ)幀的裝置結(jié)構(gòu)示意圖。

【具體實(shí)施方式】
[0112] 本發(fā)明實(shí)施例中，將當(dāng)前視頻幀劃分為至少兩個(gè)區(qū)域，并確定每個(gè)區(qū)域?qū)?yīng)的全 局運(yùn)動(dòng)矢量；確定包括所述當(dāng)前視頻幀和所述當(dāng)前視頻幀的參考幀的多幀視頻幀中任意一 組相鄰幀的幀間運(yùn)動(dòng)矢量；根據(jù)所確定的包括當(dāng)前視頻幀和當(dāng)前視頻幀的參考幀的多幀視 頻幀中任意一組相鄰幀的幀間運(yùn)動(dòng)矢量，以及確定的每個(gè)區(qū)域?qū)?yīng)的全局運(yùn)動(dòng)矢量，確定 當(dāng)前視頻幀中的小物體候選區(qū)域；對(duì)當(dāng)前視頻幀中的小物體候選區(qū)域進(jìn)行濾波，并將濾波 后得到的區(qū)域確定為當(dāng)前視頻幀中的小物體區(qū)域；其中，當(dāng)前視頻幀的參考幀包括當(dāng)前視 頻幀的前連續(xù)視頻幀和當(dāng)前視頻幀的后連續(xù)視頻幀中的一種或多種，由于根據(jù)視頻幀的幀 間運(yùn)動(dòng)矢量和全局運(yùn)動(dòng)矢量，確定視頻幀中的小物體候選區(qū)域，并對(duì)視頻幀中的小物體候 選區(qū)域進(jìn)行濾波，得到視頻幀中的小物體區(qū)域，從而實(shí)現(xiàn)了能夠較為準(zhǔn)確地在視頻幀中確 定其中包括的小物體區(qū)域。
[0113] 本發(fā)明實(shí)施例中，確定前、后兩相鄰視頻幀中的在前視頻幀中的小物體區(qū)域和在 后視頻幀中的小物體區(qū)域；對(duì)在前視頻幀中的小物體區(qū)域和在后視頻幀中的小物體區(qū)域以 外的區(qū)域?qū)?yīng)的幀間運(yùn)動(dòng)矢量進(jìn)行平滑濾波；根據(jù)在前視頻幀中的小物體區(qū)域和在后視頻 幀中的小物體區(qū)域?qū)?yīng)的幀間運(yùn)動(dòng)矢量，以及平滑濾波后得到的幀間運(yùn)動(dòng)矢量，在所述前、 后兩相鄰視頻幀之間插補(bǔ)幀，由于只對(duì)兩相鄰視頻幀中的每幀視頻幀中的小物體區(qū)域以外 的區(qū)域?qū)?yīng)的幀間運(yùn)動(dòng)矢量進(jìn)行平滑濾波，從而避免前、后兩相鄰視頻幀中某視頻幀的小 物體區(qū)域的幀間運(yùn)動(dòng)矢量被該幀的背景運(yùn)動(dòng)矢量所替代的問(wèn)題，從而提高了高清視頻或超 高清視頻的播放質(zhì)量。
[0114] 本發(fā)明實(shí)施例中，根據(jù)前、后兩相鄰視頻幀的前N幀視頻幀中的小物體區(qū)域包括 的待處理圖像塊，將所述前、后兩相鄰視頻幀中的每幀視頻幀分別包括的待處理圖像塊分 為第一類待處理圖像塊和第二類待處理圖像塊；分別確定每個(gè)第一類待處理圖像塊和每個(gè) 第二類待處理圖像塊的幀間運(yùn)動(dòng)矢量，以及將確定的所述前、后兩相鄰視頻幀中的每幀視 頻幀分別包括的每個(gè)第一類待處理圖像塊和每個(gè)第二類待處理圖像塊的幀間運(yùn)動(dòng)矢量，作 為所述前、后兩相鄰視頻幀的幀間運(yùn)動(dòng)矢量；根據(jù)得到的所述前、后兩相鄰視頻幀的幀間運(yùn) 動(dòng)矢量，在所述前、后兩相鄰視頻幀之間插補(bǔ)幀，由于不對(duì)前、后兩相鄰視頻幀的幀間運(yùn)動(dòng) 矢量作平滑濾波，直接根據(jù)得到的兩相鄰視頻幀的幀間運(yùn)動(dòng)矢量，在兩相鄰視頻幀之間插 補(bǔ)幀，從而實(shí)現(xiàn)了避免生成的插補(bǔ)幀中小物體像素的缺失，提高了高清視頻或超高清視頻 的播放質(zhì)量。
[0115] 需要說(shuō)明的是，本發(fā)明實(shí)施例中插補(bǔ)幀以外的視頻幀為接收到的原始幀。
[0116] 下面將結(jié)合說(shuō)明書附圖對(duì)本發(fā)明實(shí)施例作進(jìn)一步詳細(xì)描述。
[0117] 需要說(shuō)明的是，本發(fā)明實(shí)施例的執(zhí)行主體可以為能夠播放視頻的所有裝置或系 統(tǒng)。
[0118] 如圖1所示，本發(fā)明實(shí)施例確定視頻幀中小物體區(qū)域的方法包括下列步驟：
[0119] 步驟101、將當(dāng)前視頻幀劃分為至少兩個(gè)區(qū)域，并確定每個(gè)區(qū)域?qū)?yīng)的全局運(yùn)動(dòng)矢 量；
[0120] 步驟102、確定包括當(dāng)前視頻幀和當(dāng)前視頻幀的參考幀的多幀視頻幀中任意一組 相鄰幀的幀間運(yùn)動(dòng)矢量；
[0121] 步驟103、根據(jù)所確定的包括當(dāng)前視頻幀和當(dāng)前視頻幀的參考幀的多幀視頻幀中 任意一組相鄰幀的幀間運(yùn)動(dòng)矢量，以及確定的每個(gè)區(qū)域?qū)?yīng)的全局運(yùn)動(dòng)矢量，確定當(dāng)前視 頻幀中的小物體候選區(qū)域；
[0122] 步驟104、對(duì)當(dāng)前視頻幀中的小物體候選區(qū)域進(jìn)行濾波，并將濾波后得到的區(qū)域確 定為當(dāng)前視頻幀中的小物體區(qū)域；
[0123] 其中，當(dāng)前視頻幀的參考幀包括當(dāng)前視頻幀的前連續(xù)視頻幀和當(dāng)前視頻幀的后連 續(xù)視頻幀中的一種或多種。
[0124] 較佳地，在步驟101中，具體將當(dāng)前視頻幀劃分為多少個(gè)區(qū)域可以根據(jù)需要或經(jīng) 驗(yàn)設(shè)定，比如，根據(jù)經(jīng)驗(yàn)將當(dāng)前視頻幀劃分為四個(gè)區(qū)域。
[0125] 具體實(shí)施中，可以采用現(xiàn)有技術(shù)中任一種確定全局運(yùn)動(dòng)矢量的方法，確定本發(fā)明 實(shí)施例中的每個(gè)區(qū)域?qū)?yīng)的全局運(yùn)動(dòng)矢量。
[0126] 實(shí)施中，在視頻幀中的背景占據(jù)視頻幀的比例值較大、且視頻幀被劃分的區(qū)域的 個(gè)數(shù)較少時(shí)，視頻幀的每個(gè)區(qū)域?qū)?yīng)的全局運(yùn)動(dòng)矢量與該區(qū)域?qū)?yīng)的背景運(yùn)動(dòng)矢量近似相 等，可以用視頻幀的每個(gè)區(qū)域?qū)?yīng)的全局運(yùn)動(dòng)矢量表征視頻幀的該區(qū)域?qū)?yīng)的背景運(yùn)動(dòng)矢 量。
[0127] 較佳地，在步驟102中，當(dāng)前視頻幀的參考幀的個(gè)數(shù)可以根據(jù)需要或經(jīng)驗(yàn)設(shè)定。
[0128] 比如，如圖2所示，接收到的原始幀包括視頻幀fn_2、視頻幀、視頻幀f n、視頻幀 fn+1、視頻巾貞fn+2和視頻巾貞fn+3,假設(shè)當(dāng)前視頻巾貞為4 ;
[0129] 可以將fn_i、fn+1和fn+2設(shè)定為f n的參考幀；可以將fn+1設(shè)定為fn的參考幀；也可 以將設(shè)定為f n的參考幀。
[0130] 具體實(shí)施中，在步驟102中，針對(duì)包括當(dāng)前視頻幀和當(dāng)前視頻幀的參考幀的多幀 視頻幀，在確定當(dāng)前視頻幀的前一幀視頻幀中的小物體區(qū)域時(shí)，已經(jīng)確定該多幀視頻幀中 的部分視頻幀中任意一組相鄰幀的幀間運(yùn)動(dòng)矢量。
[0131] 比如，如圖2所示，接收到的原始幀包括視頻幀fn_2、視頻幀f n_i、視頻幀fn、視頻幀 fn+1、視頻巾貞fn+2和視頻巾貞f n+3,假設(shè)當(dāng)前視頻巾貞為4 ;
[0132] 在確定L中的小物體區(qū)域時(shí)，L的參考幀為fn_2、f n和fn+1，則需要確定L和 fn的幀間運(yùn)動(dòng)矢量、fn和f n+1的幀間運(yùn)動(dòng)矢量；
[0133] 在確定fn中的小物體區(qū)域時(shí)，fn的參考幀為Ug和f n+2，則需要確定L和fn 的中貞間運(yùn)動(dòng)矢量、4和fn+1的巾貞間運(yùn)動(dòng)矢量、fn+1和fn+2的巾貞間運(yùn)動(dòng)矢量，而和f n的中貞 間運(yùn)動(dòng)矢量、4和fn+1的幀間運(yùn)動(dòng)矢量為已經(jīng)確定的幀間運(yùn)動(dòng)矢量。
[0134] 具體實(shí)施中，在步驟102中，包括當(dāng)前視頻幀和當(dāng)前視頻幀的參考幀的多幀視頻 幀中的某一組相鄰幀的幀間運(yùn)動(dòng)矢量為已知（即，為已經(jīng)確定的幀間運(yùn)動(dòng)矢量）的情況下， 可以將已知的幀間運(yùn)動(dòng)矢量作為在確定當(dāng)前視頻幀中的小物體區(qū)域時(shí)需要確定的該一組 相鄰幀的幀間運(yùn)動(dòng)矢量。
[0135] 比如，如圖2所示，接收到的原始幀包括視頻幀fn_2、視頻幀f n_i、視頻幀fn、視頻幀 fn+1、視頻巾貞fn+2和視頻巾貞f n+3,假設(shè)當(dāng)前視頻巾貞為4 ;
[0136] 在確定L中的小物體區(qū)域時(shí)，L的參考幀為fn_2、f n和fn+1，則確定L和fn的 幀間運(yùn)動(dòng)矢量、4和fn+1的幀間運(yùn)動(dòng)矢量；
[0137] 在確定fn中的小物體區(qū)域時(shí)，fn的參考幀為和f n+2，而L和fn的幀間運(yùn) 動(dòng)矢量、4和fn+1的幀間運(yùn)動(dòng)矢量已知，可以將在確定fM中的小物體區(qū)域時(shí)確定的fM和 f n的幀間運(yùn)動(dòng)矢量，作為在確定fn中的小物體區(qū)域時(shí)需要確定的fM和fn的幀間運(yùn)動(dòng)矢量， 將在確定fM中的小物體區(qū)域時(shí)確定的4和f n+1的幀間運(yùn)動(dòng)矢量，作為在確定fn中的小物 體區(qū)域時(shí)需要確定的4和fn+1的幀間運(yùn)動(dòng)矢量。
[0138] 實(shí)施中，在包括當(dāng)前視頻幀和當(dāng)前視頻幀的參考幀的多幀視頻幀中的某一組相鄰 幀的幀間運(yùn)動(dòng)矢量為已知的情況下，將已知的幀間運(yùn)動(dòng)矢量作為在確定當(dāng)前視頻幀中的小 物體區(qū)域時(shí)需要確定的該一組相鄰幀的幀間運(yùn)動(dòng)矢量，可以降低確定當(dāng)前視頻幀中的小物 體區(qū)域的復(fù)雜度。
[0139] 較佳地，在步驟102中，確定包括當(dāng)前視頻幀和當(dāng)前視頻幀的參考幀的多幀視頻 幀中任意一組相鄰幀的幀間運(yùn)動(dòng)矢量，包括：
[0140] 對(duì)包括當(dāng)前視頻幀和當(dāng)前視頻幀的參考幀的多幀視頻幀進(jìn)行運(yùn)動(dòng)估計(jì)，確定包括 當(dāng)前視頻幀和當(dāng)前視頻幀的參考幀的多幀視頻幀中任意一組相鄰幀的幀間運(yùn)動(dòng)矢量。
[0141] 具體實(shí)施中，可以采用現(xiàn)有技術(shù)中任一種對(duì)視頻幀進(jìn)行運(yùn)動(dòng)估計(jì)的方法對(duì)本發(fā)明 實(shí)施例中的視頻幀進(jìn)行運(yùn)動(dòng)估計(jì)。
[0142] 實(shí)施中，對(duì)已知的幀間運(yùn)動(dòng)矢量對(duì)應(yīng)的視頻幀進(jìn)行運(yùn)動(dòng)估計(jì)，得到的新的該視頻 幀的幀間運(yùn)動(dòng)矢量準(zhǔn)確度較高。
[0143] 具體實(shí)施中，包括當(dāng)前視頻幀和當(dāng)前視頻幀的參考幀的多幀視頻幀中任意一組相 鄰幀的幀間運(yùn)動(dòng)矢量為所述任意一組相鄰幀中的每幀視頻幀分別包括的待處理圖像塊的 幀間運(yùn)動(dòng)矢量，其中，對(duì)包括當(dāng)前視頻幀和當(dāng)前視頻幀的參考幀的多幀視頻幀進(jìn)行運(yùn)動(dòng)估 計(jì)為對(duì)所述多幀視頻幀中任意一組相鄰幀中的每幀視頻幀分別包括的待處理圖像塊進(jìn)行 運(yùn)動(dòng)估計(jì)。具體實(shí)施中，可以根據(jù)確定的當(dāng)前視頻幀的之前的視頻幀中的小物體區(qū)域，將包 括當(dāng)前視頻幀和當(dāng)前視頻幀的參考幀的多幀視頻幀中任意一組相鄰幀中的每幀視頻幀包 括的待處理圖像塊進(jìn)行分類，并針對(duì)不同類待處理圖像塊，采用不同方法對(duì)該待處理圖像 塊進(jìn)行運(yùn)動(dòng)估計(jì)，以確定該待處理圖像塊的幀間運(yùn)動(dòng)矢量。
[0144] 較佳地，確定包括當(dāng)前視頻幀和當(dāng)前視頻幀的參考幀的多幀視頻幀中任意一組相 鄰幀的幀間運(yùn)動(dòng)矢量之前，還包括：
[0145] 針對(duì)包括當(dāng)前視頻幀和當(dāng)前視頻幀的參考幀的多幀視頻幀中任意一組相鄰幀中 的每幀視頻幀包括的待處理圖像塊，分別執(zhí)行：
[0146] 在當(dāng)前視頻幀的前N幀視頻幀中選擇至少一幀視頻幀，其中N為正整數(shù)；
[0147] 根據(jù)當(dāng)前視頻幀的前N幀視頻幀中確定的小物體區(qū)域，確定所述待處理圖像塊在 所選擇的至少一幀視頻幀中對(duì)應(yīng)的參考圖像塊是否均為小物體區(qū)域包括的圖像塊；
[0148] 若是，則確定所述待處理圖像塊為第一類待處理圖像塊，否則，確定所述待處理圖 像塊為第二類待處理圖像塊；
[0149] 較佳地，在步驟102中，確定包括當(dāng)前視頻幀和當(dāng)前視頻幀的參考幀的多幀視頻 幀中任意一組相鄰幀的幀間運(yùn)動(dòng)矢量，包括：
[0150] 分別確定每個(gè)第一類待處理圖像塊和每個(gè)第二類待處理圖像塊的幀間運(yùn)動(dòng)矢 量；
[0151] 將確定的所述任意一組相鄰幀中的每幀視頻幀分別包括的每個(gè)第一類待處理圖 像塊和每個(gè)第二類待處理圖像塊的幀間運(yùn)動(dòng)矢量，作為所述任意一組相鄰幀的幀間運(yùn)動(dòng)矢 量。
[0152] 具體實(shí)施中，可以根據(jù)需要或者經(jīng)驗(yàn)，在當(dāng)前視頻幀的前N幀視頻幀中選擇至少 一幀視頻幀。
[0153] 比如，如圖2所示，當(dāng)前視頻幀為fn，可以根據(jù)需要將fn_ 3和L作為選擇的視頻 幀，也可以根據(jù)經(jīng)驗(yàn)將作為選擇的視頻幀。
[0154] 較佳地，在當(dāng)前視頻幀的前N幀視頻幀中選擇至少一幀視頻幀，包括：
[0155] 選擇當(dāng)前視頻巾貞的至少一巾貞前連續(xù)視頻中貞。
[0156] 較佳地，確定待處理圖像塊在選擇的視頻幀中對(duì)應(yīng)的參考圖像塊，包括：
[0157] 確定待處理圖像塊在包括該待處理圖像塊的視頻幀中的位置；
[0158] 將選擇的視頻幀中對(duì)應(yīng)位置的圖像塊，作為待處理圖像塊在選擇的視頻幀中對(duì)應(yīng) 的參考圖像塊。
[0159] 實(shí)施中，通過(guò)根據(jù)當(dāng)前視頻幀的前N幀視頻幀中確定的小物體區(qū)域，對(duì)所述多幀 視頻幀中任意一組相鄰幀中的每幀視頻幀包括的待處理圖像塊進(jìn)行分類，并針對(duì)不同類待 處理圖像塊，采用不同方法對(duì)該待處理圖像塊進(jìn)行運(yùn)動(dòng)估計(jì)，以確定該待處理圖像塊的幀 間運(yùn)動(dòng)矢量，降低了對(duì)當(dāng)前視頻幀和當(dāng)前視頻幀的參考幀進(jìn)行運(yùn)動(dòng)估計(jì)的難度，并且提高 了根據(jù)運(yùn)動(dòng)估計(jì)得到的幀間運(yùn)動(dòng)矢量的精度。
[0160] 具體實(shí)施中，N可以根據(jù)需要或經(jīng)驗(yàn)設(shè)定，比如，設(shè)定為1或2。
[0161] 較佳地，確定所述每個(gè)第一類待處理圖像塊的幀間運(yùn)動(dòng)矢量，包括：步驟A1、分別 確定所述第一類待處理圖像塊對(duì)應(yīng)的每個(gè)候選運(yùn)動(dòng)矢量與所述第一類待處理圖像塊所在 的視頻幀的背景運(yùn)動(dòng)矢量的相差度值；
[0162] 步驟A2、根據(jù)確定的各個(gè)候選運(yùn)動(dòng)矢量分別對(duì)應(yīng)的相差度值，按照相差度值由小 到大的順序賦予權(quán)值由大到小的規(guī)則，為每個(gè)候選運(yùn)動(dòng)矢量分別賦予對(duì)應(yīng)的權(quán)值；
[0163] 步驟A3、根據(jù)為每個(gè)候選運(yùn)動(dòng)矢量分別賦予的權(quán)值和每個(gè)候選運(yùn)動(dòng)矢量指向的圖 像塊與所述第一類待處理圖像塊的像素的SAD (Sum of Absolute Differences,差的絕對(duì) 值的和）值，確定所述第一類待處理圖像塊的幀間運(yùn)動(dòng)矢量。
[0164] 需要說(shuō)明的是，任意一組相鄰幀中的每幀視頻幀分別包括的待處理圖像塊的幀間 運(yùn)動(dòng)矢量具有一定的方向性，即，任意一組相鄰幀中的在前視頻幀分別包括的待處理圖像 塊的幀間運(yùn)動(dòng)矢量為所述任意一組相鄰幀之間的前向運(yùn)動(dòng)矢量，任意一組相鄰幀中的在后 視頻幀分別包括的待處理圖像塊的幀間運(yùn)動(dòng)矢量為所述任意一組相鄰幀之間的后向運(yùn)動(dòng) 矢量。
[0165] 比如，如圖2所示，一組相鄰幀為L(zhǎng)和fn，L和fn的幀間運(yùn)動(dòng)矢量為L(zhǎng)分別包 括的待處理圖像塊的幀間運(yùn)動(dòng)矢量和f n分別包括的待處理圖像塊的幀間運(yùn)動(dòng)矢量，fM分 別包括的待處理圖像塊的幀間運(yùn)動(dòng)矢量為fM和fn之間的前向運(yùn)動(dòng)矢量，f n分別包括的待 處理圖像塊的幀間運(yùn)動(dòng)矢量為和4之間的后向運(yùn)動(dòng)矢量。
[0166] 較佳地，在步驟A1中，確定所述第一類待處理圖像塊對(duì)應(yīng)的每個(gè)候選運(yùn)動(dòng)矢量與 現(xiàn)有技術(shù)中確定待處理圖像塊對(duì)應(yīng)的每個(gè)候選運(yùn)動(dòng)矢量的實(shí)施方式類似，比如，確定待處 理圖像塊對(duì)應(yīng)的時(shí)域候選運(yùn)動(dòng)矢量或空域候選運(yùn)動(dòng)矢量。
[0167] 較佳地，在步驟A1中，所述第一類待處理圖像塊對(duì)應(yīng)的每個(gè)候選運(yùn)動(dòng)矢量與所述 第一類待處理圖像塊所在的視頻幀的背景運(yùn)動(dòng)矢量的相差度值為用于表征所述每個(gè)候選 運(yùn)動(dòng)矢量與所述背景運(yùn)動(dòng)矢量相差程度的值。
[0168] 具體實(shí)施中，任何能夠表征所述每個(gè)候選運(yùn)動(dòng)矢量與所述背景運(yùn)動(dòng)矢量相差程度 的相差度值均適用于本發(fā)明，比如，每個(gè)候選運(yùn)動(dòng)矢量與背景運(yùn)動(dòng)矢量的差的絕對(duì)值，每個(gè) 候選運(yùn)動(dòng)矢量的絕對(duì)值與背景運(yùn)動(dòng)矢量的絕對(duì)值的差值，每個(gè)候選運(yùn)動(dòng)矢量與背景運(yùn)動(dòng)矢 量在不同維度上（比如，X維度和Y維度)的差值的和值，或每個(gè)候選運(yùn)動(dòng)矢量與背景運(yùn)動(dòng)矢 量在不同維度上的差值的平方和的根號(hào)值等。
[0169] 具體實(shí)施中，確定視頻幀的背景運(yùn)動(dòng)矢量的實(shí)施方式與現(xiàn)有技術(shù)中確定視頻幀的 背景運(yùn)動(dòng)矢量的實(shí)施方式類似，在此不再贅述。
[0170] 較佳地，在步驟A3中，確定每個(gè)候選運(yùn)動(dòng)矢量指向的圖像塊與所述第一類待處理 圖像塊的各個(gè)像素的SAD值的實(shí)施方式與現(xiàn)有技術(shù)中確定候選運(yùn)動(dòng)矢量指向的圖像塊與 待處理圖像塊的各個(gè)像素的SAD值的實(shí)施方式類似。
[0171] 比如，針對(duì)一個(gè)候選運(yùn)動(dòng)矢量，確定該候選運(yùn)動(dòng)矢量指向的圖像塊，確定該候選運(yùn) 動(dòng)矢量指向的圖像塊包括的每個(gè)像素與所述第一類待處理圖像塊中包括的對(duì)應(yīng)的像素的 差的絕對(duì)值，并確定各個(gè)像素的差的絕對(duì)值的和，再將該差的絕對(duì)值的和值除以該圖像塊 中的像素個(gè)數(shù)值，將該差的絕對(duì)值的和值除以該圖像塊中的像素個(gè)數(shù)值得到的值，作為該 候選運(yùn)動(dòng)矢量指向的圖像塊與所述第一類待處理圖像塊的各個(gè)像素的SAD值。
[0172] 較佳地，在步驟A3中，確定所述第一類待處理圖像塊的幀間運(yùn)動(dòng)矢量，包括：
[0173] 針對(duì)每個(gè)候選運(yùn)動(dòng)矢量，確定所述候選運(yùn)動(dòng)矢量被賦予的權(quán)值和所述候選運(yùn)動(dòng)矢 量指向的圖像塊與所述第一類待處理圖像塊的像素的SAD值的乘積，將乘積值最小的候選 運(yùn)動(dòng)矢量作為所述第一類待處理圖像塊的幀間運(yùn)動(dòng)矢量。
[0174] 需要說(shuō)明的是，根據(jù)所述第一類待處理圖像塊的每個(gè)候選運(yùn)動(dòng)矢量對(duì)應(yīng)的權(quán)值和 所述候選運(yùn)動(dòng)矢量指向的圖像塊與所述第一類待處理圖像塊的像素的SAD值，確定所述第 一類待處理圖像塊的幀間運(yùn)動(dòng)矢量的實(shí)施方式有多種，比如，針對(duì)所述第一類待處理圖像 塊對(duì)應(yīng)的每個(gè)候選運(yùn)動(dòng)矢量，確定所述候選運(yùn)動(dòng)矢量被賦予的權(quán)值和所述候選運(yùn)動(dòng)矢量指 向的圖像塊與所述第一類待處理圖像塊的像素的SAD值的和，將和值最小的候選運(yùn)動(dòng)矢量 作為所述第一類待處理圖像塊的幀間運(yùn)動(dòng)矢量，本發(fā)明實(shí)施例中列舉的實(shí)施方式只是較佳 的實(shí)施方式。
[0175] 較佳地，確定所述每個(gè)第二類待處理圖像塊的幀間運(yùn)動(dòng)矢量的實(shí)施方式與現(xiàn)有技 術(shù)中確定待處理圖像塊的幀間運(yùn)動(dòng)矢量的實(shí)施方式相同，比如，從所述第二類待處理圖像 塊對(duì)應(yīng)的多個(gè)候選運(yùn)動(dòng)矢量中隨機(jī)選擇一個(gè)候選運(yùn)動(dòng)矢量作為所述第二類待處理圖像塊 的幀間運(yùn)動(dòng)矢量。
[0176] 較佳地，在步驟103中，確定當(dāng)前視頻幀中的小物體候選區(qū)域，包括：
[0177] 步驟B1、根據(jù)包括當(dāng)前視頻幀和當(dāng)前視頻幀的參考幀的多幀視頻幀中任意一組相 鄰幀的幀間運(yùn)動(dòng)矢量，在當(dāng)前視頻幀的每個(gè)參考幀中確定當(dāng)前視頻幀包括的每個(gè)圖像塊對(duì) 應(yīng)的匹配塊；
[0178] 具體實(shí)施中，針對(duì)當(dāng)前視頻幀包括的每個(gè)圖像塊，確定圖像塊對(duì)應(yīng)的匹配塊的實(shí) 施方式類似，下面對(duì)確定當(dāng)前視頻幀包括的一個(gè)圖像塊對(duì)應(yīng)的匹配塊的實(shí)施方式進(jìn)行詳細(xì) 介紹。
[0179] 如圖3所示，接收到的原始幀包括視頻幀fn_i、視頻幀fn、視頻幀f n+1和視頻幀fn+2， 當(dāng)前視頻幀為fn，fn包括圖像塊A，f n的參考幀為fn+1和fn+2 ;
[0180] 針對(duì)fn的參考幀為fn+1，根據(jù)圖像塊A的幀間運(yùn)動(dòng)矢量m V()ldF (fn和fn+1的幀間運(yùn) 動(dòng)矢量)，確定圖像塊A在fn+1中的匹配塊B ;
[0181] 針對(duì)fn的參考幀為fn+2，根據(jù)圖像塊A的幀間運(yùn)動(dòng)矢量m V()ldF (4和fn+1的幀間運(yùn) 動(dòng)矢量)，確定圖像塊A在fn+1中的匹配塊B，根據(jù)匹配塊B的幀間運(yùn)動(dòng)矢量mv nOTF (fn+1和 fn+2的幀間運(yùn)動(dòng)矢量)，確定圖像塊A在fn+2中的匹配塊C。
[0182] 較佳地，在步驟B1中，當(dāng)前視頻幀的參考幀不同，當(dāng)前視頻幀包含的每一圖像塊 的幀間運(yùn)動(dòng)矢量可能不同，也可能相同。
[0183] 比如，如圖3所示，接收到的原始幀包括視頻幀、視頻幀fn、視頻幀fn+1和視頻 幀f n+2，當(dāng)前視頻幀為fn，fn的參考幀為I、fn+1和f n+2 ;
[0184] 針對(duì)fn的參考幀為4+ fn中的每一圖像塊的幀間運(yùn)動(dòng)矢量為fn中的該圖像塊在 和fn之間的后向運(yùn)動(dòng)矢量；
[0185] 針對(duì)fn的參考幀為fn+1，fn中的每一圖像塊的幀間運(yùn)動(dòng)矢量為f n中的該圖像塊在 4和fn+1之間的前向運(yùn)動(dòng)矢量；
[0186] 針對(duì)fn的參考幀為fn+2, fn中的每一圖像塊的幀間運(yùn)動(dòng)矢量為fn中的該圖像塊在 4和fn+1之間的前向運(yùn)動(dòng)矢量。
[0187] 步驟B2、在每個(gè)參考幀中確定匹配塊附近的附近塊，并確定每個(gè)參考幀中確定的 每個(gè)附近塊的幀間運(yùn)動(dòng)矢量；
[0188] 較佳地，匹配塊附近的附近塊為位于該匹配塊周圍特定范圍內(nèi)的圖像塊。
[0189] 具體實(shí)施中，特定范圍可以根據(jù)需要或者經(jīng)驗(yàn)設(shè)定。
[0190] 步驟B3、針對(duì)當(dāng)前視頻幀包含的每一圖像塊，確定針對(duì)所述圖像塊確定的各個(gè)附 近塊的幀間運(yùn)動(dòng)矢量與所述圖像塊的幀間運(yùn)動(dòng)矢量的相似度值，并確定每個(gè)附近塊的幀間 運(yùn)動(dòng)矢量與全局運(yùn)動(dòng)矢量的相差度值；
[0191] 較佳地，針對(duì)圖像塊確定的一個(gè)附近塊，確定所述附近塊的幀間運(yùn)動(dòng)矢量與所述 圖像塊的幀間運(yùn)動(dòng)矢量的相似度值，包括：
[0192] 在所述附近塊的幀間運(yùn)動(dòng)矢量和圖像塊的幀間運(yùn)動(dòng)矢量為前向運(yùn)動(dòng)矢量時(shí)，根據(jù) 所述附近塊的幀間運(yùn)動(dòng)矢量與圖像塊的幀間運(yùn)動(dòng)矢量的差值，確定所述附近塊的幀間運(yùn)動(dòng) 矢量與所述圖像塊的幀間運(yùn)動(dòng)矢量的相似度值；
[0193] 在所述附近塊的幀間運(yùn)動(dòng)矢量和圖像塊的幀間運(yùn)動(dòng)矢量為后向運(yùn)動(dòng)矢量時(shí)，根據(jù) 所述附近塊的幀間運(yùn)動(dòng)矢量與圖像塊的幀間運(yùn)動(dòng)矢量的差值，確定所述附近塊的幀間運(yùn)動(dòng) 矢量與圖像塊的幀間運(yùn)動(dòng)矢量的相似度值；
[0194] 在附近塊的幀間運(yùn)動(dòng)矢量為后向運(yùn)動(dòng)矢量和圖像塊的幀間運(yùn)動(dòng)矢量為前向運(yùn)動(dòng) 矢量時(shí)，根據(jù)附近塊的幀間運(yùn)動(dòng)矢量與圖像塊的幀間運(yùn)動(dòng)矢量的和值，確定附近塊的幀間 運(yùn)動(dòng)矢量與圖像塊的巾貞間運(yùn)動(dòng)矢量的相似度值；以及
[0195] 在附近塊的幀間運(yùn)動(dòng)矢量為前向運(yùn)動(dòng)矢量和圖像塊的幀間運(yùn)動(dòng)矢量為后向運(yùn)動(dòng) 矢量時(shí)，根據(jù)附近塊的幀間運(yùn)動(dòng)矢量與圖像塊的幀間運(yùn)動(dòng)矢量的和值，確定附近塊的幀間 運(yùn)動(dòng)矢量與圖像塊的幀間運(yùn)動(dòng)矢量的相似度值。
[0196] 實(shí)施中，上述的和/差值越小，所述附近塊的幀間運(yùn)動(dòng)矢量與圖像塊的幀間運(yùn)動(dòng) 矢量的相似度值越大。
[0197] 較佳地，針對(duì)圖像塊確定的一個(gè)附近塊，確定所述附近塊的幀間運(yùn)動(dòng)矢量與全局 運(yùn)動(dòng)矢量的相差度值，包括：
[0198] 根據(jù)所述附近塊對(duì)應(yīng)的至少兩個(gè)區(qū)域中的一個(gè)區(qū)域，確定所述附近塊的全局運(yùn)動(dòng) 矢量；
[0199] 根據(jù)所述附近塊的幀間運(yùn)動(dòng)矢量和所述附近塊的全局運(yùn)動(dòng)矢量的差值，確定所述 附近塊的幀間運(yùn)動(dòng)矢量和所述附近塊的全局運(yùn)動(dòng)矢量的相差度值。
[0200] 具體實(shí)施中，可以根據(jù)所述附近塊在當(dāng)前視頻幀中的匹配塊位于當(dāng)前視頻幀中的 區(qū)域，確定所述附近塊對(duì)應(yīng)的至少兩個(gè)區(qū)域中的一個(gè)區(qū)域；也可以根據(jù)所述附近塊位于包 括所述附近塊的參考幀中的區(qū)域，確定所述附近塊對(duì)應(yīng)的至少兩個(gè)區(qū)域中的一個(gè)區(qū)域，具 體可以根據(jù)需要而定。
[0201] 實(shí)施中，所述附近塊的幀間運(yùn)動(dòng)矢量和所述附近塊的全局運(yùn)動(dòng)矢量的差值越大， 所述附近塊的幀間運(yùn)動(dòng)矢量和所述附近塊的全局運(yùn)動(dòng)矢量的相差度值越大，所述附近塊的 幀間運(yùn)動(dòng)矢量與包括所述附近塊的參考幀的背景運(yùn)動(dòng)矢量的相差度值越大。
[0202] 步驟M、根據(jù)確定的相似度值和相差度值，確定當(dāng)前視頻幀中的小物體候選區(qū)域 包括的圖像塊，其中，小物體候選區(qū)域包括的每個(gè)圖像塊滿足當(dāng)前視頻幀對(duì)應(yīng)的每個(gè)參考 幀中針對(duì)所述圖像塊確定的多個(gè)附近塊中存在第一設(shè)定個(gè)數(shù)的附近塊的相似度值均不小 于第一閾值、且存在第二設(shè)定個(gè)數(shù)的附近塊的相差度值均不小于第二閾值。
[0203] 較佳地，在步驟Μ中，第一設(shè)定個(gè)數(shù)、第二設(shè)定個(gè)數(shù)、第一閾值和第二閾值可以根 據(jù)需要或經(jīng)驗(yàn)設(shè)定，比如，在每個(gè)圖像塊包括8像素*8像素時(shí)，第一設(shè)定個(gè)數(shù)可以為10,第 二設(shè)定個(gè)數(shù)為10,第一閾值為16和第二閾值為16。
[0204] 具體實(shí)施中，當(dāng)前視頻幀中的小物體候選區(qū)域?yàn)楫?dāng)前視頻幀中區(qū)別于背景的物體 區(qū)域。
[0205] 較佳地，在步驟104之前，還可以將小物體候選區(qū)域包括的每個(gè)圖像塊標(biāo)志特定 記。
[0206] 較佳地，特定標(biāo)記可以根據(jù)需要或經(jīng)驗(yàn)設(shè)定，可以設(shè)定為字母、數(shù)字或符號(hào)，比如， 設(shè)定為1或0。
[0207] 較佳地，在將小物體候選區(qū)域包括的每個(gè)圖像塊標(biāo)志特定標(biāo)記之后，還包括：
[0208] 保存標(biāo)志特定標(biāo)記的圖像塊。
[0209] 較佳地，在步驟104中，對(duì)當(dāng)前視頻幀中的小物體候選區(qū)域進(jìn)行濾波，將濾波后得 到的區(qū)域確定為當(dāng)前視頻幀中的小物體區(qū)域，包括：
[0210] 步驟C1、針對(duì)所述當(dāng)前視頻幀中小物體候選區(qū)域包括的每個(gè)圖像塊，確定在所述 圖像塊水平方向上的第一設(shè)定范圍內(nèi)標(biāo)志有特定標(biāo)記的圖像塊的第一個(gè)數(shù)值、和在所述圖 像塊垂直方向上的第二設(shè)定范圍內(nèi)標(biāo)志有特定標(biāo)記的圖像塊的第二個(gè)數(shù)值；
[0211] 步驟C2、在確定的所述第一個(gè)數(shù)值或第二個(gè)數(shù)值大于第三閾值時(shí)，去除所述圖像 塊的特定標(biāo)記；以及
[0212] 步驟C3、確定在所述圖像塊周圍的第三設(shè)定范圍內(nèi)標(biāo)志有特定標(biāo)記的圖像塊的第 三個(gè)數(shù)值；
[0213] 步驟C4、在確定的所述第三個(gè)數(shù)值小于第四閾值時(shí)，去除所述圖像塊的特定標(biāo) 記；
[0214] 步驟C5、將當(dāng)前視頻幀中標(biāo)志有特定標(biāo)記的圖像塊確定為當(dāng)前視頻幀中的小物體 區(qū)域；
[0215] 其中第三設(shè)定范圍小于第一設(shè)定范圍和第二設(shè)定范圍，第四閾值小于第三閾值。
[0216] 較佳地，在步驟C1中，第一設(shè)定范圍和第二設(shè)定范圍可以根據(jù)需要或經(jīng)驗(yàn)設(shè)定， 第一設(shè)定范圍可以大于第二設(shè)定范圍，第一設(shè)定范圍可以小于第二設(shè)定范圍，第一設(shè)定范 圍也可以等于第二設(shè)定范圍。
[0217] 具體實(shí)施中，在步驟C2中，第三閾值可以根據(jù)需要或經(jīng)驗(yàn)設(shè)定。
[0218] 較佳地，第三閾值可以根據(jù)小物體區(qū)域的定義確定，比如，小物體區(qū)域占據(jù)當(dāng)前視 頻幀背景的比例值小于特定值，則可以根據(jù)所述特定值，確定第三閾值。
[0219] 比如，假設(shè)當(dāng)前視頻幀中小物體候選區(qū)域包括的每個(gè)圖像塊的特定標(biāo)記為1，第三 閾值為6,如圖4所示，針對(duì)標(biāo)志有1的圖像塊Α，第一設(shè)定范圍包括以圖像塊Α為中心的13 個(gè)單位塊，第二設(shè)定范圍包括以圖像塊A為中心的11個(gè)單位塊，確定在圖像塊A水平方向 上的第一設(shè)定范圍內(nèi)標(biāo)志有特定標(biāo)記的塊的第一個(gè)數(shù)值為10和在圖像塊A垂直方向上的 第二設(shè)定范圍內(nèi)標(biāo)志有特定標(biāo)記的圖像塊的第二個(gè)數(shù)值為8,由于第一個(gè)數(shù)值和第二個(gè)數(shù) 值均大于第三閾值，則去除圖像塊A的特定標(biāo)記。
[0220] 實(shí)施中，通過(guò)執(zhí)行步驟C1和步驟C2,將當(dāng)前視頻幀包括的小物體候選區(qū)域中的小 物體以外的物體對(duì)應(yīng)的區(qū)域過(guò)濾掉。
[0221] 較佳地，在步驟C3中，第三設(shè)定范圍可以根據(jù)需要或經(jīng)驗(yàn)設(shè)定。
[0222] 較佳地，在步驟C4中，第四閾值可以根據(jù)需要或經(jīng)驗(yàn)設(shè)定。
[0223] 比如，假設(shè)當(dāng)前視頻幀中小物體候選區(qū)域包括的每個(gè)圖像塊的特定標(biāo)記為1，第四 閾值為2,如圖5所示，針對(duì)標(biāo)識(shí)有1的圖像塊A，第三設(shè)定范圍包括圖像塊A周圍一圈的8 個(gè)單位塊，確定在圖像塊周圍的第三設(shè)定范圍內(nèi)標(biāo)志有特定標(biāo)記的圖像塊的第三個(gè)數(shù)值為 0,由于第三個(gè)數(shù)值小于第四閾值，則去除圖像塊A的特定標(biāo)記。
[0224] 實(shí)施中，通過(guò)執(zhí)行步驟C3和步驟C4,將當(dāng)前視頻幀包括的小物體候選區(qū)域中的噪 點(diǎn)對(duì)應(yīng)的區(qū)域過(guò)濾掉。
[0225] 具體實(shí)施中，可以先執(zhí)行步驟C1，再執(zhí)行步驟C3 ;可以先執(zhí)行步驟C3,再執(zhí)行步驟 C1 ;也可以同時(shí)執(zhí)行步驟C1和步驟C3。
[0226] 下面將結(jié)合圖3，并以視頻幀fn的參考幀為fn_i、f n+1和fn+2為例，對(duì)本發(fā)明實(shí)施例 確定視頻幀fn中的小物體區(qū)域的方法進(jìn)行詳細(xì)介紹。
[0227] 如圖6所示，本發(fā)明實(shí)施例確定視頻幀中小物體區(qū)域的詳細(xì)方法，包括：
[0228] 步驟601、根據(jù)L中確定的小物體區(qū)域包括的待處理圖像塊，將和fn+2 中每幀視頻幀包括的待處理圖像塊劃分為第一類待處理圖像塊和第二類待處理圖像塊，確 定每個(gè)第一類待處理圖像塊和每個(gè)第二類待處理圖像塊的幀間運(yùn)動(dòng)矢量，得到fM和f n的 幀間運(yùn)動(dòng)矢量，4和fn+1的幀間運(yùn)動(dòng)矢量，以及fn+1和f n+2的幀間運(yùn)動(dòng)矢量；
[0229] 步驟602、將4劃分為四部分，并統(tǒng)計(jì)每部分的全局運(yùn)動(dòng)矢量，得到gVec[i]，其中 i={〇, 1,2,3}；
[0230] 步驟603、針對(duì)fn包括的一個(gè)圖像塊，根據(jù)所述圖像塊的巾貞間運(yùn)動(dòng)矢量mv。；^，確定 所述圖像塊在f n+1中的匹配塊，并搜索所述匹配塊對(duì)應(yīng)的每個(gè)附近塊；
[0231] 步驟604、針對(duì)fn+1中的匹配塊對(duì)應(yīng)的一個(gè)附近塊，確定所述附近塊的幀間運(yùn)動(dòng)矢 量 mvn?B，并確定mvn?B與mv〇LdF的和值，在mvn?B與 mv〇i<iF的和值小于閾值0bjLocal，變量 LdiffO 增 1 ;
[0232] 具體實(shí)施中，LdiffO的初始值可以設(shè)置為0。
[0233] 步驟605、針對(duì)fn+1中的匹配塊對(duì)應(yīng)的一個(gè)附近塊，根據(jù)所述附近塊在f n+1中的位 置，確定所述附近塊對(duì)應(yīng)的全局運(yùn)動(dòng)矢量為gVec[l]，并確定mvmwB與gVec[l]的差值，在 mvnewB與gVec[l]的差值大于閾值objGlobal，變量GdiffO增1 ;
[0234] 具體實(shí)施中，GdiffO的初始值可以設(shè)置為0。
[0235] 步驟606、在對(duì)fn+1中的匹配塊對(duì)應(yīng)的每個(gè)附近塊遍歷后，得到LdiffO和GdiffO ;
[0236] 步驟607、針對(duì)fn包括的一個(gè)圖像塊，根據(jù)所述圖像塊的巾貞間運(yùn)動(dòng)矢量mv。；^，確定 所述圖像塊在f n+1中的匹配塊，并根據(jù)所述匹配塊的幀間運(yùn)動(dòng)矢量mvnOTF，確定所述圖像塊 在f n+2中的匹配塊，并搜索所述匹配塊對(duì)應(yīng)的每個(gè)附近塊；
[0237] 步驟608、針對(duì)fn+2中的匹配塊對(duì)應(yīng)的一個(gè)附近塊，確定所述附近塊的幀間運(yùn)動(dòng)矢 量mvMfB，并確定mvrafB與mv-的和值，在mvrafB與游。 1(^的和值小于閾值objLocal，變量 Ldiffl增 1 ;
[0238] 具體實(shí)施中，Ldiffl的初始值可以設(shè)置為0。
[0239] 步驟609、針對(duì)fn+2中的匹配塊對(duì)應(yīng)的一個(gè)附近塊，根據(jù)所述附近塊在f n+2中的位 置，確定所述附近塊對(duì)應(yīng)的全局運(yùn)動(dòng)矢量為gVec[l]，并確定mvMfB與gVec[l]的差值，在 mvrefB與gVec[l]的差值大于閾值objGlobal，變量Gdiffl增1 ;
[0240] 具體實(shí)施中，Gdiffl的初始值可以設(shè)置為0。
[0241] 步驟610、在對(duì)fn+2中的匹配塊對(duì)應(yīng)的每個(gè)附近塊遍歷后，得到Ldiffl和Gdiffl ;
[0242] 步驟611、針對(duì)fn包括的一個(gè)圖像塊，根據(jù)所述圖像塊的幀間運(yùn)動(dòng)矢量m V()ldB，確定 所述圖像塊在fM中的匹配塊，并搜索所述匹配塊對(duì)應(yīng)的每個(gè)附近塊；
[0243] 步驟612、針對(duì)fn_i中的匹配塊對(duì)應(yīng)的一個(gè)附近塊，確定所述附近塊的幀間運(yùn)動(dòng)矢 量mv MfF，并確定mvrafF與mv。；^的差值，在mvrafF與mv。；^的差值小于閾值objLocal，變量 Ldiff2 增 1 ;
[0244] 具體實(shí)施中，Ldiff2的初始值可以設(shè)置為0。
[0245] 步驟613、針對(duì)fn_i中的匹配塊對(duì)應(yīng)的一個(gè)附近塊，根據(jù)所述附近塊在f n_i中的位 置，確定所述附近塊對(duì)應(yīng)的全局運(yùn)動(dòng)矢量為gVec[l]，并確定mvMfF與gVec[l]的差值，在 mvrefF與gVec[l]的差值大于閾值objGlobal，變量Gdiff2增1 ;
[0246] 具體實(shí)施中，Gdiff2的初始值可以設(shè)置為0。
[0247] 步驟614、在對(duì)中的匹配塊對(duì)應(yīng)的每個(gè)附近塊遍歷后，得到Ldiff2和Gdiff2 ;
[0248] 步驟 615、在 Gdiff0>A 且 GdiffDA 且 Gdiff2>A 且 Ldiff0>B 且 LdiffDB 且 Ldiff2>B時(shí)，確定fn中的小物體候選區(qū)域包括所述圖像塊，并將所述圖像塊緩存在 markFlagBufOij 中；
[0249] 具體實(shí)施中，A和B為閾值，markFlagBufOij可以為以矩陣形式存儲(chǔ)所述圖像塊的 存儲(chǔ)器。
[0250] 步驟616、通過(guò)遍歷4包括的每個(gè)圖像塊，確定fn中的小物體候選區(qū)域，并將小物 體候選區(qū)域包括的每個(gè)圖像塊標(biāo)志為1 ;
[0251] 步驟617、針對(duì)fn中每個(gè)標(biāo)志為1的圖像塊，確定在所述圖像塊水平方向上的第一 設(shè)定范圍內(nèi)標(biāo)志為1的圖像塊的第一個(gè)數(shù)值和在所述圖像塊垂直方向上的第二設(shè)定范圍 內(nèi)標(biāo)志為1的圖像塊的第二個(gè)數(shù)值，在第一個(gè)數(shù)值或第二個(gè)數(shù)值大于閾值C時(shí)，將所述圖像 塊的標(biāo)識(shí)改為0 ;
[0252] 步驟618、針對(duì)fn中每個(gè)標(biāo)志為1的圖像塊，確定在所述圖像塊周圍的第三設(shè)定范 圍內(nèi)標(biāo)志為1的圖像塊的第三個(gè)數(shù)值，在第三個(gè)數(shù)值小于閾值D時(shí)，將所述圖像塊的標(biāo)志改 為〇 ;
[0253] 步驟619、將fn中標(biāo)志為1的圖像塊確定為fn中的小物體區(qū)域。
[0254] 如圖7所示，本發(fā)明實(shí)施例在兩相鄰視頻幀之間插補(bǔ)幀的方法，包括：
[0255] 步驟701、確定前、后兩相鄰視頻幀中的在前視頻幀中的小物體區(qū)域和在后視頻幀 中的小物體區(qū)域；
[0256] 步驟702、對(duì)在前視頻幀中的小物體區(qū)域和在后視頻幀中的小物體區(qū)域以外的區(qū) 域?qū)?yīng)的幀間運(yùn)動(dòng)矢量進(jìn)行平滑濾波；
[0257] 步驟703、根據(jù)在前視頻幀中的小物體區(qū)域和在后視頻幀中的小物體區(qū)域?qū)?yīng)的 幀間運(yùn)動(dòng)矢量，以及平滑濾波后得到的幀間運(yùn)動(dòng)矢量，在前、后兩相鄰視頻幀之間插補(bǔ)幀。
[0258] 較佳地，在步驟701中，可以采用本發(fā)明實(shí)施例圖1中確定當(dāng)前視頻幀中的小物體 區(qū)域的方法，確定前、后兩相鄰視頻幀中的在前視頻幀中的小物體區(qū)域和在后視頻幀中的 小物體區(qū)域。
[0259] 具體實(shí)施中，可以根據(jù)在確定所述在前視頻幀中的小物體區(qū)域和在后視頻幀中的 小物體區(qū)域時(shí)確定的前、后兩相鄰視頻幀的幀間運(yùn)動(dòng)矢量，確定所述前、后兩相鄰視頻幀的 幀間運(yùn)動(dòng)矢量。
[0260] 較佳地，在步驟702中，對(duì)在前視頻幀中的小物體區(qū)域和在后視頻幀中的小物體 區(qū)域以外的區(qū)域?qū)?yīng)的幀間運(yùn)動(dòng)矢量進(jìn)行平滑濾波的實(shí)施方式與現(xiàn)有技術(shù)中對(duì)兩相鄰視 頻幀的幀間運(yùn)動(dòng)矢量進(jìn)行平滑濾波的實(shí)施方式類似，只不過(guò)在本發(fā)明中不對(duì)兩相鄰視頻中 的小物體區(qū)域?qū)?yīng)的幀間運(yùn)動(dòng)矢量進(jìn)行平滑濾波，而僅對(duì)兩相鄰視頻中的小物體區(qū)域以外 的區(qū)域?qū)?yīng)的幀間運(yùn)動(dòng)矢量進(jìn)行平滑濾波。
[0261] 較佳地，在步驟703中，根據(jù)在前視頻幀中的小物體區(qū)域和在后視頻幀中的小物 體區(qū)域?qū)?yīng)的幀間運(yùn)動(dòng)矢量，以及平滑濾波后得到的幀間運(yùn)動(dòng)矢量，在前、后兩相鄰視頻幀 之間插補(bǔ)幀的實(shí)施方式與現(xiàn)有技術(shù)中根據(jù)兩相鄰視頻幀的幀間運(yùn)動(dòng)矢量，在兩相鄰視頻幀 之間插補(bǔ)幀的實(shí)施方式類似，在此不再贅述。
[0262] 實(shí)施中，確定前、后兩相鄰視頻幀中每幀視頻幀的小物體區(qū)域，不對(duì)前、后兩相鄰 視頻幀中確定的小物體區(qū)域?qū)?yīng)的幀間運(yùn)動(dòng)矢量進(jìn)行平滑濾波，從而實(shí)現(xiàn)避免生成的插補(bǔ) 幀中小物體像素的缺失，提高了視頻顯示質(zhì)量。
[0263] 如圖8所示，本發(fā)明實(shí)施例在兩相鄰視頻幀之間插補(bǔ)幀的方法，包括：
[0264] 步驟801、根據(jù)前、后兩相鄰視頻幀的前N幀視頻幀中的小物體區(qū)域包括的待處理 圖像塊，將所述前、后兩相鄰視頻幀中的每幀視頻幀分別包括的待處理圖像塊分為第一類 待處理圖像塊和第二類待處理圖像塊；
[0265] 步驟802、分別確定每個(gè)第一類待處理圖像塊和每個(gè)第二類待處理圖像塊的幀間 運(yùn)動(dòng)矢量，以及將確定的所述前、后兩相鄰視頻幀中的每幀視頻幀分別包括的每個(gè)第一類 待處理圖像塊和每個(gè)第二類待處理圖像塊的幀間運(yùn)動(dòng)矢量，作為所述前、后兩相鄰視頻幀 的幀間運(yùn)動(dòng)矢量；
[0266] 步驟803、根據(jù)得到的所述前、后兩相鄰視頻幀的幀間運(yùn)動(dòng)矢量，在所述前、后兩相 鄰視頻幀之間插補(bǔ)幀；
[0267] 其中，N為正整數(shù)。
[0268] 較佳地，N可以根據(jù)需要或者經(jīng)驗(yàn)設(shè)定。
[0269] 較佳地，在步驟801中，可以采用本發(fā)明實(shí)施例圖1中確定當(dāng)前視頻幀中的小物體 區(qū)域的方法，確定前、后兩相鄰視頻幀的前N幀視頻幀中的小物體區(qū)域。
[0270] 較佳地，在步驟801中，根據(jù)前、后兩相鄰視頻幀的前N幀視頻幀中的小物體區(qū)域 包括的待處理圖像塊，將所述前、后兩相鄰視頻幀中的每幀視頻幀分別包括的待處理圖像 塊分為第一類待處理圖像塊和第二類待處理圖像塊，包括：
[0271] 針對(duì)所述前、后兩相鄰視頻幀中的每幀視頻幀分別包括的待處理圖像塊，執(zhí)行：
[0272] 在所述前、后兩相鄰視頻幀的前N幀視頻幀中選擇至少一幀視頻幀；
[0273] 根據(jù)所述前、后兩相鄰視頻幀的前N幀視頻幀中的小物體區(qū)域，確定待處理圖像 塊在選擇的所述至少一幀視頻幀中對(duì)應(yīng)的參考圖像塊是否均為小物體區(qū)域包括的圖像 塊；
[0274] 若是，則確定所述待處理圖像塊為第一類待處理圖像塊，否則，確定所述待處理圖 像塊為第二類待處理圖像塊。
[0275] 較佳地，在所述前N幀視頻幀中選擇至少一幀視頻幀，包括：
[0276] 選擇所述前、后兩相鄰視頻幀的至少一幀前連續(xù)視頻幀。
[0277] 較佳地，在步驟802中，分別確定每個(gè)第一類待處理圖像塊的幀間運(yùn)動(dòng)矢量，包 括：
[0278] 步驟D1、分別確定所述第一類待處理圖像塊對(duì)應(yīng)的每個(gè)候選運(yùn)動(dòng)矢量與所述第一 類待處理圖像塊所在的視頻幀的背景運(yùn)動(dòng)矢量的相差度值；
[0279] 具體實(shí)施中，步驟D1的實(shí)施方式與本發(fā)明實(shí)施例的步驟A1的實(shí)施方式類似，在此 不再贅述。
[0280] 步驟D2、根據(jù)確定的各個(gè)候選運(yùn)動(dòng)矢量分別對(duì)應(yīng)的相差度值，按照相差度值由小 到大的順序賦予權(quán)值由大到小的規(guī)則，為每個(gè)候選運(yùn)動(dòng)矢量分別賦予對(duì)應(yīng)的權(quán)值；
[0281] 具體實(shí)施中，步驟D2的實(shí)施方式與本發(fā)明實(shí)施例的步驟A2的實(shí)施方式類似，在此 不再贅述。
[0282] 步驟D3、根據(jù)為每個(gè)候選運(yùn)動(dòng)矢量分別賦予的權(quán)值和每個(gè)候選運(yùn)動(dòng)矢量指向的圖 像塊與所述第一類待處理圖像塊的像素的SAD值，確定所述第一類待處理圖像塊的幀間運(yùn) 動(dòng)矢量。
[0283] 具體實(shí)施中，步驟D3的實(shí)施方式與本發(fā)明實(shí)施例的步驟A3的實(shí)施方式類似，在此 不再贅述。
[0284] 較佳地，在步驟D3中，確定所述第一類待處理圖像塊的幀間運(yùn)動(dòng)矢量，包括：
[0285] 針對(duì)每個(gè)候選運(yùn)動(dòng)矢量，確定所述候選運(yùn)動(dòng)矢量被賦予的權(quán)值和所述候選運(yùn)動(dòng)矢 量指向的圖像塊與所述第一類待處理圖像塊的像素的SAD值的乘積，將乘積值最小的候選 運(yùn)動(dòng)矢量作為所述第一類待處理圖像塊的幀間運(yùn)動(dòng)矢量。
[0286] 需要說(shuō)明的是，根據(jù)所述第一類待處理圖像塊的每個(gè)候選運(yùn)動(dòng)矢量對(duì)應(yīng)的權(quán)值和 所述候選運(yùn)動(dòng)矢量指向的圖像塊與所述第一類待處理圖像塊的像素的SAD值，確定所述第 一類待處理圖像塊的幀間運(yùn)動(dòng)矢量的實(shí)施方式有多種，比如，針對(duì)所述第一類待處理圖像 塊對(duì)應(yīng)的每個(gè)候選運(yùn)動(dòng)矢量，確定所述候選運(yùn)動(dòng)矢量被賦予的權(quán)值和所述候選運(yùn)動(dòng)矢量指 向的圖像塊與所述第一類待處理圖像塊的像素的SAD值的和，將和值最小的候選運(yùn)動(dòng)矢量 作為所述第一類待處理圖像塊的幀間運(yùn)動(dòng)矢量，本發(fā)明實(shí)施例中列舉的實(shí)施方式只是較佳 的實(shí)施方式。
[0287] 較佳地，在步驟803中，根據(jù)得到的所述前、后兩相鄰視頻幀的幀間運(yùn)動(dòng)矢量，在 所述前、后兩相鄰視頻幀之間插補(bǔ)幀的實(shí)施方式與現(xiàn)有技術(shù)中根據(jù)兩相鄰視頻幀的幀間運(yùn) 動(dòng)矢量，在兩相鄰視頻幀之間插補(bǔ)幀的實(shí)施方式類似，在此不再贅述。
[0288] 實(shí)施中，不對(duì)所述前、后兩相鄰視頻幀的幀間運(yùn)動(dòng)矢量作平滑濾波，直接根據(jù)得到 的兩相鄰視頻幀的幀間運(yùn)動(dòng)矢量，在兩相鄰視頻幀之間插補(bǔ)幀，實(shí)現(xiàn)了避免生成的插補(bǔ)幀 中小物體像素的缺失，提高了高清視頻或超高清視頻的播放質(zhì)量。
[0289] 需要說(shuō)明的是，本發(fā)明的在兩相鄰視頻幀之間插補(bǔ)幀的方法的實(shí)施方式有多種， 下面將以在4和f n+1之間插補(bǔ)幀為例，對(duì)本發(fā)明實(shí)施例在兩相鄰視頻幀之間插補(bǔ)幀的三種 較佳的實(shí)施方式進(jìn)行介紹。
[0290] 假設(shè)fn的參考幀為L(zhǎng)和fn+1，fn+1的參考幀為f n和fn+2。
[0291] 實(shí)施方式一
[0292] 如圖9所示，本發(fā)明實(shí)施例在兩相鄰視頻幀之間插補(bǔ)幀的方法包括下列步驟：
[0293] 步驟901、對(duì)和fn+1進(jìn)行運(yùn)動(dòng)估計(jì)，確定包括和fn+1的多幀視頻幀中 任意兩相鄰幀的幀間運(yùn)動(dòng)矢量；
[0294] 步驟902、將4劃分為四個(gè)區(qū)域，并確定每個(gè)區(qū)域?qū)?yīng)的全局運(yùn)動(dòng)矢量；
[0295] 步驟903、根據(jù)包括和fn+1的多幀視頻幀中任意兩相鄰幀的幀間運(yùn)動(dòng)矢量， 以及確定的每個(gè)區(qū)域?qū)?yīng)的全局運(yùn)動(dòng)矢量，確定f n中的小物體候選區(qū)域；
[0296] 步驟904、對(duì)4中的小物體候選區(qū)域進(jìn)行濾波，并將濾波后得到的區(qū)域確定為4中 的小物體區(qū)域；
[0297] 步驟905、對(duì)fn、fn+1和fn+2進(jìn)行運(yùn)動(dòng)估計(jì)，確定包括f n、fn+1和fn+2的多幀視頻幀中 任意兩相鄰幀的幀間運(yùn)動(dòng)矢量；
[0298] 具體實(shí)施中，由于在步驟901中已經(jīng)對(duì)4和fn+1進(jìn)行過(guò)運(yùn)動(dòng)估計(jì)，因而在步驟905 中，可以只對(duì)f n+1和fn+2進(jìn)行運(yùn)動(dòng)估計(jì)，得到fn+1和fn+2的幀間運(yùn)動(dòng)矢量。
[0299] 步驟906、將fn+1劃分為四個(gè)區(qū)域，并確定每個(gè)區(qū)域?qū)?yīng)的全局運(yùn)動(dòng)矢量；
[0300] 步驟907、根據(jù)包括fn、fn+1和fn+2的多幀視頻幀中任意兩相鄰幀的幀間運(yùn)動(dòng)矢量， 以及確定的每個(gè)區(qū)域?qū)?yīng)的全局運(yùn)動(dòng)矢量，確定fn+1中的小物體候選區(qū)域；
[0301] 步驟908、對(duì)fn+1中的小物體候選區(qū)域進(jìn)行濾波，并將濾波后得到的區(qū)域確定為 fn+1中的小物體區(qū)域；
[0302] 步驟909、對(duì)fn中的小物體區(qū)域和fn+1中的小物體區(qū)域以外的區(qū)域?qū)?yīng)的幀間運(yùn) 動(dòng)矢量進(jìn)行平滑濾波；
[0303] 需要說(shuō)明的是，在步驟901和步驟905中均同時(shí)確定4和fn+1之間的前向運(yùn)動(dòng)矢 量和后向運(yùn)動(dòng)矢量，步驟909中的4和f n+1的幀間運(yùn)動(dòng)矢量為步驟905中確定的4和fn+i 之間的前向運(yùn)動(dòng)矢量和后向運(yùn)動(dòng)矢量。
[0304] 需要說(shuō)明的是，本發(fā)明實(shí)施例的步驟901?步驟909是對(duì)分時(shí)確定4和fn+1中的 小物體區(qū)域進(jìn)行的介紹，而在具體應(yīng)用中，也可以同時(shí)確定4和f n+1中的小物體區(qū)域，在同 時(shí)確定fn和fn+1中的小物體區(qū)域時(shí)，需要同時(shí)對(duì)I、f n、fn+1和fn+2進(jìn)行運(yùn)動(dòng)估計(jì)，同時(shí)確 定4和fn+1中的小物體區(qū)域的步驟如下：
[0305] 步驟一、對(duì)1、fn、fn+1和fn+2進(jìn)行運(yùn)動(dòng)估計(jì)，確定包括1、f n、fn+1和fn+2的多中貞 視頻幀中任意兩相鄰幀的幀間運(yùn)動(dòng)矢量；
[0306] 步驟二、將4和fn+1各劃分為四個(gè)區(qū)域，并確定每個(gè)區(qū)域?qū)?yīng)的全局運(yùn)動(dòng)矢量；
[0307] 步驟三、根據(jù)包括4^4和fn+1的多幀視頻幀中任意兩相鄰幀的幀間運(yùn)動(dòng)矢量，以 及確定的f n中的每個(gè)區(qū)域?qū)?yīng)的全局運(yùn)動(dòng)矢量，確定fn中的小物體候選區(qū)域；根據(jù)包括fn、 4 +1和fn+2的多幀視頻幀中任意兩相鄰幀的幀間運(yùn)動(dòng)矢量，以及確定的4+1中的每個(gè)區(qū)域?qū)?應(yīng)的全局運(yùn)動(dòng)矢量，確定f n+1中的小物體候選區(qū)域；
[0308] 步驟四、對(duì)fn中的小物體候選區(qū)域進(jìn)行濾波，將濾波后得到的區(qū)域確定為f n中的 小物體區(qū)域；以及對(duì)fn+1中的小物體候選區(qū)域進(jìn)行濾波，將濾波后得到的區(qū)域確定為fn+1中 的小物體區(qū)域。
[0309] 步驟910、根據(jù)fn中的小物體區(qū)域和fn+1中的小物體區(qū)域?qū)?yīng)的幀間運(yùn)動(dòng)矢量，以 及平滑濾波后得到的幀間運(yùn)動(dòng)矢量，在f n和fn+1之間插補(bǔ)幀。
[0310] 具體實(shí)施中，可以根據(jù)前、后兩相鄰視頻幀之前的視頻幀中確定的小物體區(qū)域，對(duì) 前、后兩相鄰視頻幀中的每幀視頻幀分別包括的待處理圖像塊進(jìn)行分類，下面將在實(shí)施方 式二中進(jìn)行介紹。
[0311] 實(shí)施方式二
[0312] 如圖10所示，本發(fā)明實(shí)施例在兩相鄰視頻幀之間插補(bǔ)幀的方法包括下列步驟：
[0313] 步驟1001、根據(jù)L中確定的小物體區(qū)域包括的待處理圖像塊，將包括I、fn和 fn+1的多幀視頻幀中的每幀視頻幀包括的待處理圖像塊分為第一類待處理圖像塊和第二類 待處理圖像塊，分別確定每個(gè)第一類待處理圖像塊和每個(gè)第二類待處理圖像塊的幀間運(yùn)動(dòng) 矢量，得到包括?^、?· η和fn+1的多幀視頻幀中任意兩相鄰幀的幀間運(yùn)動(dòng)矢量；步驟1002、將 fn劃分為四個(gè)區(qū)域，并確定每個(gè)區(qū)域?qū)?yīng)的全局運(yùn)動(dòng)矢量；
[0314] 步驟1003、根據(jù)包括和fn+1的多幀視頻幀中任意兩相鄰幀的幀間運(yùn)動(dòng)矢量， 以及確定的每個(gè)區(qū)域?qū)?yīng)的全局運(yùn)動(dòng)矢量，確定f n中的小物體候選區(qū)域；
[0315] 步驟1004、對(duì)fn中的小物體候選區(qū)域進(jìn)行濾波，并將濾波后得到的區(qū)域確定為f n 中的小物體區(qū)域；
[0316] 步驟1005、根據(jù)L和fn中確定的小物體區(qū)域包括的待處理圖像塊，將包括f n、fn+1 和fn+2的多幀視頻幀中的每幀視頻幀包括的待處理圖像塊分為第一類待處理圖像塊和第二 類待處理圖像塊，分別確定每個(gè)第一類待處理圖像塊和每個(gè)第二類待處理圖像塊的幀間運(yùn) 動(dòng)矢量，得到包括f n、fn+1和fn+2的多幀視頻幀中任意兩相鄰幀的幀間運(yùn)動(dòng)矢量；
[0317] 步驟1006、將fn+1劃分為四個(gè)區(qū)域，并確定每個(gè)區(qū)域?qū)?yīng)的全局運(yùn)動(dòng)矢量；
[0318] 步驟1007、根據(jù)包括fn、fn+1和fn+2的多幀視頻幀中任意兩相鄰幀的幀間運(yùn)動(dòng)矢量， 以及確定的每個(gè)區(qū)域?qū)?yīng)的全局運(yùn)動(dòng)矢量，確定f n+1中的小物體候選區(qū)域；
[0319] 步驟1008、對(duì)fn+1中的小物體候選區(qū)域進(jìn)行濾波，并將濾波后得到的區(qū)域確定為 fn+1中的小物體區(qū)域；
[0320] 步驟1009、對(duì)fn中的小物體區(qū)域和fn+1中的小物體區(qū)域以外的區(qū)域?qū)?yīng)的幀間運(yùn) 動(dòng)矢量進(jìn)行平滑濾波；
[0321] 步驟1010、根據(jù)fn中的小物體區(qū)域和fn+1中的小物體區(qū)域?qū)?yīng)的幀間運(yùn)動(dòng)矢量， 以及平滑濾波后得到的幀間運(yùn)動(dòng)矢量，在f n和fn+1之間插補(bǔ)幀。
[0322] 具體實(shí)施中，可以不對(duì)4和fn+1的幀間運(yùn)動(dòng)矢量進(jìn)行平滑濾波，直接根據(jù)4和f n+1 的幀間運(yùn)動(dòng)矢量，在4和fn+1之間插補(bǔ)幀，下面將在實(shí)施方式三中進(jìn)行介紹。
[0323] 實(shí)施方式三
[0324] 如圖11所示，本發(fā)明實(shí)施例在兩相鄰視頻幀之間插補(bǔ)幀的方法包括下列步驟：
[0325] 步驟1101、確定中的小物體區(qū)域；
[0326] 步驟1102、根據(jù)L中確定的小物體區(qū)域包括的待處理圖像塊，將4和fn+1分別 包括的待處理圖像塊分為第一類待處理圖像塊和第二類待處理圖像塊，分別確定每個(gè)第一 類待處理圖像塊和每個(gè)第二類待處理圖像塊的幀間運(yùn)動(dòng)矢量，得到f n和fn+1的幀間運(yùn)動(dòng)矢 量；
[0327] 步驟1103、根據(jù)fn和fn+1的幀間運(yùn)動(dòng)矢量，在f n和fn+1之間插補(bǔ)幀。
[0328] 基于同一發(fā)明構(gòu)思，本發(fā)明實(shí)施例還提供一種確定視頻幀中小物體區(qū)域的裝置和 在兩相鄰視頻幀之間插補(bǔ)幀的裝置，由于與確定視頻幀中小物體區(qū)域的方法和在兩相鄰視 頻幀之間插補(bǔ)幀的方法具有相似的原理，因此實(shí)施中可以參考方法，重復(fù)之處不再贅述。
[0329] 圖12為本發(fā)明實(shí)施例確定視頻幀中小物體區(qū)域的裝置的結(jié)構(gòu)示意圖，如圖所示， 確定視頻幀中小物體區(qū)域的裝置包括：
[0330] 全局運(yùn)動(dòng)矢量確定單元1201，用于將當(dāng)前視頻幀劃分為至少兩個(gè)區(qū)域，確定每個(gè) 區(qū)域?qū)?yīng)的全局運(yùn)動(dòng)矢量，并將確定的所述全局運(yùn)動(dòng)矢量傳輸至區(qū)域確定單元1203 ;
[0331] 幀間運(yùn)動(dòng)矢量確定單元1202,用于確定包括所述當(dāng)前視頻幀和所述當(dāng)前視頻幀的 參考幀的多幀視頻幀中任意一組相鄰幀的幀間運(yùn)動(dòng)矢量，并將確定的所述幀間運(yùn)動(dòng)矢量傳 輸至區(qū)域確定單元1203 ;
[0332] 區(qū)域確定單元1203,用于根據(jù)來(lái)自所述幀間運(yùn)動(dòng)矢量確定單元1202的包括所述 當(dāng)前視頻幀和所述當(dāng)前視頻幀的參考幀的多幀視頻幀中任意一組相鄰幀的幀間運(yùn)動(dòng)矢量， 以及來(lái)自所述全局運(yùn)動(dòng)矢量確定單元1201的每個(gè)區(qū)域?qū)?yīng)的全局運(yùn)動(dòng)矢量，確定所述當(dāng) 前視頻幀中的小物體候選區(qū)域，并將確定的所述當(dāng)前視頻幀中的小物體候選區(qū)域信息傳輸 至處理單元1204 ;
[0333] 處理單元1204,用于根據(jù)來(lái)自所述區(qū)域確定單元1203的所述當(dāng)前視頻幀中的小 物體候選區(qū)域信息，確定所述當(dāng)前視頻幀中的小物體候選區(qū)域，對(duì)所述當(dāng)前視頻幀中的小 物體候選區(qū)域進(jìn)行濾波，并將濾波后得到的區(qū)域確定為當(dāng)前視頻幀中的小物體區(qū)域；
[0334] 其中，當(dāng)前視頻幀的參考幀包括當(dāng)前視頻幀的前連續(xù)視頻幀和當(dāng)前視頻幀的后連 續(xù)視頻幀中的一種或多種。
[0335] 較佳地，所述裝置還包括劃分單元1205,用于在確定包括當(dāng)前視頻幀和當(dāng)前視頻 幀的參考幀的多幀視頻幀中任意一組相鄰幀的幀間運(yùn)動(dòng)矢量之前，針對(duì)包括當(dāng)前視頻幀和 當(dāng)前視頻幀的參考幀的多幀視頻幀中任意一組相鄰幀中的每幀視頻幀包括的待處理圖像 塊，分別執(zhí)行：
[0336] 在當(dāng)前視頻幀的前N幀視頻幀中選擇至少一幀視頻幀；根據(jù)所述當(dāng)前視頻幀的前 N幀視頻幀中確定的小物體區(qū)域，確定所述待處理圖像塊在所選擇的所述至少一幀視頻幀 中對(duì)應(yīng)的參考圖像塊是否均為小物體區(qū)域包括的圖像塊；若是，則確定所述待處理圖像塊 為第一類待處理圖像塊，否則，確定所述待處理圖像塊為第二類待處理圖像塊；
[0337] 所述幀間運(yùn)動(dòng)矢量確定單元1202,具體用于分別確定每個(gè)第一類待處理圖像塊和 每個(gè)第二類待處理圖像塊的幀間運(yùn)動(dòng)矢量；并將確定的所述任意一組相鄰幀中的每幀視頻 幀分別包括的每個(gè)第一類待處理圖像塊和每個(gè)第二類待處理圖像塊的幀間運(yùn)動(dòng)矢量，作為 所述任意一組相鄰幀的幀間運(yùn)動(dòng)矢量。
[0338] 較佳地，所述幀間運(yùn)動(dòng)矢量確定單元1202,具體用于分別確定所述第一類待處理 圖像塊對(duì)應(yīng)的每個(gè)候選運(yùn)動(dòng)矢量與所述第一類待處理圖像塊所在的視頻幀的背景運(yùn)動(dòng)矢 量的相差度值；根據(jù)確定的各個(gè)候選運(yùn)動(dòng)矢量分別對(duì)應(yīng)的相差度值，按照相差度值由小到 大的順序賦予權(quán)值由大到小的規(guī)則，為每個(gè)候選運(yùn)動(dòng)矢量分別賦予對(duì)應(yīng)的權(quán)值；以及根據(jù) 為每個(gè)候選運(yùn)動(dòng)矢量分別賦予的權(quán)值和每個(gè)候選運(yùn)動(dòng)矢量指向的圖像塊與所述第一類待 處理圖像塊的像素的SAD值，確定所述第一類待處理圖像塊的幀間運(yùn)動(dòng)矢量。
[0339] 較佳地，所述劃分單元1205,具體用于選擇當(dāng)前視頻幀的至少一幀前連續(xù)視頻幀。
[0340] 較佳地，所述巾貞間運(yùn)動(dòng)矢量確定單元1202,具體用于針對(duì)每個(gè)候選運(yùn)動(dòng)矢量，確定 所述候選運(yùn)動(dòng)矢量被賦予的權(quán)值和所述候選運(yùn)動(dòng)矢量指向的圖像塊與所述第一類待處理 圖像塊的像素的SAD值的乘積，將乘積值最小的候選運(yùn)動(dòng)矢量作為所述第一類待處理圖像 塊的幀間運(yùn)動(dòng)矢量。
[0341] 較佳地，所述區(qū)域確定單元1203,具體用于根據(jù)包括所述當(dāng)前視頻幀和所述當(dāng)前 視頻幀的參考幀的多幀視頻幀中任意一組相鄰幀的幀間運(yùn)動(dòng)矢量，在所述當(dāng)前視頻幀的每 個(gè)參考幀中確定所述當(dāng)前視頻幀包括的每個(gè)圖像塊對(duì)應(yīng)的匹配塊；并在每個(gè)參考幀中確定 匹配塊附近的附近塊，并確定每個(gè)參考幀中確定的每個(gè)附近塊的幀間運(yùn)動(dòng)矢量；針對(duì)所述 當(dāng)前視頻幀包含的每一圖像塊，確定針對(duì)所述圖像塊確定的各個(gè)附近塊的幀間運(yùn)動(dòng)矢量與 所述圖像塊的幀間運(yùn)動(dòng)矢量的相似度值，確定每個(gè)附近塊的幀間運(yùn)動(dòng)矢量與全局運(yùn)動(dòng)矢量 的相差度值；根據(jù)確定的相似度值和相差度值，確定當(dāng)前視頻幀中的小物體候選區(qū)域包括 的圖像塊，其中，小物體候選區(qū)域包括的每個(gè)圖像塊滿足當(dāng)前視頻幀對(duì)應(yīng)的每個(gè)參考幀中 包含的針對(duì)所述圖像塊確定的多個(gè)附近塊中存在第一設(shè)定個(gè)數(shù)的附近塊的相似度值均不 小于第一閾值、且存在第二設(shè)定個(gè)數(shù)的附近塊的相差度值均不小于第二閾值。
[0342] 較佳地，所述裝置還包括標(biāo)志單元1206,用于在對(duì)當(dāng)前視頻幀中的小物體候選區(qū) 域進(jìn)行濾波之前，將小物體候選區(qū)域包括的每個(gè)圖像塊標(biāo)志特定標(biāo)記；
[0343] 所述處理單元1204,具體用于針對(duì)所述當(dāng)前視頻幀中小物體候選區(qū)域包括的每 個(gè)圖像塊，確定在所述圖像塊水平方向上的第一設(shè)定范圍內(nèi)標(biāo)志有所述特定標(biāo)記的圖像塊 的第一個(gè)數(shù)值、和在所述圖像塊垂直方向上的第二設(shè)定范圍內(nèi)標(biāo)志有所述特定標(biāo)記的圖像 塊的第二個(gè)數(shù)值；在確定的所述第一個(gè)數(shù)值或第二個(gè)數(shù)值大于第三閾值時(shí)，去除所述圖像 塊的特定標(biāo)記；以及確定在所述圖像塊周圍的第三設(shè)定范圍內(nèi)標(biāo)志有所述特定標(biāo)記的圖像 塊的第三個(gè)數(shù)值；在確定的所述第三個(gè)數(shù)值小于第四閾值時(shí)，去除所述圖像塊的特定標(biāo)記； 將當(dāng)前視頻幀中標(biāo)志有特定標(biāo)記的圖像塊確定為當(dāng)前視頻幀中的小物體區(qū)域，其中第三設(shè) 定范圍小于第一設(shè)定范圍和第二設(shè)定范圍，第四閾值小于第三閾值。
[0344] 圖13為本發(fā)明實(shí)施例在兩相鄰視頻幀之間插補(bǔ)幀的裝置的結(jié)構(gòu)示意圖，如圖所 示，在兩相鄰視頻幀之間插補(bǔ)幀的裝置包括：
[0345] 確定單元1301，用于確定前、后兩相鄰視頻幀中的在前視頻幀中的小物體區(qū)域和 在后視頻幀中的小物體區(qū)域，并將確定的所述在前視頻幀中的小物體區(qū)域和在后視頻幀中 的小物體區(qū)域的信息傳輸至濾波單元1302 ;
[0346] 濾波單元1302,用于根據(jù)來(lái)自所述確定單元1301的所述在前視頻幀中的小物體 區(qū)域和在后視頻幀中的小物體區(qū)域的信息，確定所述在前視頻幀中的小物體區(qū)域和在后視 頻幀中的小物體區(qū)域，對(duì)所述在前視頻幀中的小物體區(qū)域和所述在后視頻幀中的小物體區(qū) 域以外的區(qū)域?qū)?yīng)的幀間運(yùn)動(dòng)矢量進(jìn)行平滑濾波，并將平滑濾波后得到的幀間運(yùn)動(dòng)矢量傳 輸至插補(bǔ)單元1303 ;
[0347] 插補(bǔ)單元1303,用于根據(jù)來(lái)自所述濾波單元1302的所述平滑濾波后得到的幀間 運(yùn)動(dòng)矢量，以及所述在前視頻幀中的小物體區(qū)域和所述在后視頻幀中的小物體區(qū)域?qū)?yīng)的 幀間運(yùn)動(dòng)矢量，在所述前、后兩相鄰視頻幀之間插補(bǔ)幀。
[0348] 圖14為本發(fā)明實(shí)施例在兩相鄰視頻幀之間插補(bǔ)幀的裝置的結(jié)構(gòu)示意圖，如圖所 示，在兩相鄰視頻幀之間插補(bǔ)幀的裝置包括：
[0349] 劃分單元1401，用于根據(jù)前、后兩相鄰視頻幀的前N幀視頻幀中的小物體區(qū)域包 括的待處理圖像塊，將所述前、后兩相鄰視頻幀中的每幀視頻幀分別包括的待處理圖像塊 分為第一類待處理圖像塊和第二類待處理圖像塊，并將所述第一類待處理圖像塊和第二類 待處理圖像塊對(duì)應(yīng)的劃分信息傳輸至處理單元1402 ;
[0350] 處理單元1402,用于根據(jù)來(lái)自所述劃分單元1401的所述劃分信息，確定所述前、 后兩相鄰視頻幀中的每幀視頻幀分別包括的待處理圖像塊中的第一類待處理圖像塊和第 二類待處理圖像塊，分別確定每個(gè)第一類待處理圖像塊和每個(gè)第二類待處理圖像塊的幀間 運(yùn)動(dòng)矢量，以及將確定的所述前、后兩相鄰視頻幀中的每幀視頻幀分別包括的每個(gè)第一類 待處理圖像塊和每個(gè)第二類待處理圖像塊的幀間運(yùn)動(dòng)矢量，作為所述前、后兩相鄰視頻幀 的幀間運(yùn)動(dòng)矢量，并將所述前、后兩相鄰視頻幀的幀間運(yùn)動(dòng)矢量傳輸至插補(bǔ)單元1403 ;
[0351] 插補(bǔ)單元1403,用于根據(jù)來(lái)自所述處理單元1402的所述前、后兩相鄰視頻幀的幀 間運(yùn)動(dòng)矢量，在所述前、后兩相鄰視頻幀之間插補(bǔ)幀，其中，N為正整數(shù)。
[0352] 較佳地，所述劃分單元1401，具體用于針對(duì)所述前、后兩相鄰視頻幀中的每幀視頻 幀分別包括的待處理圖像塊，執(zhí)行：
[0353] 在所述前、后兩相鄰視頻幀的前N幀視頻幀中選擇至少一幀視頻幀；根據(jù)所述前、 后兩相鄰視頻幀的前N幀視頻幀中的小物體區(qū)域，確定待處理圖像塊在選擇的所述至少一 幀視頻幀中對(duì)應(yīng)的參考圖像塊是否均為小物體區(qū)域包括的圖像塊；若是，則確定所述待處 理圖像塊為第一類待處理圖像塊，否則，確定所述待處理圖像塊為第二類待處理圖像塊。
[0354] 較佳地，所述處理單元1402,具體用于分別確定所述第一類待處理圖像塊對(duì)應(yīng)的 每個(gè)候選運(yùn)動(dòng)矢量與所述第一類待處理圖像塊所在的視頻幀的背景運(yùn)動(dòng)矢量的相差度值； 根據(jù)確定的各個(gè)候選運(yùn)動(dòng)矢量分別對(duì)應(yīng)的相差度值，按照相差度值由小到大的順序賦予權(quán) 值由大到小的規(guī)則，為每個(gè)候選運(yùn)動(dòng)矢量分別賦予對(duì)應(yīng)的權(quán)值；根據(jù)為每個(gè)候選運(yùn)動(dòng)矢量 分別賦予的權(quán)值和每個(gè)候選運(yùn)動(dòng)矢量指向的圖像塊與所述第一類待處理圖像塊的像素的 SAD值，確定所述第一類待處理圖像塊的幀間運(yùn)動(dòng)矢量。
[0355] 較佳地，所述劃分單元1401，具體用于選擇所述前、后兩相鄰視頻幀的至少一幀前 連續(xù)視頻中貞。
[0356] 較佳地，所述處理單元1402,具體用于針對(duì)每個(gè)候選運(yùn)動(dòng)矢量，確定所述候選運(yùn)動(dòng) 矢量被賦予的權(quán)值和所述候選運(yùn)動(dòng)矢量指向的圖像塊與所述第一類待處理圖像塊的像素 的SAD值的乘積，將乘積值最小的候選運(yùn)動(dòng)矢量作為所述第一類待處理圖像塊的幀間運(yùn)動(dòng) 矢量。
[0357] 圖15為本發(fā)明實(shí)施例確定視頻幀中小物體區(qū)域的裝置的結(jié)構(gòu)示意圖，如圖所示， 確定視頻幀中小物體區(qū)域的裝置包括：
[0358] 處理器1501，用于將當(dāng)前視頻幀劃分為至少兩個(gè)區(qū)域，確定每個(gè)區(qū)域?qū)?yīng)的全局 運(yùn)動(dòng)矢量；確定包括所述當(dāng)前視頻幀和所述當(dāng)前視頻幀的參考幀的多幀視頻幀中任意一組 相鄰幀的幀間運(yùn)動(dòng)矢量；根據(jù)包括所述當(dāng)前視頻幀和所述當(dāng)前視頻幀的參考幀的多幀視頻 幀中任意一組相鄰幀的幀間運(yùn)動(dòng)矢量，以及每個(gè)區(qū)域?qū)?yīng)的全局運(yùn)動(dòng)矢量，確定所述當(dāng)前 視頻幀中的小物體候選區(qū)域；并
[0359] 根據(jù)對(duì)所述當(dāng)前視頻幀中的小物體候選區(qū)域進(jìn)行濾波，并將濾波后得到的區(qū)域確 定為當(dāng)前視頻幀中的小物體區(qū)域；
[0360] 存儲(chǔ)器1502,用于存儲(chǔ)每個(gè)區(qū)域?qū)?yīng)的全局運(yùn)動(dòng)矢量、所述任意一組相鄰幀的幀 間運(yùn)動(dòng)矢量、當(dāng)前視頻幀中的小物體候選區(qū)域信息和當(dāng)前視頻幀中的小物體區(qū)域信息；
[0361] 其中，當(dāng)前視頻幀的參考幀包括當(dāng)前視頻幀的前連續(xù)視頻幀和當(dāng)前視頻幀的后連 續(xù)視頻幀中的一種或多種。
[0362] 具體實(shí)施中，處理器1501可以直接到存儲(chǔ)器1502中調(diào)取需要的矢量或者信息，也 可以向存儲(chǔ)器1502發(fā)送獲取矢量或者信息指令，由存儲(chǔ)器1502將處理器1501發(fā)送的指令 中請(qǐng)求的矢量或者信息發(fā)送給處理器1501。
[0363] 較佳地，所述處理器1501，還用于在確定包括當(dāng)前視頻幀和當(dāng)前視頻幀的參考幀 的多幀視頻幀中任意一組相鄰幀的幀間運(yùn)動(dòng)矢量之前，針對(duì)包括當(dāng)前視頻幀和當(dāng)前視頻幀 的參考幀的多幀視頻幀中任意一組相鄰幀中的每幀視頻幀包括的待處理圖像塊，分別執(zhí) 行：
[0364] 在當(dāng)前視頻幀的前N幀視頻幀中選擇至少一幀視頻幀；根據(jù)所述當(dāng)前視頻幀的前 N幀視頻幀中確定的小物體區(qū)域，確定所述待處理圖像塊在所選擇的所述至少一幀視頻幀 中對(duì)應(yīng)的參考圖像塊是否均為小物體區(qū)域包括的圖像塊；若是，則確定所述待處理圖像塊 為第一類待處理圖像塊，否則，確定所述待處理圖像塊為第二類待處理圖像塊；
[0365] 所述處理器1501，具體用于分別確定每個(gè)第一類待處理圖像塊和每個(gè)第二類待處 理圖像塊的幀間運(yùn)動(dòng)矢量；并將確定的所述任意一組相鄰幀中的每幀視頻幀分別包括的每 個(gè)第一類待處理圖像塊和每個(gè)第二類待處理圖像塊的幀間運(yùn)動(dòng)矢量，作為所述任意一組相 鄰幀的幀間運(yùn)動(dòng)矢量。
[0366] 較佳地，所述處理器1501，具體用于分別確定所述第一類待處理圖像塊對(duì)應(yīng)的每 個(gè)候選運(yùn)動(dòng)矢量與所述第一類待處理圖像塊所在的視頻幀的背景運(yùn)動(dòng)矢量的相差度值；根 據(jù)確定的各個(gè)候選運(yùn)動(dòng)矢量分別對(duì)應(yīng)的相差度值，按照相差度值由小到大的順序賦予權(quán)值 由大到小的規(guī)則，為每個(gè)候選運(yùn)動(dòng)矢量分別賦予對(duì)應(yīng)的權(quán)值；以及根據(jù)為每個(gè)候選運(yùn)動(dòng)矢 量分別賦予的權(quán)值和每個(gè)候選運(yùn)動(dòng)矢量指向的圖像塊與所述第一類待處理圖像塊的像素 的SAD值，確定所述第一類待處理圖像塊的幀間運(yùn)動(dòng)矢量。
[0367] 較佳地，所述處理器1501，具體用于選擇當(dāng)前視頻幀的至少一幀前連續(xù)視頻幀。
[0368] 較佳地，所述處理器1501，具體用于針對(duì)每個(gè)候選運(yùn)動(dòng)矢量，確定所述候選運(yùn)動(dòng)矢 量被賦予的權(quán)值和所述候選運(yùn)動(dòng)矢量指向的圖像塊與所述第一類待處理圖像塊的像素的 SAD值的乘積，將乘積值最小的候選運(yùn)動(dòng)矢量作為所述第一類待處理圖像塊的幀間運(yùn)動(dòng)矢 量。
[0369] 較佳地，所述處理器1501，具體用于根據(jù)包括所述當(dāng)前視頻幀和所述當(dāng)前視頻幀 的參考幀的多幀視頻幀中任意一組相鄰幀的幀間運(yùn)動(dòng)矢量，在所述當(dāng)前視頻幀的每個(gè)參考 幀中確定所述當(dāng)前視頻幀包括的每個(gè)圖像塊對(duì)應(yīng)的匹配塊；并在每個(gè)參考幀中確定匹配塊 附近的附近塊，并確定每個(gè)參考幀中確定的每個(gè)附近塊的幀間運(yùn)動(dòng)矢量；針對(duì)所述當(dāng)前視 頻幀包含的每一圖像塊，確定針對(duì)所述圖像塊確定的各個(gè)附近塊的幀間運(yùn)動(dòng)矢量與所述圖 像塊的幀間運(yùn)動(dòng)矢量的相似度值，確定每個(gè)附近塊的幀間運(yùn)動(dòng)矢量與全局運(yùn)動(dòng)矢量的相差 度值；根據(jù)確定的相似度值和相差度值，確定當(dāng)前視頻幀中的小物體候選區(qū)域包括的圖像 塊，其中，小物體候選區(qū)域包括的每個(gè)圖像塊滿足當(dāng)前視頻幀對(duì)應(yīng)的每個(gè)參考幀中包含的 針對(duì)所述圖像塊確定的多個(gè)附近塊中存在第一設(shè)定個(gè)數(shù)的附近塊的相似度值均不小于第 一閾值、且存在第二設(shè)定個(gè)數(shù)的附近塊的相差度值均不小于第二閾值。
[0370] 較佳地，所述處理器1501，還用于在對(duì)當(dāng)前視頻幀中的小物體候選區(qū)域進(jìn)行濾波 之前，將小物體候選區(qū)域包括的每個(gè)圖像塊標(biāo)志特定標(biāo)記；
[0371] 所述處理器1501，具體用于針對(duì)所述當(dāng)前視頻幀中小物體候選區(qū)域包括的每個(gè)圖 像塊，確定在所述圖像塊水平方向上的第一設(shè)定范圍內(nèi)標(biāo)志有所述特定標(biāo)記的圖像塊的第 一個(gè)數(shù)值、和在所述圖像塊垂直方向上的第二設(shè)定范圍內(nèi)標(biāo)志有所述特定標(biāo)記的圖像塊的 第二個(gè)數(shù)值；在確定的所述第一個(gè)數(shù)值或第二個(gè)數(shù)值大于第三閾值時(shí)，去除所述圖像塊的 特定標(biāo)記；以及確定在所述圖像塊周圍的第三設(shè)定范圍內(nèi)標(biāo)志有所述特定標(biāo)記的圖像塊的 第三個(gè)數(shù)值；在確定的所述第三個(gè)數(shù)值小于第四閾值時(shí)，去除所述圖像塊的特定標(biāo)記；將 當(dāng)前視頻幀中標(biāo)志有特定標(biāo)記的圖像塊確定為當(dāng)前視頻幀中的小物體區(qū)域，其中第三設(shè)定 范圍小于第一設(shè)定范圍和第二設(shè)定范圍，第四閾值小于第三閾值。
[0372] 圖16為本發(fā)明實(shí)施例在兩相鄰視頻幀之間插補(bǔ)幀的裝置的結(jié)構(gòu)示意圖，如圖所 示，在兩相鄰視頻幀之間插補(bǔ)幀的裝置包括：
[0373] 處理器1601，用于確定前、后兩相鄰視頻幀中的在前視頻幀中的小物體區(qū)域和在 后視頻幀中的小物體區(qū)域；對(duì)所述在前視頻幀中的小物體區(qū)域和所述在后視頻幀中的小物 體區(qū)域以外的區(qū)域?qū)?yīng)的幀間運(yùn)動(dòng)矢量進(jìn)行平滑濾波；根據(jù)所述平滑濾波后得到的幀間運(yùn) 動(dòng)矢量，以及所述在前視頻幀中的小物體區(qū)域和所述在后視頻幀中的小物體區(qū)域?qū)?yīng)的幀 間運(yùn)動(dòng)矢量，在所述前、后兩相鄰視頻幀之間插補(bǔ)幀；
[0374] 存儲(chǔ)器1602,用于存儲(chǔ)在前視頻幀中的小物體區(qū)域信息，在后視頻幀中的小物體 區(qū)域信息，以及前、后兩相鄰視頻幀的幀間運(yùn)動(dòng)矢量。
[0375] 具體實(shí)施中，處理器1601可以直接到存儲(chǔ)器1602中調(diào)取需要的矢量或者信息，也 可以向存儲(chǔ)器1602發(fā)送獲取矢量或者信息指令，由存儲(chǔ)器1602將處理器1601發(fā)送的指令 中請(qǐng)求的矢量或者信息發(fā)送給處理器1601。
[0376] 圖17為本發(fā)明實(shí)施例在兩相鄰視頻幀之間插補(bǔ)幀的裝置的結(jié)構(gòu)示意圖，如圖所 示，在兩相鄰視頻幀之間插補(bǔ)幀的裝置包括：
[0377] 處理器1701，用于根據(jù)前、后兩相鄰視頻幀的前N幀視頻幀中的小物體區(qū)域包括 的待處理圖像塊，將所述前、后兩相鄰視頻幀中的每幀視頻幀分別包括的待處理圖像塊分 為第一類待處理圖像塊和第二類待處理圖像塊；分別確定每個(gè)第一類待處理圖像塊和每個(gè) 第二類待處理圖像塊的幀間運(yùn)動(dòng)矢量，以及將確定的所述前、后兩相鄰視頻幀中的每幀視 頻幀分別包括的每個(gè)第一類待處理圖像塊和每個(gè)第二類待處理圖像塊的幀間運(yùn)動(dòng)矢量，作 為所述前、后兩相鄰視頻幀的幀間運(yùn)動(dòng)矢量；根據(jù)所述前、后兩相鄰視頻幀的幀間運(yùn)動(dòng)矢 量，在所述前、后兩相鄰視頻幀之間插補(bǔ)幀，其中，N為正整數(shù)；
[0378] 存儲(chǔ)器1702,用于存儲(chǔ)前、后兩相鄰視頻幀的前N幀視頻幀中的小物體區(qū)域信息， 前、后兩相鄰視頻幀中的每幀視頻幀分別包括的待處理圖像塊的分類信息，以及前、后兩相 鄰視頻幀的幀間運(yùn)動(dòng)矢量。
[0379] 具體實(shí)施中，處理器1701可以直接到存儲(chǔ)器1702中調(diào)取需要的矢量或者信息，也 可以向存儲(chǔ)器1702發(fā)送獲取矢量或者信息指令，由存儲(chǔ)器1702將處理器1701發(fā)送的指令 中請(qǐng)求的矢量或者信息發(fā)送給處理器1701。
[0380] 較佳地，所述處理器1701，具體用于針對(duì)所述前、后兩相鄰視頻幀中的每幀視頻幀 分別包括的待處理圖像塊，執(zhí)行：
[0381] 在所述前、后兩相鄰視頻幀的前N幀視頻幀中選擇至少一幀視頻幀；根據(jù)所述前、 后兩相鄰視頻幀的前N幀視頻幀中的小物體區(qū)域，確定待處理圖像塊在選擇的所述至少一 幀視頻幀中對(duì)應(yīng)的參考圖像塊是否均為小物體區(qū)域包括的圖像塊；若是，則確定所述待處 理圖像塊為第一類待處理圖像塊，否則，確定所述待處理圖像塊為第二類待處理圖像塊。
[0382] 較佳地，所述處理器1701，具體用于分別確定所述第一類待處理圖像塊對(duì)應(yīng)的每 個(gè)候選運(yùn)動(dòng)矢量與所述第一類待處理圖像塊所在的視頻幀的背景運(yùn)動(dòng)矢量的相差度值；根 據(jù)確定的各個(gè)候選運(yùn)動(dòng)矢量分別對(duì)應(yīng)的相差度值，按照相差度值由小到大的順序賦予權(quán)值 由大到小的規(guī)則，為每個(gè)候選運(yùn)動(dòng)矢量分別賦予對(duì)應(yīng)的權(quán)值；根據(jù)為每個(gè)候選運(yùn)動(dòng)矢量分 別賦予的權(quán)值和每個(gè)候選運(yùn)動(dòng)矢量指向的圖像塊與所述第一類待處理圖像塊的像素的SAD 值，確定所述第一類待處理圖像塊的幀間運(yùn)動(dòng)矢量。
[0383] 較佳地，所述處理器1701，具體用于選擇所述前、后兩相鄰視頻幀的至少一幀前連 續(xù)視頻幀。
[0384] 較佳地，所述處理器1701，具體用于針對(duì)每個(gè)候選運(yùn)動(dòng)矢量，確定所述候選運(yùn)動(dòng)矢 量被賦予的權(quán)值和所述候選運(yùn)動(dòng)矢量指向的圖像塊與所述第一類待處理圖像塊的像素的 SAD值的乘積，將乘積值最小的候選運(yùn)動(dòng)矢量作為所述第一類待處理圖像塊的幀間運(yùn)動(dòng)矢 量。
[0385] 本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)明白，本發(fā)明的實(shí)施例可提供為方法、系統(tǒng)、或計(jì)算機(jī)程序 產(chǎn)品。因此，本發(fā)明可采用完全硬件實(shí)施例、完全軟件實(shí)施例、或結(jié)合軟件和硬件方面的實(shí) 施例的形式。而且，本發(fā)明可采用在一個(gè)或多個(gè)其中包含有計(jì)算機(jī)可用程序代碼的計(jì)算機(jī) 可用存儲(chǔ)介質(zhì)(包括但不限于磁盤存儲(chǔ)器、CD-ROM、光學(xué)存儲(chǔ)器等）上實(shí)施的計(jì)算機(jī)程序產(chǎn) 品的形式。
[0386] 本發(fā)明是參照根據(jù)本發(fā)明實(shí)施例的方法、設(shè)備(系統(tǒng))、和計(jì)算機(jī)程序產(chǎn)品的流程 圖和/或方框圖來(lái)描述的。應(yīng)理解可由計(jì)算機(jī)程序指令實(shí)現(xiàn)流程圖和/或方框圖中的每一 流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合?？商峁┻@些計(jì)算 機(jī)程序指令到通用計(jì)算機(jī)、專用計(jì)算機(jī)、嵌入式處理機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理 器以產(chǎn)生一個(gè)機(jī)器，使得通過(guò)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令產(chǎn)生 用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能 的裝置。
[0387] 這些計(jì)算機(jī)程序指令也可存儲(chǔ)在能引導(dǎo)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備以特 定方式工作的計(jì)算機(jī)可讀存儲(chǔ)器中，使得存儲(chǔ)在該計(jì)算機(jī)可讀存儲(chǔ)器中的指令產(chǎn)生包括指 令裝置的制造品，該指令裝置實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或 多個(gè)方框中指定的功能。
[0388] 這些計(jì)算機(jī)程序指令也可裝載到計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備上，使得在計(jì) 算機(jī)或其他可編程設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的處理，從而在計(jì)算機(jī)或 其他可編程設(shè)備上執(zhí)行的指令提供用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖 一個(gè)方框或多個(gè)方框中指定的功能的步驟。
[0389] 盡管已描述了本發(fā)明的優(yōu)選實(shí)施例，但本領(lǐng)域內(nèi)的技術(shù)人員一旦得知了基本創(chuàng)造 性概念，則可對(duì)這些實(shí)施例作出另外的變更和修改。所以，所附權(quán)利要求意欲解釋為包括優(yōu) 選實(shí)施例以及落入本發(fā)明范圍的所有變更和修改。
[0390] 顯然，本領(lǐng)域的技術(shù)人員可以對(duì)本發(fā)明進(jìn)行各種改動(dòng)和變型而不脫離本發(fā)明的精 神和范圍。這樣，倘若本發(fā)明的這些修改和變型屬于本發(fā)明權(quán)利要求及其等同技術(shù)的范圍 之內(nèi)，則本發(fā)明也意圖包含這些改動(dòng)和變型在內(nèi)。
【權(quán)利要求】
1. 一種確定視頻幀中小物體區(qū)域的方法，其特征在于，該方法包括： 將當(dāng)前視頻幀劃分為至少兩個(gè)區(qū)域，并確定每個(gè)區(qū)域?qū)?yīng)的全局運(yùn)動(dòng)矢量； 確定包括所述當(dāng)前視頻幀和所述當(dāng)前視頻幀的參考幀的多幀視頻幀中任意一組相鄰 幀的幀間運(yùn)動(dòng)矢量； 根據(jù)所確定的包括所述當(dāng)前視頻幀和所述當(dāng)前視頻幀的參考幀的多幀視頻幀中任意 一組相鄰幀的幀間運(yùn)動(dòng)矢量，以及確定的所述每個(gè)區(qū)域?qū)?yīng)的全局運(yùn)動(dòng)矢量，確定所述當(dāng) 前視頻幀中的小物體候選區(qū)域； 對(duì)所述當(dāng)前視頻幀中的小物體候選區(qū)域進(jìn)行濾波，并將濾波后得到的區(qū)域確定為當(dāng)前 視頻幀中的小物體區(qū)域； 其中，當(dāng)前視頻幀的參考幀包括當(dāng)前視頻幀的前連續(xù)視頻幀和當(dāng)前視頻幀的后連續(xù)視 頻幀中的一種或多種。
2. 如權(quán)利要求1所述的方法，其特征在于，所述確定包括所述當(dāng)前視頻幀和所述當(dāng)前 視頻幀的參考幀的多幀視頻幀中任意一組相鄰幀的幀間運(yùn)動(dòng)矢量之前，還包括： 針對(duì)包括所述當(dāng)前視頻幀和所述當(dāng)前視頻幀的參考幀的多幀視頻幀中任意一組相鄰 幀中的每幀視頻幀包括的待處理圖像塊，分別執(zhí)行： 在當(dāng)前視頻幀的前N幀視頻幀中選擇至少一幀視頻幀，其中N為正整數(shù)； 根據(jù)所述當(dāng)前視頻幀的前N幀視頻幀中確定的小物體區(qū)域，確定所述待處理圖像塊在 所選擇的所述至少一幀視頻幀中對(duì)應(yīng)的參考圖像塊是否均為小物體區(qū)域包括的圖像塊； 若是，則確定所述待處理圖像塊為第一類待處理圖像塊，否則，確定所述待處理圖像塊 為第二類待處理圖像塊； 所述確定包括所述當(dāng)前視頻幀和所述當(dāng)前視頻幀的參考幀的多幀視頻幀中任意一組 相鄰幀的幀間運(yùn)動(dòng)矢量，包括： 分別確定每個(gè)第一類待處理圖像塊和每個(gè)第二類待處理圖像塊的幀間運(yùn)動(dòng)矢量； 將確定的所述任意一組相鄰幀中的每幀視頻幀分別包括的每個(gè)第一類待處理圖像塊 和每個(gè)第二類待處理圖像塊的幀間運(yùn)動(dòng)矢量，作為所述任意一組相鄰幀的幀間運(yùn)動(dòng)矢量。
3. 如權(quán)利要求2所述的方法，其特征在于，確定所述每個(gè)第一類待處理圖像塊的幀間 運(yùn)動(dòng)矢量，包括： 分別確定所述第一類待處理圖像塊對(duì)應(yīng)的每個(gè)候選運(yùn)動(dòng)矢量與所述第一類待處理圖 像塊所在的視頻幀的背景運(yùn)動(dòng)矢量的相差度值； 根據(jù)確定的各個(gè)候選運(yùn)動(dòng)矢量分別對(duì)應(yīng)的相差度值，按照相差度值由小到大的順序賦 予權(quán)值由大到小的規(guī)則，為每個(gè)候選運(yùn)動(dòng)矢量分別賦予對(duì)應(yīng)的權(quán)值； 根據(jù)為每個(gè)候選運(yùn)動(dòng)矢量分別賦予的權(quán)值和每個(gè)候選運(yùn)動(dòng)矢量指向的圖像塊與所述 第一類待處理圖像塊的像素的SAD值，確定所述第一類待處理圖像塊的幀間運(yùn)動(dòng)矢量。
4. 如權(quán)利要求2或3所述的方法，其特征在于，在當(dāng)前視頻幀的前N幀視頻幀中選擇至 少一幀視頻幀，包括： 選擇當(dāng)前視頻巾貞的至少一巾貞前連續(xù)視頻中貞。
5. 如權(quán)利要求3所述的方法，其特征在于，確定所述第一類待處理圖像塊的幀間運(yùn)動(dòng) 矢量，包括： 針對(duì)每個(gè)候選運(yùn)動(dòng)矢量，確定所述候選運(yùn)動(dòng)矢量被賦予的權(quán)值和所述候選運(yùn)動(dòng)矢量指 向的圖像塊與所述第一類待處理圖像塊的像素的SAD值的乘積，將乘積值最小的候選運(yùn)動(dòng) 矢量作為所述第一類待處理圖像塊的幀間運(yùn)動(dòng)矢量。
6. 如權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所確定的包括所述當(dāng)前視頻幀和 所述當(dāng)前視頻幀的參考幀的多幀視頻幀中任意一組相鄰幀的幀間運(yùn)動(dòng)矢量，以及確定的所 述每個(gè)區(qū)域?qū)?yīng)的全局運(yùn)動(dòng)矢量，確定所述當(dāng)前視頻幀中的小物體候選區(qū)域，包括： 根據(jù)包括所述當(dāng)前視頻幀和所述當(dāng)前視頻幀的參考幀的多幀視頻幀中任意一組相鄰 幀的幀間運(yùn)動(dòng)矢量，在所述當(dāng)前視頻幀的每個(gè)參考幀中確定所述當(dāng)前視頻幀包括的每個(gè)圖 像塊對(duì)應(yīng)的匹配塊；并 在每個(gè)參考幀中確定匹配塊附近的附近塊，并確定每個(gè)參考幀中確定的每個(gè)附近塊的 幀間運(yùn)動(dòng)矢量； 針對(duì)所述當(dāng)前視頻幀包含的每一圖像塊，確定針對(duì)所述圖像塊確定的各個(gè)附近塊的幀 間運(yùn)動(dòng)矢量與所述圖像塊的幀間運(yùn)動(dòng)矢量的相似度值，并確定每個(gè)附近塊的幀間運(yùn)動(dòng)矢量 與全局運(yùn)動(dòng)矢量的相差度值； 根據(jù)確定的相似度值和相差度值，確定當(dāng)前視頻幀中的小物體候選區(qū)域包括的圖像 塊，其中，小物體候選區(qū)域包括的每個(gè)圖像塊滿足當(dāng)前視頻幀對(duì)應(yīng)的每個(gè)參考幀中包含的 針對(duì)所述圖像塊確定的多個(gè)附近塊中存在第一設(shè)定個(gè)數(shù)的附近塊的相似度值均不小于第 一閾值、且存在第二設(shè)定個(gè)數(shù)的附近塊的相差度值均不小于第二閾值。
7. 如權(quán)利要求1所述的方法，其特征在于，對(duì)當(dāng)前視頻幀中的小物體候選區(qū)域進(jìn)行濾 波之前，還包括： 將小物體候選區(qū)域包括的每個(gè)圖像塊標(biāo)志特定標(biāo)記； 對(duì)當(dāng)前視頻幀中的小物體候選區(qū)域進(jìn)行濾波，將濾波后得到的區(qū)域確定為當(dāng)前視頻幀 中的小物體區(qū)域，包括： 針對(duì)所述當(dāng)前視頻幀中小物體候選區(qū)域包括的每個(gè)圖像塊，確定在所述圖像塊水平方 向上的第一設(shè)定范圍內(nèi)標(biāo)志有所述特定標(biāo)記的圖像塊的第一個(gè)數(shù)值、和在所述圖像塊垂直 方向上的第二設(shè)定范圍內(nèi)標(biāo)志有所述特定標(biāo)記的圖像塊的第二個(gè)數(shù)值； 在確定的所述第一個(gè)數(shù)值或第二個(gè)數(shù)值大于第三閾值時(shí)，去除所述圖像塊的特定標(biāo) 記；以及 確定在所述圖像塊周圍的第三設(shè)定范圍內(nèi)標(biāo)志有所述特定標(biāo)記的圖像塊的第三個(gè)數(shù) 值； 在確定的所述第三個(gè)數(shù)值小于第四閾值時(shí)，去除所述圖像塊的特定標(biāo)記； 將當(dāng)前視頻幀中標(biāo)志有特定標(biāo)記的圖像塊確定為當(dāng)前視頻幀中的小物體區(qū)域； 其中第三設(shè)定范圍小于第一設(shè)定范圍和第二設(shè)定范圍，第四閾值小于第三閾值。
8. -種基于權(quán)利要求1?7任一確定視頻幀中小物體區(qū)域的方法的在兩相鄰視頻幀之 間插補(bǔ)幀的方法，其特征在于，該方法包括： 確定前、后兩相鄰視頻幀中的在前視頻幀中的小物體區(qū)域和在后視頻幀中的小物體區(qū) 域； 對(duì)所述在前視頻幀中的小物體區(qū)域和所述在后視頻幀中的小物體區(qū)域以外的區(qū)域?qū)?應(yīng)的幀間運(yùn)動(dòng)矢量進(jìn)行平滑濾波； 根據(jù)所述在前視頻幀中的小物體區(qū)域和所述在后視頻幀中的小物體區(qū)域?qū)?yīng)的幀間 運(yùn)動(dòng)矢量，以及平滑濾波后得到的幀間運(yùn)動(dòng)矢量，在前、后兩相鄰視頻幀之間插補(bǔ)幀。
9. 一種基于權(quán)利要求1?7任一確定視頻幀中小物體區(qū)域的方法的在兩相鄰視頻幀之 間插補(bǔ)幀的方法，其特征在于，該方法包括： 根據(jù)前、后兩相鄰視頻幀的前N幀視頻幀中的小物體區(qū)域包括的待處理圖像塊，將所 述前、后兩相鄰視頻幀中的每幀視頻幀分別包括的待處理圖像塊分為第一類待處理圖像塊 和第二類待處理圖像塊； 分別確定每個(gè)第一類待處理圖像塊和每個(gè)第二類待處理圖像塊的幀間運(yùn)動(dòng)矢量，以 及將確定的所述前、后兩相鄰視頻幀中的每幀視頻幀分別包括的每個(gè)第一類待處理圖像塊 和每個(gè)第二類待處理圖像塊的幀間運(yùn)動(dòng)矢量，作為所述前、后兩相鄰視頻幀的幀間運(yùn)動(dòng)矢 量； 根據(jù)得到的所述前、后兩相鄰視頻幀的幀間運(yùn)動(dòng)矢量，在所述前、后兩相鄰視頻幀之間 插補(bǔ)幀，其中，N為正整數(shù)。
10. 如權(quán)利要求9所述的方法，其特征在于，根據(jù)前、后兩相鄰視頻幀的前N幀視頻幀中 的小物體區(qū)域包括的待處理圖像塊，將所述前、后兩相鄰視頻幀中的每幀視頻幀分別包括 的待處理圖像塊分為第一類待處理圖像塊和第二類待處理圖像塊，包括： 針對(duì)所述前、后兩相鄰視頻幀中的每幀視頻幀分別包括的待處理圖像塊，執(zhí)行： 在所述前、后兩相鄰視頻幀的前N幀視頻幀中選擇至少一幀視頻幀； 根據(jù)所述前、后兩相鄰視頻幀的前N幀視頻幀中的小物體區(qū)域，確定待處理圖像塊在 選擇的所述至少一幀視頻幀中對(duì)應(yīng)的參考圖像塊是否均為小物體區(qū)域包括的圖像塊； 若是，則確定所述待處理圖像塊為第一類待處理圖像塊，否則，確定所述待處理圖像塊 為第二類待處理圖像塊。
11. 如權(quán)利要求10所述的方法，其特征在于，分別確定每個(gè)第一類待處理圖像塊的幀 間運(yùn)動(dòng)矢量，包括： 分別確定所述第一類待處理圖像塊對(duì)應(yīng)的每個(gè)候選運(yùn)動(dòng)矢量與所述第一類待處理圖 像塊所在的視頻幀的背景運(yùn)動(dòng)矢量的相差度值； 根據(jù)確定的各個(gè)候選運(yùn)動(dòng)矢量分別對(duì)應(yīng)的相差度值，按照相差度值由小到大的順序賦 予權(quán)值由大到小的規(guī)則，為每個(gè)候選運(yùn)動(dòng)矢量分別賦予對(duì)應(yīng)的權(quán)值； 根據(jù)為每個(gè)候選運(yùn)動(dòng)矢量分別賦予的權(quán)值和每個(gè)候選運(yùn)動(dòng)矢量指向的圖像塊與所述 第一類待處理圖像塊的像素的SAD值，確定所述第一類待處理圖像塊的幀間運(yùn)動(dòng)矢量。
12. 如權(quán)利要求10或11所述的方法，其特征在于，在所述前N幀視頻幀中選擇至少一 中貞視頻巾貞，包括： 選擇所述前、后兩相鄰視頻幀的至少一幀前連續(xù)視頻幀。
13. 如權(quán)利要求11所述的方法，其特征在于，確定所述第一類待處理圖像塊的幀間運(yùn) 動(dòng)矢量，包括： 針對(duì)每個(gè)候選運(yùn)動(dòng)矢量，確定所述候選運(yùn)動(dòng)矢量被賦予的權(quán)值和所述候選運(yùn)動(dòng)矢量指 向的圖像塊與所述第一類待處理圖像塊的像素的SAD值的乘積，將乘積值最小的候選運(yùn)動(dòng) 矢量作為所述第一類待處理圖像塊的幀間運(yùn)動(dòng)矢量。
14. 一種確定視頻幀中小物體區(qū)域的裝置，其特征在于，包括： 全局運(yùn)動(dòng)矢量確定單元，用于將當(dāng)前視頻幀劃分為至少兩個(gè)區(qū)域，確定每個(gè)區(qū)域?qū)?yīng) 的全局運(yùn)動(dòng)矢量，并將確定的所述全局運(yùn)動(dòng)矢量傳輸至區(qū)域確定單元； 幀間運(yùn)動(dòng)矢量確定單元，用于確定包括所述當(dāng)前視頻幀和所述當(dāng)前視頻幀的參考幀的 多幀視頻幀中任意一組相鄰幀的幀間運(yùn)動(dòng)矢量，并將確定的所述幀間運(yùn)動(dòng)矢量傳輸至區(qū)域 確定單元； 區(qū)域確定單元，用于根據(jù)來(lái)自所述幀間運(yùn)動(dòng)矢量確定單元的包括所述當(dāng)前視頻幀和所 述當(dāng)前視頻幀的參考幀的多幀視頻幀中任意一組相鄰幀的幀間運(yùn)動(dòng)矢量，以及來(lái)自所述全 局運(yùn)動(dòng)矢量確定單元的每個(gè)區(qū)域?qū)?yīng)的全局運(yùn)動(dòng)矢量，確定所述當(dāng)前視頻幀中的小物體候 選區(qū)域，并將確定的所述當(dāng)前視頻幀中的小物體候選區(qū)域信息傳輸至處理單元； 處理單元，用于根據(jù)來(lái)自所述區(qū)域確定單元的所述當(dāng)前視頻幀中的小物體候選區(qū)域信 息，確定所述當(dāng)前視頻幀中的小物體候選區(qū)域，對(duì)所述當(dāng)前視頻幀中的小物體候選區(qū)域進(jìn) 行濾波，并將濾波后得到的區(qū)域確定為當(dāng)前視頻幀中的小物體區(qū)域； 其中，當(dāng)前視頻幀的參考幀包括當(dāng)前視頻幀的前連續(xù)視頻幀和當(dāng)前視頻幀的后連續(xù)視 頻幀中的一種或多種。
15. 如權(quán)利要求14所述的裝置，其特征在于，還包括劃分單元，用于在確定包括當(dāng)前視 頻幀和當(dāng)前視頻幀的參考幀的多幀視頻幀中任意一組相鄰幀的幀間運(yùn)動(dòng)矢量之前，針對(duì)包 括當(dāng)前視頻幀和當(dāng)前視頻幀的參考幀的多幀視頻幀中任意一組相鄰幀中的每幀視頻幀包 括的待處理圖像塊，分別執(zhí)行： 在當(dāng)前視頻幀的前N幀視頻幀中選擇至少一幀視頻幀；根據(jù)所述當(dāng)前視頻幀的前N幀 視頻幀中確定的小物體區(qū)域，確定所述待處理圖像塊在所選擇的所述至少一幀視頻幀中對(duì) 應(yīng)的參考圖像塊是否均為小物體區(qū)域包括的圖像塊；若是，則確定所述待處理圖像塊為第 一類待處理圖像塊，否則，確定所述待處理圖像塊為第二類待處理圖像塊； 所述幀間運(yùn)動(dòng)矢量確定單元，具體用于分別確定每個(gè)第一類待處理圖像塊和每個(gè)第二 類待處理圖像塊的幀間運(yùn)動(dòng)矢量；并將確定的所述任意一組相鄰幀中的每幀視頻幀分別包 括的每個(gè)第一類待處理圖像塊和每個(gè)第二類待處理圖像塊的幀間運(yùn)動(dòng)矢量，作為所述任意 一組相鄰幀的幀間運(yùn)動(dòng)矢量。
16. 如權(quán)利要求15所述的裝置，其特征在于，所述幀間運(yùn)動(dòng)矢量確定單元，具體用于分 別確定所述第一類待處理圖像塊對(duì)應(yīng)的每個(gè)候選運(yùn)動(dòng)矢量與所述第一類待處理圖像塊所 在的視頻幀的背景運(yùn)動(dòng)矢量的相差度值；根據(jù)確定的各個(gè)候選運(yùn)動(dòng)矢量分別對(duì)應(yīng)的相差度 值，按照相差度值由小到大的順序賦予權(quán)值由大到小的規(guī)則，為每個(gè)候選運(yùn)動(dòng)矢量分別賦 予對(duì)應(yīng)的權(quán)值；以及根據(jù)為每個(gè)候選運(yùn)動(dòng)矢量分別賦予的權(quán)值和每個(gè)候選運(yùn)動(dòng)矢量指向的 圖像塊與所述第一類待處理圖像塊的像素的SAD值，確定所述第一類待處理圖像塊的幀間 運(yùn)動(dòng)矢量。
17. 如權(quán)利要求14所述的裝置，其特征在于，所述區(qū)域確定單元，具體用于根據(jù)包括所 述當(dāng)前視頻幀和所述當(dāng)前視頻幀的參考幀的多幀視頻幀中任意一組相鄰幀的幀間運(yùn)動(dòng)矢 量，在所述當(dāng)前視頻巾貞的每個(gè)參考巾貞中確定所述當(dāng)前視頻巾貞包括的每個(gè)圖像塊對(duì)應(yīng)的匹配 塊；并在每個(gè)參考幀中確定匹配塊附近的附近塊，并確定每個(gè)參考幀中確定的每個(gè)附近塊 的幀間運(yùn)動(dòng)矢量；針對(duì)所述當(dāng)前視頻幀包含的每一圖像塊，確定針對(duì)所述圖像塊確定的各 個(gè)附近塊的幀間運(yùn)動(dòng)矢量與所述圖像塊的幀間運(yùn)動(dòng)矢量的相似度值，確定每個(gè)附近塊的幀 間運(yùn)動(dòng)矢量與全局運(yùn)動(dòng)矢量的相差度值；根據(jù)確定的相似度值和相差度值，確定當(dāng)前視頻 幀中的小物體候選區(qū)域包括的圖像塊，其中，小物體候選區(qū)域包括的每個(gè)圖像塊滿足當(dāng)前 視頻幀對(duì)應(yīng)的每個(gè)參考幀中包含的針對(duì)所述圖像塊確定的多個(gè)附近塊中存在第一設(shè)定個(gè) 數(shù)的附近塊的相似度值均不小于第一閾值、且存在第二設(shè)定個(gè)數(shù)的附近塊的相差度值均不 小于第二閾值。
18. 如權(quán)利要求14所述的裝置，其特征在于，還包括標(biāo)志單元，用于在對(duì)當(dāng)前視頻幀中 的小物體候選區(qū)域進(jìn)行濾波之前，將小物體候選區(qū)域包括的每個(gè)圖像塊標(biāo)志特定標(biāo)記； 所述處理單元，具體用于針對(duì)所述當(dāng)前視頻幀中小物體候選區(qū)域包括的每個(gè)圖像塊， 確定在所述圖像塊水平方向上的第一設(shè)定范圍內(nèi)標(biāo)志有所述特定標(biāo)記的圖像塊的第一個(gè) 數(shù)值、和在所述圖像塊垂直方向上的第二設(shè)定范圍內(nèi)標(biāo)志有所述特定標(biāo)記的圖像塊的第二 個(gè)數(shù)值；在確定的所述第一個(gè)數(shù)值或第二個(gè)數(shù)值大于第三閾值時(shí)，去除所述圖像塊的特定 標(biāo)記；以及確定在所述圖像塊周圍的第三設(shè)定范圍內(nèi)標(biāo)志有所述特定標(biāo)記的圖像塊的第三 個(gè)數(shù)值；在確定的所述第三個(gè)數(shù)值小于第四閾值時(shí)，去除所述圖像塊的特定標(biāo)記；將當(dāng)前 視頻幀中標(biāo)志有特定標(biāo)記的圖像塊確定為當(dāng)前視頻幀中的小物體區(qū)域，其中第三設(shè)定范圍 小于第一設(shè)定范圍和第二設(shè)定范圍，第四閾值小于第三閾值。
19. 一種在兩相鄰視頻幀之間插補(bǔ)幀的裝置，其特征在于，包括： 確定單元，用于確定前、后兩相鄰視頻幀中的在前視頻幀中的小物體區(qū)域和在后視頻 幀中的小物體區(qū)域，并將確定的所述在前視頻幀中的小物體區(qū)域和在后視頻幀中的小物體 區(qū)域的信息傳輸至濾波單元； 濾波單元，用于根據(jù)來(lái)自所述確定單元的所述在前視頻幀中的小物體區(qū)域和在后視頻 幀中的小物體區(qū)域的信息，確定所述確定單元的所述在前視頻幀中的小物體區(qū)域和在后視 頻幀中的小物體區(qū)域，對(duì)所述在前視頻幀中的小物體區(qū)域和所述在后視頻幀中的小物體區(qū) 域以外的區(qū)域?qū)?yīng)的幀間運(yùn)動(dòng)矢量進(jìn)行平滑濾波，并將平滑濾波后得到的幀間運(yùn)動(dòng)矢量傳 輸至插補(bǔ)單元； 插補(bǔ)單元，用于根據(jù)來(lái)自所述濾波單元的所述平滑濾波后得到的幀間運(yùn)動(dòng)矢量，以及 所述在前視頻幀中的小物體區(qū)域和所述在后視頻幀中的小物體區(qū)域?qū)?yīng)的幀間運(yùn)動(dòng)矢量， 在所述前、后兩相鄰視頻幀之間插補(bǔ)幀。
20. -種在兩相鄰視頻幀之間插補(bǔ)幀的裝置，其特征在于，包括： 劃分單元，用于根據(jù)前、后兩相鄰視頻幀的前N幀視頻幀中的小物體區(qū)域包括的待處 理圖像塊，將所述前、后兩相鄰視頻幀中的每幀視頻幀分別包括的待處理圖像塊分為第一 類待處理圖像塊和第二類待處理圖像塊，并將所述第一類待處理圖像塊和第二類待處理圖 像塊對(duì)應(yīng)的劃分信息傳輸至處理單元； 處理單元，用于根據(jù)來(lái)自所述劃分單元的所述劃分信息，確定所述前、后兩相鄰視頻幀 中的每幀視頻幀分別包括的待處理圖像塊中的第一類待處理圖像塊和第二類待處理圖像 塊，分別確定每個(gè)第一類待處理圖像塊和每個(gè)第二類待處理圖像塊的幀間運(yùn)動(dòng)矢量，以及 將確定的所述前、后兩相鄰視頻幀中的每幀視頻幀分別包括的每個(gè)第一類待處理圖像塊和 每個(gè)第二類待處理圖像塊的幀間運(yùn)動(dòng)矢量，作為所述前、后兩相鄰視頻幀的幀間運(yùn)動(dòng)矢量， 并將所述前、后兩相鄰視頻幀的幀間運(yùn)動(dòng)矢量傳輸至插補(bǔ)單元； 插補(bǔ)單元，用于根據(jù)來(lái)自所述處理單元的所述前、后兩相鄰視頻幀的幀間運(yùn)動(dòng)矢量，在 所述前、后兩相鄰視頻幀之間插補(bǔ)幀，其中，N為正整數(shù)。
21. 如權(quán)利要求20所述的裝置，其特征在于，所述劃分單元，具體用于針對(duì)所述前、后 兩相鄰視頻幀中的每幀視頻幀分別包括的待處理圖像塊，執(zhí)行： 在所述前、后兩相鄰視頻幀的前N幀視頻幀中選擇至少一幀視頻幀；根據(jù)所述前、后兩 相鄰視頻幀的前N幀視頻幀中的小物體區(qū)域，確定待處理圖像塊在選擇的所述至少一幀視 頻幀中對(duì)應(yīng)的參考圖像塊是否均為小物體區(qū)域包括的圖像塊；若是，則確定所述待處理圖 像塊為第一類待處理圖像塊，否則，確定所述待處理圖像塊為第二類待處理圖像塊。
22. 如權(quán)利要求21所述的裝置，其特征在于，所述處理單元，具體用于分別確定所述 第一類待處理圖像塊對(duì)應(yīng)的每個(gè)候選運(yùn)動(dòng)矢量與所述第一類待處理圖像塊所在的視頻幀 的背景運(yùn)動(dòng)矢量的相差度值；根據(jù)確定的各個(gè)候選運(yùn)動(dòng)矢量分別對(duì)應(yīng)的相差度值，按照相 差度值由小到大的順序賦予權(quán)值由大到小的規(guī)則，為每個(gè)候選運(yùn)動(dòng)矢量分別賦予對(duì)應(yīng)的權(quán) 值；根據(jù)為每個(gè)候選運(yùn)動(dòng)矢量分別賦予的權(quán)值和每個(gè)候選運(yùn)動(dòng)矢量指向的圖像塊與所述第 一類待處理圖像塊的像素的SAD值，確定所述第一類待處理圖像塊的幀間運(yùn)動(dòng)矢量。
【文檔編號(hào)】H04N19/527GK104219532SQ201310222076
【公開日】2014年12月17日 申請(qǐng)日期:2013年6月5日 優(yōu)先權(quán)日:2013年6月5日
【發(fā)明者】張雷, 姚志剛, 謝清鵬 申請(qǐng)人:華為技術(shù)有限公司