專利名稱：用于進(jìn)行矢量視頻目標(biāo)重定的方法、裝置和計(jì)算機(jī)程序產(chǎn)品的制作方法
技術(shù)領(lǐng)域：
本發(fā)明的實(shí)施例總體上涉及圖像變換，并且更具體地，涉及用于進(jìn)行矢量視頻目標(biāo)重定的方法、裝置和計(jì)算機(jī)程序產(chǎn)品。
背景技術(shù)：
移動(dòng)設(shè)備和無線通信的近來發(fā)展已經(jīng)向用戶提供了無處不在的對(duì)在線信息和服務(wù)的訪問。無線通信系統(tǒng)和網(wǎng)絡(luò)的迅速演進(jìn)和構(gòu)造已經(jīng)使無線通信能力可為幾乎任何類型的移動(dòng)和靜止設(shè)備所訪問。儲(chǔ)存存儲(chǔ)器、計(jì)算能力和電池電力中的技術(shù)發(fā)展也已經(jīng)促使移動(dòng)設(shè)備演變?yōu)橛糜谏虡I(yè)和社交活動(dòng)兩者的重要工具。隨著移動(dòng)設(shè)備從處理和通信兩者的觀點(diǎn)來看變得強(qiáng)大，附加功能變成對(duì)于用戶可用。例如，利用充分的處理能力、顯示能力和通信帶寬，移動(dòng)設(shè)備可以支持視頻應(yīng)用、諸如實(shí)況視頻。

發(fā)明內(nèi)容
描述用于對(duì)矢量視頻幀進(jìn)行目標(biāo)重定的方法、裝置和計(jì)算機(jī)程序產(chǎn)品。就這一點(diǎn)而言，目標(biāo)重定是指修改輸入視頻幀以用于在尺寸可能比輸入視頻幀的分辨率更小的特定顯示屏上顯示。根據(jù)本發(fā)明的一個(gè)方面，視頻幀的內(nèi)容經(jīng)歷非均勻修改。標(biāo)識(shí)視頻幀內(nèi)的一個(gè)或者多個(gè)對(duì)象并且確定用于對(duì)象的重要度值。在標(biāo)識(shí)對(duì)象的過程中，也可以標(biāo)識(shí)視頻幀的背景區(qū)域。根據(jù)本發(fā)明的一個(gè)示例實(shí)施例，至少部分地基于對(duì)象的重要度值來對(duì)至少一個(gè)對(duì)象的細(xì)節(jié)進(jìn)行增強(qiáng)或者概括。例如，重要度值高的對(duì)象在進(jìn)行視頻幀目標(biāo)重定之后具有比重要度值低的另一目標(biāo)更高的細(xì)節(jié)水平。重要度值高的對(duì)象的尺寸與重要度值低的對(duì)象的尺寸之間的比率可能由于目標(biāo)重定而改變，從而造成重要度值高的對(duì)象表現(xiàn)為相對(duì)更大。 另一方面，重要度值相對(duì)低的對(duì)象或者背景區(qū)域可以在目標(biāo)重定的視頻幀中表現(xiàn)為比它在原視頻幀中的表現(xiàn)相對(duì)更小和/或細(xì)節(jié)更少。在此描述本發(fā)明的各種示例實(shí)施例。根據(jù)一個(gè)示例實(shí)施例，一種用于進(jìn)行矢量視頻幀目標(biāo)重定的方法包括標(biāo)識(shí)矢量視頻幀內(nèi)的一個(gè)或者多個(gè)對(duì)象，為一個(gè)或者多個(gè)標(biāo)識(shí)的對(duì)象確定一個(gè)或者多個(gè)重要度值，以及至少部分地基于用于一個(gè)或者多個(gè)標(biāo)識(shí)的對(duì)象的一個(gè)或者多個(gè)重要度值中的至少一個(gè)重要度值來對(duì)視頻幀進(jìn)行目標(biāo)重定。根據(jù)另一示例實(shí)施例，一種用于進(jìn)行矢量視頻幀目標(biāo)重定的裝置包括用于存儲(chǔ)矢量視頻幀的存儲(chǔ)器單元和處理器。處理器被配置成標(biāo)識(shí)矢量視頻幀內(nèi)的一個(gè)或者多個(gè)對(duì)象，為一個(gè)或者多個(gè)標(biāo)識(shí)的對(duì)象確定一個(gè)或者多個(gè)重要度值，以及至少部分地基于用于一個(gè)或者多個(gè)標(biāo)識(shí)的對(duì)象的一個(gè)或者多個(gè)確定的重要度值中的至少一個(gè)重要度值來對(duì)視頻幀進(jìn)行目標(biāo)重定。根據(jù)另一示例實(shí)施例，一種計(jì)算機(jī)程序產(chǎn)品包括至少一個(gè)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)， 該計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)具有存儲(chǔ)于其中的可執(zhí)行計(jì)算機(jī)可讀程序代碼指令。計(jì)算機(jī)程序產(chǎn)品的計(jì)算機(jī)可讀程序代碼指令被配置成標(biāo)識(shí)矢量視頻幀內(nèi)的一個(gè)或者多個(gè)對(duì)象，為一個(gè)或者多個(gè)標(biāo)識(shí)的對(duì)象確定一個(gè)或者多個(gè)重要度值，以及至少部分地基于用于一個(gè)或者多個(gè)標(biāo)識(shí)的對(duì)象的一個(gè)或者多個(gè)確定的重要度值中的至少一個(gè)重要度值來對(duì)視頻幀進(jìn)行目標(biāo)重定。 根據(jù)又一示例實(shí)施例，一種設(shè)備包括用于標(biāo)識(shí)矢量視頻幀內(nèi)的一個(gè)或者多個(gè)對(duì)象的裝置，用于為一個(gè)或者多個(gè)標(biāo)識(shí)的對(duì)象確定一個(gè)或者多個(gè)重要度值的裝置，以及用于至少部分地基于用于一個(gè)或者多個(gè)標(biāo)識(shí)的對(duì)象的一個(gè)或者多個(gè)確定的重要度值中的至少一個(gè)重要度值來對(duì)視頻幀進(jìn)行目標(biāo)重定的裝置。


已經(jīng)這樣一般性地描述了本發(fā)明，現(xiàn)在將參照并不必須按比例繪制的以下附圖， 其中圖1是根據(jù)本發(fā)明的各種示例實(shí)施例的用于進(jìn)行矢量視頻目標(biāo)重定的方法的流程圖；圖2a是根據(jù)本發(fā)明的各種示例實(shí)施例的像素和近似線條的預(yù)定義匯集的圖示；圖2b是根據(jù)本發(fā)明的各種示例實(shí)施例的使用貝塞爾曲線(Bezier Curves)的線條近似的圖示；圖3是根據(jù)本發(fā)明的各種示例實(shí)施例的使用哈爾式(Harr-Iike)臉部直方圖的臉部識(shí)別的圖示；圖4是根據(jù)本發(fā)明的各種示例實(shí)施例的對(duì)視頻幀的各種目標(biāo)重定操作的結(jié)果的圖示；圖5是根據(jù)本發(fā)明的各種示例實(shí)施例的用于進(jìn)行矢量視頻目標(biāo)重定的裝置的框圖；圖6是根據(jù)本發(fā)明的各種示例實(shí)施例的用于進(jìn)行矢量視頻目標(biāo)重定的另一種方法的流程圖；圖7a示出了根據(jù)本發(fā)明的各種示例實(shí)施例的、包括兩個(gè)對(duì)象和背景區(qū)域的示例矢量視頻幀；圖7b示出了根據(jù)本發(fā)明的各種示例實(shí)施例的、圖7a中的矢量視頻幀的均勻縮放版本的示例；以及圖7c示出了根據(jù)本發(fā)明的各種示例實(shí)施例的、圖7a中的矢量視頻幀的非均勻目標(biāo)重定版本的示例。
具體實(shí)施例方式現(xiàn)在將在下文中參照其中示出本發(fā)明的某些但是并非所有實(shí)施例的附圖、更完全地描述本發(fā)明的實(shí)施例。實(shí)際上，本發(fā)明可以采用多種不同形式來實(shí)施而不應(yīng)當(dāng)理解為限于在此闡述的實(shí)施例；相反，提供這些實(shí)施例是為了使得本公開內(nèi)容將滿足可適用的法律要求。相似參考號(hào)通篇指代相似元素。如在此所用，術(shù)語“數(shù)據(jù)”、“內(nèi)容”、“信息”和類似術(shù)語可以被互換地使用以指代能夠根據(jù)本發(fā)明的實(shí)施例來發(fā)送、接收、操作和/或存儲(chǔ)的數(shù)據(jù)。術(shù)語“空間細(xì)節(jié)”和“空間細(xì)節(jié)水平”以及類似術(shù)語可以被互換地使用以指代視頻幀的當(dāng)前空間細(xì)節(jié)水平信息和/或視頻幀中的對(duì)象的當(dāng)前空間細(xì)節(jié)信息。另外，提供如在此所用的術(shù)語“示例性”并非為了表達(dá)任何定量評(píng)估，而是代之以僅表達(dá)對(duì)示例的說明。關(guān)于在用于生成運(yùn)動(dòng)視頻的一連串幀內(nèi)包括的幀描述如在此所用的術(shù)語“視頻幀”。然而，本發(fā)明的多個(gè)方面被預(yù)期為一般性地可適用于圖像，并且因此本發(fā)明的示例實(shí)施例也可以應(yīng)用于并非視頻幀序列(例如，照片)的一部分的圖像。將針對(duì)大顯示屏尺寸設(shè)計(jì)的視頻和圖像均勻縮放成例如與移動(dòng)設(shè)備的顯示尺寸對(duì)應(yīng)的更小分辨率，可能造成在大量丟失細(xì)節(jié)的情況下顯示視頻幀。在均勻縮放中，可以 按照對(duì)象的細(xì)節(jié)不可識(shí)別的小分辨率呈現(xiàn)重要對(duì)象。矢量圖像或者視頻幀質(zhì)量下降負(fù)面影響用戶的體驗(yàn)。根據(jù)本發(fā)明的一個(gè)示例實(shí)施例，以非均勻方式對(duì)視頻幀進(jìn)行目標(biāo)重定，以維持或者改進(jìn)視頻幀中的關(guān)鍵對(duì)象的可識(shí)別性和/或顯著性。就這一點(diǎn)而言，將視頻幀接收或者轉(zhuǎn)換成矢量格式。標(biāo)識(shí)矢量視頻幀內(nèi)的對(duì)象并且評(píng)價(jià)標(biāo)識(shí)的對(duì)象的重要度。例如，確定用于對(duì)象的重要度值?；趯?duì)象的相對(duì)重要度來例如不同地縮放和/或簡化不同對(duì)象和背景。因而，使用如下以感知為動(dòng)機(jī)的尺寸改變和分組算法針對(duì)任何顯示尺寸對(duì)矢量視頻幀進(jìn)行目標(biāo)重定，這些算法基于對(duì)象和背景的相對(duì)重要度來為每個(gè)對(duì)象做尺寸和空間細(xì)節(jié)預(yù)算。根據(jù)本發(fā)明的一個(gè)示例實(shí)施例，在逐幀基礎(chǔ)上對(duì)視頻幀進(jìn)行目標(biāo)重定。也可以關(guān)于一連串視頻幀內(nèi)的共同對(duì)象將基于對(duì)象的信息(諸如空間細(xì)節(jié)信息)重用于該一連串幀。重要度相對(duì)高的對(duì)象在目標(biāo)重定過程中與相對(duì)高的空間細(xì)節(jié)水平或者細(xì)節(jié)粒度相關(guān)聯(lián)?？臻g細(xì)節(jié)例如是對(duì)對(duì)象的特征密度的測(cè)量。就這一點(diǎn)而言，對(duì)具有黑色和白色多邊形特征的足球的呈現(xiàn)可以具有比白球相對(duì)更高的空間細(xì)節(jié)水平。重要度相對(duì)高的對(duì)象與重要度相對(duì)低的對(duì)象相比，也可以與相對(duì)更高的尺寸比相關(guān)聯(lián)。對(duì)象的相對(duì)更大尺寸比可以導(dǎo)致對(duì)象的更高特征密度。另一方面，概括或者簡化對(duì)象導(dǎo)致減少相同對(duì)象的特征密度，從而導(dǎo)致更少空間細(xì)節(jié)。通過概括對(duì)象，對(duì)象可以變得細(xì)節(jié)更少，因?yàn)榭梢砸种铺匦??？梢詫?shí)施各種類型的概括，包括如下文進(jìn)一步描述的消除、典型化和/或輪廓簡化(outline simplification).在概念意義上，視頻幀或者一連串視頻幀的目的在于講述故事。通常經(jīng)由視頻幀中存在的少數(shù)關(guān)鍵對(duì)象以及關(guān)鍵對(duì)象與其它對(duì)象的交互來向查看者講述故事。幀內(nèi)的非關(guān)鍵對(duì)象提供用于關(guān)鍵對(duì)象的上下文，并且因此稱為上下文對(duì)象。為了實(shí)現(xiàn)在具有更小顯示器的設(shè)備上講述故事的目的，本發(fā)明的示例實(shí)施例按照充分尺寸和/或按照用于識(shí)別和顯著性的空間細(xì)節(jié)顯示關(guān)鍵對(duì)象。視頻幀中的上下文對(duì)象可能重要度更少，并且因此被概括或者減弱(subdue)。根據(jù)本發(fā)明的一個(gè)示例實(shí)施例，通過維持關(guān)鍵對(duì)象的顯著性來維持在改變視頻幀的尺寸之后關(guān)鍵對(duì)象之間的交互的可識(shí)別性。圖1描繪了本發(fā)明的用于進(jìn)行矢量視頻目標(biāo)重定的示例方法。根據(jù)一個(gè)示例實(shí)施例，在塊100處接收光柵視頻幀并且確定目標(biāo)顯示尺寸。例如，通過檢索關(guān)于目標(biāo)顯示器的信息來確定目標(biāo)顯示尺寸。在105處，將光柵視頻幀轉(zhuǎn)換成矢量視頻幀。例如，量化光柵視頻幀的內(nèi)容可以有助于標(biāo)識(shí)視頻幀中的不同區(qū)域。根據(jù)一個(gè)示例實(shí)施例，在色調(diào)、飽和度、值(HSV)色空間中應(yīng)用量化。在HSV色空間中縮減(clamp)視頻幀內(nèi)的顏色。更具體地，視頻幀的每個(gè)像素的色調(diào)被約束成十二種主色和輔色中的最接近顏色。飽和度和值例如分別被縮減至15%和25%。通過縮減顏色，視頻幀經(jīng)歷動(dòng)畫化(tooning)效應(yīng)。視頻幀在量化之后表現(xiàn)為分割成不同的同種顏色區(qū)域。為了執(zhí)行光柵視頻幀的矢量化，根據(jù)一個(gè)示例實(shí)施例，可以標(biāo)識(shí)同組像素。通過標(biāo)識(shí)與一個(gè)組相關(guān)聯(lián)的像素，可以如圖2a中所示在標(biāo)識(shí)預(yù)定義像素形成時(shí)繪制線條。本發(fā)明的示例實(shí)施例繼而可以將線條近似為如圖2b中所示的以連串貝塞爾曲線。每條曲線可以由頂點(diǎn)像素和兩個(gè)方向控制以進(jìn)行平滑插值，從而產(chǎn)生矢量圖像。

可以通過利用在可擴(kuò)展標(biāo)記語言(XML)與可縮放矢量圖形(VSG)之間的隱含關(guān)系來實(shí)施從光柵視頻幀向矢量視頻幀的轉(zhuǎn)換。就這一點(diǎn)而言，SVG結(jié)構(gòu)標(biāo)記可以用來定義專門化矢量圖形數(shù)據(jù)格式的構(gòu)建塊。標(biāo)記可以包括<svg>元素(該元素為SVG文檔的最高水平的描述)、組元素<g> (該元素為用于將語義有關(guān)的貝塞爾筆劃分組成對(duì)象的容器元素)、 用于將筆劃呈現(xiàn)為貝塞爾曲線的〈path (路徑)> 元素和用于指定對(duì)象的運(yùn)動(dòng)的若干種類的 〈animate (動(dòng)畫制作) > 元素。SVG格式在概念上由可以建模為節(jié)點(diǎn)和鏈接的可視分量構(gòu)成?？梢园凑赵卦?SVG文檔或者文件中出現(xiàn)的順序呈現(xiàn)它們。數(shù)據(jù)格式中的每個(gè)元素可以被視為供涂料涂敷于其上的畫布。如果對(duì)象與<g>標(biāo)記分組在一起，則可以首先將對(duì)象呈現(xiàn)為單獨(dú)組畫布，繼而使用與該組相關(guān)聯(lián)的過濾器或者阿爾法掩模在主畫布上編寫對(duì)象。換言之，SVG文檔可以被視為從對(duì)象的最抽象、最粗略形狀向在這些抽象形狀上面呈現(xiàn)的最精化細(xì)節(jié)行進(jìn)的有向無環(huán)樹結(jié)構(gòu)。SVG的這一性質(zhì)允許本發(fā)明的示例實(shí)施例執(zhí)行樹節(jié)點(diǎn)的深度優(yōu)先遍歷并且通過更改任何元素的結(jié)構(gòu)定義來操縱該元素的細(xì)節(jié)。SVG還標(biāo)記整個(gè)動(dòng)畫序列內(nèi)的元素從而緩解視頻分割問題?？梢酝ㄟ^使用例如〈animate〉標(biāo)記通過動(dòng)畫的所有幀追蹤元素的運(yùn)動(dòng)。在110處，在矢量視頻幀中標(biāo)識(shí)對(duì)象并且針對(duì)對(duì)象確定重要度值。根據(jù)一個(gè)示例實(shí)施例，利用用于確定顯著性的技術(shù)、例如，運(yùn)動(dòng)檢測(cè)、元標(biāo)簽信息和用戶輸入。根據(jù)一個(gè)示例實(shí)施例，解析矢量圖形結(jié)構(gòu)的與矢量視頻幀對(duì)應(yīng)的XML格式以標(biāo)識(shí)對(duì)象和關(guān)聯(lián)的分配的重要度值。重要度參數(shù)例如被約束成在區(qū)間W，l]中并且表明與對(duì)象相關(guān)聯(lián)的重要度值。根據(jù)一個(gè)示例實(shí)施例，對(duì)象標(biāo)識(shí)還包括背景減法。例如對(duì)分割的視頻幀應(yīng)用背景減法以將圖像的重要對(duì)象與不重要的背景對(duì)象隔離。根據(jù)另一示例實(shí)施例，利用運(yùn)動(dòng)來執(zhí)行背景減法。例如，移動(dòng)的區(qū)域往往更顯著并且視為前景的如下部分，該部分并非背景的部分。照這樣，可以在依序視頻幀之間比較像素改變以發(fā)現(xiàn)改變的區(qū)域。根據(jù)一個(gè)示例實(shí)施例，如果視頻幀包括個(gè)人的臉部，則在執(zhí)行對(duì)象標(biāo)識(shí)時(shí)進(jìn)行附加測(cè)量。就這一點(diǎn)而言，僅矢量化和均勻縮放可能造成丟失與諸如個(gè)人的臉部的關(guān)鍵對(duì)象相關(guān)聯(lián)的信息。例如，在某些實(shí)例中，臉部的矢量化和均勻縮放可能使與眼睛相關(guān)聯(lián)的信息并入臉部的其它方面，并且眼睛可能由于臉部的過度概括而丟失。為了解決這一問題，各種示例實(shí)施例使用例如哈爾式特征來檢測(cè)臉部。可以使用如圖3中所示用于相應(yīng)臉部特征的專門化直方圖來檢測(cè)諸如眼睛、嘴巴、鼻子等重要臉部特征。例如，將直方圖組合或者求和。 求和和/或組合的直方示了在不同臉部之間的某些相似度、但是在與其它對(duì)象(例如辦公大樓的圖像)對(duì)應(yīng)的直方圖方面不同。根據(jù)本發(fā)明的至少一個(gè)示例實(shí)施例，應(yīng)用運(yùn)動(dòng)估計(jì)與臉部檢測(cè)的組合來確定顯著性。在另一示例實(shí)施例中，并入其它顯著性模型和/或用戶輸入。就這一點(diǎn)而言，視頻顯著性度量可以被概括為每個(gè)顯著性模型的個(gè)別加權(quán)與對(duì)應(yīng)的歸一化顯著性值的乘積的線性組合。該組合可以采用以下形式I = WiMi+WjMj+wA+...其中Wi、^、Wk為用于線性組合的權(quán)值而MpMpMk為用于每個(gè)對(duì)應(yīng)顯著性模型的歸
一化值圖1的方法還包括將原視頻幀的原分辨率修改成顯示器的目標(biāo)分辨率。例如，如果原視頻幀具有例如1280 X 1024的分辨率而目標(biāo)分辨率為例如320X256，則圖1中的方法包括在每個(gè)方向(例如，高度和寬度)上按照因子4減少矢量視頻的分辨率。根據(jù)本發(fā)明的一個(gè)示例實(shí)施例，均勻縮小矢量視頻幀，繼而例如通過增加對(duì)象尺寸和/或?qū)?yīng)空間細(xì)節(jié)來增強(qiáng)尺寸改變的視頻幀中的對(duì)象，或者例如通過減少對(duì)象尺寸和/或?qū)?yīng)空間細(xì)節(jié)來簡化尺寸改變的視頻幀中的對(duì)象?？梢岳缭趫D1的110處標(biāo)識(shí)對(duì)象和/或確定重要度值之前或者之后應(yīng)用對(duì)矢量視頻幀的均勻縮小。也可以在圖1的塊115之后應(yīng)用對(duì)矢量視頻幀的均勻縮小。再次參照?qǐng)D1，在115處計(jì)算尺寸改變的矢量視頻幀中的為每個(gè)對(duì)象做預(yù)算的空間細(xì)節(jié)量。對(duì)為每個(gè)對(duì)象做預(yù)算的空間細(xì)節(jié)的計(jì)算至少部分地基于對(duì)象的相應(yīng)重要度值。根據(jù)本發(fā)明的一個(gè)示例實(shí)施例，生成用于視頻幀的空間細(xì)節(jié)的總預(yù)算。繼而，基于標(biāo)識(shí)的對(duì)象的重要度值以加權(quán)方式在該對(duì)象之間分布空間細(xì)節(jié)的總預(yù)算，以便為每個(gè)對(duì)象計(jì)算空間細(xì)節(jié)預(yù)算。用于對(duì)象的空間細(xì)節(jié)預(yù)算是對(duì)將與例如按照目標(biāo)顯示分辨率的尺寸改變的矢量視頻幀中的相同對(duì)象相關(guān)聯(lián)的空間細(xì)節(jié)的約束。生成預(yù)算包括為給定的顯示尺寸計(jì)算空間細(xì)節(jié)和/或?yàn)楦鞣N標(biāo)識(shí)的對(duì)象計(jì)算空間細(xì)節(jié)。例如，尺寸未改變的矢量視頻幀的全部空間細(xì)節(jié)表示為1\。在將視頻幀的尺寸改變成所需目標(biāo)尺寸之后，用于該尺寸改變的視頻幀的全部空間細(xì)節(jié)表示為T2。尺寸未改變和尺寸改變的矢量幀具有相同信息但是分辨率不同。在尺寸改變的矢量幀具有比尺寸未改變的矢量幀更小的分辨率的情況下，T2大于1\。根據(jù)本發(fā)明的一個(gè)示例實(shí)施例，將例如表示為B的空間細(xì)節(jié)的總預(yù)算選擇為等于尺寸未改變的矢量視頻幀的全部空間細(xì)節(jié)，例如B = T10在一個(gè)備選實(shí)施例中，不同地定義用于尺寸改變的矢量幀的目標(biāo)總預(yù)算。例如，總預(yù)算 B按照T1來定義但是小于T1，例如B = B(T1) <1\。例如，將用于對(duì)象的空間細(xì)節(jié)預(yù)算計(jì)算為相同對(duì)象的重要度值與空間細(xì)節(jié)的總預(yù)算的乘法。在目標(biāo)重定過程中，更新尺寸改變的矢量視頻幀中的空間細(xì)節(jié)并且減少Τ2，直至 Τ2變成小于和/或近似等于B?？臻g細(xì)節(jié)的更新包括簡化重要度相對(duì)低的對(duì)象，以減少它們的空間細(xì)節(jié)。重要度相對(duì)高的對(duì)象與重要度低的對(duì)象相比通常維持相對(duì)高的空間細(xì)節(jié)。 在一個(gè)示例實(shí)施例中，相對(duì)重要對(duì)象的空間細(xì)節(jié)值在目標(biāo)重定過程之后未超過尺寸未改變的矢量視頻幀中的相同對(duì)象的對(duì)應(yīng)空間細(xì)節(jié)值。視頻幀按照給定分辨率的空間細(xì)節(jié)是相同視頻幀內(nèi)的對(duì)象按照相同分辨率的空間細(xì)節(jié)之和。在一個(gè)示例實(shí)施例中，通過評(píng)價(jià)在相同視頻對(duì)象中的至少一個(gè)像素的鄰域中的照度改變來計(jì)算視頻對(duì)象的空間細(xì)節(jié)。通常在光柵空間中執(zhí)行在像素水平的照度改變的評(píng)價(jià)。鄰域灰度色調(diào)差矩陣(NGTDM)是用于評(píng)價(jià)視頻對(duì)象的空間細(xì)節(jié)的示例技術(shù)。NGTDM 提供在每單位面積的強(qiáng)度和動(dòng)態(tài)范圍改變方面針對(duì)圖像的對(duì)空間細(xì)節(jié)的感知描述。NGTDM為如下矩陣，在該矩陣中第k個(gè)條目是光柵圖像的所有像素的照度值與照度值等于k的在像素鄰域中的像素的平均照度值之差的求和。在本發(fā)明的一個(gè)示例實(shí)施例中，在彩色空間(諸如YUV，其中Y代表亮度而U和V 為色度(例如顏色)分量)中計(jì)算像素的照度值。就這一點(diǎn)而言，Y(i，j)為在(i，j)的像
素的照度。因而，在聚集在但是排除(i，j)的鄰域內(nèi)的平均照度為
權(quán)利要求
1.一種方法，包括標(biāo)識(shí)矢量視頻幀內(nèi)的一個(gè)或者多個(gè)對(duì)象；為所述一個(gè)或者多個(gè)標(biāo)識(shí)的對(duì)象確定一個(gè)或者多個(gè)重要度值；以及至少部分地基于與至少一個(gè)標(biāo)識(shí)的對(duì)象對(duì)應(yīng)的所述一個(gè)或者多個(gè)重要度值中的至少一個(gè)重要度值來對(duì)所述視頻幀進(jìn)行目標(biāo)重定。
2.根據(jù)權(quán)利要求1所述的方法，其中基于所述一個(gè)或者多個(gè)重要度值中的所述至少一個(gè)重要度值來對(duì)所述視頻幀進(jìn)行目標(biāo)重定包括為所述至少一個(gè)對(duì)象確定至少一個(gè)空間細(xì)節(jié)約束值；以及響應(yīng)于在所述至少一個(gè)空間細(xì)節(jié)約束與用于所述至少一個(gè)對(duì)象的至少一個(gè)當(dāng)前空間細(xì)節(jié)水平之間的比較的結(jié)果，修改所述至少一個(gè)對(duì)象的至少一個(gè)空間細(xì)節(jié)水平，其中修改所述至少一個(gè)對(duì)象的所述至少一個(gè)空間細(xì)節(jié)水平包括對(duì)所述至少一個(gè)對(duì)象進(jìn)行增強(qiáng)和/ 或概括。
3.根據(jù)權(quán)利要求1或者2所述的方法，還包括 確定所需顯示尺寸；以及將光柵視頻幀轉(zhuǎn)換成所述矢量視頻幀；以及將所述矢量視頻幀均勻縮放成所述所需顯示尺寸。
4.根據(jù)權(quán)利要求3所述的方法，還包括至少部分地基于顏色邊緣來分割所述光柵視頻幀；以及減去所述視頻幀的背景區(qū)域。
5.根據(jù)權(quán)利要求1-4中的任一權(quán)利要求所述的方法，其中對(duì)所述視頻幀的進(jìn)行目標(biāo)重定包括用空間相干性和時(shí)間相干性中的至少一種相干性對(duì)所述視頻幀進(jìn)行目標(biāo)重定，其中用時(shí)間相干性進(jìn)行目標(biāo)重定包括在所有一連串視頻幀內(nèi)維持至少一個(gè)對(duì)象的至少一個(gè)空間細(xì)節(jié)水平，并且其中用空間相干性進(jìn)行目標(biāo)重定包括維持在視頻幀中的對(duì)象與至少另一對(duì)象之間的恒定空間細(xì)節(jié)水平比率。
6.根據(jù)權(quán)利要求1-5中的任一權(quán)利要求所述的方法，其中標(biāo)識(shí)一個(gè)或者多個(gè)對(duì)象包括使用與至少一個(gè)臉部特征相關(guān)聯(lián)的至少一個(gè)直方圖來標(biāo)識(shí)臉部特征。
7.一種裝置，包括存儲(chǔ)器，用于存儲(chǔ)矢量視頻幀；以及處理器，配置成使所述裝置 標(biāo)識(shí)所述矢量視頻幀內(nèi)的一個(gè)或者多個(gè)對(duì)象； 為所述一個(gè)或者多個(gè)標(biāo)識(shí)的對(duì)象確定一個(gè)或者多個(gè)重要度值；以及至少部分地基于與至少一個(gè)標(biāo)識(shí)的對(duì)象對(duì)應(yīng)的所述一個(gè)或者多個(gè)重要度值中的至少一個(gè)重要度值來對(duì)所述視頻幀進(jìn)行目標(biāo)重定。
8.根據(jù)權(quán)利要求7所述的裝置，其中所述處理器還被配置成 為所述至少一個(gè)對(duì)象確定至少一個(gè)空間細(xì)節(jié)約束值；以及響應(yīng)于在所述至少一個(gè)空間細(xì)節(jié)約束與用于所述至少一個(gè)對(duì)象的所述至少一個(gè)空間細(xì)節(jié)水平之間的比較的結(jié)果，修改所述至少一個(gè)對(duì)象的至少一個(gè)空間細(xì)節(jié)水平，其中修改所述至少一個(gè)對(duì)象的所述至少一個(gè)空間細(xì)節(jié)水平包括對(duì)所述至少一個(gè)對(duì)象進(jìn)行增強(qiáng)和/ 或概括。
9.根據(jù)權(quán)利要求7或者8所述的裝置，其中所述處理器還被配置成使所述裝置 確定所需顯示尺寸；以及將光柵視頻幀轉(zhuǎn)換成所述矢量視頻幀；以及將所述矢量視頻幀均勻縮放成所述所需顯示尺寸。
10.根據(jù)權(quán)利要求9所述的裝置，其中所述處理器還被配置成使所述裝置 至少部分地基于顏色邊緣來分割所述光柵視頻幀；以及減去所述視頻幀的背景區(qū)域。
11.根據(jù)權(quán)利要求7-10中的任一權(quán)利要求所述的裝置，其中所述處理器還被配置成使所述裝置用空間相干性或者時(shí)間相干性對(duì)所述視頻幀進(jìn)行目標(biāo)重定，其中用時(shí)間相干性進(jìn)行目標(biāo)重定包括在所有一連串視頻幀內(nèi)維持至少一個(gè)對(duì)象的至少一個(gè)空間細(xì)節(jié)水平，并且其中用空間相干性進(jìn)行目標(biāo)重定包括維持在對(duì)象與視頻幀中的至少另一對(duì)象之間的恒定空間細(xì)節(jié)水平比率。
12.根據(jù)權(quán)利要求7-11中的任一權(quán)利要求所述的裝置，其中所述處理器還被配置成使所述裝置使用與至少一個(gè)臉部特征相關(guān)聯(lián)的至少一個(gè)直方圖來標(biāo)識(shí)臉部特征。
13.一種計(jì)算機(jī)程序產(chǎn)品，包括至少一個(gè)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)具有存儲(chǔ)于其中的可執(zhí)行計(jì)算機(jī)可讀程序代碼指令，所述計(jì)算機(jī)可讀程序代碼指令在執(zhí)行時(shí)配置成使裝置標(biāo)識(shí)所述矢量視頻幀內(nèi)的一個(gè)或者多個(gè)對(duì)象； 為所述一個(gè)或者多個(gè)標(biāo)識(shí)的對(duì)象確定一個(gè)或者多個(gè)重要度值；以及至少部分地基于與至少一個(gè)標(biāo)識(shí)的對(duì)象對(duì)應(yīng)的所述一個(gè)或者多個(gè)重要度值中的至少一個(gè)重要度值來對(duì)所述視頻幀進(jìn)行目標(biāo)重定。
14.根據(jù)權(quán)利要求13所述的計(jì)算機(jī)程序產(chǎn)品，其中所述計(jì)算機(jī)可讀程序代碼指令在執(zhí)行時(shí)配置成使所述裝置為所述至少一個(gè)對(duì)象確定至少一個(gè)空間細(xì)節(jié)約束值；以及響應(yīng)于在所述至少一個(gè)空間細(xì)節(jié)約束與用于所述至少一個(gè)對(duì)象的所述至少一個(gè)空間細(xì)節(jié)水平之間的比較的結(jié)果，修改所述至少一個(gè)對(duì)象的至少一個(gè)空間細(xì)節(jié)水平，其中修改所述至少一個(gè)對(duì)象的所述至少一個(gè)空間細(xì)節(jié)水平包括對(duì)所述至少一個(gè)對(duì)象進(jìn)行增強(qiáng)和/ 或概括。
15.根據(jù)權(quán)利要求13或者14所述的計(jì)算機(jī)程序產(chǎn)品，其中所述計(jì)算機(jī)可讀程序代碼指令在執(zhí)行時(shí)配置成使所述裝置確定所需顯示尺寸；以及且將光柵視頻幀轉(zhuǎn)換成所述矢量視頻幀；以及將所述矢量視頻幀均勻縮放成所述所需顯示尺寸。
16.根據(jù)權(quán)利要求15所述的計(jì)算機(jī)程序產(chǎn)品，其中所述計(jì)算機(jī)可讀程序代碼指令在執(zhí)行時(shí)配置成在標(biāo)識(shí)所述一個(gè)或者多個(gè)對(duì)象時(shí)使所述裝置至少部分地基于顏色邊緣來分割所述光柵視頻幀；以及減去所述視頻幀的背景區(qū)域。
17.根據(jù)權(quán)利要求13-16中的任一權(quán)利要求所述的計(jì)算機(jī)程序產(chǎn)品，其中所述計(jì)算機(jī)可讀程序代碼指令被配置成用空間相干性或者時(shí)間相干性來對(duì)所述矢量視頻幀進(jìn)行目標(biāo)重定，其中用時(shí)間相干性進(jìn)行目標(biāo)重定包括在所有一連串視頻幀內(nèi)維持至少一個(gè)對(duì)象的至少一個(gè)空間細(xì)節(jié)水平，并且其中用空間相干性進(jìn)行目標(biāo)重定包括維持在對(duì)象與視頻幀中的至少另一對(duì)象之間的恒定空間細(xì)節(jié)水平比率。
18.根據(jù)權(quán)利要求13-17中的任一權(quán)利要求所述的計(jì)算機(jī)程序產(chǎn)品，其中所述計(jì)算機(jī)可讀程序代碼指令在執(zhí)行時(shí)配置成使所述裝置使用與至少一個(gè)臉部特征相關(guān)聯(lián)的至少一個(gè)直方圖來標(biāo)識(shí)臉部特征。
19.一種設(shè)備，包括用于標(biāo)識(shí)矢量視頻幀內(nèi)的一個(gè)或者多個(gè)對(duì)象的裝置；用于為所述一個(gè)或者多個(gè)對(duì)象確定一個(gè)或者多個(gè)重要度值的裝置；以及用于至少部分地基于與至少一個(gè)對(duì)象對(duì)應(yīng)的所述一個(gè)或者多個(gè)重要度值中的至少一個(gè)重要度值來對(duì)所述矢量視頻幀進(jìn)行目標(biāo)重定的裝置。
20.根據(jù)權(quán)利要求19所述的裝置，其中用于至少部分地基于所述至少一個(gè)重要度值來對(duì)所述視頻幀進(jìn)行目標(biāo)重定的裝置包括用于為所述至少一個(gè)對(duì)象確定至少一個(gè)空間細(xì)節(jié)約束值的裝置；以及用于響應(yīng)于在所述至少一個(gè)空間細(xì)節(jié)約束與用于所述至少一個(gè)對(duì)象的所述至少一個(gè)空間細(xì)節(jié)水平之間的比較的結(jié)果來修改所述至少一個(gè)對(duì)象的至少一個(gè)空間細(xì)節(jié)水平的裝置，其中修改所述至少一個(gè)對(duì)象的所述至少一個(gè)空間細(xì)節(jié)水平包括對(duì)所述至少一個(gè)對(duì)象進(jìn)行增強(qiáng)和/或概括。
全文摘要
根據(jù)本發(fā)明的一個(gè)示例實(shí)施例，一種用于矢量視頻幀目標(biāo)重定的方法包括標(biāo)識(shí)矢量視頻幀內(nèi)的一個(gè)或者多個(gè)對(duì)象，為一個(gè)或者多個(gè)標(biāo)識(shí)的對(duì)象確定一個(gè)或者多個(gè)重要度值，并且至少部分地基于與至少一個(gè)標(biāo)識(shí)的對(duì)象對(duì)應(yīng)的一個(gè)或者多個(gè)重要度值中的至少一個(gè)重要度值來對(duì)視頻幀進(jìn)行目標(biāo)重定。
文檔編號(hào)G06T7/40GK102450012SQ201080023279
公開日2012年5月9日 申請(qǐng)日期2010年4月8日 優(yōu)先權(quán)日2009年4月8日
發(fā)明者V·塞特魯爾 申請(qǐng)人:諾基亞公司