圖形顯示窗口在圖像內(nèi)的動態(tài)放置的方法和裝置制造方法
【專利摘要】公開一種用于動態(tài)地選擇圖像中的圖形顯示窗口的方法(800)。對圖像執(zhí)行(805)空間梯度測量。計算(810)用于圖像的卷積后像素值。使用所計算的卷積后像素值，確定(815)用于多個窗口位置選項的多個圖像特性。多個窗口位置選項具有能夠容納圖形顯示的幾何形狀的幾何形狀?；诙鄠€圖像特性，圖形被放置在(820)多個窗口位置選項之一中。
【專利說明】圖形顯示窗口在圖像內(nèi)的動態(tài)放置的方法和裝置
【背景技術(shù)】
[0001]目前，渲染流送視頻的設(shè)備能夠在預(yù)定窗口時隙中渲染疊加圖形。圖形可以為字幕(EIA-608和EIA-708數(shù)字閉路字幕)和關(guān)聯(lián)于幀呈現(xiàn)時間的其他屏上顯示(OSD)的形式。因為用于這些字幕和OSD的位置被預(yù)先確定，所以在很多情況下，在操作中，視頻窗口的一些感興趣部分可能被圖形顯示覆蓋。在很多情況下，特別是在可以渲染更大位圖的708數(shù)據(jù)的情況下，這使用戶沮喪。
[0002]因為當(dāng)前圖形解決方案采用預(yù)定定位，所以當(dāng)前不存在最小化圖形顯示可能覆蓋在下面圖像中的重要信息的情況的方式。因此，有機會開發(fā)將圖形顯示窗口放置在較少妨礙在下面視頻的位置中的解決方案。
【專利附圖】

【附圖說明】
[0003]因此，本發(fā)明的上述特征被獲得并且可以被詳細理解的方式、以上簡單概括的本發(fā)明的更多特定說明可以通過參考附圖中所圖示的其實施例獲得。
[0004]然而，將注意，附圖僅圖示本發(fā)明的典型實施例，并且因此不被認為是其范圍的限制，因為本發(fā)明可以承認其他等同有效實施例。
[0005]圖1圖示了用于流送或廣播媒體內(nèi)容的示例性系統(tǒng)100 ；
[0006]圖2圖示了原始圖像210和邊緣檢測圖像205的實例；
[0007]圖3、圖4和圖5圖示了執(zhí)行邊緣檢測的示例性方法；
[0008]圖6圖示了示例性Sobel掩模600 ；
[0009]圖7圖示了根據(jù)一個實施例的Sobel方法分析；
[0010]圖8圖不了根據(jù)一個實施例的用于動態(tài)地選擇用于圖像的圖形顯不窗口的方法800 ；
[0011]圖9圖示了具有四個窗口或象限的圖像的一個實施例900 ；
[0012]圖10圖示了具有四個窗口或象限的圖像的一個實施例1000 ；
[0013]圖11圖不了根據(jù)一個實施例的用于動態(tài)地選擇圖形顯不窗口的方法1100 ;以及
[0014]圖12圖示了根據(jù)一個實施例的示例設(shè)備900的框圖。
【具體實施方式】
[0015]為了本公開的目的，圖像或“圖像數(shù)據(jù)”是指流送或廣播的媒體內(nèi)容的巾貞，其可以是現(xiàn)場的或者被預(yù)先記錄。另外，圖形或“圖形數(shù)據(jù)”是指閉路字幕信息。閉路字幕信息或數(shù)據(jù)可以覆蓋圖像數(shù)據(jù)(例如，為視頻或視頻數(shù)據(jù))的序列。
[0016]公開了一種用于將圖形顯示窗口動態(tài)地放置在圖像內(nèi)的方法。圖形顯示窗口確定用于放置閉路字幕圖形的邊界。如果閉路字幕模式允許最多4行和32列文本(例如，卷起模式)，則圖形顯示窗口將容納該幾何形狀，并且文本將被放置在該窗口內(nèi)，并且與也正被顯示的圖像疊加。
[0017]圖像可以是實時呈現(xiàn)的多個視頻幀之一。在一個實施例中，對圖像執(zhí)行空間梯度測量。計算用于圖像的卷積后像素值。使用所計算的卷積后像素值，確定用于多個窗口位置選項的多個圖像特性。多個窗口位置選項具有能夠容納所顯示的圖形的幾何形狀。基于多個圖像特性，圖形顯示被放置在多個窗口位置選項之一中。在一個實施例中，圖形顯示可以使用多種模式被呈現(xiàn)，包括但不限于:彈出(pop-up)、滾動(roll-on)和涂畫(paint-on)。
[0018]圖形特性可以是圖像中的邊緣或邊緣像素的量。使用該方法，具有特定圖形顯示窗口幾何形狀的閉路字幕或圖形數(shù)據(jù)可以被覆蓋在具有至少與圖形顯示窗口一樣大的形狀并且相對于具有圖形顯示窗口幾何形狀的圖像中的其他位置具有最少邊緣或邊緣像素數(shù)目的圖像的區(qū)域中。
[0019]可替換地，圖像特性可以是圖像中的信息量。類似地，閉路字幕數(shù)據(jù)可以被放置在容納圖形數(shù)據(jù)幾何形狀并且與具有閉路字幕數(shù)據(jù)幾何形狀的圖像中的其他位置相比，具有最少信息量的圖像的區(qū)域中。
[0020]注意，邊緣檢測可以在多于一個圖像上發(fā)生，例如，用于視頻幀的序列。用于多個窗口位置選項的多個累積圖像特性被確定用于視頻幀的序列。從而，在一段視頻期間，圖形數(shù)據(jù)可以被放置在容納圖形數(shù)據(jù)并且在視頻片段的周期內(nèi)具有最少邊緣數(shù)目和/或最少信息量的區(qū)域中。圖形顯示可以使用不同模式被呈現(xiàn)，包括但不限于:滾動、涂畫和彈出。
[0021]因為當(dāng)使用該方法時，圖形數(shù)據(jù)可能在視頻圖像周圍“跳躍”，所以可以通過經(jīng)由用戶輸入接收到的選擇來啟用和禁用圖形顯示窗口的動態(tài)放置。還可以(或可替換地)基于給定視頻幀序列中的運動量或信息改變量來自動禁用和啟用圖形顯示窗口的動態(tài)放置。當(dāng)動態(tài)放置被禁用時，圖形顯示窗口保持在圖像上的相同區(qū)域中，其可以是最新近放置的窗口或默認位置(例如，圖像的頂部或底部邊緣)。
[0022]因為圖形顯示窗口可以被放置在圖像上的任何位置處，所以可以存在具有將被比較的圖像特性的大量可能放置選項。(窗口越小，其可以放置在圖像內(nèi)的位置就越多。)為了減少比較的數(shù)目，在另一個實施例中，分析圖像中的預(yù)定區(qū)域。這些預(yù)定區(qū)域可以被靜止定位并且不重疊或重疊。然后，不是比較用于圖形窗口放置的所有可能性的圖像特性，而是比較僅用于預(yù)定區(qū)域的圖像特性。在具有最少邊緣數(shù)目或最低信息量的單個預(yù)定區(qū)域內(nèi)，圖形顯示窗口被放置在具有最少邊緣數(shù)目或最低信息量的子區(qū)域中。從而，該兩級分析更快，但是將圖形顯示窗口限制在預(yù)定區(qū)域之一中。圖形顯示可以使用不同模式被呈現(xiàn)，包括但不限于:滾動、涂畫、以及彈出。
[0023]公開了一種用于動態(tài)地選擇用于圖像的圖形顯示窗口的裝置。該裝置具有存儲器。該裝置還具有處理器，所述處理器被配置成:對圖像執(zhí)行二維空間梯度測量；計算用于圖像的卷積后像素值；使用所計算的卷積后像素值，確定用于多個窗口位置選項的多個圖像特性，多個窗口位置選項具有能夠容納圖形顯示的幾何形狀的幾何形狀；以及基于多個圖像特性，將閉路字幕或圖形數(shù)據(jù)放置在多個窗口位置選項之一中。
[0024]還公開了一種非暫時性計算機可讀存儲介質(zhì)，其具有當(dāng)由處理器執(zhí)行時，執(zhí)行以下方法的指令:對圖像執(zhí)行二維空間梯度測量；計算用于圖像的卷積后像素值；使用所計算的卷積后像素值，確定用于多個窗口位置選項的多個圖像特性，多個窗口位置選項具有能夠容納圖形顯示的幾何形狀的幾何形狀；以及基于多個圖像特性，將閉路字幕或圖形顯不放置在多個窗口位置選項之一中。
[0025]本公開設(shè)法將圖形顯示窗口放置在具有最少信息的圖像幀的區(qū)域中。在一個實施例中，這通過使用邊緣檢測方法來完成，其中，選擇具有最少數(shù)目的檢測到的邊緣的窗口。本公開不限于關(guān)聯(lián)于幀呈現(xiàn)時間戳的圖形，并且可以擴展至任何類型的圖形顯示屏幕。另夕卜，雖然本公開涉及閉路字幕作為圖形的主要實例，但是在此呈現(xiàn)的方法還可以應(yīng)用至用于開放字幕的文本的動態(tài)或自動放置，例如，副標(biāo)題，或媒體內(nèi)容中的其他類型的圖形，例如，電視網(wǎng)絡(luò)標(biāo)志或球隊標(biāo)志。
[0026]圖1圖示了用于流送或廣播媒體內(nèi)容的示例性系統(tǒng)100。內(nèi)容提供商105將媒體內(nèi)容經(jīng)由網(wǎng)絡(luò)110流送到最終用戶設(shè)備115。內(nèi)容提供商105可以是例如衛(wèi)星電視系統(tǒng)或多系統(tǒng)運營商(MSO)、或例如媒體服務(wù)器或視頻點播(VOD)服務(wù)器的頭端。網(wǎng)絡(luò)110可以是基于互聯(lián)網(wǎng)協(xié)議(IP)的網(wǎng)絡(luò)。網(wǎng)絡(luò)110還可以是用于廣播電視內(nèi)容的廣播網(wǎng)絡(luò)，其中，內(nèi)容提供商105是電纜或衛(wèi)星電視提供商。另外，網(wǎng)絡(luò)110可以是有線的，例如，光纖、同軸電纜，或者是無線接入網(wǎng)，例如，3G、4G、全球微波互聯(lián)接入(WiMAX)、高速分組接入(HSPA)、HSPA+、長期演進(LTE)。最終用戶設(shè)備115可以是機頂盒(STB)、個人數(shù)字助理(PDA)、數(shù)字視頻記錄器(DVR)、計算機、或移動設(shè)備，例如，膝上型電腦、上網(wǎng)本、平板電腦、便攜式媒體播放器、或無線電話。在一個實施例中，最終用戶設(shè)備115用作STB和DVR。另外，最終用戶設(shè)備115可以經(jīng)由例如藍牙、無線局域網(wǎng)(WLAN)協(xié)議的多種協(xié)議通過單獨有線或無線連接或網(wǎng)絡(luò)120，與其他最終用戶設(shè)備125通信。最終用戶設(shè)備125可以包括類似于最終用戶設(shè)備115的設(shè)備。在一個實施例中，最終用戶設(shè)備115是STB，并且其他最終用戶設(shè)備125是DVR。
[0027]顯示器140經(jīng)由單獨網(wǎng)絡(luò)或連接120耦合至最終用戶設(shè)備115、125。顯示器140呈現(xiàn)由具有動態(tài)選擇的圖形顯示窗口的一個或多個圖像構(gòu)成的多媒體內(nèi)容。一個或多個圖像可以通過最終用戶設(shè)備115、125或內(nèi)容提供商105生成。一個或多個圖像可以是視頻幀，例如，當(dāng)按順序顯示時，產(chǎn)生運動錯覺的一系列圖像中的單個圖像。
[0028]遙控器135可以被配置成控制最終用戶設(shè)備115、125和顯示器140。遙控器135可以用于選擇由最終用戶設(shè)備115、125在顯示器140上呈現(xiàn)給用戶的多個選項。
[0029]圖2圖示了原始圖像210和邊緣檢測圖像205的實例。邊緣表征邊界，并且因此存在圖像處理中的根本重要性的問題。圖像中的邊緣是具有強強度對比的區(qū)域，例如，強度從一個像素到下一個像素的跳躍。邊緣檢測圖像是圖像壓縮算法中的常規(guī)做法，其顯著減少圖像中的數(shù)據(jù)量，并且在保留圖像中的重要結(jié)構(gòu)性質(zhì)的同時，過濾出更少有用信息。多種邊緣檢測算法可以在本公開中使用，以分析所渲染的圖像內(nèi)容。
[0030]假定具有特定窗口幾何形狀(長方形窗口選項的幾何形狀222、226、232、236)的閉路字幕或圖形顯示，可以認為將該圖形窗口放置在具有較低數(shù)目的邊緣像素的圖像的區(qū)域中比放置在具有較大數(shù)目的邊緣像素的區(qū)域更加安全。例如，圖2中示出若干窗口位置選項222、226、232、236。實際上，更多選項可用。例如，清楚地，窗口位置選項236具有比其他窗口位置選項222、226、232更多的邊緣。在該特定圖像210中，具有最少邊緣的窗口選項222是將放置閉路字幕或圖形的位置。
[0031]邊緣檢測在像新聞或談話節(jié)目的存在較少運動的視頻片段中有用。根據(jù)視頻幀序列，在若干幀或者從選項222到選項232的跳躍和從選項232跳回到選項222內(nèi)，疊加圖形顯示的位置可以停留在選項222位置中。如果圖形顯示窗口的放置的改變變得令用戶討厭，則用戶可以啟用并且禁用在存在最少量邊緣或信息的區(qū)域中呈現(xiàn)的圖形。當(dāng)解碼器檢測到給定視頻幀序列中的運動和信息改變超過特定閾值時，啟用和禁用圖形顯示窗口的動態(tài)選擇還可以(或可替換地)由解碼器本身控制。
[0032]圖3、圖4和圖5圖示了執(zhí)行邊緣檢測的示例性方法。存在執(zhí)行邊緣檢測的很多方式。然而，大多數(shù)不同方法可以被分為兩類，梯度和拉普拉斯。梯度方法通過查找圖像的一階導(dǎo)數(shù)的最大值和最小值來檢測邊緣。拉普拉斯方法搜索圖像的二階導(dǎo)數(shù)的零交叉來尋找邊緣。邊緣具有斜坡的一維形狀，并且計算圖像的導(dǎo)數(shù)可以強調(diào)其位置。
[0033]圖3圖示了一維連續(xù)信號f(t)的曲線圖300。圖4圖示了曲線圖300中所示的信號的梯度的曲線圖400。在一個維度中，曲線圖300中的信號的梯度是關(guān)于t的一階導(dǎo)數(shù)。曲線圖400描繪表示一階導(dǎo)數(shù)的信號。
[0034]清楚地，導(dǎo)數(shù)信號示出位于原始信號中的邊緣的中心處的最大值。定位邊緣的該方法是邊緣檢測濾波器的“梯度濾波器”家族的特性，并且包括Sobel方法。如果梯度的值超過一些閾值，則像素位置表明邊緣位置。如前所述，具有邊緣的像素將比沒有邊緣的周圍像素具有更高像素強度值。所以一旦閾值被設(shè)置，梯度值就可以與閾值進行比較，并且只要超過閾值，就可以檢測出邊緣。而且，當(dāng)一階導(dǎo)數(shù)為最大值時，二階導(dǎo)數(shù)為零。
[0035]結(jié)果，找到邊緣的位置的另一個替代方案是定位二階導(dǎo)數(shù)中的零。該方法被已知為拉普拉斯方法。圖5圖示了描繪曲線圖300中的信號的二階導(dǎo)數(shù)的曲線圖500。具有零值的曲線圖500中的信號的位置描繪邊緣。
[0036]本公開利用用于檢測邊緣的Sobel方法。存在用于檢測邊緣的很多方法，其可以由本公開一起利用，以便動態(tài)地選擇圖形顯示窗口。在此使用用于檢測邊緣的Sobel方法作為實例。
[0037]基于以上一維分析，只要存在準(zhǔn)確近似以計算二維圖像的導(dǎo)數(shù)，該理論可以應(yīng)用至二維。Sobel運算器對圖像執(zhí)行2-D空間梯度測量，并且強調(diào)與邊緣相對應(yīng)的高空間頻率的區(qū)域。使用用于幀的掩模執(zhí)行卷積。在該實施例中，使用Sobel掩模來執(zhí)行卷積。通常，使用Sobel掩模來找到在輸入灰度級圖像中的每個點處的近似絕對梯度幅度。
[0038]圖6圖不了 Sobel掩模。Sobel邊緣檢測器使用一對3X3卷積掩模600, —個估計X方向(列)上的梯度，并且另一個估計y方向(行)上的梯度。卷積掩模通常比實際圖像小很多。結(jié)果，掩模在圖像之上滑行，一次操縱一個正方形像素。在一個實施例中，解碼器執(zhí)行Sobel方法以用于解碼后的幀的亮度部分。
[0039]然后，使用以下公式計算梯度的幅度:
[0040]_ = _ + Gf2
[0041]其中
[0042]可以使用以下計算近似幅度:
[0043]IGI = I Gx I +1 Gy I
[0044]圖7圖示了根據(jù)一個實施例的Sobel方法分析。掩模在輸入圖像的區(qū)域之上滑行，改變像素的值，并且然后將一個像素向右移位，并且繼續(xù)向右移位，直到掩模到達行的端部為止。然后，掩模從下一行的開始處開始。圖7中所示的實例示出掩模710在由虛線輪廓表示的輸入圖像705的左上部分之上滑行。公式示出如何計算輸出圖像715中的特定像素b22 (由虛線表示)。掩模的中心位于在圖像中正被操縱的像素之上。I&J值被用于移動文件指針，以便使例如像素(a22)乘以對應(yīng)掩模值(m22)。值得注意的是，第一和最后一行中、以及第一和最后一列中的像素不能通過3X3掩模操縱。這是因為當(dāng)將掩模的中心放置在第一行(例如)中的像素之上時，掩模將在圖像邊界外面。在該實例中，輸出圖像715的像素b22將如下計算:
[0045]b22 = (an*mn) + (a12*m12) + (a13*m13) + (a21*m21) + (a22*m22) + (a23*M23) + (a31*m31) + (a32*m3
2) + (a33*m33).[0046]圖8圖不了根據(jù)一個實施例的用于動態(tài)地選擇用于圖像的圖形顯不窗口的方法800。在步驟805處，對圖像執(zhí)行空間梯度測量。在一個實施例中，空間梯度測量是二維空間梯度測量。
[0047]在步驟810處，計算用于圖像的卷積后像素值。通過使用關(guān)于圖像的掩模，計算卷積后像素值。在一個實施例中，掩模是Sobel掩模。
[0048]在步驟815處，使用所計算的卷積后像素值，確定用于多個窗口位置選項的多個圖像特性。多個窗口位置選項具有能夠容納圖形顯示的幾何形狀的幾何形狀。圖像特性可以是邊緣或邊緣像素數(shù)目、信息量、或替代地這兩個選項。
[0049]在步驟820處，基于多個圖像特性，將例如閉路字幕數(shù)據(jù)的圖形放置在多個窗口位置選項之一中。為了本公開的目的，術(shù)語“閉路字幕或圖形數(shù)據(jù)的幾何形狀”可以指文本的可接受行的數(shù)目和給定字幕模式下的文本的每行的可接受行寬度。字幕模式的實例是“滾動”、“彈出”和“涂畫”。
[0050]在一個實施例中，方法800是確定用于視頻流中的每個圖像/幀的所選窗口位置選項的再現(xiàn)方法。在另一個實施例中，方法800是使用可選步驟817，基于在多個視頻圖像(例如，視頻流中的視頻幀的序列)內(nèi)累積的圖像特性信息來確定所選窗口位置選項的再現(xiàn)方法。在一個實施例中，在使用可選步驟817的情況下，視頻幀的序列對應(yīng)于視頻流中的場景改變(大信息改變)之后的連續(xù)視頻幀。
[0051]在一個實施例中，圖像特性是圖像中的邊緣量。當(dāng)邊緣像素具有超過閾值的卷積后像素值時，圖像中的邊緣量可以通過計數(shù)來計算。在[80，120]之間選擇典型邊緣閾值，用于灰度級圖像。
[0052]在一些情況下，所渲染的圖像(例如，幀)跨過幀具有更多邊緣。該幀可能比另一個在前幀具有更多內(nèi)容或?qū)ο?。該情況可能意味著當(dāng)前鏡頭(例如，圖像或幀)是特寫鏡頭。
[0053]在一個實施例中，圖形被放置在具有最少邊緣數(shù)目的圖像的區(qū)域中。在戶外運動節(jié)目(例如，籃球)的情況下，用戶可能想要看到更多場地-大多數(shù)場地區(qū)域?qū)⒉伙@示任何邊緣。球場的中心可能具有很多邊緣。較近角攝影視圖可能示出跨過幀延伸的更多邊緣。在這樣的情況下，可以有效地完成圖形渲染，確保具有最少信息的區(qū)域被選擇，并且不清除像擊球手、主球場、高飛球接球等的任何關(guān)鍵視圖。
[0054]在一個實施例中，由于在多個幀上檢測到的信息而導(dǎo)致可以選擇特定窗口位置選項。例如，在高爾夫廣播期間，高爾夫球跨過具有天空或作為地面的綠色的屏幕移動。在該實例中，由于在多個幀上檢測到球的運動而導(dǎo)致特定窗口位置選項不太可能被選擇。如果在連續(xù)圖像上，高爾夫球從屏幕的右下部分穿過到屏幕的左上部分，則若干窗口位置選項不可能具有最低數(shù)目的邊緣像素(例如，右下、中心、以及左上)。然后，在該特定高爾夫鏡頭期間，圖形顯示可以被放置在左下窗口位置選項或者右上窗口位置選項中。
[0055]如果字幕是彈出類型，則可以在不跨過很多邊緣的情況下，將已知長度的單行放置在屏幕的下邊緣上(使用“自由式”窗口放置確定或者使用多個預(yù)先選擇的窗口選項之一確定)。如果字幕滾動(多達四行深并且多達32列寬)，則在圖像的高爾夫鏡頭序列期間，窗口可能需要被認真地定位。如果所有窗口放置選項都大于所檢測到的邊緣像素的閾值數(shù)目，則字幕可以被放置在默認位置中而不是具有最少邊緣像素的窗口位置選項中。
[0056]在一個實施例中，圖像特性是圖像中的信息量。在該實施例中，圖形被放置在具有最少信息量的圖像的區(qū)域中。在像新聞電視廣播的節(jié)目中，除了特定位置之外，通常觀測到非常少運動。一個實例是新聞電視廣播，鐘在圖像的底部上運行。在該情況下，將圖形定位在具有最少信息的區(qū)域中(例如，沿著圖像的頂部)將非常有用。對于具有大量運動的序列，用戶可以選擇禁用圖形顯示窗口的動態(tài)選擇?？商鎿Q地，當(dāng)圖像特性大于閾值時，處理器可以禁用圖形顯示窗口的動態(tài)選擇。
[0057]在一個實施例中，圖像是實時呈現(xiàn)的多個視頻幀之一。圖形顯示窗口的動態(tài)定位可以由經(jīng)由用戶輸入接收到的選擇控制。當(dāng)解碼器確定幀中的邊緣在所設(shè)置期限內(nèi)不允許解碼器將具有相同幾何形狀的圖形重定位在幀的序列內(nèi)時，圖形顯示窗口的動態(tài)定位可以被自動禁用。在該情況下，自動重定位可以由解碼器關(guān)閉，并且圖形可以被渲染在由協(xié)議指定的默認位置中。在自動重定位被關(guān)閉之后，用戶可以在隨后時間啟用自動重定位。當(dāng)存在場景中的很多動作、具有大量詳情的特寫鏡頭等時，該情況是可能的。
[0058]在一個實施例中，圖形被放置在具有可以容納例如實際閉路字幕數(shù)據(jù)的圖形的幾何形狀的具有最少量邊緣的圖像的區(qū)域中。在該實施例中(例如，彈出)，特定最少邊緣位置與圖形的準(zhǔn)確幾何形狀匹配。對于該實施例，由于最少邊緣選擇位置與圖形的準(zhǔn)確幾何形狀匹配，所以將不存在最少邊緣選擇位置太小而不符合閉路字幕數(shù)據(jù)的給定幾何形狀的情況。然而，如果最少邊緣選項大于邊緣像素的閾值數(shù)目，則解碼器可以選擇默認位置，用于顯示圖形數(shù)據(jù)。
[0059]在一個實施例中，預(yù)先選擇區(qū)域可以被定義用于限制圖像內(nèi)的窗口放置選項的數(shù)目。例如，圖像(例如，幀)可以被劃分為四個象限。最少邊緣/信息檢測方法最初僅在這些預(yù)先選擇的象限上操作，并且然后當(dāng)放置閉路字幕數(shù)據(jù)時，在一個所選象限內(nèi)操作。
[0060]圖9圖示了具有用于窗口位置選項的預(yù)先選擇區(qū)域的圖像的一個實施例900。在該實施例中，預(yù)先選擇區(qū)域是類似2X2矩陣的四個區(qū)域或者象限。圖像或幀905被劃分為四個象限910、915、920、925。在每個幀上完成邊緣檢測。具有最少邊緣和/或信息的象限被選擇用于圖形顯示窗口的放置。在所選象限內(nèi)，圖形顯示窗口可以如先前關(guān)于圖8描述的那樣被動態(tài)地定位(開始于步驟815，并且將多個窗口位置選項限制在所選象限內(nèi))。從而，圖9示出區(qū)域910內(nèi)的四個示例圖形顯示窗口放置選項。實際上，更多選項可用。
[0061]圖10圖示了具有用于窗口位置選項的預(yù)先選擇區(qū)域的圖像的另一個實施例1000。在該實施例中，窗口位置選項是類似1X4矩陣的四個區(qū)域或象限。圖像或幀1005被水平地劃分為四個象限1010、1015、1020、1025。在每個幀上完成邊緣檢測。具有最少邊緣和/或最少量信息的象限被選擇用于放置圖形顯示窗口。在所選象限內(nèi)，圖形顯示窗口可以如先前關(guān)于圖8描述的那樣被動態(tài)地定位(開始于步驟815，并且將多個窗口位置選項限制在所選象限內(nèi))。從而，四個圖形顯示窗口選項被示出為象限1010中的實例。實際上，更多選項可用。
[0062]雖然圖9至圖10示出了四個預(yù)先選擇區(qū)域，但是可以實現(xiàn)其他數(shù)目(兩個以上)的區(qū)域。而且，雖然圖9至圖10示出相等尺寸和幾何形狀的區(qū)域，但是在其他實現(xiàn)中，區(qū)域可以具有不同尺寸和/或形狀。另外，區(qū)域可以重疊，而不是如圖9至圖10中所示的不重疊。
[0063]高級電視閉路字幕(ATVCC)標(biāo)準(zhǔn)允許9600位/秒，其中，電子工業(yè)聯(lián)盟(EIA) 608 (模擬字幕)可以是960bps。EIA708可以承載8640bps，這意味著，每幀，在60Hz，一個可以具有被分配用于閉路字幕的20字節(jié)。
[0064]圖11圖示了根據(jù)一個實施例的用于動態(tài)地定位圖形顯示窗口的方法1100。在步驟1110處，確定閉路字幕模式?？梢栽凇皾L動” 1115、“涂畫” 1125、或“彈出” 1120模式下
顯示字幕?；谧帜荒Ｊ?，可以預(yù)先建立窗口幾何形狀。
[0065]滾動模式1113被設(shè)計成便于在直播事件期間理解消息。從左邊擦除字幕，并且然后在下一行出現(xiàn)在下面時，向上滾動。一、二、三或四行通常同時留在屏幕上。因為圖形可以多達四行深，圖形顯示窗口可以多達四行深并且多達32行寬。注意，與以下將描述的其他兩種模式相比，滾動模式下的圖形顯示窗口的幾何形狀可能更大。
[0066]在涂畫模式1115下，從左到右在屏幕上擦除文本的單行。文本的完整單行暫時留在屏幕上，并且然后消失。在涂畫模式下，行長度可以增加。同樣地，當(dāng)確定圖形顯示窗口幾何形狀時，控制器可以說明(account for)最長可能行長度。例如，在涂畫模式下，圖形顯示窗口可以被設(shè)置為I行深和32列寬。
[0067]彈出模式1117通常比模式1113和1115更少地分散電視觀眾的注意；然而，在渲染該行的任何部分之前，完整行必須在觀眾視線以外被預(yù)先聚集。在彈出模式下，行深度和長度被已知，并且圖形顯示窗口可以準(zhǔn)確地為已知彈出圖形的行深度和列寬度。同樣地，圖形的放置可以非常準(zhǔn)確。
[0068]在步驟1120處，處理閉路字幕數(shù)據(jù)。在可選步驟1130處，例如使用如先前論述的邊緣檢測方法來找到來自多個預(yù)定區(qū)域中的單個區(qū)域，以找到具有最少邊緣(或最少信息)的預(yù)定區(qū)域。使用來自步驟1120的閉路字幕數(shù)據(jù)和來自步驟1110的字幕模式，可以設(shè)置圖形顯示窗口幾何形狀。在步驟1140處，選擇具有最少量邊緣和/或信息的窗口位置選項(如果步驟1130發(fā)生，則在多個預(yù)定區(qū)域中的所找到一個內(nèi))。在一個實施例中，使用方法800來確定具有最少量邊緣和/或信息的“自由式”窗口位置選項，而不使用步驟1130。換句話說，方法800可以被用于選擇多個窗口位置選項之一，其中，多個窗口位置選項占用整個圖像。在每步驟1140選擇所選區(qū)域內(nèi)的特定圖形窗口位置之前，方法800還被用于通過使用步驟1130，選擇多個固定或預(yù)先選擇區(qū)域之一(例如，象限910、915、920、925之一或象限 1010、1015、1020、1025 之一)。
[0069]渲染器(renderer)能夠自由地更改字體大小，并且還將行分隔符定位在圖形顯示窗口中的任何位置。通常，當(dāng)在兩個字母之間檢測到空間時，可以插入行分隔符。
[0070]對于渲染類型1113、1115、1117中的每個，可以不同地固定用于重定位圖形顯示窗口的判定作出點。對于滾動模式1113，例如，當(dāng)已經(jīng)在給定時間顯示文本的四行并且第五行必須出現(xiàn)使，可以作出(使用圖8)關(guān)于用于圖形顯示窗口的最佳位置的確定。在使用圖形顯示窗口(B卩，步驟1130和1140)的兩級定位的新聞節(jié)目的情況下，用于圖形顯示窗口的象限可以非常穩(wěn)定，這是因為給定象限中的邊緣量通常在廣播期間可以不改變。對于彈出1115和涂畫1117模式，每次新一行數(shù)據(jù)必須被“彈出”或“涂畫”時(即，在每一行完成之后)，作出關(guān)于哪個象限具有最少邊緣量的確定。
[0071]包括但不限于結(jié)合圖6至圖11呈現(xiàn)的那些的上述處理在一般多目的或單目的處理器中實現(xiàn)。這樣的處理器將在組件、編譯或機器級執(zhí)行指令，以執(zhí)行該處理。按照以上呈現(xiàn)并且在例如非暫時性計算機可讀介質(zhì)的計算機可讀介質(zhì)上存儲或傳送的描述，那些指令可以由本領(lǐng)域普通技術(shù)人員編寫?？梢允褂迷创a或任何其他已知計算機輔助設(shè)計工具來創(chuàng)建指令。計算機可讀介質(zhì)可以是承載那些指令的任何介質(zhì)，并且包括⑶-ROM、DVD、磁性或其他光盤、磁帶、硅存儲器(例如，可拆卸、不可拆卸、易失性或非易失性)、分組或非分組有線或無線傳輸信號。
[0072]圖12圖示了示例設(shè)備1200的框圖。特別是，設(shè)備1200可以被用于動態(tài)地選擇圖形，例如，閉路字幕、用于圖像的顯示窗口。設(shè)備1200可以在內(nèi)容提供商105、顯示器140、或最終用戶設(shè)備115、125中實現(xiàn)。
[0073]設(shè)備1200包括處理器(CPU) 1210、例如隨機存取存儲器(RAM)和/或只讀存儲器(ROM)的存儲器1220、例如閉路字幕的圖形、窗口位置選項選擇模塊1240、圖形模式選擇模塊1250、以及多種輸入/輸出設(shè)備1230(例如，存儲設(shè)備，包括但不限于帶驅(qū)動器、軟盤驅(qū)動器、硬盤驅(qū)動器或光盤驅(qū)動器、接收器、傳送器、以及在多媒體中通常要求的其他設(shè)備，例如，內(nèi)容傳遞、編碼器、解碼器、系統(tǒng)組件、通用串行總線(USB)大容量存儲器、網(wǎng)絡(luò)附加存儲器、網(wǎng)絡(luò)云上的存儲設(shè)備)。
[0074]應(yīng)該理解，窗口位置選項選擇模塊1240和圖形模式選擇模塊1250可以被實現(xiàn)為通過通信信道耦合至CPU1210的一個或多個物理設(shè)備?？商鎿Q地，窗口位置選項選擇模塊1240和圖形模式選擇模塊1250可以由一個或多個軟件應(yīng)用表示(或者甚至軟件和硬件的組合，例如，使用專用集成電路(ASIC))，其中，軟件從存儲介質(zhì)(例如，磁或光驅(qū)動器或盤)下載并且在計算機的存儲器1220中由CPU操作。同樣地，本公開的窗口位置選項選擇模塊1240(包括關(guān)聯(lián)數(shù)據(jù)結(jié)構(gòu))和圖形模式選擇模塊1250(包括關(guān)聯(lián)數(shù)據(jù)結(jié)構(gòu))可以被存儲在計算機可讀介質(zhì)上，例如，RAM存儲器、磁或光驅(qū)動器或盤等。
[0075]雖然以上提供了本公開的多個實施例，但是在不脫離其基本范圍的情況下，可以想到其他和進一步實施例，并且其范圍可以由權(quán)利要求確定。
【權(quán)利要求】
1.一種用于將圖形顯示窗口布置動態(tài)地放置在圖像內(nèi)的方法，包括: 對所述圖像執(zhí)行二維空間梯度測量； 計算用于所述圖像的卷積后像素值； 使用所計算的卷積后像素值，確定用于多個窗口位置選項的多個圖像特性，所述多個窗口位置選項具有能夠容納圖形顯示的幾何形狀的幾何形狀； 基于所述多個圖像特性，將所述圖形顯示放置在所述多個窗口位置選項之一中。
2.根據(jù)權(quán)利要求1所述的方法，其中，通過使用關(guān)于所述圖像的掩模，計算所述卷積后像素值。
3.根據(jù)權(quán)利要求1所述的方法，其中，圖像特性是邊緣數(shù)目，并且所述放置包括: 將所述圖形顯示放置在具有最低邊緣數(shù)目的所述窗口位置選項中。
4.根據(jù)權(quán)利要求3所述的方法，其中，當(dāng)邊緣像素具有超過閾值的卷積后像素值時，通過計數(shù)計算所述圖像中的所述邊緣數(shù)目。
5.根據(jù)權(quán)利要求3所述的方法，其中，所述圖形顯示是閉路字幕數(shù)據(jù)，并且所述放置包括: 將閉路字幕數(shù)據(jù)放置在具有最少邊緣數(shù)目的所述窗口位置選項中。
6.根據(jù)權(quán)利要求1所述的方法，其中，所述圖像特性是所述圖像中的信息量，并且所述放置包括: 將所述圖形顯示放置在具有所述最低信息量的所述窗口位置選項中。
7.根據(jù)權(quán)利要求1所述的方法，其中，所放置的圖形顯示在彈出模式下被呈現(xiàn)。
8.根據(jù)權(quán)利要求1所述的方法，其中，所放置的圖形顯示在滾動模式下被呈現(xiàn)，并且所述幾何形狀比所述圖形顯示更深。
9.根據(jù)權(quán)利要求1所述的方法，其中，所放置的圖形顯示在涂畫模式下被呈現(xiàn)，并且所述幾何形狀比所述圖形顯示更長。
10.根據(jù)權(quán)利要求1所述的方法，其中，所述圖像是視頻幀的序列中的一個視頻幀，并且其中，用于所述多個窗口位置選項的多個累積圖像特性被確定用于所述視頻幀的序列。
11.根據(jù)權(quán)利要求10所述的方法，其中，所述放置通過接收用戶輸入被禁用。
12.根據(jù)權(quán)利要求10所述的方法，其中，所述放置基于所述多個視頻幀的序列中的運動量和信息改變量中的至少一個被禁用。
13.根據(jù)權(quán)利要求10所述的方法，其中，所放置的圖形顯示在滾動模式下被呈現(xiàn)。
14.根據(jù)權(quán)利要求10所述的方法，其中，所放置的圖形顯示在涂畫模式下被呈現(xiàn)。
15.根據(jù)權(quán)利要求10所述的方法，其中，基于所述多個累積圖像特性，窗口位置選項不予考慮。
16.根據(jù)權(quán)利要求1所述的方法，進一步包括:在所述計算之后， 基于所計算的卷積后像素值，從多個預(yù)定區(qū)域中找到一區(qū)域，以及 其中，所述多個窗口位置選項僅在所述區(qū)域內(nèi)。
17.一種用于將閉路字幕顯示窗口動態(tài)地放置在圖像內(nèi)的裝置，包括: 存儲器；以及 處理器，所述處理器被配置成執(zhí)行以下: 對所述圖像執(zhí)行二維空間梯度測量；計算用于所述圖像的卷積后像素值； 使用所計算的卷積后像素值，確定用于多個窗口位置選項的多個圖像特性，所述多個窗口位置選項具有能夠容納圖形顯示的幾何形狀的幾何形狀； 基于所述多個圖像特性，將所述圖形顯示放置在所述多個窗口位置選項之一中。
18.根據(jù)權(quán)利要求17所述的裝置，其中，所述處理器還被配置成執(zhí)行以下: 基于所計算的卷積后像素值，從多個預(yù)定區(qū)域中找到一區(qū)域，以及 其中，所述多個窗口位置選項僅在所述區(qū)域內(nèi)。
19.一種非暫時性計算機可讀存儲介質(zhì)，包括當(dāng)由處理器執(zhí)行時，執(zhí)行用于將圖形顯示窗口動態(tài)地定位在圖像內(nèi)的以下方法的指令，所述方法包括: 對所述圖像執(zhí)行二維空間梯度測量； 計算用于所述圖像的卷積后像素值； 使用所計算的卷積后像素值，確定用于多個窗口位置選項的多個圖像特性，所述多個窗口位置選項具有能夠容納圖形顯示的幾何形狀的幾何形狀； 基于所述多個圖像特性，將所述圖形顯示放置在所述多個窗口位置選項之一中。
【文檔編號】G06T11/60GK103946894SQ201280057484
【公開日】2014年7月23日 申請日期:2012年11月16日 優(yōu)先權(quán)日:2011年11月22日
【發(fā)明者】阿拉溫達·索恩達拉拉央 申請人:摩托羅拉移動有限責(zé)任公司