專利名稱：具有重疊圖形的圖像的重定向的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于圖像重定向(retargeting)的方法。本發(fā)明同樣涉及相應(yīng)的設(shè)備和計算機程序產(chǎn)品，其包括用于實現(xiàn)該方法的各步驟的指令。
背景技術(shù)：
顯示技術(shù)領(lǐng)域中的最新發(fā)展在顯示大小方面具有很大的多樣性。顯示器從低分辨率手持設(shè)備到高清晰度寬屏幕TV而不同。計算和通信基礎(chǔ)設(shè)施正在演化為在這種不斷擴大集合的潛在顯示器中支持圖像和視頻。對于在諸如蜂窩電話和手持個人計算機(PC)、具有視頻能力的個人數(shù)字助理(PDA)以及家庭聯(lián)網(wǎng)的媒體電器之類的設(shè)備上共享、表達和交換信息而言，可視化內(nèi)容正變得更加重要。對于不同的設(shè)備，需要以不同的維度和長寬比來顯示相同的內(nèi)容?？s放和裁剪的標準圖像處理方法已不能證明是足夠的。隨著寬屏幕TV的普及，需要在除了原定之外的其他顯示器上能夠有效地顯示視頻的有效解決方案。傳統(tǒng)上，TV實現(xiàn)稱為“黑條檢測(black bar detection)”的方法來自動地調(diào)整長寬比。以黑條消失的方式來縮放視頻。這尤其在現(xiàn)代的寬屏幕平板TV中對于信箱模式寬屏幕(letter boxed widescreen)內(nèi)容來完成。然而，為了在寬屏幕TV上顯示 4:3內(nèi)容時，縮放調(diào)整導(dǎo)致失真。Brian Schoner等人的美國專利7339627描述一種用于基于環(huán)繞圖像的黑條的長寬比修正的方法。雖然應(yīng)用于市場上的TV，但是這種方法具有的缺點是如果源視頻被不正確編碼(諸如從因特網(wǎng)秀中下載的許多視頻)或?qū)τ诓捎?. 35:1電影長寬比的電影而言， 這種方法失敗，其甚至在16:9寬屏幕TV上也需要與黑條一起進行顯示。在飛利浦TV中，全景伸展(Panoramic Stretch)的技術(shù)用于在16:9的顯示器上顯示4:3內(nèi)容，其中圖像的邊界被拉伸以占據(jù)更寬的屏幕。雖然該方法所基于的假設(shè)即最基本的信息位于中心視圖中通常是一種好的假設(shè)，但是具有其中這樣的各向異性拉伸并不是最優(yōu)解決方案的許多情形。需要對于各種顯示器都能夠有效調(diào)整大小的更好的方法。當簡單的長寬比修正不足以再現(xiàn)適于觀看的圖像時，圖像重定向被調(diào)用。重定向是在考慮內(nèi)容即場景中的重要對象的同時對圖像進行縮放。它因此時常被稱為內(nèi)容感知調(diào)整大小(content-aware resizing)?；蚧诘图壱曈X顯著性(visual saliency)或通過如同臉部檢測的工具的高級圖像理解，不同的重定向方法識別重要的圖像特征。基于重要的特征，重定向方法試圖在不太重要的區(qū)域中修改圖像，以調(diào)整大小到目標大小。重定向方法一般在需要將4:3內(nèi)容拉伸到16:9顯示或?qū)⑺械某Ｒ?guī)內(nèi)容拉伸到 21:9顯示時是有用的。

發(fā)明內(nèi)容
當圖像包括具有諸如字幕、標志等等被稱為重疊圖形的疊加圖片的一個場景時， 重定向方法并不導(dǎo)致好看的重定向圖像。例如，這些字幕由于內(nèi)容感知調(diào)整大小的非均勻縮放而被失真。
此外，重疊圖形通常影響重定向方法所使用的能量函數(shù)，這導(dǎo)致次優(yōu)結(jié)果。例如， 由于能量函數(shù)時?；趫D像中的梯度，所以在重疊圖形中并且尤其在字幕中經(jīng)常出現(xiàn)的高對比度和尖銳邊緣可能取決于圖像內(nèi)容而在圖像中在別處導(dǎo)致更大的失真。因此，獲得不使重疊圖形的外觀失真并且重疊圖形對于圖像重定向沒有影響的重定向方法將是有利的。為了更好地解決這些關(guān)注點中的一個或多個，在本發(fā)明的第一方面，一種用于重定向利用像素矩陣來定義且包括重疊圖形的圖像的方法包括
從圖像中提取重疊圖形；
通過將重疊圖形的位置上的像素替換為對于能量函數(shù)而言中性的像素來修改圖像； 基于像素能量函數(shù)，計算修改圖像的顯著性圖； 基于顯著性圖，重定向修改的圖像； 將重疊圖形加回到重定向的圖像。有利地，該方法在重定向處理之前將圖像與重疊圖形相分離。圖像和重疊圖形在重定向處理之后再次被混合在一起。因此，重疊圖形不影響能量函數(shù)并且不會由于非均勻縮放而被失真。在特別的實施例中，
重疊圖形在被加回之前進行調(diào)整；例如，重疊圖形通過縮放以使得重疊圖形維度適應(yīng)于重定向圖像維度、分辨率增強和對比度增強來調(diào)整，以致利用賞心悅目的外觀來顯示重疊圖形；
修改的圖像通過使用所定義的像素能量函數(shù)的接縫焊接(seam carving)來重定向， 盡管其他的重定向方法也是可用的；
像素能量函數(shù)基于圖像中的梯度，并且替換像素是周圍像素的平均值，以最小化替換像素所帶來的能量；
當重疊圖形被加回時，重疊圖形的位置和大小被調(diào)整，以最小化由于重疊圖形提取而在重定向的圖像上引入的偽像(artifact);例如，重疊圖形位置和大小在提取之前被存儲， 并且所述位置和所述大小在重定向期間與圖像一起被調(diào)整大小，以定義被加回的重疊圖形的新的位置和大小，使得所調(diào)整的重疊圖形至少部分地隱藏其中替換像素被放置的區(qū)域；
在提取重疊圖形之后通過將重疊圖形像素替換為適應(yīng)于圖像內(nèi)容的像素來生成第二圖像，第二圖像而非修改的圖像基于計算的顯著性圖來重定向，這具有將顯著性圖的計算與被重定向的圖像分開的優(yōu)點，從而匯集了這兩種操作的最佳狀態(tài)。在本發(fā)明的第二方面，計算機程序產(chǎn)品包括指令，這些指令當被加載并在設(shè)備的計算機裝置上運行時用于實現(xiàn)在本文上面披露的方法的各步驟。在本發(fā)明的第三方面，用于重定向圖像的設(shè)備包括
用于獲取圖像的接收機，所述圖像利用像素矩陣來定義且包括重疊圖形； 圖像中的重疊圖形的提取器；
通過將重疊圖形的位置上的像素替換為對于能量函數(shù)而言中性的像素來修改圖像的圖像修改器；
基于像素能量函數(shù)的所述修改圖像的顯著性圖計算器； 用于基于所述顯著性圖來重定向所述修改圖像的縮放器； 用于將重疊圖形加回到重定向的圖像的合成器。取決于圖像的類型，特定實施例由于更容易適應(yīng)或由于給出更好的結(jié)果而可能是優(yōu)選的。然而，這些特定實施例的各方面可以在適當或期望時進行組合或修改。


本發(fā)明的這些和其他的方面從下述的實施例中將是顯然的并將參考這些實施例來闡述，其中
圖1是根據(jù)本發(fā)明的一個實施例的方法的不同步驟的結(jié)果的示意圖； 圖2是根據(jù)本發(fā)明的一個實施例的方法的流程圖； 圖3是根據(jù)本發(fā)明的另一實施例的方法的流程圖；和圖4是根據(jù)本發(fā)明的一個實施例的設(shè)備的示意圖。
具體實施例方式參考圖1，圖像1包括字幕3。字幕是重疊圖形的示例。其他的重疊圖形是標志、 股票交易顯示帶(ticker tape)、用于體育比賽的記分牌等。在第一步驟，從圖像1中去除字幕3，以獲得圖像5。隨后，圖像5被重定向到圖像7中，其中在圖像7上字幕3被加回，以獲得最終的重定向圖像9?，F(xiàn)在，參考圖2詳細地描述用于重定向圖像1的方法。重定向方法一般使用像素能量函數(shù)，例如基于梯度的函數(shù)。像素能量函數(shù)當被應(yīng)用于圖像時定義被重定向方法用于將縮放操作集中于低顯著性區(qū)域上的顯著性圖。在步驟11，這些字幕被檢測。例如，這能夠使用可用的用于字幕檢測的算法諸如在轉(zhuǎn)讓給R. Lienhart等人的US2002/0159636中所披露的算法來完成。所有的被標記為字幕像素的像素被去除，步驟13，通過將這些像素替換為對于能量函數(shù)而言為中性的即不引入能量或引入非常有限能量的像素值來形成圖像。例如，對于基于梯度的能量函數(shù)，每個字幕像素可以利用周圍像素的平均值來替換。作為另一個示例， 繪畫(in-painting)算法可以用于替換字幕像素。能量函數(shù)被應(yīng)用于修改的圖像，步驟15，以計算顯著性圖。并且基于顯著性圖，重定向修改的圖像，步驟17。值得注意的是取決于所使用的重定向算法，顯著性圖的計算以及重定向可以被合并在獨特的步驟中。作為用于所披露方法的可用的重定向算法的示例，可以引用接縫焊接。接縫焊接例如被披露在其中顯著性圖被稱為“能量圖像”的轉(zhuǎn)讓給Avidan等人的US 2008/0267528 中。圖像被重定向，字幕被加回，步驟19。優(yōu)選地，這些字幕當被放置在重定向的圖像中時的大小和位置使得這些字幕掩蔽在從原始圖像去除字幕的同時已引入的可能的圖像偽像。為了掩蔽這些偽像，字幕在原始圖像中的位置能夠被記住，并且這個信息在重定向步驟期間與圖像一起被調(diào)整大小。因此，在被加回之前，這些字幕可以被修改，步驟21。例如，取決于所發(fā)生的調(diào)整大小，縮放步驟可以被應(yīng)用于這些字幕，以便將字幕大小調(diào)整為顯示大小和格式。
其他的修改可以包括對比度增強、分辨率增強等。由于這些字幕的像素位置已被填充了對能量函數(shù)具有最小影響的值，所以重定向算法的性能不再受字幕存在的影響。然而，從圖像的視覺質(zhì)量的觀點來看，利用中性像素的替換可能不是有效的。因此，結(jié)合其中相同的步驟具有相同的參考數(shù)字的圖3披露一種變型。與利用中性像素替換字幕像素的步驟13并行，創(chuàng)建第二圖像，步驟31，其中字幕像素利用具有賞心悅目外觀的像素即例如通過從周圍像素中插值而適應(yīng)于圖像內(nèi)容的像素來替換。在這個變型中，從其中字幕像素已被中性像素替換的圖像中計算顯著性圖，步驟 15。但是，步驟17，重定向操作在第二圖像即賞心悅目外觀圖像上使用顯著性圖。其他的步驟是類似的。例如，字幕也可以如在圖2的步驟21中一樣被修改。該方法可以利用計算機程序產(chǎn)品來實現(xiàn)，其中計算機程序產(chǎn)品當被加載并運行在圖像調(diào)整大小設(shè)備的計算機裝置上時能夠?qū)崿F(xiàn)上述的方法步驟中的任何一個。計算機程序可以被存儲/被分布在與其他硬件一起提供或者作為其他硬件的一部分來提供的合適介質(zhì)上，但是也可以以其他的形式諸如經(jīng)由因特網(wǎng)或其他的有線或無線電信系統(tǒng)來分布。根據(jù)所披露的實施例，集成電路可以被安排為執(zhí)行這些方法步驟中的任何一個。例如，HD TV或?qū)捚聊籘V可以包含用于在顯示視頻圖像之前重定向視頻圖像的設(shè)備。該設(shè)備包括圖4的
用于獲取圖像的接收機41，其中圖像利用像素矩陣來定義且包括重疊圖形； 圖像中的重疊圖形的提取器43 ；
通過將重疊圖形的位置上的像素替換為對于能量函數(shù)而言中性的像素來修改圖像的圖像修改器45 ；
基于像素能量函數(shù)的修改圖像的顯著性圖計算器47 ； 用于基于顯著性圖來重定向修改圖像的縮放器49 ； 用于將重疊圖形加回到重定向的圖像的合成器51。合成器51可以包括重疊圖形修改器53，用于在重疊圖形被加回之前調(diào)整重疊圖形。雖然本發(fā)明在附圖以及前面的描述中具體地進行說明和描述了，但是這樣的說明和描述將被認為是說明性的或示例性的而非限制性的；本發(fā)明并不限于所披露的實施例。從附圖、披露內(nèi)容以及所附的權(quán)利要求書的研究中，本領(lǐng)域技術(shù)人員在實踐所請求保護的發(fā)明中能夠明白和實現(xiàn)所披露實施例的其他變型。在權(quán)利要求書中，詞“包括”并不排除其他的元素，并且不定冠詞“一”或“一個”并不排除多個。
權(quán)利要求
1.一種用于重定向圖像的方法，所述圖像利用像素矩陣來定義且包括重疊圖形，所述方法包括 從圖像中提取(11)重疊圖形； 通過將重疊圖形的位置上的像素替換為對于能量函數(shù)而言中性的像素來修改(13) 圖像； 基于像素能量函數(shù)，計算(15)所述修改圖像的顯著性圖； 基于所述顯著性圖，重定向(17)所述修改圖像； 將重疊圖形加回(19)到重定向圖像。
2.根據(jù)權(quán)利要求1的方法，其中重疊圖形在被加回之前被調(diào)整。
3.根據(jù)權(quán)利要求2的方法，其中重疊圖形通過以下操作中的至少一個來調(diào)整縮放以使得重疊圖形維度適應(yīng)于重定向圖像維度，分辨率增強和對比度增強。
4.根據(jù)權(quán)利要求1的方法，其中修改圖像通過接縫焊接來重定向，所述接縫焊接使用所定義的像素能量函數(shù)。
5.根據(jù)權(quán)利要求1的方法，其中像素能量函數(shù)基于圖像中的梯度。
6.根據(jù)權(quán)利要求1的方法，其中替換像素是周圍像素的平均值。
7.根據(jù)權(quán)利要求1的方法，其中當重疊圖形被加回時，重疊圖形的位置和大小被調(diào)整， 以使得由于重疊圖形提取而在重定向圖像上引入的偽像最小化。
8.根據(jù)權(quán)利要求7的方法，其中重疊圖形位置和大小在提取之前被存儲，并且所述位置和所述大小在重定向期間與圖像一起被調(diào)整大小，以定義被加回的重疊圖形的新的位置和大小。
9.根據(jù)權(quán)利要求1的方法，其中在提取重疊圖形之后通過將重疊圖形像素替換為適應(yīng)于圖像內(nèi)容的像素來生成第二圖像，所述第二圖像而非修改圖像基于所述計算的顯著性圖來重定向。
10.根據(jù)任一前述權(quán)利要求的方法，其中重疊圖形是字幕、標志、股票交易顯示帶和記分牌中的至少一個。
11.一種計算機程序產(chǎn)品，其包括指令，所述指令當被加載并運行在設(shè)備的計算機裝置上時用于實現(xiàn)根據(jù)權(quán)利要求1-10之中任何一項權(quán)利要求的方法的步驟。
12.一種用于重定向圖像的設(shè)備，包括 接收機(41)，用于獲取圖像，所述圖像利用像素矩陣來定義且包括重疊圖形； 圖像中的重疊圖形的提取器(43)； 圖像修改器(45)，用于通過將重疊圖形的位置上的像素替換為對于能量函數(shù)而言中性的像素來修改圖像； 基于像素能量函數(shù)的所述修改圖像的顯著性圖計算器G7)； 縮放器(49)，用于基于所述顯著性圖來重定向所述修改圖像； 合成器(51)，用于將重疊圖形加回到重定向圖像。
13.根據(jù)權(quán)利要求12的設(shè)備，其中合成器包括重疊圖形修改器，用于在所述重疊圖形被加回之前調(diào)整重疊圖形。
14.根據(jù)權(quán)利要求13的設(shè)備，其中所述重疊圖形修改器能夠進行以下操作中的至少一個縮放以使得重疊圖形維度適應(yīng)于重定向圖像維度，分辨率增強和對比度增強。
全文摘要
用于重定向利用像素矩陣定義并包括重疊圖形的圖像的方法包括·從圖像中提取(11)重疊圖形；·通過將重疊圖形的位置上的像素替換為對于能量函數(shù)而言中性的像素來修改(13)圖像；·基于像素能量函數(shù)，計算(15)修改圖像的顯著性圖；·基于顯著性圖，重定向(17)修改圖像；·將重疊圖形加回(19)到重定向圖像。
文檔編號G06K9/46GK102473285SQ201080030259
公開日2012年5月23日 申請日期2010年7月2日 優(yōu)先權(quán)日2009年7月6日
發(fā)明者P. 溫克 J., H. G. 皮特斯 M. 申請人:皇家飛利浦電子股份有限公司