本發(fā)明涉及使能夠?qū)崿F(xiàn)協(xié)調(diào)的空間地局部化的顏色處理的裝置和方法以及產(chǎn)生的像是數(shù)據(jù)存儲裝置或者傳輸產(chǎn)品或者信號這樣的產(chǎn)品,所述顏色處理在圖像的變換中被使用以便使它們在比色上被正確地分級,以用于在具有不同動態(tài)范圍并且典型地具有不同峰值明亮度的至少兩個顯示器上顯示。
背景技術(shù):
最近,一些非常不同的顯示器已出現(xiàn)在市場上,特別是具有非常不同的峰值明亮度的電視信號接收顯示器(電視機)。而在過去,所謂的舊有低動態(tài)范圍(ldr)顯示器的峰值明亮度(pb)相差最多大約2倍,最近的向越來越高的峰值明亮度的傾向已導致產(chǎn)生所謂的1000nit及以上的高動態(tài)范圍(hdr)的電視機和5000nitpb的顯示器等,并且已假設不久各種這樣的更高pb的顯示器將上市。甚至在電影院中,人們正在考慮增大被觀看者感知的極限明亮度動態(tài)范圍的方法。相比于100nitldr標準舊有tv,例如,2000nit顯示器具有20倍之多的明亮度,這總計多于4個附加的停止點可用。另一方面,假設人們也使用新一代hdr圖像或者捕獲系統(tǒng),這允許對hdr場景或者效果的好得多的渲染。例如,取代對建筑物或者車輛外部的陽光充足的世界進行(軟)剪輯(如將在舊有l(wèi)dr分級中發(fā)生的),人們可以使用hdrtv色域的照度軸上的附加的可用明亮度來顯示明亮并且多彩的外部區(qū)域。這意味著我們將稱為顏色分級機的內(nèi)容創(chuàng)造者有余地來制作非常漂亮的專用hdr圖像或者視頻內(nèi)容。然而另一方面,這產(chǎn)生問題:ldr圖像編碼被相對設計為從白色開始并且對于18%反射的中等灰度被很好地照亮,這意味著典型地例如100nit的相對低pb的5%以下的被顯示器渲染的亮度將典型地由于難以辨別深灰色或者甚至取決于周圍照度而被觀看者看作不可辨別的黑色。在5000nit顯示器上,對于該最優(yōu)地經(jīng)分級的hdr圖像將不存在任何問題:5000nit的5%仍然有250nit,因此這將例如看起來像正常的內(nèi)部,并且像例如是燈、接近這樣的燈的即被明亮地照亮的區(qū)域這樣的最高95%可以純被用于hdr效果。但在ldr上,對該hdr分級的渲染將變成完全錯誤的(因為它也不是針對這樣的顯示器被創(chuàng)造的),并且觀看者例如可能僅看見接近黑色的區(qū)域上的與最明亮的區(qū)域相對應的熱點。一般地,對于針對足夠不同(pb上至少2倍不同)的顯示器創(chuàng)造最優(yōu)的圖像需要重新分級。該情況將在以下兩者時候發(fā)生:對用于較低動態(tài)范圍顯示器的圖像進行重新分級以使它適合于在較高動態(tài)范圍顯示器上的渲染(例如,1000nit參考顯示器內(nèi)容被進行顏色處理以便在5000nitpb的實際顯示器上進行渲染),作為相反方向,即,使圖像降級以使得它將適合于在具有比與被編碼為視頻圖像的分級相關(guān)聯(lián)的參考顯示器低的pb的實際顯示器上顯示。出于簡潔的考慮,我們將僅描述在其中一個或多個hdr圖像將被降級到ldr的場景。
因為hdr技術(shù)(借此我們指應當能夠處置至少某些hdr圖像的技術(shù),但其也可以與ldr圖像或者中等動態(tài)范圍圖像等一起工作)將滲入消費者和專業(yè)兩者用途(例如,照相機、像藍光播放器、電視機、計算機軟件、投影系統(tǒng)、安全性或者視頻會議系統(tǒng)這樣的數(shù)據(jù)處置設備等)的各種領(lǐng)域,我們將需要能夠以不同的方式處置各種方面的技術(shù)。
在wo2013/144809中,我們一般地闡述了用于執(zhí)行顏色處理的技術(shù),其用于產(chǎn)生適合于不同于與輸入圖像(im-in)相關(guān)聯(lián)的參考顯示器動態(tài)范圍的另一個顯示器動態(tài)范圍(典型地,pb足夠表征不同的顯示器動態(tài)范圍以及因此被最優(yōu)地分級的圖像)的圖像(im_res),這形成在下面被闡明的用于對其進行改進的發(fā)明的良好的現(xiàn)有技術(shù)。我們以更接近相同的原理的當前的實際實施例的方式在圖1中再次簡潔地重新闡述了所述原理。輸入圖像im_in的各種像素被顏色變換器100連續(xù)地進行顏色處理(通過由乘法器104將它們的線性rgb值乘以乘法因子(a))以便獲得輸出圖像im_res中的像素的輸出顏色rsgsbs。乘法因子是根據(jù)某個色調(diào)映射規(guī)范建立的,這樣的色調(diào)映射規(guī)范典型地可以由人類顏色分級機創(chuàng)造,但也可以來自對圖像的特性(例如,直方圖或者像面部這樣的特殊對象的顏色屬性等)進行分析的自動轉(zhuǎn)換算法。映射函數(shù)可以粗糙地是例如伽馬類的,使得較暗的顏色被提升(其被需要以使它們變得更明亮并且更對比強烈以便在ldr顯示器上渲染),代價是明亮區(qū)域的對比度降低,這將在ldr顯示器上變成彩畫的(pastelized)。分級機可能進一步已識別像面部這樣的某個特殊對象,對于該特殊對象的照度,他已在曲線中創(chuàng)造增加了的對比度部分?,F(xiàn)在特殊的是,該曲線被曲線應用單元102(其可以廉價地是例如lut,其可以典型地在已接收例如是伽馬因子這樣的對映射的函數(shù)形狀進行編碼的參數(shù)之后在執(zhí)行顏色處理的接收側(cè)處例如每圖像鏡頭地被計算)應用于被稱為m的每個像素的r、g和b顏色分量的最大值(由最大值評估單元101確定)。然后,乘法因子計算單元103對于每個當前被處理的像素計算合適的乘法因子。如果圖像將在比方例如100nitldr顯示器這樣的第一目標顯示器上被渲染,則這可以例如是被應用于m的色調(diào)映射函數(shù)f的輸出,即f(m)除以m。如果需要針對例如中間顯示器的圖像,這樣的中間顯示器例如是800nitpb的(或者另一個值,可能高于hdr輸入圖像im_in的參考顯示器pb),則可以對f(m)/m應用進一步的函數(shù)g,其將輸入顏色的乘性映射的量重新縮放到適合于該圖像適合于的顯示器動態(tài)范圍的值(不論其被直接渲染在顯示器上還是被傳送或者存儲在某個存儲器中以便稍后使用)。
我們迄今為止已描述的部分構(gòu)成全局顏色處理。這意味著,處理可以僅基于像素的連續(xù)集合的顏色的特定的值被完成。因此,如果人們僅從例如圖像的圓形子選擇內(nèi)的像素的集合獲得像素,則顏色處理可以根據(jù)上面闡述的原理被完成。然而,由于人類視覺是非常相對的,因此,關(guān)于圖像中的其它對象的色度學屬性對對象的顏色和明亮度進行評判(并且也是鑒于各種技術(shù)限制),存在執(zhí)行局部處理的意愿。在某個(些)圖像中,人們想要隔離像燈或者面部這樣的一個或多個對象,并且對該對象執(zhí)行專用的處理。然而,在我們的技術(shù)中,這構(gòu)成對可以從主分級的像素的圖像導出的至少一個另外的分級(這里,從hdr導出的ldr)的編碼的部分。即,如果需要的話,顏色處理被需要來通過解碼ldr圖像進行構(gòu)造。局部處理原理在編碼技術(shù)中被使用的事實具有技術(shù)含義,特別是人們需要基本數(shù)學處理方法的簡單集合,因為領(lǐng)域中的全部解碼ic或者軟件需要實施此,需要能夠理解編碼并且創(chuàng)造解碼器ldr圖像。申請人在wo2013/144809中介紹的計算量不太昂貴但足夠通用的簡單原理通過區(qū)域評估單元108完成分級機專用的雙重測試。該單元對幾何和比色狀況兩者進行評估。在幾何上,基于當前的像素(x,y)的坐標,其例如檢查像素是否位于矩形(x_s,y_s)到(x_e,y_e)內(nèi)。在比色上,其例如可以檢查照度或者max(r,g,b)位于門限以上(在這種情況下,像素被評估為屬于將被特殊處理的區(qū)域)還是以下(在這種情況下,其不被評估為屬于將被特殊處理的區(qū)域),或者對當前將被處理的像素的顏色屬性的更高級的評估被執(zhí)行。顏色變換器100然后例如可以取決于像素不是位于特殊區(qū)域中并且將被全局處理還是將被局部處理加載另一個色調(diào)映射lut,或者兩個并行的處理分支可以被使用,等等。
如果輸出圖像完美地在幾何上與輸入圖像重疊,則該局部顏色處理可以良好工作(即,對于輸出圖像的每個像素,結(jié)果將是正確的,因為我們知道如何基于輸入圖像像素對其進行分類)?;蛘?,如果用于將像素分類到若干顏色處理類中的選擇區(qū)域的幾何公式在它們在其上被定義(例如,由分級機定義)的圖像和在其上它們將被用于局部顏色處理的圖像這兩者中位于相同的絕對像素位置處,則在另一個場景中被更特殊地闡述的局部處理將良好工作,在該另一個場景中,生成像素評估算法,所述生成是與它們?yōu)榱耍ɡ缬煞旨墮C在很長時間以前、在另一個物理位置處并且在另一個裝置即編碼裝置上)通過對hdr像素顏色進行處理來解碼ldr圖像而被需要時分離的。需要進一步的技術(shù)方案的實踐上的問題在于,在實踐中,然而,圖像的至少某個(些)部分可以在它將被重新分級之前被移位。例如,可以在原始的例如4k的圖像上定義矩形,但在內(nèi)容創(chuàng)造與例如由顯示器執(zhí)行的最終圖像使用之間介入圖像處置鏈的裝置例如可以制作該圖像的小型畫中畫(pip)版本,所述制作是通過將其縮放到例如大小的四分之一并且將其放在例如2k圖像的右上角中的偏移中,同時用例如是實心藍色這樣的計算機圖形內(nèi)容填充2k圖像的剩余部分而實現(xiàn)的。
現(xiàn)在假設,在被定義為20像素的半徑的圓內(nèi)的所述4k圖像的中心內(nèi),存在太陽,該太陽是hdr圖像中的周圍的像素的10倍明亮,并且不論什么全局處理處于像素的剩余部分上,其在hdr-2-ldr轉(zhuǎn)換中都必須被設置為(r,g,b)=(255,255,255)(或者反之,對于全部非太陽像素,ldr圖像顏色也可以被提升到例如50%pb的最大值,即使它們在作為被接收的原圖像的ldr圖像中具有白色,但太陽必須被映射到最大碼或者根據(jù)ldr圖像的hdr被解碼分級的對應的照度)。接收側(cè)裝置得到用于重構(gòu)圓形選擇區(qū)域的數(shù)據(jù),并且得到將被動態(tài)范圍轉(zhuǎn)換的某些圖像數(shù)據(jù)。如果例如是電視機這樣的接收裝置得到原始的4k圖像,則它可以如被分級機期望并且在該算法中編碼的那樣利用局部處理完美地對太陽進行提升。如果在進一步的幾何變換之后,它得到pip版本,即使也是4k圖像,圓形也將選擇不正確的像素,并且,例如在被認為將存在藍色背景圖形的地方繪制白色圓形。即,對于該編碼技術(shù),存在創(chuàng)造不正確的經(jīng)解碼圖像的可能性,這需要糾正技術(shù)。
技術(shù)實現(xiàn)要素:
上面的問題被一種圖像顏色處理裝置(205)解決,所述圖像顏色處理裝置(205)被布置為將具有第一照度動態(tài)范圍的輸入圖像(im_in)的像素的輸入顏色(r,g,b)變換成具有第二照度動態(tài)范圍的輸出圖像(im_res)的像素的輸出顏色(rs,gs,bs),所述第一和第二動態(tài)范圍在程度上至少2倍不同,所述圖像顏色處理裝置(205)包括:
-顏色變換器(100),其被布置為將所述輸入顏色變換成所述輸出顏色,所述顏色變換器具有取決于輸入圖像(im_in)中的像素的空間位置(x,y)局部地對顏色進行處理的能力;
-其中,所述顏色處理裝置(205)包括幾何情形元數(shù)據(jù)讀取單元(203),其被布置為對所接收的指示幾何變換已在原始圖像(im_orig)與所述輸入圖像之間發(fā)生的數(shù)據(jù)(220)進行分析,幾何位置數(shù)據(jù)(s)根據(jù)所述原始圖像(im_orig)被確定,所述幾何位置數(shù)據(jù)(s)用于使所述幾何位置數(shù)據(jù)的接收器能夠確定所述原始圖像的至少一個區(qū)域。
hdr原始圖像(針對適當?shù)膆dr外表被主分級)的動態(tài)范圍將與例如5000nit或者1000nit(并且較低端點將接近零,并且出于本發(fā)明的目的可以等同于零)的峰值明亮度(pb)相對應,并且ldr圖像典型地可以利用pb=100nit(或者,對于專業(yè)電影院視頻,50nit)被分級。我們需要開發(fā)可以處置實踐中發(fā)生的hdr圖像或者特別地視頻通信(編(解)碼)和/或處置的全部問題的框架,所述框架在本領(lǐng)域中將由全都需要好的相似的解決方案的較簡單的和較復雜的系統(tǒng)組成。應當指出,如果在具有特定的峰值明亮度的顯示器中被應用,則動態(tài)范圍轉(zhuǎn)換可以是例如在主分級內(nèi)容的5000nit與顯示器的1500nit或者如果其是另一個顯示器的話1200nit的pb之間的。技術(shù)人員理解,存在用于在位置數(shù)據(jù)s中傳送人們可以如何確定像素是否屬于被特殊對待的局部區(qū)域的各種方式(例如,人們可以指定用于確定顏色位于顏色空間中的特定體積之內(nèi)還是之外的矩形和比色準則等)。
我們已在圖2中通過被包括在知道其自己的峰值明亮度并且因此完成所需的重新分級顏色處理的電視機中的一種特定的可能的圖像處理裝置闡明了所述情形。根據(jù)本發(fā)明的遞送所需的輸入圖像(im_in)和其它數(shù)據(jù)的圖像傳送裝置在該特定的示例中是藍光播放器,該藍光播放器繼而得到圖像和用于對其進行顏色處理的函數(shù)(f)以便獲得被存儲在被引入的藍光盤上的至少一個經(jīng)重新分級的圖像。各種類型的bd播放器可能存在于未來的市場上。某些將能夠處理圖像,并且已向電視機供應按照需要被重新分級的圖像。某些可以甚至著眼于函數(shù),并且可以對附加的函數(shù)進行編碼。多數(shù)bd播放器將據(jù)推測完成僅少量處理,并且主要傳遞bd上的信息讓電視機進行處理。某些bd播放器可以完全不對數(shù)據(jù)做任何事,但它們可以至少填充指示符221,指示符221指示它們已完成至少一些幾何處理,例如對盤上接收的原始圖像(im_orig)的像素進行縮放。將變成對于電視機的輸入的圖像(im_in)因而將是不同的圖像,其中,實際的電影或者節(jié)目像素占用其僅一部分,并且例如由bd播放器生成的其它的像素例如被設置為黑色或者某個文本等。在最簡單的情況下,所述指示符可以是單個比特bsvid,其如果被設置為1則意味著存在幾何處理,并且接收裝置應當小心,以及,如果被設置為0則輸入圖像是與原始圖像在幾何屬性上相同的,并且指定用于局部處理的特殊區(qū)域可以如何被確定(在太陽示例中,圓形中的白色像素利用指定其中心位置和半徑的數(shù)據(jù)被指定)的原始幾何位置數(shù)據(jù)(s)可以被復制到被傳送(不論通過實時視頻通信鏈路還是向存儲器)的輸出信號(s_out)中,并且此后被接收器安全地用于局部顏色變換。某些bd播放器也可以少量著眼于幾何位置數(shù)據(jù)(s),并且針對在幾何變換被圖像變換裝置201應用以便獲得im_in之后出現(xiàn)的新的幾何情形重新確定其是正確的。盡管我們僅繪制了bd播放系統(tǒng),但技術(shù)人員將理解,可能存在在其中第一圖像處置裝置可以對圖像應用某種幾何變換、并且需要與最終接收數(shù)據(jù)的第二裝置對此進行協(xié)調(diào)、并且必須潛在地完成局部顏色處理的許多類似的場景。例如,這可能在專業(yè)系統(tǒng)中出現(xiàn),其中,所述圖像傳輸裝置因而可以是有線電視運營商分布單元,該有線電視運營商分布單元在電影中作為小型pip插入商業(yè),并且商業(yè)和電影兩者將被適當?shù)貏討B(tài)范圍處理?;蛘?,所述圖像顏色處理裝置可以是計算機,該計算機例如在基于互聯(lián)網(wǎng)的圖形用戶界面中同時示出各種圖像和/或視頻,因此,從各種內(nèi)容源被接收但具有通用的(即,被縮放到它們的原始大小和以(0,0)開始的位置)處理指令的圖像不知道所述計算機軟件將如何將它們?nèi)恳黄鸱旁谒鰑i中,等等。
如果所述圖像處理裝置(205)接收包括指示符(221)的所述數(shù)據(jù)(220),所述指示符(221)將任何已發(fā)生的幾何變換代碼化,所述幾何變換諸如例如是包括所述原始圖像(im_orig)的圖像像素的區(qū)域的大小的縮放,則其是有利的。其然后可以檢查該指示符的值,并且然后可以快速地決定例如它是否需要自己確定新的幾何情形是什么(例如,其可以具有圖形檢測器和視頻檢測器,并且利用此估計哪個子矩形包含所述視頻,并且根據(jù)此重新確定所述數(shù)據(jù)以便在幾何上確定將被局部處理的特殊區(qū)域,這例如通過重新計算矩形的新的最左上像素位置及其新的大小來實現(xiàn),該矩形是必要的第一檢查準則,因為僅其界限內(nèi)的像素應當被局部處理,并且該矩形之外的像素永遠不被局部處理,即,那些外部像素不論它們的顏色是什么都應當通過全局處理函數(shù)被顏色變換),或者該情形是否可能是風險太大的,并且僅全局處理被應用。通常,全局處理已給出合理的外表,并且局部處理僅提高圖像外表的影響和質(zhì)量,但如果例如為了能夠跟隨所述視頻而僅示出了小型pip,則由全局處理實現(xiàn)的較暗部分的足夠的可見度可能是足夠的,并且完美的質(zhì)量可能不被需要。即,局部處理因而可以被關(guān)閉。
替換地或者附加地,所述圖像顏色處理裝置(205)接收包括所述幾何位置數(shù)據(jù)(s)的至少一個參數(shù)的新的被重新計算的值的數(shù)據(jù)(220),所述幾何位置數(shù)據(jù)(s)將在所述輸入圖像(im_in)的哪個幾何位置處像素將局部地被處理代碼化,并且其可以在第二指示符(222)中接收所述幾何位置數(shù)據(jù)(s)的至少一個參數(shù)已根據(jù)其原始值被重新計算。例如,如果所述幾何變換是所述原始圖像向右移位所述輸入圖像的大小的一半(即,沒有縮放),為了例如為文本菜單或者所接收的文本信息騰出空間,則僅每個局部處理窗口的定位位置需要被更新,例如,所述矩形的最左上坐標。所述圖像顏色處理裝置(205)可以使用其幾何情形元數(shù)據(jù)讀取單元(203)來通過讀取所述數(shù)據(jù)對所述幾何變換情形進行評估,以及例如,通過讀取比特brec=1,其知道用于計算將被局部處理的像素的幾何位置的全部相關(guān)數(shù)據(jù)已被所述傳送裝置正確地重新確定,因此該數(shù)據(jù)可以被安全地用于完成所述顏色處理。在某些場景中,對于接收側(cè)裝置來說,如果它知道存在特殊的在幾何上被變換的區(qū)域,自主地確定該區(qū)域?qū)⑽挥谀睦飳⑹窍鄬唵蔚?。當然,在根本不知道任何事,即,甚至不知道已?jīng)存在這樣的被傳送的變換問題的唯一比特的情況下,則可能有風險所述接收器不能總是正確地決定(例如,在新聞節(jié)目中,可能存在位于新聞讀者之后的小屏幕,該小屏幕然后被認為將通過主窗口的全局顏色變換被變換)。在其它場景中,可能存在復雜的圖形合成,例如,所述pip可以是位于其自己的框架中,具有條帶,或者可能甚至是花朵圖標邊框或者某個東西,并且因而對于接收器來說,確定局部處理位置準確地應當在哪里可能更困難。裝置201可以在決定要發(fā)送單個比特還是所述幾何情形的準確代碼實現(xiàn)時將此考慮在內(nèi)。
替換地,所述圖像顏色處理裝置(205)可以接收所述數(shù)據(jù)(220)的變型,其包括指定已發(fā)生的所述幾何變換的數(shù)據(jù)。任何允許接收側(cè)完全重構(gòu)所述變換的數(shù)據(jù)(即,原始的im_orig與輸入圖像im_in的像素位置之間的關(guān)系),或者換句話說選擇區(qū)域或者允許對圖像區(qū)域的選擇的指定的變換將行得通,因此這可以例如是定義仿射變換的參數(shù)。對于所述移位示例,該數(shù)據(jù)可以例如是固定的變換碼shift和像素的數(shù)量,并且接收裝置根據(jù)此實現(xiàn)原始的幾何位置數(shù)據(jù)(s)被傳送,以及它可以自己利用所述數(shù)據(jù)(220)計算用于在幾何上選擇將被局部處理的像素的已更新的選擇準則。應當指出,原始圖像im_orig可以經(jīng)常典型地是像它例如從照相機被捕獲或者在將效果放入數(shù)字中間片之后被存儲在某個中介服務器上時那樣的圖像,但將被局部處理的區(qū)域的全部參考當然可以也關(guān)于例如某個標準化的參考大?。ɡ纾?0000x10000像素,絕對或者相對被指定的)的圖像im_orig被給出,只要每個像素位置貫穿圖像處置鏈保持是可正確地定位的即可。假設多于一個變換在鏈中被應用,則可以存在用于跟蹤各種變換的數(shù)據(jù)。例如,分級裝置可能已通過仍然需要是與例如是4k形式的bd盤上的電影的某些部分和2k形式的其它這樣的實際圖像相關(guān)的的方式指定被局部處理的區(qū)域,并且該幾何映射的數(shù)據(jù)可能也已經(jīng)被編碼在bd盤上,而不考慮bd播放器可以仍然完成哪些變換,并且最終在例如是hdmi電纜這樣的圖像通信鏈路上向電視機傳送。
遵循相同的協(xié)調(diào)原理,在圖像源側(cè),可以存在圖像傳輸裝置(201),所述圖像傳輸裝置(201)被布置為傳送包括具有輸入顏色(r,g,b)的像素的至少一個圖像(im_in),并且被布置為傳送指定用于對所述輸入顏色(r,g,b)進行顏色變換的函數(shù)或者算法的變換數(shù)據(jù)(226),其中,所述變換數(shù)據(jù)(226)包括用于執(zhí)行局部顏色變換的數(shù)據(jù),該數(shù)據(jù)包括使接收器能夠計算所述至少一個圖像(im_in)的哪些像素位置將利用所述局部顏色變換被處理的幾何位置數(shù)據(jù)(s),其中,所述裝置包括幾何情形指定設備(212),所述幾何情形指定設備(212)被布置為對指示幾何變換已在原始圖像(im_orig)與所述輸入圖像之間發(fā)生的數(shù)據(jù)(220)進行編碼,所述幾何位置數(shù)據(jù)(s)根據(jù)所述原始圖像(im_orig)被確定。該裝置可以被包括在更大的系統(tǒng)中,該更大的系統(tǒng)還可以執(zhí)行另外的函數(shù)。例如,其可以是位于代碼轉(zhuǎn)換器中的,所述代碼轉(zhuǎn)換器將舊有l(wèi)dr電影變換成hdr電影(或者更精確地說,允許確定與各種顯示器pb相對應的一些重新分級的數(shù)據(jù),所述一些重新分級中的至少一項是ldr分級,并且至少一項是hdr分級)。該代碼轉(zhuǎn)換器可以例如具有向第一接收器供應完整分辨率圖像的第一輸出和傳送該圖像的在幾何上被處理的變型的第二輸出,但在這兩者輸出上具有完全相同的變換數(shù)據(jù)(226),即,這兩者都具有將被局部應用的色調(diào)映射函數(shù)f,而還有相同的幾何位置數(shù)據(jù)(s),即用于從原始的未在幾何上被處理的圖像中提取區(qū)域。該設備然后可以使用數(shù)據(jù)(220)變型中的一個或多個變型來協(xié)調(diào)允許各種被連接的接收器最終完成正確的顏色變換的正確信息。在對圖2的簡單闡明中,我們已假設全部信息例如作為元數(shù)據(jù)被協(xié)同編碼在被傳送的圖像信號(s_out)中,但技術(shù)人員應當理解,例如為了訂閱更高質(zhì)量的或者其它的動態(tài)范圍重新分級,用于顏色處理的元數(shù)據(jù)也可以駐留在不同的服務器上。特別地,還是對于這樣的場景,重要的是全部接收器最終知道哪些局部顏色處理規(guī)范與哪些幾何位置相對應。
有利地,所述圖像傳輸裝置(201)具有所述幾何情形指定設備(212),所述幾何情形指定設備(212)被布置為將指示符(221)編碼在所述數(shù)據(jù)(220)中,所述指示符(221)例如借助于一個比特將任何幾何變換已發(fā)生代碼化。
有利地,所述圖像傳輸裝置(201)具有所述幾何情形指定設備(212),所述幾何情形指定設備(212)被布置為變更所述幾何位置數(shù)據(jù)(s)的至少一個參數(shù),所述變更是相比于其針對該參數(shù)所接收的值的。其然后可以已計算用于正確地識別將被局部地處理的像素的新數(shù)據(jù),使得接收器不需要完成此。
作為此的替換,所述圖像傳輸裝置(201)具有所述幾何情形指定設備(212),所述幾何情形指定設備(212)被布置為將指定已發(fā)生的所述幾何變換的數(shù)據(jù)編碼在所述數(shù)據(jù)(220)中。如果接收器得到關(guān)于im_in的像素相比于im_orig的那些像素已如何被映射的全部信息,該接收器可以作為評估像素是否應當經(jīng)歷與本地的不同的某種局部顏色變換的一部分自己確定用于完成幾何適應的策略。傳送裝置因而根本不需要花費時間來著眼于所述數(shù)據(jù),并且可以僅將其直接傳送給接收器(即,例如,讀取bd數(shù)據(jù)分組,并且將它們重新格式化在圖像通信標準的分組中,例如,hdmi或者視頻廣播標準或者互聯(lián)網(wǎng)協(xié)議等)。為了更精確,例如,bd播放器可以已自己完成對圖像進行解碼(如果我們已在ldr編碼框架中強制施行hdr分級,則這可以由其舊有解碼器完成),但其不需要為關(guān)于動態(tài)范圍變換的任何數(shù)據(jù)操心,并且不需要具有用于處置那些細節(jié)的硬件或者軟件。
有利地,一種圖像顏色處理的方法包括以下步驟:
-對所接收的指示幾何變換已在原始圖像(im_orig)與輸入圖像之間發(fā)生的數(shù)據(jù)(220)進行分析,幾何位置數(shù)據(jù)(s)根據(jù)所述原始圖像(im_orig)被確定,所述幾何位置數(shù)據(jù)(s)用于使所述幾何位置數(shù)據(jù)的接收器能夠確定所述原始圖像的至少一個區(qū)域;以及
-將具有第一照度動態(tài)范圍的輸入圖像(im_in)的像素的輸入顏色(r,g,b)變換成具有第二照度動態(tài)范圍的輸出圖像(im_res)的像素的輸出顏色(rs,gs,bs),所述第一和第二動態(tài)范圍在程度上至少2倍不同,其中,所述被應用的顏色變換取決于所接收的數(shù)據(jù)(220)的值。
有利地,一種圖像顏色處理的方法在所接收的數(shù)據(jù)中的指示符(221)指示幾何變換已發(fā)生的條件下僅執(zhí)行全局顏色變換。
有利地,一種圖像顏色處理的方法在所述分析推斷幾何變換已發(fā)生的條件下執(zhí)行對所述幾何位置數(shù)據(jù)(s)的重新確定。
有利地,一種圖像傳輸?shù)姆椒?,包括?/p>
-獲得圖像(im_in);
-獲得用于對所述圖像(im_in)進行顏色變換的變換數(shù)據(jù)(226);
-確定相比于在確定所述變換數(shù)據(jù)時被使用的原始圖像(im_orig)所述圖像(im_in)是否已在幾何上變形;以及
-傳送所述圖像(im_in)、所述變換數(shù)據(jù)(226)和指示幾何變換已在所述原始圖像(im_orig)與所述輸入圖像之間發(fā)生的數(shù)據(jù)(220)。
為對任何傳送和接收裝置進行協(xié)調(diào),可以存在一種圖像信號,所述圖像信號包括:圖像(im_in)的像素的像素顏色數(shù)據(jù);變換數(shù)據(jù)(226),用于對所述圖像(im_in)進行顏色變換;以及數(shù)據(jù)(220),其指示幾何變換已在被用于確定所述變換數(shù)據(jù)(226)的原始圖像(im_orig)與輸入圖像(im_in)之間發(fā)生。應當指出,盡管我們利用特別有用的線性rgb型動態(tài)范圍處理闡明了我們的發(fā)明,但相對于幾何圖像變換的局部專用顏色處理的問題和解決方案當然也可以在任何其它動態(tài)范圍轉(zhuǎn)換中發(fā)生,例如,在利用局部提升對圖像進行提升、在yuv或者ycrcb表示中完成顏色處理等的時候。
此外,計算機程序產(chǎn)品可以通過包括代碼來體現(xiàn)我們的發(fā)明的各種實施例,所述代碼將上面的方法中的任一種方法的步驟中的每個步驟代碼化,因此在其運行時使處理器能夠執(zhí)行相應的方法。
附圖說明
根據(jù)本發(fā)明的方法和裝置的任何變型的這些和其它的方面將從下文中描述的實施方案和實施例中是明顯的,以及將參考下文中描述的實施方案和實施例并且參考附圖被闡明,所述附圖僅用作例示更一般的概念的非限制性的特定的圖示,并且其中,虛線被用于指示構(gòu)件是可選的,非虛線構(gòu)件不必然是必要的。虛線還可以被用于指示被解釋為必要的元素被隱藏在對象的內(nèi)部,或者被用于諸如是對對象/區(qū)域的選擇、圖表中的值水平的指示等這樣的無形的事物。
在附圖中:
圖1示意性地圖示了用于完成包括局部顏色處理的動態(tài)范圍變換的可能的顏色處理裝置,所述顏色處理將典型地包括至少變更輸入圖像中的對象的照度;
圖2示意性地圖示了系統(tǒng)的示例,所述系統(tǒng)被布置為在任何源裝置可以對將被動態(tài)范圍顏色變換的圖像執(zhí)行各種幾何變換時,對所需要的動態(tài)范圍顏色變換進行協(xié)調(diào);
圖3利用一個可能的示例闡明了可能在以局部為基礎利用圖像外表編碼的實踐中的hdr圖像或者視頻處置系統(tǒng)中出現(xiàn)的問題;以及
圖4示意性地圖示了將經(jīng)由某種圖像通信技術(shù)向另外的裝置供應hdr圖像的可能的典型hdr圖像或者視頻處置裝置的基本功能性。
具體實施方式
圖2示出了人們可以如何體現(xiàn)我們的發(fā)明的一個易于理解的實踐上的示例。技術(shù)人員將理解,人們可以在其它hdr處置系統(tǒng)中使用相同的構(gòu)件配置,因此我們決不打算這是對我們的發(fā)明的基本框架原理的任何限制。假設分級機251已在圖像創(chuàng)造裝置250上制作主分級,該原版分級是hdr分級。該圖像可以被看作經(jīng)歸一化的圖像(其中,r、g、b具有[0,1]中的值),即,仍然不考慮其最優(yōu)渲染。換句話說,顏色值的統(tǒng)計數(shù)據(jù)將確定該圖像以哪個峰值明亮度被最佳地示出在哪個顯示器上(典型地思考關(guān)聯(lián)的參考顯示器的峰值明亮度也被包括在經(jīng)編碼的圖像信號s_src中,指出該圖像已例如在2000nit顯示器上針對顯示器被正確地分級)。由于歸一化,該圖像可以以舊有視頻編碼被存儲,該舊有視頻編碼例如是具有每信道10比特的hevc。因此,僅hdr圖像編碼將僅在hdr顯示器上正確地渲染,然而,分級機需要包括某些顏色變換函數(shù)數(shù)據(jù)(f),以便能夠根據(jù)經(jīng)編碼的hdr圖像(im_orig)計算至少100nit舊有l(wèi)dr分級。分級機將已基于他正在工作于的原始圖像(im_orig)的幾何形狀指定該函數(shù),并且更重要的是指定數(shù)據(jù)s,數(shù)據(jù)s指定至少一個局部顏色變換應當對于哪些像素位置被完成。盡管許多圖像通信技術(shù)是可能的,但在該示例中,我們假設數(shù)據(jù)(hdr圖像+用于至少重新分級成ldr分級的函數(shù))被存儲在可以被消費者購買的具有hdr能力的藍光盤上。作為圖像傳輸裝置(201)的示例的bd播放器可以至少讀取盤上的圖像數(shù)據(jù),并且以正確的位置、大小等將其播放出來。其因此在圖像信號s-out中將該圖像數(shù)據(jù)和函數(shù)f發(fā)送給圖像顏色處理裝置(205),圖像顏色處理裝置(205)在該示例中被并入作為接收裝置(202)的示例的具有l(wèi)ed背光的電視機,但該接收裝置也可以例如是具有用于在存儲之前對圖像進行重新分級的計算能力的數(shù)據(jù)存儲服務器等。在其中bd播放器僅通過幾何上未被修改的視頻的場景中,不存在問題。電視機將完成所需的顏色變換,以便得到對于其物理特性來說最優(yōu)的重新分級,并且將該圖像發(fā)送給例如用于驅(qū)動背光和lcd像素閥的顯示器驅(qū)動器204。然而,例如如果用戶開始與bd播放器的菜單交互,則其可以示出具有文本和內(nèi)容視頻的小型的經(jīng)重新縮放的版本的圖像,并且通過例如是hdmi電纜或者無線圖像通信信道等這樣的圖像連接(210)將其發(fā)送給電視機。
為傳送幾何變換情形,bd播放器可以在信號s-out中添加一種或多種類型的附加的數(shù)據(jù)(220),所述數(shù)據(jù)(220)表征幾何變換情形,使得接收側(cè)可以理解其。例如,可以存在僅將任何幾何變換已發(fā)生代碼化的簡單指示符(221)。但bd播放器也可以根據(jù)其應用的幾何變換重新計算獲得將被局部處理的像素的空間位置所需的數(shù)據(jù)。這可以在數(shù)據(jù)中將其指示為例如:第二指示符(222),其指示已根據(jù)其原始值被重新計算的幾何位置數(shù)據(jù)(s)的至少一個參數(shù);以及,幾何選擇參數(shù)(223),其現(xiàn)在不包含原始的幾何位置數(shù)據(jù)(s),而例如包含作為矩形的最左上點的新起點(xs2,ys2);等等。
假設接收裝置將重新確定將被局部處理的像素應當如何在幾何上被確定,則傳送裝置可以在數(shù)據(jù)(220)中添加指定已發(fā)生的幾何變換的變換數(shù)據(jù)(224)。這例如可以是縮放因子(s=例如?)和作為像素的數(shù)量的偏移量(xws,yws)或者將更復雜的變換代碼化的更復雜的信息,所述信息不需要必然包括全部原始像素,而也可以例如選擇某個通過窗口中的im_orig的子集等。最后,bd播放器將傳送完成正確的顏色變換(f)所需的數(shù)據(jù)和原圖像(im_in),其中,如果具有關(guān)聯(lián)的pb或者否則經(jīng)重新分級的顯示器被連接,則原圖像(im_in)可以被直接使用。這將是圖像分級已編碼數(shù)據(jù)225。
圖3示出了典型的hdr圖像,或者特別地,針對其設計了本發(fā)明及其實施例的視頻處置場景。讀者還應當認識到,典型地在hdr中,可以不必然存在僅一個圖像(與僅一個外表相對應,該外表具有采用第一對象照度對第二對象照度的比例的特定配置的其場景對象的其相對照度)。這是針對舊有l(wèi)dr視頻編碼的場景,因為僅存在一個按照定義存在的0-100nit照度范圍。然而,現(xiàn)在人們必須迎合使全部可能的hdr場景以及它們的圖像最優(yōu)地渲染在具有例如100nit、400nit、1000nit、2000nit、5000nit和10,000nit的峰值明亮度的各種可能的最終顯示器上。人們可以想象,如果人們就像在10,000nit監(jiān)視器或者tv上那樣渲染已被顏色分級為在100nitpb顯示器上看起來最優(yōu)地明亮的圖像,則其可能看起來令人痛苦地太明亮。因此,對此的解決方案在于,典型地,更好的編碼系統(tǒng)不僅僅對hdr圖像(例如,在5000nitpb參考照度范圍上被定義的)的單個集合進行編碼,而相反對例如是5000nit分級和舊有100nit分級的圖像(即,具有對于它們在舊有100nitldr顯示器上被直接地渲染(即不需要進一步的比色變換)正確的外表的圖像)的雙重集合進行編碼。并且此外,為節(jié)省帶寬,人們典型地可能想要用盡可能少的數(shù)據(jù)開銷對第二圖像進行編碼,即,作為圖像的第一集合的函數(shù)性的或者算法性的變換,其確實例如根據(jù)hevc標準作為實際圖像(即被dct的像素塊)被發(fā)送。即,例如,人們發(fā)送ldr圖像的集合(其可以被用于在ldr顯示器上直接渲染,但出人意外地同時是針對hdr高動態(tài)范圍外表的圖像的雙倍,所述針對hdr高動態(tài)范圍外表的圖像為例如4000nit顯示器供應看起來最優(yōu)的或者合理的圖像),并且人們發(fā)送元數(shù)據(jù),所述元數(shù)據(jù)允許接收器將ldr圖像變換成作為在傳送側(cè)被內(nèi)容創(chuàng)造者創(chuàng)造的hdr外表圖像的接近的重構(gòu)的hdr圖像,或者反過來,所述元數(shù)據(jù)包括用于將被傳送的hdr圖像(經(jīng)hevc編碼的)降級為ldr圖像的函數(shù)。
如果我們僅使用全局變換,則將不存在任何問題,但已為人所知,在某些場景中在局部定義顏色變換中的一些顏色變換可能是有利或者必要的(即,盡管例如通過窗口303被看見的顏色是與(pip302)的圖像的剩余部分中的顏色在特定程度上相似的,但它們被有差別地變換,因為它們需要變得例如非常明亮,或者反之亦然地暗)。人們應當認識到,這不只是人們可以利用其隨意地播放的僅有變換,而其是新圖像的實際編碼,所述編碼理想地需要看起來精確地就像它們的內(nèi)容創(chuàng)造者定義它們那樣,即,需要相當特殊的技術(shù)考慮以便保持在任何hdr處置裝置或者鏈中的任何地方正確地處置它們。因此,我們不只具有對圖像分辨率進行處置的情形,而實際上還有對圖像重新定義的處置,即,對顏色變換函數(shù)的正確的調(diào)整。
在圖3中,我們看到pip的示例,但是其它類似的場景是可想到的(例如,粗化圖像的一部分以便形成低分辨率的流光溢彩的投影光模式的在像移動電話這樣的第二側(cè)顯示器上的顯示、pop等)。出于闡明的考慮,我們將在不想限制我們自己的情況下假設這將是例如藍光盤讀取器完成例如包含某些導演評述的第二視頻流的pip的場景。
在主區(qū)域301中,將存在電影。其可以根據(jù)可能的hdr編解碼器的某個版本被定義,并且其需要最終被轉(zhuǎn)換成將在顯示器上被渲染的輸出照度luminance_out。現(xiàn)在,存在hdr編碼中的許多不同的方面,所述方面為了使本發(fā)明的討論復雜化而不被需要,例如,視頻可以根據(jù)各種碼分配函數(shù)或者使亮度碼與照度產(chǎn)生關(guān)聯(lián)的eotf被編碼,并且其可以相比于可以與例如是2500nit的渲染顯示器的峰值明亮度不同的例如是5000nit的峰值明亮度被定義。此外,顯示器可能想完成其自己的圖像處理等。在任一種情況下,我們可以將情形概括為我們用輸入照度luminance_in(其在5000nit照度軸上將與在hevc圖像中被接收的亮度并且一般地像素顏色相對應,特別地,如圖4中的im_1)與最終輸出照度之間的定制變換曲線311代表的全局映射。此外,可以證實,人們可以在經(jīng)歸一化的照度軸上定義該變換,但x軸上的1.0因而與實際的5000nit相對應,并且y軸上的1.0與例如2500nit被連接或者最終將被供應的tv的pb相對應。在該示例中,曲線指示,人們需要將可以例如是夜景中的黑色摩托車這樣的較暗的區(qū)域(相對照度子范圍312)明亮化到某個程度,并且我們想提高某些較明亮的區(qū)域(相對照度子范圍313)的對比度,例如以便像通過窗口被看見那樣非常清脆地看見房子的用白熾燈被照亮的房間里的一切。這構(gòu)成針對主視頻的比色變換曲線圖310。
現(xiàn)在第二,存在pip302,pip302得到其自己的視頻/圖像,并且具有其自己的特定的并且不同的顏色變換(圖315)。如果系統(tǒng)什么都不知道,則其將也僅對那些像素顏色應用全局變換311。在這里,我們假設我們可以具有針對像素的大部分的全局顏色/照度變換和例如用于明亮化外部像素的局部變換316,其像通過窗口303被看見的那樣(在不忽略一般概念的情況下,讀者可以將該示例理解為該輔助視頻是利用較廉價的ldr照相機被快速地拍攝地,并且不是專門非常小心地經(jīng)hdr分級的,并且基本上,其通過保持全部像素ldr并且僅提升明亮的外部區(qū)域303而被轉(zhuǎn)換成粗糙的偽hdr。因此,實際上我們僅對用于在局部對較明亮的外部像素進行處理的函數(shù)照度變換形狀316感興趣,并且我們在該闡明中不需要為對于像在pip視頻的其它地方具有相似的照度的像素這樣的其它像素發(fā)生什么(獲得變換317)或者針對較暗的像素顏色的變換操心。
但是外部區(qū)域303的局部變換將正確地進行很重要,否則看起來令人不愉快或者不自然的顏色可能出現(xiàn),或者更糟的是,幾何假象可能在最終的圖像中并且不必是pip區(qū)域中但潛在也在主電影中出現(xiàn)。
圖4示出了創(chuàng)造幾何情形信息的可能的裝置的更多一點的信息。我們將再次出于簡單的闡明而描述bd播放器,但是技術(shù)人員理解,通過類似的方式,這樣的系統(tǒng)可以在許多裝置中出現(xiàn),所述裝置例如是混合來自各種照相機的饋入的電視車中的視頻合成器、本地有線電視分布中心中的視頻插入器、對兩個流進行合成的互聯(lián)網(wǎng)上的視頻服務器等。
第一圖像(或者圖像的集合)im_1來自第一圖像源401,并且第二圖像im_2(我們假設其被pip,但是當然,若干其它的幾何變換是可能的,甚至具有動態(tài)地移動的區(qū)域等)來自第二圖像源402。當然,出于對我們的原理的簡單的闡明,人們可以假設這兩者都來自藍光盤,但是當然,甚至在藍光應用的情況下,第二圖像可以來自互聯(lián)網(wǎng)連接上的服務器,或者在實況生產(chǎn)裝置實施例的情形下,則來自照相機等。
幾何變換單元403例如根據(jù)用戶界面軟件的規(guī)則對視頻(im_2)完成幾何變換,例如,其對pip中的視頻進行縮放和重新定位?,F(xiàn)在假設像電視機這樣的鏈中的稍后的接收設備仍然必須完成動態(tài)范圍處理中的一些動態(tài)范圍處理,假設是僅向其動態(tài)范圍的轉(zhuǎn)換(例如,5000nitpb視頻向2500nit顯示器動態(tài)范圍)。如果,例如是bd播放器這樣的裝置201將完成全部最優(yōu)顏色變換,并且為(啞)顯示器的顯示器驅(qū)動器供應正確的值,則在多數(shù)場景中也將不是問題。幾何情形指定設備212可以從幾何變換單元403得到什么在幾何上被完成的信息,并且然后根據(jù)針對特定的應用被期望的不論什么實施例定義需要被傳送到接收側(cè)的情形參數(shù)。如所述的,某些實施例不需要哪些幾何變換被實際上完成的任何詳細的代碼實現(xiàn),而僅需要一個比特,該比特指示某事被完成,并且這不再是變換函數(shù)f1與之相對應的純原始電影視頻im_1(如我們已在研究中示出的那樣,其偶然地可以脫離根據(jù)例如5000nit圖像im_1定義100nit外表或者反之,也被用于計算用于在不等于例如是2500或者1400nit的那兩個值的峰值明亮度的顯示器上渲染的看起來最優(yōu)的圖像)。因此,在某些場景中,幾何情形指定設備212將生成將在去往某個輸出系統(tǒng)401(例如,如果裝置201位于最終消費者房屋處則經(jīng)由hdmi直接去往顯示器,或者去往用于聯(lián)網(wǎng)視頻遞送的代碼轉(zhuǎn)換器或者裝置的網(wǎng)絡視頻存儲存儲器等)的視頻信號(或者潛在地經(jīng)由不同的機制被傳送的多個相關(guān)的視頻信號部分)中被輸出的唯一比特。這對于在其中不正確的解碼不必太至關(guān)重要的應用場景可以是良好的,并且接收側(cè)裝置因而可以切換到安全模式(例如,沒有主和/或輔區(qū)域中的局部處理)。這將原則上導致在某些區(qū)域中獲得不正確的顏色的錯誤的解碼,即,錯誤的例如針對pip的hdr圖像外表的重構(gòu),所述區(qū)域即至少那些需要被局部重構(gòu)的區(qū)域。例如,在圖3的示例中,我們通過使用全局照度變換曲線(即,對于那些較明亮的像素是其部分317)將獲得太暗的陽光充足的外部顏色。但裝置201可以確定,情形的嚴重性將例如是僅pip中的小窗口可能不需要是完美的。這將取決于各種因素,諸如精確的幾何情形,但還有圖像內(nèi)容的細節(jié),但還有最終的渲染的特性(例如,在1000nittv上,窗口中的錯誤可以比在5000nittv上較不嚴重,并且如果錯誤是區(qū)域通過全局映射變得太明亮,特別是如果接近pb的話,則其可能對于3000nit以上的tv是非常不適當?shù)?,?000nit以下的pb的tv上存在錯誤是較不成問題的)。關(guān)于內(nèi)容的影響,應當指出,局部變換可能已主要被完成用于得到更好的對比度或者更少的像條帶這樣的偽影,并且裝置201可以在其對如何對必要的幾何變換信息進行編碼的決定中將此考慮在內(nèi)。特別地,如果人類例如在視頻生產(chǎn)系統(tǒng)中存在并且與裝置201交互的話,他可以檢查例如通過放棄局部變換來不正確地完成解碼的影響的嚴重性將是什么,特別是如果他考慮到固定的或者一系列最終的顯示器的話。自動化裝置可以計算將像素的量(局部區(qū)域的大?。┖椭貥?gòu)對理想的顏色差別以及甚至進一步的圖像信息考慮在內(nèi)的錯誤度量,當然,僅假設他們完成某些hdr計算的話(我們設計了還用于廉價的系統(tǒng)的較簡單的變型,其(幾乎)不做任何事,并且僅將全部比色編碼參數(shù)通傳給另一個裝置以便其完成全部計算。即,如果立即在某個——特別如果較低質(zhì)量的話——顯示器上被渲染,則單比特解決方案可能是適當?shù)?,但如果全部?shù)據(jù)被歸檔以便稍后使用,則具有被盡可能精確地編碼的全部信息的較高質(zhì)量版本可能是有序的。
在該示例闡明中,我們假設裝置201僅計算用于找到應當對其應用局部顏色變換(316)的im_2的像素的新規(guī)則s2*,并且局部函數(shù)形狀f2_l僅從被從視頻源402作為例如元數(shù)據(jù)讀取直接地被傳遞給輸出,類似于im_1和f1在該實施例中典型地可以如何被傳遞以便由某個接收側(cè)裝置執(zhí)行顏色處理。
本文中公開的算法構(gòu)件可以(整體上或者部分地)在實踐中被實現(xiàn)為硬件(例如,專用ic的部分)或者在特殊數(shù)字信號處理器或者通用處理器上運行的軟件等。它們在至少一些用戶輸入可以存在/已存在(例如,在工廠或者消費者輸入或者其它人類輸入中)的意義上可以是半自動化的。
對于本領(lǐng)域的技術(shù)人員應當能從我們的呈現(xiàn)中理解,哪些構(gòu)件可以是可選的改進,并且可以結(jié)合其它構(gòu)件被實現(xiàn),以及方法的(可選的)步驟如何與裝置的相應的設備相對應,以及反之亦然。在本發(fā)明中采用特定的關(guān)系(例如,在單個圖中采用特定的配置)公開了某些構(gòu)件的事實不意味著其它配置作為與在本文中被公開的用于獲取專利的發(fā)明構(gòu)思相同的發(fā)明構(gòu)思下的實施例是不可能的。此外,出于實用的原因已描述了僅有限的范圍的示例的事實不意味著其它變型不能落在權(quán)利要求的范圍下。事實上,本發(fā)明的構(gòu)件可以在沿任何使用鏈的不同的變型中被體現(xiàn),例如,像編碼器這樣的創(chuàng)造側(cè)的全部變型可以類似于或者對應于例如是解碼器這樣的經(jīng)分解的系統(tǒng)的消費側(cè)處的對應的裝置,并且反之亦然。實施例的若干構(gòu)件可以被編碼為信號中的特定的信號數(shù)據(jù),以用于在編碼器與解碼器之間采用任何傳輸技術(shù)的傳輸或者諸如是協(xié)調(diào)這樣的進一步的使用等。術(shù)語“裝置”在本申請中在其最寬泛的意義上被使用,即,允許實現(xiàn)特定的目標的設備的組,并且因此可以例如是ic(的小部分)或者專用家電(諸如具有顯示器的家電)或者聯(lián)網(wǎng)系統(tǒng)的部分等?!安贾谩被蛘摺跋到y(tǒng)”也旨在在最寬泛的意義上被使用,因此其可以尤其包括單個物理的、可購買的裝置、裝置的一部分、協(xié)同運行的裝置(的部分)的集合等。
計算機程序產(chǎn)品表示應當被理解為包括使通用或者專用處理器能夠在一系列加載步驟(其可以包括中間轉(zhuǎn)換步驟,諸如到中間語言和最終的處理器語言的轉(zhuǎn)換)之后將命令輸入處理器中以便執(zhí)行發(fā)明的特性功能中的任何功能的命令的集合的任何物理的實現(xiàn)。特別地,計算機程序產(chǎn)品可以被實現(xiàn)為諸如例如是磁盤或者磁帶這樣的載體上的數(shù)據(jù)、存在于存儲器中的數(shù)據(jù)、經(jīng)由網(wǎng)絡連接——有線的或者無線的——行進的數(shù)據(jù)或者紙上的程序代碼。除了程序代碼之外,程序所需的特性數(shù)據(jù)也可以被體現(xiàn)為計算機程序產(chǎn)品。這樣的數(shù)據(jù)可以(部分地)以任何方式被提供。
本發(fā)明或者像視頻數(shù)據(jù)這樣的根據(jù)本發(fā)明實施例的任何哲學可用的任何數(shù)據(jù)可以也被體現(xiàn)為數(shù)據(jù)載體上的信號,所述數(shù)據(jù)載體可以是像光盤、閃存、可移除硬盤、可經(jīng)由無線設備寫的便攜式設備等這樣的可移除存儲器。
任何被呈現(xiàn)的方法的操作所必需的步驟中的一些步驟可以取代被描述在計算機程序產(chǎn)品或者任何單元中而已存在于處理器或者本發(fā)明的任何裝置實施例的功能中,本文中描述的裝置或者方法(具有本發(fā)明實施例的細節(jié)),諸如數(shù)據(jù)輸入和輸出步驟,眾所周知地典型地合并諸如是標準顯示器驅(qū)動等這樣的處理步驟。我們還期望對于產(chǎn)生的產(chǎn)品和相似的產(chǎn)出的保護,像例如在方法的任何步驟處或者裝置的任何子部分中被涉及的特定的新穎的信號,以及這樣的信號的任何新用途或者任何相關(guān)的方法。
應當指出,上面提到的實施例圖示而非限制本發(fā)明。在技術(shù)人員可以容易地實現(xiàn)被呈現(xiàn)的示例向權(quán)利要求的其它區(qū)域的映射的情況下,我們?yōu)楹啙嵠鹨娺€未深入提到全部這些選項。除了如在權(quán)利要求中被組合的本發(fā)明的元素的組合之外,元素的其它組合是可能的。元素的任何組合可以在單個專用元素中被實現(xiàn)。
權(quán)利要求中的括號之間的任何附圖標記不旨在用于限制權(quán)利要求,附圖中的任何特定的符號也不旨在這樣。詞“包括”不排除未在權(quán)利要求中被列出的元素或者方面的存在。在元素前面的詞“一個”或者“一個”不排除多個這樣的元素的存在。