自適應(yīng)內(nèi)容呈現(xiàn)的制作方法
【專利摘要】描述了一種在觀看環(huán)境內(nèi)操作客戶端設(shè)備的方法。所述方法包括:在客戶端設(shè)備處接收內(nèi)容;在與所述客戶端設(shè)備可操作的通信的顯示表面上通過將所述內(nèi)容渲染為渲染內(nèi)容來向觀看者呈現(xiàn)所述內(nèi)容;在所述客戶端設(shè)備處接收參與數(shù)據(jù),所述參與數(shù)據(jù)指示正在觀看所述渲染內(nèi)容的至少一個(gè)用戶的與所述內(nèi)容的參與度;以及根據(jù)所述參與數(shù)據(jù)通過改變所述內(nèi)容如何被渲染在所述顯示表面上來調(diào)適所述內(nèi)容的呈現(xiàn)。還描述了相關(guān)系統(tǒng)、裝置及方法。
【專利說明】自適應(yīng)內(nèi)容呈現(xiàn)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種客戶端設(shè)備以及在觀看環(huán)境內(nèi)操作客戶端設(shè)備的方法。更具體地,本發(fā)明涉及在可變觀看環(huán)境中用于調(diào)適內(nèi)容呈現(xiàn)的系統(tǒng)及方法。
【背景技術(shù)】
[0002]不斷發(fā)展的顯示技術(shù)、音頻技術(shù)和家庭自動(dòng)化技術(shù)為更逼真、身臨其境、多樣化和不斷變化的媒體消費(fèi)體驗(yàn)提供潛在性。期望大的、高分辨率、負(fù)擔(dān)得起的家用“生活型顯示表面”不久將在市場(chǎng)上可售。能通過薄或無邊框可平鋪面板技術(shù)(即,每個(gè)表面可包括一個(gè)或者多個(gè)顯示器)實(shí)現(xiàn)的該顯示表面(或者表面)或者高分辨率投影儀,可覆蓋墻壁的主要部分或者整個(gè)墻壁。這些表面可由用戶的個(gè)人顯示器(或者伴隨設(shè)備)以及從整個(gè)觀看環(huán)境被添加和去除的其它顯示器或者表面進(jìn)行動(dòng)態(tài)擴(kuò)充。
[0003]在該顯示表面上,即使當(dāng)內(nèi)容在超高分辨率(例如,7,680X4, 320像素)下可用時(shí),多媒體內(nèi)容全屏幕呈現(xiàn)也可能不適合于所有類型多媒體內(nèi)容或者觀看場(chǎng)景。例如,雖然在晚上看電影的觀看體驗(yàn)可通過在昏暗照明下利用高動(dòng)態(tài)范圍環(huán)繞聲音頻的身臨其境、大屏幕呈現(xiàn)來增強(qiáng),但是該多媒體呈現(xiàn)對(duì)于吃早飯時(shí)想要與瀏覽新聞標(biāo)題的一些人、看天氣和交通報(bào)道的其他人以及觀看他們喜愛的卡通動(dòng)畫的其他人共享顯示表面的家庭可能不切實(shí)際。
【發(fā)明內(nèi)容】
[0004]因此,根據(jù)本發(fā)明的實(shí)施方式,提供了一種用于在觀看環(huán)境內(nèi)操作客戶端設(shè)備的方法,所述方法包括:在客戶端設(shè)備處接收內(nèi)容;在與所述客戶端設(shè)備可操作的通信的顯示表面上通過將所述內(nèi)容渲染為渲染內(nèi)容來向觀看者呈現(xiàn)所述內(nèi)容;在所述客戶端設(shè)備處接收參與數(shù)據(jù),所述參與數(shù)據(jù)指示正在觀看所述渲染內(nèi)容的至少一個(gè)用戶的與所述內(nèi)容的參與度;以及根據(jù)所述參與數(shù)據(jù)通過改變所述內(nèi)容如何被渲染在所述顯示表面上來調(diào)適所述內(nèi)容的呈現(xiàn)。
[0005]此外,根據(jù)本發(fā)明的實(shí)施方式,所述內(nèi)容在所述顯示表面上的一定位置處被呈現(xiàn),并且所述調(diào)適包括改變所述內(nèi)容被呈現(xiàn)的所述位置。
[0006]此外,根據(jù)本發(fā)明的實(shí)施方式,所述內(nèi)容在所述顯示表面上以一定尺寸被呈現(xiàn),并且所述調(diào)適包括改變所述內(nèi)容被呈現(xiàn)的所述尺寸。
[0007]此外,根據(jù)本發(fā)明的實(shí)施方式,所述內(nèi)容跨多個(gè)顯示表面被呈現(xiàn),并且所述調(diào)適包括改變所述內(nèi)容被呈現(xiàn)在的所述多個(gè)表面中的哪個(gè)表面。
[0008]此外,根據(jù)本發(fā)明的實(shí)施方式,所述方法還包括在時(shí)間上同步所述內(nèi)容跨所述多個(gè)顯示表面的所述呈現(xiàn)。
[0009]此外,根據(jù)本發(fā)明的實(shí)施方式,所述多個(gè)顯示表面之一包括主裝置,并且所述多個(gè)顯示表面中的其余顯示表面包括從裝置,所述從裝置與所述主裝置同步。
[0010]此外,根據(jù)本發(fā)明的實(shí)施方式,調(diào)適所述內(nèi)容的呈現(xiàn)包括通過改變以下中的一個(gè)或者多個(gè)來改變所述內(nèi)容的音頻呈現(xiàn):音頻電平、音頻動(dòng)態(tài)范圍、音頻位置、音頻平衡。
[0011]此外,根據(jù)本發(fā)明的實(shí)施方式,調(diào)適所述內(nèi)容的呈現(xiàn)還包括根據(jù)與所述內(nèi)容相關(guān)聯(lián)的元數(shù)據(jù)來調(diào)適所述內(nèi)容的呈現(xiàn)。
[0012]此外,根據(jù)本發(fā)明的實(shí)施方式,所述元數(shù)據(jù)包括用于明確修改所述內(nèi)容將如何被呈現(xiàn)的數(shù)據(jù)。
[0013]此外,根據(jù)本發(fā)明的實(shí)施方式,所述元數(shù)據(jù)包括呈現(xiàn)所述內(nèi)容所用的物理尺寸。
[0014]此外,根據(jù)本發(fā)明的實(shí)施方式,調(diào)適所述內(nèi)容的呈現(xiàn)另外包括改變所述觀看環(huán)境的照明度。
[0015]此外,根據(jù)本發(fā)明的實(shí)施方式,渲染所述內(nèi)容引起搜索查詢的執(zhí)行,所述搜索查詢搜索上下文與所述內(nèi)容相關(guān)的附加內(nèi)容,并且調(diào)適所述內(nèi)容的呈現(xiàn)還包括同時(shí)渲染所述附加內(nèi)容與所述內(nèi)容。
[0016]此外,根據(jù)本發(fā)明的實(shí)施方式,調(diào)適所述內(nèi)容的呈現(xiàn)另外包括調(diào)適所述附加內(nèi)容的呈現(xiàn)。
[0017]此外,根據(jù)本發(fā)明的實(shí)施方式,所述參與度通過分析以下中的至少一個(gè)來確定:在所述觀看環(huán)境中不是由于呈現(xiàn)所述內(nèi)容而引起的音頻信號(hào);在所述觀看環(huán)境中所述觀看者的位置;所述觀看者的注視方向;所述觀看者的運(yùn)動(dòng)程度;由所述觀看者的遠(yuǎn)程控制設(shè)備的使用;由所述觀看者先前觀看的內(nèi)容;所述內(nèi)容是否為直播觀看或者回放記錄;在呈現(xiàn)所述內(nèi)容期間的觀看者行為;用戶與其它電子設(shè)備的交互;一天中觀看所述內(nèi)容的時(shí)間。
[0018]此外,根據(jù)本發(fā)明的實(shí)施方式,所述參與度從由所述觀看者輸入的明確限定所述參與度的數(shù)據(jù)來確定。
[0019]此外,根據(jù)本發(fā)明的實(shí)施方式,所述方法還包括將對(duì)所述內(nèi)容如何呈現(xiàn)于所述顯示表面上的表示傳輸給與所述客戶端設(shè)備可操作的通信的手持式設(shè)備;并且將所述表示顯示于所述手持式設(shè)備上。
[0020]此外,根據(jù)本發(fā)明的實(shí)施方式,所述表示包括到上下文與所述內(nèi)容相關(guān)的其它內(nèi)容的鏈接,所述方法還包括接收由所述觀看者對(duì)所述鏈接的選擇;在接收到所述選擇時(shí)發(fā)送對(duì)所述其它內(nèi)容的請(qǐng)求;接收所述其它內(nèi)容;并且將所述其它內(nèi)容呈現(xiàn)給所述觀看者。
[0021]此外,根據(jù)本發(fā)明的實(shí)施方式,所述方法還包括:從所述另外的手持式設(shè)備接收消息,所述消息指示所述觀看者已經(jīng)修改所述表示;并且響應(yīng)于所述消息,進(jìn)一步調(diào)適所述內(nèi)容在所述顯示表面上的呈現(xiàn)。
[0022]此外,根據(jù)本發(fā)明的實(shí)施方式,所述方法還包括:從與所述客戶端設(shè)備可操作的通信的家庭自動(dòng)化系統(tǒng)接收與所述內(nèi)容無關(guān)聯(lián)的家庭自動(dòng)化輸入;并且響應(yīng)于所述家庭自動(dòng)化輸入,調(diào)適所述內(nèi)容的呈現(xiàn)。
[0023]此外,根據(jù)本發(fā)明的實(shí)施方式,響應(yīng)于家庭自動(dòng)化輸入來調(diào)適所述內(nèi)容的呈現(xiàn)包括中斷所述內(nèi)容的呈現(xiàn)以呈現(xiàn)所述家庭自動(dòng)化輸入。
[0024]此外,根據(jù)本發(fā)明的實(shí)施方式,中斷所述內(nèi)容的呈現(xiàn)只有在所述參與度小于中斷閾值時(shí)才發(fā)生。
[0025]此外,根據(jù)本發(fā)明的實(shí)施方式,所述內(nèi)容包括多個(gè)內(nèi)容分量,每個(gè)內(nèi)容分量在一定位置處并以一定尺寸被呈現(xiàn)于所述顯示表面上,并且調(diào)適所述內(nèi)容的呈現(xiàn)包括改變所述多個(gè)內(nèi)容分量中的至少一個(gè)的位置和/或尺寸。[0026]根據(jù)本發(fā)明的又一實(shí)施方式,還提供了一種在觀看環(huán)境內(nèi)可操作的客戶端設(shè)備,所述客戶端設(shè)備包括:用于接收內(nèi)容的裝置;用于在與所述客戶端設(shè)備可操作的通信的顯示表面上通過將所述內(nèi)容渲染為渲染內(nèi)容來向觀看者呈現(xiàn)所述內(nèi)容的裝置;用于接收參與數(shù)據(jù)的裝置,所述參與數(shù)據(jù)指示正在觀看所述渲染內(nèi)容的至少一個(gè)用戶的與所述內(nèi)容的參與度;以及用于根據(jù)所述參與數(shù)據(jù)通過改變所述內(nèi)容如何被渲染在所述顯示表面上來調(diào)適所述內(nèi)容的呈現(xiàn)的裝置。
[0027]根據(jù)本發(fā)明的另一實(shí)施方式,還提供了一種載體介質(zhì),承載計(jì)算機(jī)可讀代碼,用于控制合適的計(jì)算機(jī)來執(zhí)行如上所述的方法。
[0028]根據(jù)本發(fā)明的又一實(shí)施方式,還提供了一種載體介質(zhì),承載計(jì)算機(jī)可讀代碼,用于將合適的計(jì)算機(jī)配置為如上所述的客戶端設(shè)備。
【專利附圖】
【附圖說明】
[0029]結(jié)合附圖根據(jù)以下詳細(xì)描述,將更充分地理解和明白本發(fā)明,其中:
[0030]圖1為根據(jù)本發(fā)明實(shí)施方式的觀看環(huán)境的簡(jiǎn)化示意平面圖;
[0031]圖2為圖1中觀看環(huán)境的前部的簡(jiǎn)化示意橫截面圖;
[0032]圖3為圖1中觀看環(huán)境的后部的簡(jiǎn)化示意橫截面圖;
[0033]圖4為根據(jù)本發(fā)明實(shí)施方式的體系結(jié)構(gòu)的簡(jiǎn)化示意圖;
[0034]圖5為根據(jù)本發(fā)明實(shí)施方式的呈現(xiàn)映射(map,圖)方案的簡(jiǎn)化示意圖;以及
[0035]圖6為根據(jù)本發(fā)明實(shí)施方式的與呈現(xiàn)映射對(duì)應(yīng)的一些實(shí)例性布局的簡(jiǎn)化示意圖;
[0036]圖7為根據(jù)本發(fā)明實(shí)施方式的由布局算法生成的一組實(shí)例性得分布局;
[0037]圖8為根據(jù)本發(fā)明實(shí)施方式的體系結(jié)構(gòu)的簡(jiǎn)化示意圖;
[0038]圖9示出了當(dāng)在多個(gè)顯示表面上顯示內(nèi)容時(shí)的潛在同步問題;
[0039]圖10為根據(jù)本發(fā)明實(shí)施方式的體系結(jié)構(gòu)的簡(jiǎn)化示意圖;
[0040]圖11為根據(jù)本發(fā)明實(shí)施方式的消息流的示意圖;
[0041]圖12為根據(jù)本發(fā)明實(shí)施方式的在多個(gè)顯示表面上顯示視頻和圖形的簡(jiǎn)化示意圖;以及
[0042]圖13至圖31涉及根據(jù)本發(fā)明實(shí)施方式的觀看者透視校正的方法及系統(tǒng)。
【具體實(shí)施方式】
[0043]現(xiàn)參考圖1至圖3,圖1至圖3示出了家用觀看環(huán)境101的各種視圖。圖1示出了家用觀看環(huán)境101的平面圖。圖2示出了環(huán)境101沿著線X-X的截面圖(即,環(huán)境101的前壁視圖)。圖3示出了環(huán)境101沿著線Y-Y的截面圖(S卩,環(huán)境101的后壁視圖)。
[0044]觀看環(huán)境101包括:座位103/105/107 ;桌子109 ;電子/遠(yuǎn)程可控?zé)?11/113 ;以及窗115/117,分別具有電子/遠(yuǎn)程可控窗簾116/118。燈111/113和窗簾116/118通常經(jīng)由豕庭自動(dòng)化控制系統(tǒng)(未不出)控制。
[0045]可操作為輸出顯示內(nèi)容的客戶端設(shè)備(例如,機(jī)頂盒(STB)或其它音頻/視頻渲染設(shè)備,諸如集成接收器/解碼器(IRD);PC ;服務(wù)器等)也包括在觀看環(huán)境101中(但未示出)。
[0046]可由客戶端設(shè)備接收且顯示的內(nèi)容范圍通常包括但不限于:音頻/視頻(AV)內(nèi)容(例如,以常規(guī)調(diào)度傳輸形式或者以視頻點(diǎn)播(V0D)、近視頻點(diǎn)播(NV0D)或流傳輸形式);家庭自動(dòng)化內(nèi)容和提要(例如,照片、家里網(wǎng)絡(luò)攝像頭和監(jiān)視器等);在線媒體內(nèi)容(例如,視頻、新聞和社交提要等);消息傳送(例如,電子郵件、即時(shí)消息等);內(nèi)容元數(shù)據(jù)(例如,DVB-SI元數(shù)據(jù)、TV Anytime元數(shù)據(jù)等)。可由客戶端設(shè)備接收的其它內(nèi)容形式對(duì)于本領(lǐng)域技術(shù)人員將是顯而易見的。
[0047]由客戶端設(shè)備接收的內(nèi)容通常經(jīng)由通信網(wǎng)絡(luò)從一些內(nèi)容源接收,諸如:基于衛(wèi)星的通信網(wǎng)絡(luò);基于電纜的通信網(wǎng)絡(luò);傳統(tǒng)地面廣播電視網(wǎng)絡(luò);基于電話的通信網(wǎng)絡(luò);基于電話的電視廣播網(wǎng)絡(luò);基于移動(dòng)電話的電視廣播網(wǎng)絡(luò);互聯(lián)網(wǎng)協(xié)議(IP)電視廣播網(wǎng)絡(luò);以及基于計(jì)算機(jī)的通信網(wǎng)絡(luò)。在替代性實(shí)施方式中,通信網(wǎng)絡(luò)可通過單向或雙向混合通信網(wǎng)絡(luò)(諸如組合電纜-電話網(wǎng)絡(luò)、組合衛(wèi)星-電話網(wǎng)絡(luò)、基于組合衛(wèi)星-計(jì)算機(jī)的通信網(wǎng)絡(luò))或者通過任何其它適當(dāng)網(wǎng)絡(luò)來實(shí)現(xiàn)。在一些實(shí)施方式中,內(nèi)容可在網(wǎng)關(guān)設(shè)備處從內(nèi)容源接收,所述網(wǎng)關(guān)設(shè)備連接到上述通信網(wǎng)絡(luò)中的一個(gè)或者多個(gè)并且將經(jīng)由這些通信網(wǎng)絡(luò)接收的內(nèi)容分發(fā)到客戶端設(shè)備。某些類型內(nèi)容(例如,家庭自動(dòng)化內(nèi)容)通常經(jīng)由局域網(wǎng)(例如,家庭網(wǎng)絡(luò))接收,有時(shí)直接通過客戶端設(shè)備接收,且有時(shí)經(jīng)由網(wǎng)關(guān)設(shè)備接收。
[0048]在本實(shí)施方式中,客戶端設(shè)備輸出到投影儀119,所述投影儀119然后將輸出視頻顯示在觀看環(huán)境101的前壁的區(qū)域121上??商娲?,客戶端設(shè)備可輸出到安裝于前壁上的單一、非常大的顯示屏幕或者安裝于前壁上的可平鋪、多屏幕顯示系統(tǒng)。(應(yīng)當(dāng)注意,根據(jù)本發(fā)明某些實(shí)施方式的系統(tǒng)也可與傳統(tǒng)/現(xiàn)有顯示技術(shù)一起使用)。
[0049]客戶端設(shè)備還可操作為將音頻輸出到安裝于觀看環(huán)境101前后處的具有揚(yáng)聲器123/125/127/129/131的多信道音頻系統(tǒng)。該音頻系統(tǒng)通常經(jīng)由音頻控制系統(tǒng)(未示出)來控制。
[0050]可操作為捕捉觀看環(huán)境視圖的傳感器133/135也安裝于觀看環(huán)境101前后處,兩者都從上區(qū)121觀察環(huán)境,并且從環(huán)境101后面向著區(qū)121。在本實(shí)施方式中,傳感器133/135 (例如,來自Microsoft?的Kinect?傳感器)通常為水平桿,所述水平桿連接到具有機(jī)動(dòng)樞軸的小基座,然而,其它形式的傳感器也可行。
[0051]在其它實(shí)施方式中,傳感器可安裝于觀看環(huán)境中的任何處,并且變換函數(shù)(使用縮放、平移和旋轉(zhuǎn)函數(shù))可用于作出等同于先前所述設(shè)置的這種設(shè)置,其中,傳感器放置于觀看環(huán)境前后處。
[0052]在其它實(shí)施方式中,傳感器可集成到其它設(shè)備中,諸如手持式設(shè)備,包括智能電話、筆記本計(jì)算機(jī)、平板計(jì)算機(jī)等。
[0053]傳感器,通常經(jīng)由傳感器控制系統(tǒng)(未示出)來控制,通常其特征在于以下一些或者全部:相機(jī)(通常為RGB相機(jī))、深度傳感器和麥克風(fēng)(通常為多陣列麥克風(fēng)),分別提供全身3D運(yùn)動(dòng)捕捉、面部識(shí)別和語音識(shí)別功能中的一些或者全部。深度傳感器通常由紅外激光投影儀結(jié)合單色CMOS傳感器組成,所述單色CMOS傳感器在任何環(huán)境光條件下捕捉3D視頻數(shù)據(jù)。深度傳感器的感測(cè)范圍通??烧{(diào)整,并且軟件能夠基于用途和物理環(huán)境自動(dòng)校準(zhǔn)傳感器,適應(yīng)家具的存在(例如,座位103/105/107/109、桌子109或者其它障礙物)。
[0054]軟件技術(shù)(例如,分析軟件,諸如OpenNI中間件(http://www.0penn1.0rg/)、OpenCV 庫(http://opencv.willowgarage.com/wiki/)、CMU Sphinx 工具包(http://cmusphinx.sourceforge.net/))能實(shí)現(xiàn)高級(jí)姿勢(shì)識(shí)別、面部識(shí)別和語音識(shí)別并且能夠同時(shí)跟蹤多達(dá)6人。[0055]客戶端設(shè)備也可操作為連接到互聯(lián)網(wǎng)并且經(jīng)由合適網(wǎng)絡(luò)技術(shù)(例如,WiFi)與一個(gè)或者多個(gè)伴隨設(shè)備(例如,在桌子109頂部看到的伴隨設(shè)備137)進(jìn)行通信。伴隨設(shè)備137通常包括智能手機(jī)、平板計(jì)算機(jī)、筆記本計(jì)算機(jī)等或者其它手持式設(shè)備。該網(wǎng)絡(luò)技術(shù)也使客戶端設(shè)備能夠與燈111/113和窗簾116/118進(jìn)行通信并且經(jīng)由家用自動(dòng)化控制系統(tǒng)控制燈111/113 和窗簾 116/118。
[0056]客戶端設(shè)備通常包括數(shù)字視頻記錄器(DVR)或者與數(shù)字視頻記錄器(DVR)相關(guān)聯(lián),所述數(shù)字視頻記錄器(DVR)通常包括高容量存儲(chǔ)設(shè)備,諸如高容量存儲(chǔ)器,其使客戶端設(shè)備能夠?qū)⑺邮誂V內(nèi)容的至少一些記錄于所述存儲(chǔ)設(shè)備中并且依據(jù)用戶裁定,有時(shí)由用戶選擇,以及根據(jù)用戶偏好和由用戶定義的參數(shù)來顯示所記錄的AV內(nèi)容。DVR也通常能實(shí)現(xiàn)可提高用戶觀看體驗(yàn)的各種特技模式,諸如,例如快進(jìn)或快退。
[0057]客戶端設(shè)備通常經(jīng)由輸入接口從輸入設(shè)備接收用戶輸入,所述輸入設(shè)備由用戶操作,諸如遠(yuǎn)程控制,或者運(yùn)行合適控制應(yīng)用程序的手持式伴隨設(shè)備137。
[0058]圖4示出了在單個(gè)表面家用觀看環(huán)境情形下的上述關(guān)于圖1至圖3的客戶端設(shè)備。客戶端設(shè)備401托管兩個(gè)功能:布局管理器403;以及表面渲染器405。響應(yīng)于觀看特定內(nèi)容項(xiàng)目的用 戶請(qǐng)求,布局管理器403確定內(nèi)容項(xiàng)目在顯示表面406上的布置。用戶請(qǐng)求通常經(jīng)由伴隨設(shè)備137產(chǎn)生,如上所述。從內(nèi)容和元數(shù)據(jù)源404接收的內(nèi)容通常包括但不限于:音頻/視頻(AV)內(nèi)容(例如,以常規(guī)調(diào)度傳輸形式或者以視頻點(diǎn)播(V0D)、近視頻點(diǎn)播(NV0D)或流傳輸形式);家庭自動(dòng)化內(nèi)容和提要(例如,照片、家里網(wǎng)絡(luò)攝像頭和監(jiān)視器等);在線媒體內(nèi)容(例如,視頻、新聞和社交提要等);消息傳送(例如,電子郵件、即時(shí)消息等);內(nèi)容元數(shù)據(jù)(例如,DVB-SI元數(shù)據(jù)、TV Anytime元數(shù)據(jù)等),如上所述。表面渲染器405在布局管理器403控制下將內(nèi)容渲染到顯示表面上。客戶端設(shè)備也與家用自動(dòng)化控制系統(tǒng)407和音頻控制系統(tǒng)409進(jìn)行通信,均如上所述。
[0059]根據(jù)本發(fā)明的實(shí)施方式,客戶端設(shè)備可操作為根據(jù)幾個(gè)因素對(duì)于內(nèi)容呈現(xiàn)進(jìn)行調(diào)適,包括內(nèi)容元數(shù)據(jù);觀看環(huán)境101的實(shí)時(shí)分析;用戶控制;等?,F(xiàn)將更詳細(xì)描述這些因素。
[0060]現(xiàn)將描述內(nèi)容元數(shù)據(jù)可以如何用于調(diào)適內(nèi)容呈現(xiàn)的例子:
[0061]例如,所呈現(xiàn)視頻的位置和尺寸、音頻電平、音頻動(dòng)態(tài)范圍、環(huán)境照明度均可根據(jù)與所呈現(xiàn)內(nèi)容相關(guān)聯(lián)的元數(shù)據(jù)進(jìn)行修改:
[0062]?類型(例如,在全屏幕上呈現(xiàn)電影內(nèi)容,或者以更小尺寸(即,子全屏幕)呈現(xiàn)新聞或時(shí)事節(jié)目內(nèi)容)等
[0063]?家長分級(jí)(例如,針對(duì)對(duì)于在觀看環(huán)境中檢測(cè)到的觀看者具有家長分級(jí)差別的內(nèi)容,對(duì)視頻縮小尺寸、隱藏或應(yīng)用模糊濾波,適當(dāng)?shù)販p少、消音或減音音頻電平等)(例如,如果具有家長分級(jí)12的內(nèi)容正在呈現(xiàn)給十歲觀眾,那么模糊視頻可以接受,但是具有家長分級(jí)18的內(nèi)容完全隱藏)。
[0064].觀看者收藏夾/首選項(xiàng)(例如,其中,用戶已經(jīng)表示首選特定內(nèi)容主題(例如,演員名單內(nèi)的喜愛演員、喜愛運(yùn)動(dòng)隊(duì)、喜愛樂隊(duì)、喜愛節(jié)目/電影/電視劇等),每當(dāng)這經(jīng)由內(nèi)容元數(shù)據(jù)發(fā)信時(shí),內(nèi)容可在更加身臨其境的模式中呈現(xiàn)(例如,縮放以占據(jù)更大屏幕面積,且音量巧妙地增加))。
[0065]所呈現(xiàn)視頻的位置和尺寸、音頻電平、音頻動(dòng)態(tài)范圍、環(huán)境照明度均可根據(jù)特定授權(quán)的呈現(xiàn)元數(shù)據(jù)進(jìn)行修改。例如,內(nèi)容創(chuàng)建者或廣播者可編寫且插入元數(shù)據(jù)以明確修改或者控制特定內(nèi)容呈現(xiàn)的方面(例如,在區(qū)121中渲染視頻的最小、最大或明確的物理尺寸,首頻動(dòng)態(tài)范圍等)等。
[0066]所呈現(xiàn)視頻的位置和尺寸可自適應(yīng)地容納其它(通常上下文相關(guān)的)內(nèi)容的同時(shí)屏上呈現(xiàn),包括但不限于:
[0067].導(dǎo)航和發(fā)現(xiàn)用戶界面和/或電子節(jié)目指南(EPG);
[0068].字幕顯示/隱藏字幕;
[0069].貼標(biāo)/條幅/其它數(shù)字屏上圖形(dog);
[0070]?相關(guān)網(wǎng)頁;
[0071].廣播或在線互動(dòng)(例如,‘紅色按鈕’)應(yīng)用;
[0072].社交網(wǎng)絡(luò)相關(guān)主題提要(例如,與內(nèi)容主題標(biāo)簽或者屏幕上演員/主持人相關(guān)聯(lián)的Twitter提要);等。
[0073]該內(nèi)容可以呈現(xiàn)各種格式,包括但不限于文本、RSS、光柵圖形(例如,位圖、JPEG、PNG)、矢量圖形(例如,SVG)和交互式多媒體格式(例如,Adobe Flash、MicrosoftSilverlight、Java Applications 和 HTML5 及其各種相關(guān)聯(lián)技術(shù)(例如,HTML、CSS、JavaScript^ WebGL 等))。
[0074]該上下文相關(guān)內(nèi)容通常呈現(xiàn)編輯管理鏈接形式(即,對(duì)于上下文相關(guān)內(nèi)容的特定項(xiàng)目的手動(dòng)生成/批組鏈接)或者呈現(xiàn)搜索查詢(在內(nèi)容消費(fèi)時(shí)執(zhí)行)的形式,例如,twitter主題標(biāo)簽搜索、按關(guān)鍵字的一 般網(wǎng)頁搜索、按關(guān)鍵字的YouTube搜索、按關(guān)鍵字的垂直搜索弓丨擎搜索等。這些上下文相關(guān)內(nèi)容鏈接/查詢可在數(shù)字電視廣播復(fù)用內(nèi)或者經(jīng)由互聯(lián)網(wǎng)使用標(biāo)準(zhǔn)網(wǎng)絡(luò)服務(wù)技術(shù)以各種格式(例如,TV-Anytime)被交付。
[0075]本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解,許多其它元數(shù)據(jù)形式可用于調(diào)適內(nèi)容呈現(xiàn)。在本發(fā)明某些實(shí)施方式中,元數(shù)據(jù)可由客戶端設(shè)備實(shí)時(shí)分析。
[0076]現(xiàn)將描述觀看環(huán)境101 (包括但不限于使用運(yùn)行合適軟件的傳感器133/135)的實(shí)時(shí)分析可以如何用于調(diào)適內(nèi)容呈現(xiàn)的例子:
[0077]可確定對(duì)于系統(tǒng)已知的用戶的存在和身份,并且內(nèi)容呈現(xiàn)然后可自適應(yīng)地反映特定用戶的個(gè)人偏好(例如,當(dāng)他們正在觀看屏幕時(shí)示出特定用戶的社交網(wǎng)絡(luò)提要;或者根據(jù)由特定用戶設(shè)置的偏好對(duì)于所呈現(xiàn)視頻的尺寸、音頻電平、音頻動(dòng)態(tài)范圍、環(huán)境照明度等進(jìn)行調(diào)適等)。
[0078]可確定觀看環(huán)境101中觀看者的位置,并且所呈現(xiàn)內(nèi)容的定位和縮放可對(duì)于所述觀看者視情況來調(diào)適(例如,在觀看位置正對(duì)面呈現(xiàn)內(nèi)容,使得所呈現(xiàn)內(nèi)容的定位將取決于觀看者是否從座位103、座位105或座位107等觀看)。更多細(xì)節(jié)現(xiàn)將在下文中進(jìn)行描述。
[0079]應(yīng)當(dāng)理解,如果內(nèi)容簡(jiǎn)單縮放以適合可用顯示表面面積(例如,當(dāng)在整個(gè)顯示表面上呈現(xiàn)內(nèi)容時(shí);當(dāng)多個(gè)內(nèi)容項(xiàng)目共享顯示表面時(shí);等),那么某些用戶界面(UI)元素(諸如文本和線條)可能太小以致無法被觀看者讀取。
[0080]根據(jù)本發(fā)明的實(shí)施方式,觀看環(huán)境101中觀看者的位置(例如,觀看者與顯示表面的距離)可被確定并且用于計(jì)算最小文本或圖形物理尺寸以確保觀看距離下的易讀性。系統(tǒng)可使用所計(jì)算的最小文本/圖形尺寸和顯示表面的物理分辨率來確保在于顯示表面目標(biāo)區(qū)域中呈現(xiàn)之前被縮放的任何圖形和文本是易讀的(即,大于所計(jì)算的最小尺寸)。如果不大于所計(jì)算的最小尺寸,那么圖形不被縮放為低于所述最小尺寸,或者可觸發(fā)內(nèi)容重新布局,使得所有文本以所述最小尺寸進(jìn)行渲染,這可能導(dǎo)致在顯示表面目標(biāo)區(qū)域內(nèi)顯示的內(nèi)容量減少,但是確保觀看者觀看距離下的易讀性。
[0081]觀看者選擇觀看顯示表面的距離經(jīng)常取決于顯示表面的尺寸。典型推薦觀看范圍如下表所示:
[0082]
表面尺寸(英寸)|推薦觀看范圍
223.0,-9.0,(0.9-2.7m)
263.5,-10.5,(1.0-3.lm)
324.0’ -13.0’ (L 2-4.0m)
?4.5’ -15.0’ (L 3-4.6m)
405.0’ -16.5’ (L 5-5.0m)
425.5’ -17.5’ (L 6—5.3m)
466.0’ -19.0’ (L 8-5.8m)
526.5’ -21.5’ (L 9—6.5m)
[0083]在本發(fā)明的實(shí)施方式中,如果與推薦觀看者距離有任何偏差,那么可重新計(jì)算呈現(xiàn)尺寸。例如,如果觀看者具有1920X1080像素分辨率的52’’顯示表面并且觀看者與屏幕比6.5’更接近,那么UI尺寸可減少,并且如果他與屏幕遠(yuǎn)離21.5’以上,那么UI尺寸可增加。其它用例包括:在較大顯示表面上,可顯示V0D目錄菜單的更多選項(xiàng),但是如果觀看者與顯示表面太近,那么可顯示較少選項(xiàng);在較大顯示表面上,字幕文本尺寸可增加;等。
[0084]分辨率可作為獨(dú)立分量整合到客戶端設(shè)備的中間件中。
[0085]如果內(nèi)容以HTML定義并且使用瀏覽器渲染引擎進(jìn)行渲染,那么該重新渲染可通過適當(dāng)使用縮放和文本尺寸樣式來實(shí)現(xiàn)。
[0086]通過又一例子,在觀看距離5m處,系統(tǒng)可判定良好易讀性的最小物理文本尺寸為2cm,其中顯示表面分辨率15像素/cm導(dǎo)致文本字形以高度30像素來渲染。當(dāng)EPG網(wǎng)格縮放為以所需尺寸呈現(xiàn)時(shí),文本字形小于2cm/30像素,因此EPG網(wǎng)格縮放為使得保持最小2cm高度文本,其中整個(gè)EPG網(wǎng)格在顯示表面上占據(jù)比所需更多的空間,或者EPG網(wǎng)格重新渲染以適合顯示表面目標(biāo)區(qū)域,但是較少文本項(xiàng)目是以2cm高度。
[0087]在系統(tǒng)可識(shí)別單獨(dú)觀看者的情況下,每個(gè)觀看者可在系統(tǒng)第一次使用時(shí)經(jīng)歷簡(jiǎn)單的屏上測(cè)試程序以建立個(gè)人視力(類似于用作眼睛測(cè)試基礎(chǔ)的字母高度眼圖),而不是假設(shè)平均或缺省值。
[0088]越來越多地,各種不同版本的內(nèi)容項(xiàng)目(例如,SD和HD)為聯(lián)播,但也可以產(chǎn)生使用空間或SNR可縮放編碼或者通過提供多比特率或分辨率ABR流而可用的內(nèi)容的許多不同分辨率和品質(zhì)版本。此外,當(dāng)不需要時(shí),例如,當(dāng)內(nèi)容正在以小尺寸呈現(xiàn)時(shí),或者當(dāng)觀看者位于與屏幕相距較大距離時(shí),或者當(dāng)觀看者未深入?yún)⑴c/沉浸在內(nèi)容中時(shí)(例如,因?yàn)榇箫@示表面主要用于另一任務(wù)),帶寬低效地使用高品質(zhì)、高分辨率、高比特率版本的內(nèi)容。
[0089]根據(jù)本發(fā)明的實(shí)施方式,內(nèi)容的適當(dāng)分辨率可基于觀看距離、呈現(xiàn)尺寸和參與度進(jìn)行選擇,由此這些因素用于判定細(xì)節(jié)程度,所述細(xì)節(jié)程度可用于判定將使用空間可縮放編碼視頻的哪個(gè)級(jí)別或者將使用ABR流的哪個(gè)比特率,使得高品質(zhì)視覺體驗(yàn)得以保持。
[0090]了解觀看距離、呈現(xiàn)尺寸和參與度使適當(dāng)比特率或縮放尺寸的計(jì)算成為可能,例如如下:
[0091]該輸入可轉(zhuǎn)換為指示縮放尺寸或比特率品質(zhì)的點(diǎn)得分:
[0092].屏幕尺寸:
[0093]ο小于24英寸=0點(diǎn)
[0094]ο 24英寸-40英寸之間=5點(diǎn)
[0095]ο大于40英寸=10點(diǎn)
[0096].與屏幕相距的距離(基于推薦觀看范圍,如上所述):
[0097]ο比推薦更近=0點(diǎn)
[0098]ο推薦=5點(diǎn)
[0099]ο比推薦更遠(yuǎn)=10點(diǎn)
[0100].觀看者參與:
[0101]ο不在房間中=0點(diǎn)
[0102]ο觀看但頻道跳轉(zhuǎn)/切換=5點(diǎn)
[0103]ο非常參與=10點(diǎn)
[0104]當(dāng)觀看者參與內(nèi)容邏輯與(AND)屏幕分辨率為高邏輯與觀看者不太接近屏幕(例如,30點(diǎn))時(shí),通常使用高比特率或縮放尺寸。當(dāng)觀看者未參與內(nèi)容邏輯或(0R)屏幕分辨率為低邏輯或用戶太接近屏幕(例如,輸入點(diǎn)得分之一為0點(diǎn))時(shí),通常使用低比特率或縮放尺寸。
[0105]運(yùn)動(dòng)檢測(cè)也可改變計(jì)算,例如,如果觀看者正在火車、公共汽車、其它形式交通工具上或者步行中觀看視頻,那么高品質(zhì)視頻可能不需要。
[0106]當(dāng)用戶從輸入得分的任何組合中達(dá)到10-20點(diǎn)之間時(shí),可使用標(biāo)準(zhǔn)品質(zhì)視頻。
[0107]比特率或縮放尺寸通常經(jīng)常重新計(jì)算以在每個(gè)時(shí)刻適當(dāng)?shù)孬@取用于觀看者的內(nèi)容。
[0108]如果輸入之一在任何給定時(shí)間不可用,那么通常仍然利用可用輸入得分來使用算法。
[0109]比特率或可縮放尺寸范圍通常為從SD視頻到超HD。
[0110]在替代性實(shí)施方式中,如果顯示表面的尺寸和分辨率以及所述顯示表面上所需呈現(xiàn)尺寸為已知,那么可判定使得無需上采樣的最小分辨率,并且可選擇適當(dāng)分辨率的內(nèi)容。如果呈現(xiàn)尺寸改變或者為動(dòng)態(tài),那么相同程序可以用于在連續(xù)基礎(chǔ)上判定內(nèi)容是否有更適當(dāng)?shù)姆直媛省?br>
[0111]如果觀看者的觀看距離連同他們視力值(已知或估計(jì))一起為已知,那么這些模型可進(jìn)一步細(xì)分。視力為觀看者看見或解決細(xì)節(jié)的能力的措施(參見http://en.wikipedia.0rg/wiki/Visual_acuity)。鑒于了解觀看距離和觀看者的視力,系統(tǒng)可判定:[0112]?用戶是否能自身解析顯示表面的單獨(dú)像素。如果觀看者可解析,那么內(nèi)容可如上所述來選擇和呈現(xiàn),即,使得不使用上采樣;
[0113].如果觀看者無法解析單獨(dú)像素,那么有可能使用內(nèi)容的較低分辨率版本并且對(duì)它進(jìn)行上采樣,因?yàn)闆]有點(diǎn)示出無法由觀看者在他們觀看距離處感知的細(xì)節(jié)。期望呈現(xiàn)尺寸與在他們觀看距離處可分辨細(xì)節(jié)尺寸組合以判定呈現(xiàn)內(nèi)容的最小分辨率;
[0114].觀看者參與/沉浸的措施也可并入為使得如果觀看者對(duì)于內(nèi)容不十分關(guān)注,例如,如果內(nèi)容不是主要屏幕上活動(dòng)或者內(nèi)容(或者實(shí)際上,如果系統(tǒng)檢測(cè)到觀看者已經(jīng)離開房間一段時(shí)間),那么系統(tǒng)可選擇較低分辨率內(nèi)容并且對(duì)它進(jìn)行上采樣: [0115].觀看者視力模型也可用于估計(jì)可見編碼偽像對(duì)于觀看者將如何出現(xiàn),并且在內(nèi)容的多比特率編碼可用的情況下,可用于判定在偽像并不不利地影響觀看體驗(yàn)的情況下可使用的最低比特率編碼。
[0116]用戶的參與/沉浸程度可被確定且用于調(diào)適內(nèi)容呈現(xiàn)。應(yīng)當(dāng)注意,指示用戶參與的一些特定信號(hào)為內(nèi)容特定,例如,參與用戶在激動(dòng)人心的體育賽事期間可以是體力活動(dòng)和聲音,而在電影期間則為相對(duì)靜止和安靜。為此,許多以下信號(hào)通常在當(dāng)前觀看內(nèi)容情況下一起評(píng)估(例如,使用內(nèi)容元數(shù)據(jù),如上所述):
[0117]?觀看環(huán)境101中的音頻分析(通常不是由于內(nèi)容呈現(xiàn)引起的音頻)可用于判定(多個(gè))觀看者是否正在聊天,并且所述討論是否關(guān)于所觀看內(nèi)容。這可包括:使用語音識(shí)別來判定已知為與所呈現(xiàn)內(nèi)容相關(guān)的一組關(guān)鍵字中的任何一個(gè)是否已經(jīng)發(fā)聲(這些關(guān)鍵字可被明確編寫和交付,或者可從可用內(nèi)容元數(shù)據(jù)導(dǎo)出),或者在內(nèi)容中可能引起觀看者反應(yīng)的發(fā)信點(diǎn)(這些點(diǎn)通常會(huì)由內(nèi)容創(chuàng)建者編輯創(chuàng)建)處分析室內(nèi)音頻電平,例如體育賽事內(nèi)關(guān)鍵點(diǎn)(例如,進(jìn)球得分、犯規(guī)等)、恐怖電影內(nèi)懸疑/驚恐瞬間、動(dòng)作電影內(nèi)追逐序列等。
[0118].房間內(nèi)(多個(gè))觀看者的位置(例如,它們?cè)浇咏聊?,參與的可能性越大;等)
[0119].(多個(gè))觀看者的注視方向(例如,他們是否眼睛睜大;他們是否大多數(shù)時(shí)間在看屏眷;等)
[0120].(多個(gè))觀看者隨時(shí)間變化的運(yùn)動(dòng)程度(例如,他們是活躍的或者可能睡著了 ;等)
[0121].遠(yuǎn)程控制使用(例如,用戶是否手持遙控器(可檢測(cè),例如,通過在遠(yuǎn)程控制中使用加速度計(jì));遠(yuǎn)程控制按鈕近期是否按下;等)
[0122].過去用戶歷史(例如,通過使用先前觀看內(nèi)容的歷史,可以預(yù)測(cè)當(dāng)前呈現(xiàn)內(nèi)容項(xiàng)目對(duì)于觀看者是否可能感興趣/參與;等)
[0123].內(nèi)容性質(zhì)(例如,用戶可被假設(shè)為更加沉浸/參與在回放而不是直播觀看的某些內(nèi)容中;用戶可被假設(shè)為較不沉浸/參與在早晨廣播的內(nèi)容中并且更多沉浸/參與在黃金時(shí)段觀看期間廣播的內(nèi)容中;等)
[0124].用戶行為(例如,用戶是否參與激烈的頻道切換/跳轉(zhuǎn);用戶是否使用特技模式來瀏覽內(nèi)容和/或廣告;等)
[0125].與其它設(shè)備(諸如伴隨設(shè)備137)的用戶交互(例如,用戶是否在個(gè)人設(shè)備上大量活動(dòng)(通??山?jīng)由到所述個(gè)人設(shè)備的網(wǎng)絡(luò)流量或者通過經(jīng)由所述個(gè)人設(shè)備提供的信息來檢測(cè)。))
[0126]例如,內(nèi)容呈現(xiàn)然后可根據(jù)沉浸/參與度進(jìn)行調(diào)適:
[0127].如果參與度為低,那么視頻大小和音頻電平可減少;替代性觀看選擇可呈現(xiàn)給觀看者;等。
[0128].如果記錄內(nèi)容正在回放或者正在點(diǎn)播觀看,那么呈現(xiàn)速度可改變以更快速地移過內(nèi)容的較少沉浸/感興趣/參與點(diǎn);
[0129].當(dāng)用戶離開觀看環(huán)境時(shí),系統(tǒng)可自動(dòng)增加音量并且適當(dāng)?shù)仄胶饴曇?在可感知限度內(nèi)),所以,當(dāng)他們已經(jīng)離開觀看環(huán)境時(shí),用戶仍可聽見內(nèi)容中的音頻(例如,支持開放式生活環(huán)境,其中,與內(nèi)容的一些‘接觸’可以/預(yù)期在直接觀看環(huán)境外部);
[0130].除判定哪些附加內(nèi)容元素可以被示出外,沉浸程度也可在音頻呈現(xiàn)(音量和動(dòng)態(tài)范圍)中反映,并且通過控制其它環(huán)境因素反映,諸如照明度;
[0131].沉浸程度也可改變觀看者對(duì)于中斷的容忍(例如,當(dāng)用戶完全沉浸時(shí),那么可能有應(yīng)當(dāng)立即呈現(xiàn)的相對(duì)較少的中斷源(例如,嬰兒監(jiān)視器音頻超過閾值;親密家庭的音頻或視頻通話;等))。系統(tǒng)可保持‘中斷屏蔽’(或者中斷閾值),所述‘中斷屏蔽’(或者中斷閾值)映射到沉浸程度,使得只有相應(yīng)中斷源會(huì)中斷觀看體驗(yàn)(例如,較低優(yōu)先級(jí)中斷將呈現(xiàn)給用戶,但呈現(xiàn)可能延遲到沉浸程度自然減少的點(diǎn),例如,在電影結(jié)束時(shí),或者在廣告/商業(yè)廣告插播期間,或者呈現(xiàn)可能為以更加微妙、較少干擾的方式,例如,使用小圖標(biāo))。
[0132].內(nèi)容呈現(xiàn)可需要調(diào)適以最佳呈現(xiàn)在特定顯示表面上。例如:
[0133]ο因?yàn)轱@示表面可覆蓋墻壁主要部分或者整個(gè)墻壁,所以不同觀看者可具有尺寸和/或?qū)捀弑茸兓蟮娘@示表面。表面上的內(nèi)容布局優(yōu)選利用可用空間。
[0134]ο由薄或無邊框可平鋪面板技術(shù)支持的顯示表面或者高分辨率投影儀(可覆蓋墻壁主要部分或者整個(gè)墻壁)通過顯示匹配周圍墻壁(虛擬壁紙)的圖案可以無縫地融合到環(huán)境中,其中其它內(nèi)容重疊或者合成到看似直接渲染在墻壁上的所述默認(rèn)圖案上。不同觀看者通常會(huì)具有帶特定圖案和顏色的不同‘虛擬壁紙’。在某些實(shí)施方式中,內(nèi)容(例如,文本或圖形)渲染考慮到‘虛擬壁紙’背景中的顏色和/或圖案,使得互補(bǔ)或?qū)Ρ阮伾捎糜谔岣邇?nèi)容易讀性,或者避免嚴(yán)重沖突配色方案。可替代地,如果內(nèi)容顏色接近于壁紙顏色,那么它可使用陰影或者在對(duì)比顏色區(qū)之上進(jìn)行渲染以提高易讀性。
[0135]觀看環(huán)境101的聲學(xué)和照明性質(zhì)可被確定且用于調(diào)適內(nèi)容呈現(xiàn),即,鑒于系統(tǒng)具有視覺和音頻傳感器或者可包括一個(gè)或者多個(gè)伴隨設(shè)備,所述一個(gè)或者多個(gè)伴隨設(shè)備具有可監(jiān)視觀看環(huán)境的傳感器,該系統(tǒng)可監(jiān)視:
[0136]?觀看環(huán)境中有多少背景噪聲(例如,來自家用設(shè)備等)并且這隨時(shí)間如何變化。諸如音頻電平、音頻動(dòng)態(tài)范圍等的性質(zhì)隨后可被調(diào)整為適于觀看環(huán)境中的背景噪聲。
[0137].觀看環(huán)境中有多少環(huán)境光并且這隨時(shí)間如何變化。諸如圖像亮度和色彩平衡度的性質(zhì)隨后可被調(diào)整為適于觀看環(huán)境中的環(huán)境光程度。
[0138].在顯示表面正在示出重疊到‘虛擬壁紙’上的內(nèi)容的系統(tǒng)中,改變環(huán)境光程度通常會(huì)改變真實(shí)墻壁在房間里的感知外觀(例如,亮度、飽和度、色溫),并且當(dāng)這發(fā)生時(shí),系統(tǒng)可自動(dòng)調(diào)整‘虛擬壁紙’的呈現(xiàn)以保持匹配,而不會(huì)影響顯示表面上的其它內(nèi)容(例如,視頻)的呈現(xiàn)。響應(yīng)于觀看者沉浸,先前所述的視覺傳感器可由系統(tǒng)用于在動(dòng)態(tài)改變環(huán)境照明條件中保持真實(shí)與‘虛擬壁紙’之間的視覺平衡。
[0139].由于觀看環(huán)境101的性質(zhì)以及其內(nèi)的揚(yáng)聲器的位置,在特定頻率處是否有音頻響應(yīng)。系統(tǒng)隨后可將補(bǔ)償均衡應(yīng)用于輸出音頻。
[0140]通常,用戶也可根據(jù)他們自己的個(gè)人偏好來修改內(nèi)容呈現(xiàn),并且也可明確設(shè)置他們的參與度,例如通過控制所連接的伴隨設(shè)備上的滑塊,使用專用遠(yuǎn)程控制按鈕,通過到語音識(shí)別系統(tǒng)的明確口述命令或者到基于姿勢(shì)的系統(tǒng)的姿勢(shì)。此外,用戶也可定義對(duì)于給定參與度的內(nèi)容呈現(xiàn)偏好。
[0141]通常,系統(tǒng)也能識(shí)別用戶特定內(nèi)容或者用戶生成內(nèi)容,并且隨后調(diào)適內(nèi)容呈現(xiàn)(例如,呈現(xiàn)最合適位置中的內(nèi)容,使它位于主要顯示表面、次要表面或者個(gè)人伴隨設(shè)備上)。
[0142]應(yīng)當(dāng)記得,系統(tǒng)可控制視覺內(nèi)容呈現(xiàn)(例如,尺寸、位置、亮度、色彩平衡等);音頻內(nèi)容呈現(xiàn)(例如,音頻電平、音頻動(dòng)態(tài)范圍、音頻位置、音頻平衡等);以及可變觀看環(huán)境中的其它家用設(shè)備(例如,照明度、窗簾等),即,一個(gè)共享表面或者個(gè)人或共享伴隨設(shè)備在專用(ad-hoc)基礎(chǔ)上可被添加到觀看環(huán)境或者從觀看環(huán)境中去除?,F(xiàn)將在下文中提供更多細(xì)節(jié)。
[0143]問題存在于試圖自動(dòng)檢測(cè)可能連接到相同布局管理器的多個(gè)顯示表面的相對(duì)空間位置及定位。顯示表面可以是不同尺寸或者類型,并且它們的定位可以是任意的,并且可以是非平面的。目前,在計(jì)算域內(nèi)(其中PC和膝上型計(jì)算機(jī)可通過多個(gè)顯示輸出支持多個(gè)顯示器以及跨越這些顯示器的虛擬桌面),用戶手動(dòng)配置系統(tǒng)以告知操作系統(tǒng)顯示設(shè)備在哪里為相互關(guān)聯(lián)。
[0144]應(yīng)當(dāng)記得,根據(jù)本發(fā)明的實(shí)施方式,客戶端設(shè)備與傳感器133/135處于操作相關(guān)聯(lián),所述傳感器133/135可包括相機(jī)。相機(jī)可被設(shè)置為面向顯示表面,使得連接到客戶端設(shè)備的所有顯示表面均落在相機(jī)視場(chǎng)內(nèi)。
[0145]布局管理器通常保持連接到渲染器的顯示表面的物理位置和取向的映射。
[0146]啟動(dòng)時(shí),并且隨后每當(dāng)布局管理器檢測(cè)新顯示表面渲染器的連接時(shí),客戶端設(shè)備輸出獨(dú)特、易于識(shí)別的影像到新連接的顯示表面渲染器。布局管理器使用來自相機(jī)的信號(hào)來識(shí)別影像位置和取向(即,旋轉(zhuǎn)),并且可使用所識(shí)別影像位置和取向來更新其表面映射。
[0147]如果相機(jī)軸不正交(S卩,垂直)于顯示表面,那么相機(jī)信號(hào)內(nèi)的影像通常進(jìn)行投影變換。
[0148]使每個(gè)影像的投影變換不同可指示非平面顯示表面。如果系統(tǒng)知道觀看(多個(gè))顯示表面所在的位置,那么它可透視校正(通過判定并且應(yīng)用補(bǔ)償投影變換)非平面屏幕上的顯示影像。下文中提供更多細(xì)節(jié)。
[0149]在布局管理器識(shí)別顯示表面為相鄰的情況下,它可為用戶提供跨這些相鄰顯示表面縮放呈現(xiàn)內(nèi)容的能力。它仍可使用非相鄰顯示表面來示出其它應(yīng)用或內(nèi)容或者與其它顯示表面上的應(yīng)用或內(nèi)容相關(guān)的應(yīng)用或內(nèi)容。
[0150]布局管理器也可使用表面映射來計(jì)算出如何使在與每個(gè)顯示表面相關(guān)聯(lián)的所有可用揚(yáng)聲器之間的內(nèi)容音頻矩陣化(mix);例如,如果有兩個(gè)相鄰顯示表面,每個(gè)顯示表面具有立體聲揚(yáng)聲器,并且內(nèi)容具有5.1環(huán)繞聲音頻,那么客戶端設(shè)備可將前左信道映射到左顯示器的左揚(yáng)聲器,將前右信道映射到右顯示器的右揚(yáng)聲器,并且將中心對(duì)角信道映射到左顯示器的右揚(yáng)聲器和右顯示器的左揚(yáng)聲器,所有均處在適當(dāng)水平。
[0151]相機(jī)也可用于另外功能,諸如:校準(zhǔn)顯示表面,使得顯示特性良好匹配(例如,調(diào)整亮度、黑度和色溫);如果校準(zhǔn)不可行,那么補(bǔ)償輸出,使得內(nèi)容在視覺上跨不同顯示表面良好匹配;識(shí)別由于每個(gè)顯示表面中的不同延遲而導(dǎo)致的時(shí)序差異,并且在視頻輸出中引入補(bǔ)償延遲,使得跨所有表面的呈現(xiàn)很好地同步;等。[0152]應(yīng)當(dāng)理解,可平鋪顯示表面(如上所述)可由用戶重新配置,即,一個(gè)或者多個(gè)平鋪塊(tile)可被添加到現(xiàn)有顯示表面以使它更大,或者被刪除以提供待用于另一目的的更小次要顯示表面(在用戶大腿上觀看內(nèi)容,或者考慮另一房間/觀看環(huán)境),但是仍然保留原始顯示表面可使用(盡管更小)。
[0153]布局管理器的問題在于管理跨顯示表面的內(nèi)容:即,客戶端設(shè)備可如何判定平鋪塊在所述可平鋪顯示表面中的相對(duì)位置,并且然后將內(nèi)容呈現(xiàn)調(diào)適為動(dòng)態(tài)配置變化。
[0154]根據(jù)本發(fā)明的實(shí)施方式,該系統(tǒng)包括:多個(gè)可平鋪顯示表面(或者‘平鋪塊’),可被排布為形成一個(gè)或者多個(gè)較大顯示表面群組;布局管理器,管理跨每個(gè)表面群組的內(nèi)容布局;以及一個(gè)或者多個(gè)渲染器,響應(yīng)于布局引擎,每個(gè)渲染器驅(qū)動(dòng)一個(gè)或者多個(gè)顯示平鋪塊。每個(gè)平鋪塊可另外具有揚(yáng)聲器;具有電池以支持便攜式使用;具有取向傳感器;并且支持用戶觸摸交互。
[0155]布局引擎通常具有到每個(gè)渲染器的雙向連接,渲染器轉(zhuǎn)而具有到它驅(qū)動(dòng)的每個(gè)平鋪塊的雙向連接,這通常將是無線的以減輕動(dòng)態(tài)重新配置(例如,WirelessHD, WiGig、WHD1-rf* ) ο
[0156]每個(gè)渲染器能通過合適協(xié)議發(fā)現(xiàn)它連接的獨(dú)特可尋址平鋪塊,并且請(qǐng)求每個(gè)平鋪塊反過來報(bào)告其(多個(gè))鄰居的身份(對(duì)于矩形或者正方形顯示平鋪塊,將有多達(dá)四個(gè)鄰居,四個(gè)鄰居可被描述為基本點(diǎn),例如,北、東、南、西)。
[0157]一旦渲染器已經(jīng)獲取所述‘鄰居’信息,則它可將該信息回報(bào)給布局管理器,該布局管理器將構(gòu)建較大顯示表面群組及每個(gè)表面群組的整個(gè)邊界內(nèi)的每個(gè)平鋪塊的相對(duì)位置和取向的‘映射’。布局管理器然后可管理整個(gè)布局,使得適當(dāng)內(nèi)容(視頻、圖形(例如,EPG或交互應(yīng)用)、音頻等)渲染在每個(gè)表面群組上,其中每個(gè)渲染器渲染每個(gè)單獨(dú)平鋪塊的正確內(nèi)容,并且渲染像素/音頻樣本被發(fā)送到正確平鋪塊進(jìn)行顯示。
[0158]如果平鋪塊具有揚(yáng)聲器,那么音頻信道可被矩陣化(路由)到面板中的特定邊緣或位置;例如,如果在具有立體聲揚(yáng)聲器的群組中有兩個(gè)平鋪塊,并且內(nèi)容具有5.1環(huán)繞聲音頻,那么它可將前左信道映射到左平鋪塊的左揚(yáng)聲器,將前右信道映射到右平鋪塊的右揚(yáng)聲器,并且將中心對(duì)角信道映射到左平鋪塊的右揚(yáng)聲器和右平鋪的左揚(yáng)聲器,所有均處在適當(dāng)水平。
[0159]當(dāng)用戶分開、加入或者重新取向顯示平鋪塊或者平鋪塊群組時(shí),所關(guān)注的平鋪塊將這報(bào)告給渲染器,回報(bào)給布局引擎,這將更新其表面平鋪塊的映射。它然后將適當(dāng)?shù)卣{(diào)適其布局。
[0160]假設(shè)一個(gè)或者多個(gè)內(nèi)容項(xiàng)目正在被渲染到顯示群組(其為與桌面上windows或者應(yīng)用程序、EPG和STB上的視頻對(duì)應(yīng)的典型內(nèi)容渲染模型)內(nèi)的矩形區(qū)中,那么以下模型可用于判定當(dāng)顯示表面群組被拆分時(shí)會(huì)發(fā)生什么:
[0161]?如果單個(gè)內(nèi)容項(xiàng)目(例如,視頻、EPG、交互應(yīng)用)正在被全屏示出于原始顯示表面群組上,那么在分開時(shí),相同內(nèi)容呈現(xiàn)于顯示表面群組及每個(gè)群組上的渲染全屏幕(或者盡可能接近全屏)兩者上。因?yàn)閮?nèi)容和顯示寬高比可能不匹配,所以在帶走的新顯示表面群組重新取向的情況下,90度旋轉(zhuǎn)可能是適當(dāng)?shù)摹?br>
[0162].如果多個(gè)內(nèi)容項(xiàng)目排布于原始顯示表面群組上,那么在每個(gè)項(xiàng)目分開時(shí):
[0163]ο如果項(xiàng)目基 本保留在拆分一側(cè)上,那么在拆分之后它將保持其在單個(gè)顯示表面群組上的原始位置。
[0164]ο如果項(xiàng)目橫跨拆分,那么它被‘克隆’到兩個(gè)顯示表面群組上。
[0165]在這些后者情況中的任一情況下,內(nèi)容在每個(gè)新顯示表面群組上的重新布局可能適于最佳利用可用顯示表面區(qū)域(自動(dòng)或者用戶發(fā)起)。
[0166]上文提到的重新布局過程通常會(huì)涉及將每個(gè)可見內(nèi)容項(xiàng)目區(qū)排布于顯示表面群組內(nèi),使得:
[0167].每個(gè)的尺寸最大化(受制于任何約束,例如,視頻最大尺寸、基于文本的應(yīng)用的最小尺寸以保持易讀性)
[0168].自由空間最小化[0169]?沒有內(nèi)容區(qū)重疊
[0170]布局算法也可針對(duì)項(xiàng)目而給予相對(duì)優(yōu)先級(jí)(例如,待呈現(xiàn)為最大的視頻,然后字幕區(qū)等)。
[0171]用戶可在分開之前或者之后能夠?qū)?nèi)容區(qū)直接排布于顯示表面群組上(例如,如果平鋪塊具有觸摸式接口)。
[0172]可替代地,內(nèi)容是否被映射到單個(gè)或兩個(gè)顯示表面群組的行為可被預(yù)先判定(例如,根據(jù)公告的用戶偏好,例如,總是將所有內(nèi)容克隆到兩個(gè)顯示屏幕群組上)。
[0173]當(dāng)兩個(gè)顯示表面群組連接時(shí),則默認(rèn)行為可以是‘無屏幕重新布局’(除非顯示屏幕群組之一在連接時(shí)已經(jīng)被重新取向)。如果所連接的顯示表面群組正在示出相同內(nèi)容項(xiàng)目,那么這些中的每個(gè)可一起合并成單個(gè)實(shí)例,有可能顯示于新較大顯示表面群組上的較大區(qū)域中。
[0174]對(duì)于具有揚(yáng)聲器的平鋪塊,音頻信道通常在配置更改上被適當(dāng)?shù)刂匦掠成洹?br>
[0175]當(dāng)平鋪塊連接時(shí),布局管理器和渲染器也可匹配跨所有平鋪塊的任何顯示設(shè)置以避免顯示表面群組中平鋪塊之間的任何視覺差異,例如亮度、對(duì)比度等。
[0176]系統(tǒng)通常也響應(yīng)于外部輸入(例如,家庭自動(dòng)化視頻提要、嬰兒監(jiān)視器、電話、即時(shí)通訊、社交網(wǎng)絡(luò)和新聞提要、論壇、影像等),確定顯示與所述外部輸入相關(guān)的信息的適當(dāng)方法,并且根據(jù)用戶的沉浸/參與度及交互性來調(diào)適當(dāng)所述外部輸入被接收時(shí)播放的內(nèi)容呈現(xiàn)。
[0177]也用于控制沉浸程度,并因而調(diào)適內(nèi)容呈現(xiàn),伴隨設(shè)備137還能使與顯示表面上呈現(xiàn)的內(nèi)容交互成為可能。例如,伴隨設(shè)備137可示出排布于表面上的內(nèi)容的‘模擬’表示,其中布局信息能使所述模擬表示在合適連接上從顯示表面被傳送,例如,在WiFi連接上運(yùn)行的網(wǎng)絡(luò)套接字協(xié)議。到互聯(lián)網(wǎng)內(nèi)容的鏈接可以包括在所述布局信息中,當(dāng)被選定(通過觸摸、點(diǎn)擊、以其它形式與伴隨設(shè)備137交互等)時(shí),所述鏈接將在瀏覽器或者也在伴隨設(shè)備137上運(yùn)行的其它合適應(yīng)用程序中呈現(xiàn)所鏈接的互聯(lián)網(wǎng)內(nèi)容。例如,在顯示表面上,新聞標(biāo)題可接近新聞節(jié)目視頻被呈現(xiàn)。在伴隨設(shè)備137上模擬的這些標(biāo)題的表示可被選擇,其中到相關(guān)在線新聞故事的鏈接在瀏覽器中被呈現(xiàn)。所述鏈接也可包括到交互應(yīng)用的鏈接,諸如投票和評(píng)價(jià)、電視節(jié)目的社交網(wǎng)站和網(wǎng)頁、提供推銷購買項(xiàng)目的商業(yè)網(wǎng)站等。所述模型也允許并行具有多個(gè)用戶,但是與顯示表面上的內(nèi)容單獨(dú)交互;每個(gè)通過它們自己的伴隨設(shè)備。可替代地,在伴隨設(shè)備137上運(yùn)行的增強(qiáng)現(xiàn)實(shí)應(yīng)用程序可用于當(dāng)伴隨設(shè)備被指在表面上時(shí)覆蓋到互聯(lián)網(wǎng)內(nèi)容的鏈接。[0178](多個(gè))觀看者也可利用(多個(gè))伴隨設(shè)備來修改內(nèi)容分量呈現(xiàn)。例如,(多個(gè))伴隨設(shè)備可用于刪除內(nèi)容中不想要的分量,或者以(多個(gè))觀看者找到優(yōu)選的方式重新排列所呈現(xiàn)內(nèi)容。這些動(dòng)作通常產(chǎn)生發(fā)送到布局管理器的消息,所述布局管理器采取適當(dāng)動(dòng)作,相應(yīng)地修改布局。在這種情況下,布局管理器可選擇為記住這些變化,并且當(dāng)將來顯示相同內(nèi)容時(shí)反映它們。
[0179]在本發(fā)明的某些實(shí)施方式中,該系統(tǒng)通過定義一組呈現(xiàn)映射來進(jìn)行操作。呈現(xiàn)映射包括內(nèi)容分量/元素和呈現(xiàn)設(shè)置的列表,例如,所述列表描述:
[0180].屏幕上特定視覺內(nèi)容元素的(優(yōu)選)位置和尺寸(包括這些視覺內(nèi)容元素究竟是否顯示),包括:AV內(nèi)容;與所呈現(xiàn)內(nèi)容上下文相關(guān)的其它內(nèi)容;可能與所呈現(xiàn)內(nèi)容上下文不相關(guān)但用戶希望可用的內(nèi)容(例如,信息和社交網(wǎng)絡(luò)提要、家庭自動(dòng)化內(nèi)容等);可由用戶請(qǐng)求的內(nèi)容等。
[0181].音頻源的音量、動(dòng)態(tài)范圍和位置;
[0182].其它可控環(huán)境參數(shù),例如,照明度、窗簾狀態(tài);
[0183]?響應(yīng)反應(yīng)和呈現(xiàn)變化,響應(yīng)于與主要內(nèi)容源不連接的家庭自動(dòng)化(和其它)輸入;
[0184].呈現(xiàn)分量的優(yōu)選目的地(例如,主表面、次表面(參見下文)、(個(gè)人)伴隨設(shè)備等)。
[0185]每個(gè)內(nèi)容項(xiàng)目通常與呈現(xiàn)映射相關(guān)聯(lián),并且每個(gè)呈現(xiàn)映射通常具有對(duì)于適于內(nèi)容項(xiàng)目的不同用戶沉浸/參與度而定義的呈現(xiàn)設(shè)置。這如圖5所示。單個(gè)呈現(xiàn)映射由多個(gè)內(nèi)容項(xiàng)目引用也是可行的。
[0186]被稱為布局管理器的客戶端設(shè)備的組件確定哪個(gè)單個(gè)呈現(xiàn)映射在任何時(shí)間點(diǎn)是活動(dòng)的。許多可行輸入由布局管 理器連續(xù)評(píng)估以確定哪個(gè)呈現(xiàn)映射是活動(dòng)的。所述輸入包括但不限于:內(nèi)容;內(nèi)容類型;用戶;白天時(shí)間;顯示表面配置;用戶沉浸/參與度;用戶偏好;用戶輸入;觀看者抵達(dá)/出發(fā)等,如上所述。
[0187]一旦呈現(xiàn)映射是活動(dòng)的,那么布局管理器使用標(biāo)量變量i,表示(多個(gè))觀看者的沉浸程度,以確定將使用哪個(gè)特定呈現(xiàn)設(shè)置。變量i通常根據(jù)以下不斷被重新評(píng)估和變化:
[0188].現(xiàn)有和呈現(xiàn)特定創(chuàng)建的內(nèi)容元數(shù)據(jù);
[0189]?觀看環(huán)境101中所檢測(cè)到的(多個(gè))觀看者的沉浸程度(例如,通過頭位置和定位、聲音級(jí)、關(guān)鍵字語音檢測(cè)等,如上所述);
[0190].學(xué)習(xí)用戶偏好(例如,通過觀察當(dāng)給定呈現(xiàn)映射為活動(dòng)時(shí),特定用戶往往總是使用相同設(shè)置);
[0191].直接用戶輸入(例如,遠(yuǎn)程i+/i_按鈕,允許用戶明確定義他們的沉浸/參與度;滑塊(如上所述);或者調(diào)用指南,所述指南可強(qiáng)迫i為適當(dāng)水平,其包括指南呈現(xiàn);等);
[0192].白天時(shí)間(例如,對(duì)于深夜觀看的參與度通??杀葘?duì)于傍晚觀看更高,等);
[0193].觀看者抵達(dá)或離開;等。
[0194]圖6示出了與一系列呈現(xiàn)映射相對(duì)應(yīng)的一些實(shí)例性屏幕布局,并且示出了可見屏幕上面板的尺寸和位置隨沉浸程度i如何變化,其中i=0表示零或者非常低的沉浸程度,并且其中,與所呈現(xiàn)視頻內(nèi)容的沉浸/參與度隨著增加i而增加。
[0195]當(dāng)i變化改變呈現(xiàn)設(shè)置時(shí),或者當(dāng)改變呈現(xiàn)映射時(shí),布局管理器通常作出平滑過渡(例如,動(dòng)畫)。當(dāng)系統(tǒng)與從多個(gè)連續(xù)可平鋪顯示屏幕構(gòu)建的表面一起使用時(shí),其中每個(gè)屏幕具有在其邊緣周圍的邊框,布局管理器通常作出屏上內(nèi)容實(shí)際位置調(diào)整,使得內(nèi)容不會(huì)不必要地跨越任何邊框。
[0196]在替代性實(shí)施方式中,布局管理器與一個(gè)或者多個(gè)簡(jiǎn)單呈現(xiàn)映射一起動(dòng)態(tài)工作,其中僅指定最小尺寸和所需位置(頂部、左、右、底部、中心),而不是指定對(duì)于所有給定沉浸程度的每個(gè)屏上面板的明確尺寸和位置。每個(gè)簡(jiǎn)單呈現(xiàn)映射包括對(duì)于系統(tǒng)的特定用戶的屏上面板。在本實(shí)施方式中,布局算法然后通常如下工作:
[0197]1.面板分成列表,使得更重要的面板位于列表開始處,并且不太重要的面板位于列表結(jié)束處。
[0198]2.第一面板放置于其所需位置中。所需位置以頂部、底部、左、右或中心方面被指定。
[0199]3.屏幕的未使用區(qū)域隨后被尋求和找到。
[0200]4.試圖將列表上的下一個(gè)面板放置于第一面板的上面、下面、左面或右面。對(duì)于具有足夠未使用區(qū)域的每個(gè)位置,放置該面板。
[0201]5.在每一個(gè)可行位置中,對(duì)于列表上的每個(gè)面板,遞歸地重復(fù)步驟3和4。
[0202]6.在遞歸的每一步驟處,將面板布局添加到布局候選者列表,丟棄重復(fù)。
[0203]7.在遞歸結(jié)束處,布局面板(布局候選者)通常有一系列可行方式。可以理解,布局候選者中的一些將不會(huì)包括所有面板,因?yàn)樗鼈儧]有足夠自由區(qū)域來被放置。
[0204]8.每個(gè)布局候選者被給予得分。通常,得分受到以下影響:面板是否存在于候選者布局中;面板是否位于水平或垂直線中;作為另一面板的“子面板”的面板是否接近于其母面板(例如,字幕為針對(duì)字幕所屬于的視頻的視頻面板的子面板);等。
[0205]9.具有最高得分的布局候選者被選定為布局。
[0206]當(dāng)系統(tǒng)有多個(gè)用戶時(shí),上述布局算法可用于將屏幕區(qū)域指派給每個(gè)用戶。布局算法用于為每個(gè)用戶指派屏幕區(qū)域并且重復(fù)布局算法,將每個(gè)用戶面板放置于指派給所述用戶的屏幕區(qū)域中。所述方法優(yōu)點(diǎn)在于,允許基于相同動(dòng)態(tài)沉浸的布局算法在單獨(dú)用戶利益之間和在用戶相對(duì)優(yōu)先級(jí)之間調(diào)適。
[0207]本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解,其它功能等同算法也可行。
[0208]圖7示出了由所述算法生成的一組實(shí)例性得分布局。所述算法試圖放置的各種面板為:v-視頻內(nèi)容;s-視頻內(nèi)容字幕;τ-與視頻內(nèi)容相關(guān)的Twitter摘要;W_與視頻內(nèi)容相關(guān)的網(wǎng)頁;F_視頻內(nèi)容觀看者的Facebook新聞?wù)?br>
[0209]所述替代性布局管理器實(shí)施的優(yōu)點(diǎn)在于,它能容納任意數(shù)目的面板,例如,如果兩個(gè)用戶正在共享顯示表面以觀看內(nèi)容的兩個(gè)不同項(xiàng)目,那么面板數(shù)目可增加,每個(gè)項(xiàng)目具有它們自己的呈現(xiàn)映射;或者允許用戶添加他們自己的與主要內(nèi)容項(xiàng)目不相關(guān)的偏好面板。系統(tǒng)可管理內(nèi)容項(xiàng)目并且當(dāng)由于多個(gè)活動(dòng)呈現(xiàn)映射而重復(fù)發(fā)生時(shí)使內(nèi)容項(xiàng)目合理化(例如,通過合并重復(fù)內(nèi)容項(xiàng)目)。
[0210]在所述布局算法的進(jìn)一步改進(jìn)中,邏輯相關(guān)的面板(例如,相同類型,由同一用戶擁有,或者上下文相關(guān),例如視頻+標(biāo)題+字幕)被一起組合到子列表中,并且上述算法隨后將所述子列表中的面板布局到顯示表面區(qū)中。多個(gè)子列表可共存,每個(gè)子列表在表面上具有其自己相關(guān)聯(lián)的非重疊區(qū)。這導(dǎo)致可給用戶更直觀的整體布局,因?yàn)橄嚓P(guān)項(xiàng)目在空間上彼此更接近。布局管理器根據(jù)簡(jiǎn)單算法來管理這些子區(qū)的相對(duì)尺寸和位置,所述簡(jiǎn)單算法根據(jù)可操作的子列表數(shù)目對(duì)于(多個(gè))顯示表面的整個(gè)區(qū)域進(jìn)行劃分。[0211]本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解,許多其它因素可包括在信息中,所述信息在布局算法中用于放置面板和對(duì)布局評(píng)分。這些包括但不限于:面板或子列表的優(yōu)選相對(duì)定位(例如,左、右、上或下);面板或子列表之間對(duì)齊(例如,中心或者邊緣);面板或子列表之間所需的分開或裕度;面板或子列表之間分開或裕度不存在;等。
[0212]在系統(tǒng)的進(jìn)一步改進(jìn)中,系統(tǒng)可在單個(gè)環(huán)境中(例如,在起居室中的不同墻壁上)或者在不同環(huán)境中(例如,房子的不同房間)容納多個(gè)顯示表面。
[0213]圖8示出了圖4中的體系結(jié)構(gòu)如何改進(jìn)為支持多個(gè)顯示表面。仍有布局管理器403的單個(gè)實(shí)例,所述布局管理器403管理跨多個(gè)(通常不連續(xù))表面的內(nèi)容布局。布局管理器403知道觀看環(huán)境中每個(gè)表面的尺寸、分辨率(像素密度,即,每單位長度或區(qū)域的像素?cái)?shù))和相對(duì)位置,并且管理內(nèi)容如何放置,并且適當(dāng)時(shí),在表面之間如何被移動(dòng)。了解每個(gè)表面的相對(duì)位置使布局管理器403能夠利用現(xiàn)實(shí)運(yùn)動(dòng)和/或彈道來移動(dòng)內(nèi)容,即使這些表面為不連續(xù)。了解表面分辨率也允許布局管理器403容納具有不同分辨率的表面(也許,例如,因?yàn)樗鼈兪褂貌煌@示技術(shù)或者只是由不同制造商制作)。在單個(gè)表面實(shí)施中,布局管理器403使用像素單元和布局坐標(biāo)通??梢越邮?,但是對(duì)于不同分辨率的表面,當(dāng)它在表面之間移動(dòng)時(shí),這可導(dǎo)致意想不到的內(nèi)容縮放。在這種情況下,布局管理器403通常采用布局物理單元,所述物理單元可被分解為物理單元施加的特定表面的像素單元。
[0214]根據(jù)本發(fā)明的實(shí)施方式,多個(gè)表面渲染器用于將內(nèi)容渲染到各種顯示表面上。例如,主表面渲染器805將內(nèi)容渲染到顯示表面806上(在布局管理器403控制下),而次表面渲染器807將內(nèi)容渲染到顯示表面808上(也在布局管理器403控制下)。在一些實(shí)施方式中,兩個(gè)或者更多個(gè)表面渲染器(809/811)各自可將內(nèi)容渲染到單個(gè)顯示表面810上。布局管理器403和每個(gè)表面渲染器可被托管于許多不同排列中的不同物理設(shè)備上;例如,布局管理器403和主表面渲染器805可被托管于單個(gè)客戶端設(shè)備上,其它表面渲染器(807/809/811)各自被托管于其它設(shè)備上。可替代地,布局管理器403可被托管于家庭網(wǎng)關(guān)中,或者甚至在云中,每個(gè)渲染器(805/807/809/811)具有其自己的客戶端設(shè)備。在替代性實(shí)施方式中,渲染器可集成到包括每個(gè)顯示表面的(多個(gè))顯示設(shè)備中。在多表面體系結(jié)構(gòu)中,使用與布局管理器403操作式通信的同步服務(wù)器813來同步多個(gè)表面上的AV和圖形呈現(xiàn)。同步服務(wù)器813的操作將在下文中更詳細(xì)說明。同樣,它可被托管于客戶端設(shè)備之一或者網(wǎng)關(guān)中或者在云中。
[0215]應(yīng)當(dāng)理解,在所述多表面環(huán)境中(其中多個(gè)獨(dú)立渲染器,在獨(dú)立硬件上運(yùn)行,其中每個(gè)渲染器正在驅(qū)動(dòng)一個(gè)或者多個(gè)顯示器,所述一個(gè)或者多個(gè)顯示器組合來構(gòu)建整個(gè)表面),可以有許多情況,其中不同表面上的AV和圖形內(nèi)容的呈現(xiàn)在時(shí)間上同步,例如,當(dāng)將AV從一個(gè)表面移動(dòng)到另一表面時(shí),音頻或視頻無間斷,示出了 ‘多角度’ AV內(nèi)容(例如,音樂會(huì)或體育賽事),其中,視頻摘要分布于多個(gè)顯示表面上等。在所述環(huán)境中通常也有單個(gè)音頻系統(tǒng),所述單個(gè)音頻系統(tǒng)通常會(huì)連接到表面客戶端設(shè)備之一(因?yàn)樗鱿到y(tǒng)通常會(huì)無法將音頻摘要位置從兩個(gè)不同表面‘變換’以反映它們的實(shí)際位置)。因此,當(dāng)視頻在其它表面上顯示時(shí),音頻通常在連接到音頻控制系統(tǒng)的表面上進(jìn)行解碼,并且因此,這些表面之間的AV同步是可取的。
[0216]顯示表面之間的同步通常包括:
[0217].在兩個(gè)(或者更多個(gè))渲染器上進(jìn)行解碼的相同視頻;[0218].在一個(gè)或者多個(gè)渲染器上進(jìn)行解碼的視頻,其中音頻在不同渲染器上;
[0219].在渲染器之間和在渲染器上移動(dòng)物體的圖形動(dòng)畫;
[0220].不同渲染器之間圖形幀速率(在不同負(fù)載下-對(duì)于大多數(shù)圖形系統(tǒng)(不論基于GPU還是基于CPU),不同工作負(fù)荷(即,待處理圖形量)影響產(chǎn)生給定輸出幀所需的時(shí)間。因此,渲染器之間的不同負(fù)載(或者渲染器之間的處理能力)很可能導(dǎo)致不同輸出幀速率);以及
[0221]?一個(gè)或者多個(gè)渲染器上的圖形與另一個(gè)渲染器(或者多個(gè)渲染器)上的視頻之間同步。
[0222]結(jié)果通常為,當(dāng)看似它是驅(qū)動(dòng)一個(gè)顯示表面的一個(gè)渲染器時(shí),連接到兩個(gè)顯示表面的兩個(gè)渲染器的行為相同。
[0223]同步是指設(shè)備之間時(shí)鐘同步(即,某事發(fā)生的時(shí)間)或者對(duì)于設(shè)備之間的給定處理點(diǎn)(算法的進(jìn)展)的同步。然而,這些類型的同步并不一定足夠用于所有用例,具體地,涉及圖形的那些用例。在圖形區(qū)域中,用于幀生成的狀態(tài)通常事先商定。這一簡(jiǎn)單例子為圖形表示物體運(yùn)動(dòng)。為了所有渲染器合作,對(duì)于它們渲染物體的每個(gè)幀,它們通常同意它們正在渲染的物體狀態(tài)(即,位置)。這不像相同輸出總是由所有解碼操作產(chǎn)生的視頻(假設(shè)相同輸入幀正在進(jìn)行解碼)。
[0224]用于實(shí)現(xiàn)所需同步的兩大類方法為:
[0225].同步時(shí)鐘:所有渲染器具有相同時(shí)鐘,并且同意在同一時(shí)間做事(例如,產(chǎn)生下一幀);以及
[0226].屏障法:渲染器均等待彼此達(dá)到給定點(diǎn)(例如,準(zhǔn)備幀),并且當(dāng)它們均已達(dá)到所述點(diǎn)時(shí)進(jìn)行(例如,顯示幀)。
[0227]關(guān)于同步時(shí)鐘,一個(gè)已知機(jī)制為IETF標(biāo)準(zhǔn)網(wǎng)絡(luò)時(shí)間協(xié)議(NTP)RFC5905。這使用網(wǎng)絡(luò)消息將計(jì)算機(jī)之間的時(shí)鐘同步為“全球性”掛鐘,并且在理想條件下實(shí)現(xiàn)機(jī)器之間10ms以下的誤差。時(shí)鐘同步也在分布式系統(tǒng)第10章中被說明:概念和設(shè)計(jì),作者George`Coulouris、Jean Dollimore、Tim Kindberg(第 2版,1994)。精確時(shí)間協(xié)議(PTP)( ΙΕΕΕ1588)為ΝΤΡ算法擴(kuò)展,它使用對(duì)于時(shí)間戳數(shù)據(jù)包的專門硬件擴(kuò)展,允許時(shí)鐘恢復(fù)精度更大。MPEG-2傳輸流具有時(shí)鐘恢復(fù)機(jī)制,理論上,所述時(shí)鐘恢復(fù)機(jī)制允許渲染器同步到亞毫秒精度。然而,這依賴于從非常有限抖動(dòng)和已知延遲的(廣播)網(wǎng)絡(luò)的時(shí)鐘樣本接收。家庭網(wǎng)絡(luò)上的渲染器的實(shí)際性質(zhì)為時(shí)鐘恢復(fù)將受在所述網(wǎng)絡(luò)上引入的抖動(dòng)影響。
[0228]屏障同步為計(jì)算機(jī)科學(xué)中眾所周知的同步機(jī)制。建議(諸如在可縮放自適應(yīng)圖形環(huán)境高性能動(dòng)態(tài)圖像流,Jeong等,SC2006, 2006年11月,坦帕,佛羅里達(dá)州,美國中的那些)通過使每個(gè)渲染器產(chǎn)生新幀和時(shí)鐘進(jìn)行工作,直至所有渲染器使新幀準(zhǔn)備顯示,在這點(diǎn)處,每個(gè)渲染器釋放所述幀,并且然后繼續(xù)產(chǎn)生下一幀。
[0229]時(shí)鐘同步機(jī)制通常需要提前同意下一幀應(yīng)當(dāng)釋放的時(shí)間。屏障同步通常需要渲染器之間對(duì)于每個(gè)釋放幀的消息,并且對(duì)于某些操作,提前同意幀應(yīng)當(dāng)針對(duì)于顯示的時(shí)間(使得動(dòng)畫知道項(xiàng)目應(yīng)當(dāng)移動(dòng)多遠(yuǎn))。如上所述,時(shí)鐘和屏障同步都不處理具有圖形的所有問題。更具體地,它們可處理*何時(shí)*做事(例如,顯示幀),但它們不處理顯示*什么* (即,構(gòu)建幀的狀態(tài))。
[0230]圖9給出了在狀態(tài)不同步的情況下發(fā)生什么的抽象印象。在這種情況下,在每一個(gè)其它幀處,驅(qū)動(dòng)屏幕2的渲染器無法移動(dòng)表示圖形物體的移動(dòng)和旋轉(zhuǎn)的狀態(tài)。(應(yīng)當(dāng)注意,這導(dǎo)致與在較低幀速率下操作相同的效果,這是在下文更詳細(xì)討論的單獨(dú)問題)。
[0231]圖10示出了根據(jù)本發(fā)明實(shí)施方式的同步機(jī)制的基本組件。所述機(jī)制適用于以正常速度的AV回放以及以不同于正?;胤潘俾实乃俾首鞒龌胤诺摹捌交碧丶寄J?,例如,
1.5X、2.5X或15X。如上所述,所述機(jī)制目的在于同步跨多個(gè)渲染器的視頻回放。
[0232]主渲染器1001 (通常預(yù)先選定為主渲染器,但用于選擇哪個(gè)渲染器被設(shè)計(jì)為主渲染器的其它方法也是可行的)表示其它渲染器將與之同步的‘主裝置(master,主渲染器)’。一個(gè)或者多個(gè)次渲染器1003表示同步于‘主’渲染器的‘從’渲染器。通常,這些‘從’渲染器不輸出音頻,(且因此‘主’渲染器通常連接到音頻控制系統(tǒng))。同步(sync)服務(wù)器813(如上所述)對(duì)于‘主’渲染器與‘從’渲染器之間的交互進(jìn)行解耦合,并且最小化對(duì)于每個(gè)渲染器的變更。
[0233]根據(jù)本發(fā)明的實(shí)施方式,同步機(jī)制操作如下:
[0234]主渲染器1001將其在音頻輸出處的媒體時(shí)間發(fā)送到同步服務(wù)器813,并且反復(fù)執(zhí)行此操作。從渲染器向同步服務(wù)器813詢問主回放音頻時(shí)間。從渲染器使用所述時(shí)間來同步音頻回放,基于由同步服務(wù)器813報(bào)告的時(shí)間,確保它正在呈現(xiàn)給(未使用的)從渲染器音頻輸出的音頻幀匹配主渲染器應(yīng)當(dāng)呈現(xiàn)的音頻。這個(gè)過程也將從渲染器1003中的媒體時(shí)間與來自同步服務(wù)器813 (且因此來自主渲染器1001)的媒體時(shí)間進(jìn)行同步。正常AV同步過程也確保視頻隨后在主渲染器與從渲染器之間同步。在整個(gè)這個(gè)過程中,標(biāo)準(zhǔn)技術(shù)由同步服務(wù)器813用于將時(shí)鐘速率與主渲染器匹配,并且在從渲染器情況下,回放速率被進(jìn)行修改以實(shí)現(xiàn)所述目標(biāo)。例如,如果渲染器正在緩慢運(yùn)行,那么音頻回放速率可適當(dāng)?shù)卦黾?,使得例如它可能正在?.05倍回放未使用音頻,該1.05倍由其時(shí)鐘表示。
[0235]圖11為示出上述同步解決方案中的通信邏輯圖的時(shí)序圖。三個(gè)主要實(shí)體參與操作:主要‘主’渲染器1001,其為充當(dāng)時(shí)序源的渲染器;同步服務(wù)器813 ;以及次要‘從’渲染器1003,其為自身與主渲染器同步以實(shí)現(xiàn)一致回放效果的渲染器。主要渲染器1001包括音頻驅(qū)動(dòng)器1101、音頻渲染器1103和時(shí)鐘1105。次要渲染器1003包括音頻驅(qū)動(dòng)器1107、音頻渲染器1109和時(shí)鐘1111。
[0236]序列以主音頻驅(qū)動(dòng)器1101 (其已經(jīng)從音頻解碼器(未示出)接收數(shù)據(jù))將所述接收數(shù)據(jù)發(fā)送到主音頻渲染器1103作為開始。主音頻渲染器1103計(jì)算當(dāng)前正在播出的音頻樣本的時(shí)間(通常,渲染器具有緩沖器以避免音頻故障)。它然后將時(shí)間發(fā)送到邏輯主時(shí)鐘1105,所述邏輯主時(shí)鐘1105然后將所述時(shí)間傳遞到同步服務(wù)器813 (“設(shè)置時(shí)間為Y”)。一旦接收所述時(shí)間,同步服務(wù)器813更新其主時(shí)間的副本(若需要)并且調(diào)整時(shí)鐘速率(若需要)。
[0237]同時(shí),次要‘從’渲染器1003也已經(jīng)產(chǎn)生一些音頻數(shù)據(jù),為此次要音頻渲染器1109具有基于它在播放的輸出樣本的時(shí)間值,并且它將所述時(shí)間值傳遞到本地次要時(shí)鐘1111(“時(shí)間Is”)。與主要時(shí)鐘1105不同,次要時(shí)鐘1111向同步服務(wù)器813詢問時(shí)間(“獲得時(shí)間”),其中同步服務(wù)器813用其當(dāng)前主要時(shí)間(“時(shí)間為Υ+δ ”)的解釋作出響應(yīng)。次要時(shí)鐘1111然后比較這些時(shí)間,將它當(dāng)前具有的時(shí)序誤差(“偏離程度”)告知次要音頻渲染器1109,更新其自己的主要時(shí)鐘的本地副本,并且校正其時(shí)鐘速率。次要音頻渲染器1109然后適當(dāng)?shù)剡x擇阻斷、跳轉(zhuǎn)或者改變回放速度以保持同步。[0238]主要時(shí)鐘1105 (如由主要渲染器1001使用)和次要時(shí)鐘1111 (如由次要渲染器1103使用)也由視頻渲染器使用,所以以上方法將固有地獲得視頻同步,并且當(dāng)音頻樣本用于計(jì)算時(shí),同步應(yīng)當(dāng)比視頻樣本更準(zhǔn)確,因?yàn)榕c視頻采樣速率24Hz至60Hz相比,音頻采樣率通常為c.48kHz。
[0239]消息可以靈活速率進(jìn)行發(fā)送。在本實(shí)施方式中,當(dāng)輸出設(shè)備需要準(zhǔn)備音頻數(shù)據(jù)組塊(例如,大約每幾百毫秒)時(shí)更新時(shí)間(即,發(fā)生與同步服務(wù)器813的消息交換),但基于如由同步服務(wù)器813指出的監(jiān)視精度,所述速率可被減少或者增加。
[0240]根據(jù)本發(fā)明的實(shí)施方式,當(dāng)從渲染器指出其時(shí)鐘與主渲染器不同步(S卩,不同步)時(shí),并且當(dāng)特技模式并不期望時(shí),有兩個(gè)選擇。它可“跳”到新正確值,或者它可修改它回放其內(nèi)容的速度以趕上且然后匹配主渲染器的回放。
[0241]所述機(jī)制也可在使用特技模式的情況下工作,因?yàn)楫?dāng)每個(gè)從渲染器指出主要時(shí)鐘變化時(shí),它將簡(jiǎn)單地修改渲染器上的回放速率。然而,如果渲染器知道一組可用標(biāo)準(zhǔn)回放速率,那么所述信息可用于修改回放速率。例如,如果渲染器知道正常回放速率包括6X模式,并且它檢測(cè)到主要渲染器時(shí)鐘中匹配的跳轉(zhuǎn),那么它可進(jìn)入6X模式。
[0242]以及自動(dòng)識(shí)別所述速率變化,系統(tǒng)可將待發(fā)送消息配置為明確改變回放速率。這些消息可包括另外條件,諸如“并且這將在媒體時(shí)間Y處開始”,以便允許在特技模式開始處更好同步。
[0243]對(duì)于暫停和尋道/跳轉(zhuǎn)情況,不同機(jī)制通常用作這些代表性“正?!辈僮鳌T谶@兩種情況下,有顯式實(shí)施(例如,消息由從渲染器接收,指示尋道已經(jīng)發(fā)生)或者隱式實(shí)施(例如,從渲染器或同步服務(wù)器檢測(cè)到時(shí)間變化,指示尋道已經(jīng)發(fā)生)的選項(xiàng)。
[0244]對(duì)于所識(shí)別的跳轉(zhuǎn),內(nèi)容中的點(diǎn)是超前的,但回放速率未變化。對(duì)于暫停機(jī)制,在本實(shí)施方式中使用明確消息。同步服務(wù)器813可產(chǎn)生明確消息,所述消息通常包括非常輕微地設(shè)置為未來(例如,一個(gè)或者兩個(gè)幀)的“暫停”組件。在替代性實(shí)施方式中,同步服務(wù)器813也可發(fā)出“現(xiàn)在暫?!毕?。在“現(xiàn)在暫停”消息的情況下,現(xiàn)有時(shí)鐘機(jī)制可用于識(shí)別主渲染器與從渲染器之間的任何失配,其中回放根據(jù)需要立即調(diào)整。
[0245]如上討論,對(duì)于圖形,“輸入狀態(tài)”(例如,渲染對(duì)象位置/地點(diǎn)的目標(biāo))通常被同意,并且?guī)俾释ǔFヅ?。如圖9所示,兩個(gè)情況可能導(dǎo)致不匹配幀。
[0246]匹配幀速率通??山?jīng)由每個(gè)幀上的屏障來實(shí)現(xiàn),其中所有渲染器阻斷單元均已經(jīng)產(chǎn)生幀,并且然后前進(jìn)到下一幀。在如上所述視頻同步可用的情況下,這可用于提供屏障,假設(shè)渲染器可識(shí)別目標(biāo)幀速率,并因此識(shí)別目標(biāo)輸出時(shí)間。這可通過以某些固定速率(例如,30fpS、60fpS、15fpS)為目標(biāo)來完成。在任何渲染器丟失幀速率目標(biāo)的情況下,通信消息(其可捎帶視頻同步)指示所有渲染器將下降到下一個(gè)最低(或特定較低)速率。在所有渲染器表明它們正在足夠快地產(chǎn)生幀(下一個(gè)最快速率可行)的情況下,同步服務(wù)器813然后可識(shí)別所述情況,并且將所述情況以及變化應(yīng)當(dāng)生效的時(shí)間點(diǎn)傳達(dá)給所有渲染器。
[0247]與此相關(guān)的是定時(shí)事件,例如在事件歸因于在給定時(shí)間過去之后發(fā)生的情況下。在同步視頻存在的情況下,這可用于標(biāo)記事件將發(fā)生的時(shí)間點(diǎn)。
[0248]上述實(shí)施方式已經(jīng)解決了視頻與視頻或者圖形與視頻的同步。另一種情況為同步視頻與圖形,其分解為兩個(gè)問題:
[0249].在視頻中特定時(shí)間處啟動(dòng)圖形或圖形動(dòng)畫;以及[0250].在圖形動(dòng)畫與視頻之間保持同步。
[0251]該例子如圖12示意性示出。在步驟(a)中,視頻正在播放,示出了一汽車;所述視頻未覆蓋整個(gè)顯示表面,雖然它可在屏幕或渲染器的邊緣處結(jié)束。在步驟(b)中,汽車到達(dá)視頻邊緣。在這點(diǎn)處,圖形動(dòng)畫開始創(chuàng)建汽車的圖形版本。步驟(c)示出了隨后一些幀的情況,其中視頻具有駛離該視頻的汽車,同時(shí)保持正確大小和與視頻的時(shí)序?qū)R,使得汽車長度不收縮或增長。這種情況持續(xù)到步驟(d)和(e),在步驟(d)和(e)期間,同步保持不變,并且潛在地跨越另一個(gè)屏幕(如示出)并且甚至跨越另一渲染器。最后,當(dāng)汽車后部到達(dá)視頻邊緣時(shí),如步驟(g)所示,同步可打破或停止。
[0252]上述第一問題(S卩,步驟(b))可經(jīng)由基于視頻時(shí)間軸觸發(fā)動(dòng)畫來解決。在本實(shí)施方式中,觸發(fā)器可以在遠(yuǎn)程渲染器(例如,圖形將在與包括視頻的表面不同的表面上開始)上。這可通過使用目標(biāo)渲染器上從屬但不可見的視頻并且然后使用正常本地時(shí)間觸發(fā)器來處理,并且依賴于上述視頻同步來實(shí)現(xiàn)同步。可替代地,在網(wǎng)絡(luò)性能足夠或者同步要求更加寬松的情況下,任何圖形項(xiàng)目的本地創(chuàng)建均可經(jīng)由服務(wù)器(例如,布局管理器403)來執(zhí)行,所述服務(wù)器反過來告知相關(guān)渲染器圖形將啟動(dòng)。
[0253]第二問題(S卩,步驟(c)至(e))通常涉及如上所述不斷的速率同步和狀態(tài)同步。在這種情況下,使用不斷更新,并且因此隱藏視頻通常存在于所有當(dāng)前渲染器上,并且圖形然后與本地視頻同步。通過使用當(dāng)前視頻幀速率(其根據(jù)需要容易由同步服務(wù)器813確定)并且使用所述幀速率來設(shè)置狀態(tài)幀速率,這得以完成。通過使每個(gè)圖形幀與視頻時(shí)鐘的對(duì)應(yīng)時(shí)間(基于已知目標(biāo)開始時(shí)間、幀速率和經(jīng)過的幀數(shù)容易計(jì)算)匹配并且使每個(gè)渲染器將圖形幀顯示局部鎖定為隱藏或虛擬視頻的解碼以提供方便參考,圖形幀的釋放然后與視頻聯(lián)系在一起。
[0254]在一些實(shí)施方式中,布局管理器403可將有關(guān)的內(nèi)容的每個(gè)項(xiàng)目的每一尺寸、位置、音量等的變化告知每一表面渲染器。然而,當(dāng)所述通信基于布局管理器與每個(gè)表面渲染器之間的點(diǎn)對(duì)點(diǎn)通信時(shí),將直接影響正在顯示或即將顯示的內(nèi)容的變化只告知每個(gè)表面渲染器更加高效。
[0255]布局管理器403通常只將以它們抽象形式的內(nèi)容項(xiàng)目考慮為簡(jiǎn)單2D多邊形。布局管理器通常會(huì)具有位置的3D模型以及每個(gè)表面的取向,它將每個(gè)抽象內(nèi)容多邊形作為其布局計(jì)算的一部分投射到所述表面上。每個(gè)表面渲染器由布局管理器403告知這些內(nèi)容項(xiàng)目放置在哪里,并且表面渲染器負(fù)責(zé)將所述高級(jí)位置描述轉(zhuǎn)換為適當(dāng)?shù)拿襟w特定變換。例如,布局管理器403可決定將文本面板放置于表面上特定位置處,并且所述表面的表面渲染器處理文本字體大小、顏色等,并且使文本流入到所述面板。視頻面板可具有響應(yīng)于高級(jí)位置描述而由表面渲染器施加的2D縮放變換-這是渲染器可如何實(shí)現(xiàn)如由布局管理器指定的呈現(xiàn)的例子。
[0256]如果有呈現(xiàn)特定的創(chuàng)作內(nèi)容元數(shù)據(jù),那么渲染AV內(nèi)容的表面渲染器之一被選定為“時(shí)間軸所有者”。當(dāng)在AV流中發(fā)生事件時(shí),所述“時(shí)間軸所有者”發(fā)送消息到布局管理器403。布局管理器403然后對(duì)于這些消息作出反應(yīng),并且可以發(fā)送更新到一個(gè)或者多個(gè)其它表面渲染器。例如,嵌入于AV流中的字幕數(shù)據(jù)可使得每當(dāng)字幕有變化時(shí)事件在客戶端設(shè)備上觸發(fā)。這些變化可被發(fā)送到布局管理器403,所述布局管理器403決定是否有正在顯示字幕的任何表面并且發(fā)送適當(dāng)更新到相關(guān)表面渲染器。這允許字幕顯示于與正在渲染AV的表面不同的表面(或者伴隨設(shè)備)上。
[0257]有許多機(jī)制,通過所述機(jī)制,布局管理器403可知道觀看環(huán)境中每個(gè)表面的尺寸、分辨率(像素密度,即,每個(gè)單元長度或區(qū)域的像素?cái)?shù))和相對(duì)位置。這可以是經(jīng)由:
[0258].手動(dòng)配置;
[0259].自動(dòng)Kinect類設(shè)備(如上所述),分析環(huán)境的視頻或靜止影像以產(chǎn)生相關(guān)信息;或者
[0260].相機(jī)配備伴隨設(shè)備(如上所述),掃描環(huán)境并且由此產(chǎn)生相關(guān)信息。
[0261]在顯示表面正在示出重疊到‘虛擬壁紙’上的內(nèi)容的系統(tǒng)中,眾所周知的影像分析技術(shù)(例如,如由開源計(jì)算機(jī)視覺庫“OpenCV”提供,http: //opencv.wi 1 lowRaraRe.com/woki/)可在底層‘虛擬壁紙’上執(zhí)行以提供特征提取,諸如邊緣檢測(cè)和對(duì)象檢測(cè)。視覺內(nèi)容要素(即,正在呈現(xiàn)的內(nèi)容要素,諸如視頻、影像、圖形、文本等)的建議潛在放置可被指派基于內(nèi)容要素與所提取特征的相互作用的放置加權(quán)(優(yōu)選)影響,例如,具有最小數(shù)目邊緣或?qū)ο蠼徊娴姆胖猛ǔ1染哂休^大數(shù)目邊緣或?qū)ο蠼徊娴姆胖弥概筛眉訖?quán)。內(nèi)容元素放置也可進(jìn)行調(diào)整,使得放置與所檢測(cè)的垂直和/或水平邊緣對(duì)齊。內(nèi)容元素尺寸也可進(jìn)行縮放,通常在由與(多個(gè))內(nèi)容元素相關(guān)聯(lián)的屬性定義的限制內(nèi)。在某些實(shí)施方式中,可提供以自動(dòng)尺寸操縱限制形式的輔助/指導(dǎo)信息。
[0262]由內(nèi)容元素交叉(或者接近內(nèi)容元素)的任何對(duì)象的顏色可被識(shí)別(使用上述影像分析技術(shù))并且然后內(nèi)容元素的顏色屬性可進(jìn)行修改以提供內(nèi)容元素與對(duì)象之間的清晰視覺分離(例如,通過使內(nèi)容元素與彩色空間輪上的對(duì)象之間的‘距離’最大化)。在某些實(shí)施方式中,可提供以所建議最小和/或最大顏色變化程度的形式的輔助/指導(dǎo)信息(例如,彩色輪上的‘距離’和‘角度’)。
[0263](多個(gè))內(nèi)容元素放置于的一般區(qū)域也可進(jìn)行分析以識(shí)別(多個(gè))內(nèi)容元素可重疊的‘虛擬壁紙’的區(qū)或多個(gè)區(qū)。(多個(gè))區(qū)的主要顏色或一組顏色可被識(shí)別。(多個(gè))內(nèi)容元素的顏色然后可調(diào)整/修改為這些主要顏色。
[0264]在某些實(shí)施方式中,調(diào)整放置和/或修改(多個(gè))內(nèi)容元素的屬性可能不可行。在所述實(shí)施方式中,可插入圖形層,所述圖形層隔離(多個(gè))內(nèi)容元素并且提供‘虛擬壁紙’與(多個(gè))內(nèi)容元素之間的分離邊界。顏色和/或透明度以及所插入分離邊界的設(shè)置可基于底層影像分析和/或(多個(gè))內(nèi)容元素的顏色屬性。
[0265]現(xiàn)將更詳細(xì)描述根據(jù)本發(fā)明實(shí)施方式的觀看透視校正的方法及系統(tǒng)。
[0266]內(nèi)容制作者通常產(chǎn)生以特定方式(S卩,在垂直于顯示表面的特定距離處)觀看的內(nèi)容。然而,如上已經(jīng)提到,當(dāng)它被產(chǎn)生以觀看時(shí),觀看者經(jīng)常觀看不到內(nèi)容(例如,顯示表面屏幕可能太大或者太小,觀看者可能從與制作者本來打算的不同的高度觀看內(nèi)容,觀看者可能從與顯示表面不垂直的位置觀看內(nèi)容等)。
[0267]這一后者情況如圖13所示,其中,觀看者1301正在從與顯示表面不垂直的位置觀看顯示于顯示表面1305上的內(nèi)容1303。這樣做的后果是對(duì)正在顯示的內(nèi)容的觀看者感知1307對(duì)于觀看者1301出現(xiàn)失真。參考圖14,根據(jù)本發(fā)明的實(shí)施方式,所述問題的解決方案包括變換所顯示內(nèi)容以創(chuàng)建相反失真,使得當(dāng)從與顯示表面1305不垂直的位置觀看時(shí),對(duì)失真顯示內(nèi)容1403的感知1407對(duì)于觀看者1301不出現(xiàn)失真。
[0268]根據(jù)本發(fā)明的實(shí)施方式的解決方案包括三個(gè)步驟:[0269]1.參考圖15a,在第一步驟中,從原始源內(nèi)容創(chuàng)建三維(3D)顯示1501 (S卩,虛擬屏幕,其可被管理為3D對(duì)象),如所期望觀看的那樣。
[0270]i1.參考圖15b,3D顯示然后被進(jìn)行變換(例如,平移t、旋轉(zhuǎn)r。、尺寸調(diào)整rs (若需要))以適合于在針對(duì)觀看者1505的當(dāng)前位置的觀看者1505的觀看錐1503內(nèi)。(參考圖16,觀看錐1601定義了變換內(nèi)容的觀看者感知出現(xiàn)不失真的位置。)
[0271]ii1.參考圖15c,變換的3D顯示1507然后被投影到顯示表面1509上。
[0272]圖17示出了內(nèi)容的不失真感知可通過投影之前在任何方向上隱藏觀看錐的3D對(duì)象的任何線性變換(即,與觀看錐恰好對(duì)應(yīng)的任何線性變換)來獲得。隱藏觀看錐的三維顯示的任何線性變換的投影結(jié)果總是相同,即,觀看錐與顯示表面的交叉區(qū)域。這如圖18a所示。因此,變換選擇對(duì)于觀看者沒有影響,并且通常被選擇為使得觀看錐的基部的中心與顯示表面相交(如圖18b所示),并且這通常通過常規(guī)變換組合來實(shí)現(xiàn),諸如旋轉(zhuǎn)、平移和尺寸調(diào)整。
[0273]圖19示出了觀看錐的方向定義了表面上的投影變換3D顯示的位置,這直接影響觀看者,因?yàn)橛幸恍┓较驅(qū)㈦[藏(部分或者或許全部)投影顯示(例如,部分1901被示出為隱藏)。投影的適當(dāng)方向通常為引起最簡(jiǎn)單變換的方向。
[0274]現(xiàn)將引入另外兩個(gè)概念:正(perpendicularity)三角形和保持盤。
[0275]參考圖20,正三角形2001由觀看錐和顯示表面2003形成的三角形定義。內(nèi)容的不失真感知2005可針對(duì)三角形內(nèi)任何位置僅使用3D顯示的平移和尺寸調(diào)整來獲得。
[0276]參考圖21,保持盤2101由與正三角形2001的角相交的圓定義。內(nèi)容的不失真感知2103可針對(duì)盤2101內(nèi)(和在三角形2001外)的任何位置使用3D顯示的平移、尺寸調(diào)整和旋轉(zhuǎn)來獲得。
[0277]參考圖22,圖22示出了根據(jù)本發(fā)明實(shí)施方式的系統(tǒng),觀看者2201、顯示表面2203和所顯示內(nèi)容2205共享同一 3D歐幾里德(Euclidean)坐標(biāo)空間。捕捉者組件2207跟蹤觀看者的頭的實(shí)時(shí)位置(定義為(XM,Yre, Zre))0顯示表面(Χ#Β, Υ<Β)的尺寸、捕捉者組件2207相對(duì)于顯示表面的位置以及用于觀看內(nèi)容項(xiàng)目的理論理想角度(ath)(其可定義用于針對(duì)與顯示表面(Zth)相距的給定距離來顯示內(nèi)容(Xth,Yth)的理想尺寸或者用于針對(duì)顯示內(nèi)容的給定尺寸來顯示內(nèi)容(Zth)的理想距離)通常均被提供給系統(tǒng)。在替代性實(shí)施方式中,可明確提供用于顯示內(nèi)容的理想尺寸和/或位置??刂破?未示出)根據(jù)觀看者的實(shí)時(shí)位置計(jì)算覆蓋觀看錐的3D對(duì)象。渲染器組件(未示出)將最后透視投影顯示于顯示表面上。在本實(shí)施方式中,捕捉者組件包括3D深度相機(jī)設(shè)備(諸如Kinect或PrimeSense設(shè)備)和在Linux服務(wù)器上運(yùn)行的C++軟件模塊,所述Linux服務(wù)器采用用于檢測(cè)和計(jì)算用戶身體骨架的實(shí)時(shí)深度圖視頻作為輸入,以推斷觀看者的頭的位置。
[0278]為了解釋變換參數(shù)如何推導(dǎo),問題將減少到在X (左/右)和Z (深度)維度上的二維問題。如何將二維擴(kuò)展到包括Y維度(上/下)的三維域,對(duì)于本領(lǐng)域技術(shù)人員而言將是顯而易見的。圖23將環(huán)境示出為從觀看者2301上方觀看,圖23示出了觀看錐2303、顯示表面2305、3D對(duì)象的線性變換2307以及線性變換2309到顯示表面2307上的投影。
[0279]參考圖24中的流程圖,最初獲取觀看者的頭的實(shí)時(shí)位置(步驟2401)。應(yīng)當(dāng)記得,在本實(shí)施方式中,用于觀看內(nèi)容項(xiàng)目的理論角度以及顯示表面尺寸將已經(jīng)被提供給系統(tǒng)。使用所述理論角度和顯示表面尺寸,系統(tǒng)能定義正三角形和保持盤兩者的尺寸。系統(tǒng)然后使用觀看者的頭的實(shí)時(shí)位置來檢查用戶是否在盤內(nèi)(步驟2403)。如果用戶在盤內(nèi),那么系統(tǒng)還檢查用戶是否在三角形內(nèi)(步驟2405)。如果用戶在三角形內(nèi),那么應(yīng)當(dāng)記得,對(duì)于三角形內(nèi)任何位置僅使用3D顯示的平移和尺寸調(diào)整即可獲得不失真的內(nèi)容感知。參考圖25,平移參數(shù)由以下給定:
[0280]Transx=Xre - Xth
[0281]調(diào)整參數(shù)由以下給定:
[0282]S=s*Zre/Zth
[0283]因此:
[0284]S=s+Transz/Zth
[0285]3D對(duì)象然后使用平移和尺寸調(diào)整參數(shù)進(jìn)行變換(S卩,平移和尺寸調(diào)整(步驟2407))。如果3D對(duì)象中的點(diǎn)的初始坐標(biāo)為(\,Y0, &),那么變換3D對(duì)象的變換坐標(biāo)為(X,Υ,Ζ)。
[0286]然而,如果用戶在盤內(nèi)但不在三角形內(nèi),那么應(yīng)當(dāng)記得,對(duì)于盤內(nèi)(并且在三角形夕卜)的任何位置使用3D顯示的平移、尺寸調(diào)整和旋轉(zhuǎn)可獲得不失真內(nèi)容感知。參考圖26,方向由觀看錐中滿足顯示表面的左/右末端的左-右邊界定義,如由點(diǎn)2601表示。參考圖27a,平移參數(shù)由以下給定:
[0287]Transx=Xleft-L-Xth
[0288]其中,L=(sin ( α /2) *Dleft) /sin (180_u- a /2)
[0289](對(duì)于以度為單位測(cè)量的a和u)
[0290]尺寸調(diào)整參數(shù)由以下給定:
[0291]S=s*Dre/Dth
[0292]其中,Dre=(sin (u) *L) /sin ( a /2)
[0293]旋轉(zhuǎn)參數(shù)(以度為單元)由以下給定:
[0294]r= a /2+U-90
[0295]根據(jù)替代性計(jì)算,并且參考圖27b和圖27c,平移參數(shù)由以下給定:
[0296]Transx=Xre-Xth-Zth/tan (180_u- a /2)
[0297](對(duì)于以度為單位測(cè)量的a和u)
[0298]尺寸調(diào)整參數(shù)由以下給定:
[0299]S= (s/Zth) *Zre* V (l+tan(180-u-a /2)2)
[0300](對(duì)于以度為單位測(cè)量的a和u)
[0301]3D對(duì)象然后使用旋轉(zhuǎn)、平移、尺寸調(diào)整參數(shù)進(jìn)行變換(S卩,旋轉(zhuǎn)、平移、尺寸調(diào)整(步驟 2409))。
[0302]如果用戶不在保持盤內(nèi),那么顯示表面太小以至于無法以以下這樣一種方式呈現(xiàn)內(nèi)容:一旦被變換和投影,用戶就將具有不失真內(nèi)容感知。參考圖28,系統(tǒng)然后可在三個(gè)不同選項(xiàng)之間選擇(步驟2411):
[0303]1.使用盤邊緣上與觀看者最近的位置(圖28中表示為選項(xiàng)1);
[0304]2.通過減少原始觀看錐的尺寸(即,角度a )來擴(kuò)大保持盤(圖28中表示為選項(xiàng)2);或者
[0305]3.通過虛擬擴(kuò)大在顯示表面的每個(gè)邊緣處具有隱藏部分的顯示表面來擴(kuò)大保持盤(圖28中表示為選項(xiàng)3)。
[0306]系統(tǒng)然后進(jìn)行到步驟2405 (即,檢查用戶是否在三角形內(nèi))。
[0307]從圖15c應(yīng)當(dāng)記得,第三步驟涉及將變換3D顯示投影到顯示表面上。也應(yīng)當(dāng)記得,變換3D對(duì)象的變換坐標(biāo)可表示為(X,Y,Z)。
[0308]參考圖29,渲染在顯示表面上的內(nèi)容的坐標(biāo)(X’,Y’)由以下給定:
[0309]X’ =X*Zre/Z-Xre
[0310]Y’ =Y*Zre/Z-Yre
[0311]并行于上述觀看方面,音頻感知從一個(gè)觀看(或收聽)位置到另一個(gè)觀看(或收聽)位置通常不同,從而引起原始聲音失真,如所預(yù)期的從中心觀看(或收聽)位置向前。圖30a示出了用于中心位置(即,期望發(fā)生收聽的位置)處的觀看者的簡(jiǎn)化音頻設(shè)置。知道用戶的位置,如上所述的相同組件可用于識(shí)別用戶方向以及用戶與音頻系統(tǒng)(即,與輸出音頻的各個(gè)揚(yáng)聲器)相距的距離。另外的系統(tǒng)組件然后可平移方向并且修改音頻振幅,以便以用戶為目標(biāo)并且使用戶感知音頻,就好像用戶正在從產(chǎn)生該音頻所針對(duì)的中心位置收聽;并且以便使用戶從任何位置以相同音量感知音頻。這如圖30b所示,圖30b示出了當(dāng)用戶正在從與中心位置不同的位置收聽時(shí)音頻方向和來自三個(gè)揚(yáng)聲器的振幅可如何調(diào)整。
[0312]根據(jù)本發(fā)明的實(shí)施方式,如上所述的觀看者透視校正方法也可考慮當(dāng)正在觀看內(nèi)容項(xiàng)目時(shí)觀看者可能移動(dòng)到新位置的這一事實(shí)。為了避免不斷更新,變化閾值設(shè)置為使得更新在用戶路徑上的某些點(diǎn)處而不是每一點(diǎn)處發(fā)生。這如圖31所示,圖31示出了用戶的實(shí)際路徑3101,考慮變化閾值假設(shè)用戶采用路徑3103,并且示出了閾值3105。例如,當(dāng)用戶坐在椅子上時(shí),顯示(和聲音)通常更新一次,并隨后不再更新,直至用戶離開椅子。當(dāng)用戶正坐在椅子上時(shí),用戶可在椅子上移動(dòng)他的頭或變化位置,而不會(huì)引起顯示的更新。
[0313]當(dāng)顯示更新時(shí),這通常利用定時(shí)過渡(通常持續(xù)幾秒)來平滑完成,以避免突然的顯示變化。對(duì)于立體3D內(nèi)容,系統(tǒng)可另外采用透視校正。例如,構(gòu)成立體圖像的兩個(gè)(左和右)圖像之間的差異可利用沿著Z軸的變化進(jìn)行補(bǔ)償。即,兩個(gè)圖像之間的左/右差異通常會(huì)隨著用戶更接近顯示表面而增加以突出3D立體效果,當(dāng)越來越接近焦點(diǎn)時(shí)可以預(yù)期。
[0314]電視系統(tǒng)接受語音/姿勢(shì)命令作為輸入法以控制電視觀看體驗(yàn)正在變得越來越普遍。電視能通過呈現(xiàn)命令已經(jīng)接收到的文本確認(rèn)或者通過可視地顯示由用戶語音引起的增益的音頻指示符來向用戶指示它已經(jīng)“聽到”(即,接收)語音命令。然而,所述解決方案指示一些事情被說了或者或許已經(jīng)說了什么而不是誰說它。在房間里有多于一個(gè)用戶并且因此可能有多于一個(gè)用戶與電視交互的情況下,存在電視知道用戶中的哪個(gè)當(dāng)前正在講話并且‘控制’電視的指示將會(huì)有用。
[0315]根據(jù)本發(fā)明的實(shí)施方式,所述問題的解決方案是對(duì)于電視用戶界面,以在視覺上向正在講話的用戶傾斜來控制電視。當(dāng)不同用戶講話時(shí),用戶界面實(shí)際上“看”用戶講話,通過從舊揚(yáng)聲器旋轉(zhuǎn)到當(dāng)前揚(yáng)聲器。使用上述系統(tǒng),這是可行的,所述系統(tǒng)可檢測(cè)哪些用戶在特定觀看環(huán)境中以及他們?cè)谀睦?即,他們?cè)谟^看環(huán)境內(nèi)的位置)。
[0316]上述觀看者透視校正方法也可用于判定如何呈現(xiàn)內(nèi)容,使得用戶感知用戶界面向他們‘傾斜’。精確傾斜角度并不重要,并且用戶界面通常不傾斜很多從而使得對(duì)用戶界面的視覺可讀性有任何影響。如果觀看環(huán)境中有兩個(gè)用戶,那么對(duì)于用戶界面通常有兩個(gè)顯示角度。假設(shè)另一用戶進(jìn)入觀看環(huán)境,系統(tǒng)計(jì)算觀看環(huán)境內(nèi)最新用戶的位置并且對(duì)于用戶界面添加第三顯示角度。因此,根據(jù)本發(fā)明的實(shí)施方式,描述了提供一種在可變觀看環(huán)境中調(diào)適內(nèi)容呈現(xiàn)的系統(tǒng)/方法。觀看者不斷變化的沉浸程度和交互性可被進(jìn)行監(jiān)視并且用于調(diào)適內(nèi)容呈現(xiàn)。
[0317]呈現(xiàn)可根據(jù)以下進(jìn)行調(diào)適:
[0318]內(nèi)容元數(shù)據(jù);
[0319]特定創(chuàng)作的內(nèi)容元數(shù)據(jù);
[0320]上下文相關(guān)信息;
[0321]表面數(shù)目、尺寸和位置;
[0322]觀看環(huán)境的實(shí)時(shí)分析,包括觀看者識(shí)別、觀看者位置、觀看者參與和環(huán)境性質(zhì);和/或
[0323]家庭自動(dòng)化輸入(例如,嬰兒(視頻)監(jiān)視器;門鈴;等);
[0324]明確的用戶控制;等。
[0325]多媒體內(nèi)容的視覺呈現(xiàn)(例如,目標(biāo)表面、位置、尺寸、定位、亮度、色度、色彩平衡、動(dòng)態(tài)范圍等);多媒體內(nèi)容的音頻呈現(xiàn)(例如,音量、動(dòng)態(tài)范圍、位置等);以及其它家庭設(shè)備(例如,照明度、電話等)可在可變觀看環(huán)境中進(jìn)行動(dòng)態(tài)控制,即,以專用為基礎(chǔ),共享表面或者個(gè)人或共享伴隨設(shè)備或者甚至個(gè)別顯示器可添加到觀看環(huán)境或者從觀看環(huán)境中去除。
[0326]在所述可變觀看環(huán)境上示出的多媒體內(nèi)容范圍可包括但不限于:廣播和/或點(diǎn)播音頻視頻內(nèi)容;家庭自動(dòng)化內(nèi)容和提要(例如,照片、家庭網(wǎng)絡(luò)攝像頭、(嬰兒)監(jiān)視器等);在線媒體(包括桌面音頻/視頻服務(wù)、新聞提要和社交網(wǎng)絡(luò)提要等)。
[0327]內(nèi)容呈現(xiàn)也可基于觀看者的沉浸程度和交互性響應(yīng)于外部輸入(例如,家庭自動(dòng)化視頻提要、電話、即時(shí)通訊、社交網(wǎng)絡(luò)和網(wǎng)絡(luò)提要等)進(jìn)行調(diào)適。
[0328]呈現(xiàn)也可在空閑或環(huán)境模式中進(jìn)行操作,其中(多個(gè))表面并未明確被請(qǐng)求顯示內(nèi)容。在所述模式中,所顯示內(nèi)容可用于模擬墻上照片、新聞和社交網(wǎng)絡(luò)更新或者甚至模擬窗口的視頻。
[0329]應(yīng)當(dāng)理解,若需要,本發(fā)明軟件組件可以ROM (只讀存儲(chǔ)器)形式實(shí)現(xiàn)。一般地,若需要,使用常規(guī)技術(shù),軟件組件可以硬件實(shí)現(xiàn)。還應(yīng)當(dāng)理解,例如,軟件組件可實(shí)例化:作為計(jì)算機(jī)程序產(chǎn)品;在有形介質(zhì)上;或者作為可由適當(dāng)計(jì)算機(jī)解譯的信號(hào)。
[0330]應(yīng)當(dāng)理解,為了清楚起見在單獨(dú)實(shí)施方式情況下進(jìn)行說明的本發(fā)明的各個(gè)特征也可組合提供于單個(gè)實(shí)施方式中。相反,為了簡(jiǎn)便起見在單個(gè)實(shí)施方式情況下進(jìn)行說明的本發(fā)明的各個(gè)特征也可分開或者以任何合適子組合來提供。
[0331]本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解,本發(fā)明并不限于上文中特定示出和說明的實(shí)施方式。相反,本發(fā)明范圍由權(quán)利要求限定。
【權(quán)利要求】
1.一種在觀看環(huán)境內(nèi)操作客戶端設(shè)備的方法,所述方法包括:在客戶端設(shè)備處接收內(nèi)容;在與所述客戶端設(shè)備可操作地通信的顯示表面上通過將所述內(nèi)容渲染為渲染內(nèi)容來向觀看者呈現(xiàn)所述內(nèi)容;在所述客戶端設(shè)備處接收參與數(shù)據(jù),所述參與數(shù)據(jù)指示正在觀看所述渲染內(nèi)容的至少一個(gè)用戶的與所述內(nèi)容的參與度;以及根據(jù)所述參與數(shù)據(jù)通過改變所述內(nèi)容如何被渲染在所述顯示表面上來調(diào)適所述內(nèi)容的呈現(xiàn)。
2.根據(jù)權(quán)利要求1所述的方法,其中,所述內(nèi)容在所述顯示表面上的一定位置處被呈現(xiàn),并且所述調(diào)適包括改變所述內(nèi)容被呈現(xiàn)的所述位置。
3.根據(jù)任一前述權(quán)利要求所述的方法,其中,所述內(nèi)容在所述顯示表面上以一定尺寸被呈現(xiàn),并且所述調(diào)適包括改變所述內(nèi)容被呈現(xiàn)的所述尺寸。
4.根據(jù)任一前述權(quán)利要求所述的方法,其中,所述內(nèi)容跨多個(gè)顯示表面被呈現(xiàn),并且所述調(diào)適包括改變所述內(nèi)容被呈現(xiàn)在的所述多個(gè)表面中的哪個(gè)表面。
5.根據(jù)權(quán)利要求4所述的方法,還包括在時(shí)間上同步所述內(nèi)容跨所述多個(gè)顯示表面的所述呈現(xiàn)。
6.根據(jù)權(quán)利要求5所 述的方法,其中,所述多個(gè)顯示表面之一包括主裝置,并且所述多個(gè)顯示表面中的其余顯示表面包括從裝置,所述從裝置與所述主裝置同步。
7.根據(jù)任一前述權(quán)利要求所述的方法,其中,調(diào)適所述內(nèi)容的呈現(xiàn)包括通過改變以下中的一個(gè)或者多個(gè)來改變所述內(nèi)容的音頻呈現(xiàn):音頻電平、音頻動(dòng)態(tài)范圍、音頻位置、音頻平衡。
8.根據(jù)任一前述權(quán)利要求所述的方法,其中,調(diào)適所述內(nèi)容的呈現(xiàn)還包括根據(jù)與所述內(nèi)容相關(guān)聯(lián)的元數(shù)據(jù)來調(diào)適所述內(nèi)容的呈現(xiàn)。
9.根據(jù)權(quán)利要求8所述的方法,其中,所述元數(shù)據(jù)包括用于明確修改所述內(nèi)容將如何被呈現(xiàn)的數(shù)據(jù)。
10.根據(jù)權(quán)利要求9所述的方法,其中,所述元數(shù)據(jù)包括呈現(xiàn)所述內(nèi)容所用的物理尺寸。
11.根據(jù)任一前述權(quán)利要求所述的方法,其中,調(diào)適所述內(nèi)容的呈現(xiàn)另外包括改變所述觀看環(huán)境的照明度。
12.根據(jù)任一前述權(quán)利要求所述的方法,其中,渲染所述內(nèi)容引起搜索查詢的執(zhí)行,所述搜索查詢搜索上下文與所述內(nèi)容相關(guān)的附加內(nèi)容,并且調(diào)適所述內(nèi)容的呈現(xiàn)還包括同時(shí)渲染所述附加內(nèi)容與所述內(nèi)容。
13.根據(jù)權(quán)利要求12所述的方法,其中,調(diào)適所述內(nèi)容的呈現(xiàn)另外包括調(diào)適所述附加內(nèi)容的呈現(xiàn)。
14.根據(jù)任一前述權(quán)利要求所述的方法,其中,所述參與度通過分析以下中的至少一個(gè)來確定:在所述觀看環(huán)境中不是由于呈現(xiàn)所述內(nèi)容而引起的音頻信號(hào);在所述觀看環(huán)境中所述觀看者的位置;所述觀看者的注視方向;所述觀看者的運(yùn)動(dòng)程度;由所述觀看者的遠(yuǎn)程控制設(shè)備的使用;由所述觀看者先前觀看的內(nèi)容;所述內(nèi)容是否為直播觀看或者回放記錄;在呈現(xiàn)所述內(nèi)容期間的觀看者行為;用戶與其它電子設(shè)備的交互;一天中觀看所述內(nèi)容的時(shí)間。
15.根據(jù)權(quán)利要求1至12中任一項(xiàng)所述的方法,其中,所述參與度從由所述觀看者輸入的明確限定所述參與度的數(shù)據(jù)來確定。
16.根據(jù)任一前述權(quán)利要求所述的方法,還包括將對(duì)所述內(nèi)容如何呈現(xiàn)于所述顯示表面上的表示傳輸給與所述客戶端設(shè)備可操作地通信的手持式設(shè)備;并且將所述表示顯示于所述手持式設(shè)備上。
17.根據(jù)權(quán)利要求16所述的方法,其中,所述表示包括到上下文與所述內(nèi)容相關(guān)的其它內(nèi)容的鏈接,所述方法還包括接收由所述觀看者對(duì)所述鏈接的選擇;在接收到所述選擇時(shí)發(fā)送對(duì)所述其它內(nèi)容的請(qǐng)求;接收所述其它內(nèi)容;以及將所述其它內(nèi)容呈現(xiàn)給所述觀看者。
18.根據(jù)權(quán)利要求16所述的方法,所述方法還包括:從所述另外的手持式設(shè)備接收消息,所述消息指示所述觀看者已經(jīng)修改所述表示;并且響應(yīng)于所述消息,進(jìn)一步調(diào)適所述內(nèi)容在所述顯示表面上的呈現(xiàn)。
19.根據(jù)任一前述權(quán)利要求所述的方法,所述方法還包括:從與所述客戶端設(shè)備可操作地通信的 家庭自動(dòng)化系統(tǒng)接收與所述內(nèi)容無關(guān)聯(lián)的家庭自動(dòng)化輸入;并且響應(yīng)于所述家庭自動(dòng)化輸入,調(diào)適所述內(nèi)容的呈現(xiàn)。
20.根據(jù)權(quán)利要求19所述的方法,其中,響應(yīng)于家庭自動(dòng)化輸入來調(diào)適所述內(nèi)容的呈現(xiàn)包括中斷所述內(nèi)容的呈現(xiàn)以呈現(xiàn)所述家庭自動(dòng)化輸入。
21.根據(jù)權(quán)利要求20所述的方法,其中,中斷所述內(nèi)容的呈現(xiàn)只有在所述參與度小于中斷閾值時(shí)才發(fā)生。
22.根據(jù)任一前述權(quán)利要求所述的方法,其中,所述內(nèi)容包括多個(gè)內(nèi)容分量,每個(gè)內(nèi)容分量在一定位置處并以一定尺寸被呈現(xiàn)于所述顯示表面上,并且調(diào)適所述內(nèi)容的呈現(xiàn)包括改變所述多個(gè)內(nèi)容分量中的至少一個(gè)的位置和/或尺寸。
23.—種在觀看環(huán)境內(nèi)可操作的客戶端設(shè)備,所述客戶端設(shè)備包括:用于接收內(nèi)容的裝置;用于在與所述客戶端設(shè)備可操作地通信的顯示表面上通過將所述內(nèi)容渲染為渲染內(nèi)容來向觀看者呈現(xiàn)所述內(nèi)容的裝置;用于接收參與數(shù)據(jù)的裝置,所述參與數(shù)據(jù)指示正在觀看所述渲染內(nèi)容的至少一個(gè)用戶的與所述內(nèi)容的參與度;以及用于根據(jù)所述參與數(shù)據(jù)通過改變所述內(nèi)容如何被渲染在所述顯示表面上來調(diào)適所述內(nèi)容的呈現(xiàn)的裝置。
24.一種載體介質(zhì),承載計(jì)算機(jī)可讀代碼,用于控制合適的計(jì)算機(jī)來執(zhí)行根據(jù)權(quán)利要求1至22中任一項(xiàng)所述的方法。
25.—種載體介質(zhì),承載計(jì)算機(jī)可讀代碼,用于將合適的計(jì)算機(jī)配置為根據(jù)權(quán)利要求23所述的客戶端設(shè)備。
【文檔編號(hào)】G06T3/00GK103649904SQ201280034008
【公開日】2014年3月19日 申請(qǐng)日期:2012年5月10日 優(yōu)先權(quán)日:2011年5月10日
【發(fā)明者】亞歷克斯·希禮, 洛朗·肖維耶, 尼古拉斯·戈德, 烏戈·拉塔皮, 凱文·A·穆雷, 西蒙·約翰·帕納爾, 詹姆斯·杰弗里·沃克, 尼爾·考密肯, 西蒙·戴克, 文森特·薩特勒, 亞歷克斯·茹厄勒, 喬納森·坡倫, 梅爾·格倫斯塔德 申請(qǐng)人:Nds有限公司