專(zhuān)利名稱(chēng):用于在電視系統(tǒng)上表示圖形圖像組的方法以及電視系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明主要涉及圖像表示，尤其涉及用于快速掃描的圖像表示。
背景技術(shù)：
在現(xiàn)實(shí)世界中，我們能夠通過(guò)快速翻閱書(shū)頁(yè)獲得書(shū)的整體梗概。當(dāng)該書(shū)通過(guò)圖解說(shuō)明時(shí)這項(xiàng)任務(wù)甚至?xí)尤菀住Ｍ瑯拥募夹g(shù)能夠用于定位該書(shū)中的已知目標(biāo)，即，讀者以前看過(guò)而現(xiàn)在試圖再次定位的某頁(yè)。由于獲取提供的內(nèi)容的梗概和搜索已知目標(biāo)通常也是在電子信息應(yīng)用中同樣遇到的任務(wù)，在數(shù)字世界中存在類(lèi)似于迅速翻閱書(shū)頁(yè)的技術(shù)。
電子媒介中的標(biāo)準(zhǔn)實(shí)踐是在“頁(yè)面”上靜態(tài)地表示信息。提供控制以允許用戶(hù)變換到不同的頁(yè)，但不是快速地向前或向后翻過(guò)一組“頁(yè)面”。類(lèi)似于迅速翻閱書(shū)頁(yè)的最為接近的活動(dòng)是在視頻內(nèi)快進(jìn)或倒帶，或通過(guò)電視信號(hào)的頻道“沖浪”。然而，這些控制不允許用戶(hù)控制表示的速度和方向控制到最大的便利并且該方法通常不是可用于總覽或以除視頻之外的信息為目標(biāo)的方法。
多年來(lái)心理學(xué)家已經(jīng)通過(guò)如快速連續(xù)圖象顯示(RSVP)的已知類(lèi)型的表示研究人類(lèi)的視覺(jué)感知。已知人類(lèi)能夠非?？焖俚睾?jiǎn)要處理所表示的圖像。其中圖像或文本快速閃過(guò)的閱讀和視覺(jué)感知中所涉及的調(diào)查研究認(rèn)知過(guò)程的實(shí)驗(yàn)有很長(zhǎng)的歷史。最近編輯的論文卷提供了這項(xiàng)工作的概要和歷史性綜述，參見(jiàn)Coltheart(Ed.)，“FleetingMemoriesCognition of Brief Visual Stimuli”，MIT Press，1999。
應(yīng)當(dāng)相信，人們通常在150到300微秒的眼睛的一系列簡(jiǎn)短不連續(xù)定影中處理視覺(jué)信息。在這些定影之間，快速眼睛移動(dòng)非常迅速。
細(xì)節(jié)的感知與理解處于不連續(xù)定影的中心，而在視覺(jué)外圍的模糊感知在確定下一個(gè)快速掃描的目標(biāo)過(guò)程中使用。
總之，應(yīng)當(dāng)相信，視覺(jué)感知進(jìn)展處于能夠?qū)е略谟洃浿虚L(zhǎng)期保持的階段。然而，對(duì)于視覺(jué)信息有可能在被看到然后很快被忘掉。導(dǎo)致記憶保持的認(rèn)知過(guò)程的后續(xù)階段需要能夠干涉視覺(jué)感知的資源，反之亦然。
人機(jī)界面中所使用的現(xiàn)有技術(shù)RSVP方法最基本的是使用大致對(duì)應(yīng)于心理學(xué)著作中所研究條件的單幅圖像的時(shí)間序列。每個(gè)連續(xù)的圖像替代之前顯示的圖像。這種表示方法已經(jīng)被稱(chēng)為幻燈片放映或鎖眼模式，參見(jiàn)Tse等的“Dynamic Key Frame Presentation Techniquesfor Augmenting Video Browsing”，Proceedings of the WorkingConference on Advanced Visual Interfaces(AVI 1998)，pp.185-194，1998；以及Spence等的“Rapid，Serial and VisualA PresentationTechnique with Potential”，Information Visualization，vol.1，PP.13-19，2002。
圖1～4示出了包括旋轉(zhuǎn)式傳送帶模式100，見(jiàn)圖1；動(dòng)態(tài)拼貼模式200，見(jiàn)圖2；浮動(dòng)模式300，見(jiàn)圖3；以及擱板(shelf)模式400，見(jiàn)圖4的其他幾種變化。這些模式都使用圖像的額外的移動(dòng)或位移。
到此為止，關(guān)于人機(jī)界面中的RSVP方法的功效僅有一些初步的發(fā)現(xiàn)?？雌饋?lái)實(shí)驗(yàn)迄今僅僅證實(shí)了人類(lèi)能夠抽取以幻燈片放映模式快速表示的視覺(jué)信息。Tse等人調(diào)查了用于視頻瀏覽的固定速率的幻燈片放映方法。即使是當(dāng)圖像被極其快速(例如每秒八幀)表示時(shí)用戶(hù)也能夠抽取出電影的梗概。
然而，已經(jīng)假定其他RVSP方法可以通過(guò)允許用戶(hù)對(duì)其關(guān)注點(diǎn)有更多的靈活性和控制而提供了多種優(yōu)勢(shì)。用戶(hù)能夠及早拒絕無(wú)關(guān)圖像，并在相關(guān)圖像上聚焦更長(zhǎng)時(shí)間。然而，諸如旋轉(zhuǎn)式傳送帶模式100和動(dòng)態(tài)拼貼模式200的具有更復(fù)雜的2D空間/時(shí)間布局的初步實(shí)驗(yàn)未能夠顯示出優(yōu)于幻燈片放映模式的任何優(yōu)勢(shì)。例如在Wittenburg等的“Browsing Through Rapid-Fire ImagingRequirements and IndustryInitiatives”P(pán)roceedings of Electronic Imaging 2000InternetImaging，PP.48-56，2000中描述了將動(dòng)態(tài)拼貼模式與幻燈片放映模式相比較的飛行員實(shí)驗(yàn)的例子。他們描述了將任務(wù)包含在因特網(wǎng)購(gòu)物中的試驗(yàn)，其中用戶(hù)對(duì)表示的速度和方向具有完全的控制。他們將幻燈片放映RSVP模式與動(dòng)態(tài)拼貼模式相比較，以及與更加傳統(tǒng)的網(wǎng)頁(yè)表示方法進(jìn)行了比較。參見(jiàn)圖2，在動(dòng)態(tài)拼貼模式中，圖像被連續(xù)放置并半隨機(jī)地圍繞著中心點(diǎn)201，直至圖像被隨后的圖像遮擋或從顯示中清除。與旋轉(zhuǎn)式傳送帶模式100不同，其不涉及圖像移動(dòng)或比例變化。產(chǎn)品的圖像在幻燈片放映、動(dòng)態(tài)拼貼和網(wǎng)頁(yè)三種模式中顯示。要求用戶(hù)執(zhí)行兩個(gè)任務(wù)。第一個(gè)是梗概抽取任務(wù)。第二個(gè)任務(wù)是確定目標(biāo)產(chǎn)品出現(xiàn)或未出現(xiàn)。相關(guān)的發(fā)現(xiàn)是相比動(dòng)態(tài)拼貼和網(wǎng)頁(yè)模式，用戶(hù)更喜歡幻燈片放映模式，盡管沒(méi)有觀察到性能差異。
由于用戶(hù)必須同時(shí)關(guān)注許多快速變化的圖像和/或切換注視到新的2D位置上的圖像，用戶(hù)對(duì)除了幻燈片放映模式之外的現(xiàn)有技術(shù)方法要求太多的感知過(guò)程。這些方法中的一些要求在2D中跟蹤，例如，旋轉(zhuǎn)式傳送帶模式100，而其它的要求切換注視聚焦到不同位置，例如，動(dòng)態(tài)拼貼模式200。不應(yīng)當(dāng)感到驚奇的是，其中圖像移動(dòng)了或其中圖像在新的位置上彈出的變化要求額外的感知開(kāi)銷(xiāo)。
De Bruiin等描述了與RSVP接口方法有關(guān)的眼睛跟蹤試驗(yàn)，參見(jiàn)De Bruiin等的“Patterns of Eye Gaze During Rapid Serial VisualPresentation”，Proceedings of the Working Conference on AdvancedVisual Interfaces(AVI 2002)，pp.209-217，2002。他們比較了許多要求跟蹤的(例如旋轉(zhuǎn)式傳送帶)或者要求集中焦點(diǎn)于不同位置的(例如動(dòng)態(tài)拼貼)的RSVP替代物。他們就RSVP各種被測(cè)模式的眼睛注視的方式做了許多觀察。他們觀察到對(duì)擱板模式400使用了不同的眼睛跟蹤策略。一個(gè)用戶(hù)看起來(lái)僅注意到其中新圖像在移動(dòng)到表示的背景部分之前出現(xiàn)的區(qū)域。另一個(gè)用戶(hù)看起來(lái)在當(dāng)圖像移動(dòng)時(shí)跟蹤圖像。我們從以上觀察假定，為了適應(yīng)他們的任務(wù)，需要新的方法支持用尸改變注意的焦點(diǎn)(例如，搜尋目標(biāo)圖像對(duì)抽取序列的梗概)。
因此，期望開(kāi)發(fā)人類(lèi)視覺(jué)和認(rèn)知能力以改進(jìn)電子多媒體內(nèi)容的表示和瀏覽。

發(fā)明內(nèi)容本發(fā)明提供一種用于以適用于快速掃描的方式交互表示(present)圖像的系統(tǒng)和方法。本發(fā)明利用了自然的人類(lèi)認(rèn)知能力以跟蹤在三維空間中移向或遠(yuǎn)離觀察者的目標(biāo)。
本發(fā)明結(jié)合了使得能夠處理快速表示的視覺(jué)信息而不需過(guò)多眼睛移動(dòng)的聚焦區(qū)域。將布局的精巧(refinement)應(yīng)用于時(shí)間上相關(guān)或邏輯上分組的圖像。為了前進(jìn)貫穿整個(gè)集合中的目標(biāo)圖像，進(jìn)一步的創(chuàng)新允許相對(duì)的時(shí)間的排序。
本發(fā)明能夠應(yīng)用于其中必須要從能夠在視覺(jué)上表示的圖像集合中做出選擇的大量顯示的系統(tǒng)。例子包括瀏覽和搜索所錄制的視頻，選擇電視節(jié)目，尋人，以及從虛擬的或虛擬增長(zhǎng)的零售環(huán)境中的目錄中選擇條目。
圖1示出了根據(jù)現(xiàn)有技術(shù)的旋轉(zhuǎn)式傳送帶顯示方式顯示的圖像；圖2示出了根據(jù)現(xiàn)有技術(shù)的動(dòng)態(tài)拼貼模式顯示的圖像；圖3示出了根據(jù)現(xiàn)有技術(shù)的浮動(dòng)模式顯示的圖像；圖4示出了根據(jù)現(xiàn)有技術(shù)的擱板模式顯示的圖像；圖5示出了根據(jù)本發(fā)明沿線性三維軌跡顯示的圖像；圖6示出了根據(jù)本發(fā)明沿曲線三維軌跡顯示的圖像；圖7示出了根據(jù)本發(fā)明沿蛇形三維軌跡顯示的圖像；圖8示出了根據(jù)過(guò)渡圖像分離的圖像組；圖9示出了根據(jù)本發(fā)明的圖像控制；圖10A-C示出了根據(jù)本發(fā)明的收集器幀；圖11示出了根據(jù)本發(fā)明具有目標(biāo)幀的圖像的半自動(dòng)表示；圖12是用戶(hù)輸入裝置的框 圖13是根據(jù)本發(fā)明的表示方法的流程圖；圖14是根據(jù)本發(fā)明的活動(dòng)圖像組的框圖；圖15是根據(jù)本發(fā)明的實(shí)施例利用基于時(shí)間上下文的視頻瀏覽接口用于瀏覽視頻的電視系統(tǒng)的框圖；圖16是根據(jù)本發(fā)明的實(shí)施例用于在電視系統(tǒng)上瀏覽的方法的框圖；以及圖17是圖15和16的系統(tǒng)和方法的流程圖。
具體實(shí)施方式引言我們的發(fā)明的一個(gè)實(shí)施例提供了一種更好地利用了人類(lèi)視覺(jué)系統(tǒng)，特別是深度和外圍感知，用于表示和瀏覽圖像的方法和系統(tǒng)。該方法與快速連續(xù)圖象顯示(RSVP)的更為常見(jiàn)的幻燈片放映模式相結(jié)合，并使用許多用于空間和時(shí)間布局的技術(shù)得到了增強(qiáng)。我們包括了一組用于以可調(diào)節(jié)的速率線性向前和向后遍歷的公共控制集合。
系統(tǒng)結(jié)構(gòu)和方法如圖13和14所示，方法1300開(kāi)始于一組圖像101。該組圖像能夠被存儲(chǔ)在計(jì)算機(jī)系統(tǒng)的存儲(chǔ)器中。該圖像可以是靜態(tài)圖像、文本文檔的頁(yè)面、產(chǎn)品圖片、或視頻(例如MEPG視頻)中的圖像序列。步驟110選擇一組顯示圖像111。該選擇可以是摘要、定期選擇(例如每十幀)、或其他選擇過(guò)程。
步驟120為該組顯示圖像分配布局121。對(duì)于每個(gè)圖像，該布局包括3D坐標(biāo)、尺寸、以及方向。步驟120還為虛擬相機(jī)1410分配3D軌跡122。步驟130根據(jù)布局121和軌跡122呈現(xiàn)(render)一組活動(dòng)圖像1400。該組活動(dòng)圖像1400包括收集器圖像1401，而剩余的圖像是動(dòng)態(tài)的。線122顯示了相機(jī)1410的軌跡。收集器圖像在收集器幀中被靜態(tài)顯示，如下所述，而該組活動(dòng)圖像中的剩余部分向收集器幀移動(dòng)。該軌跡和該組活動(dòng)圖像實(shí)質(zhì)上提供穿過(guò)顯示組111的移動(dòng)窗口。如下所述，該窗口可以在不同方向上移動(dòng)，向前或向后，并且以不同的速率移動(dòng)。
動(dòng)畫(huà)步驟140可能利用用戶(hù)輸入141改變?cè)摬季趾蛙壽E。于是重復(fù)呈現(xiàn)130和動(dòng)畫(huà)140步驟直至所有顯示圖像都得到呈現(xiàn)，或用戶(hù)中止了該方法。
選擇顯示圖像給定該組圖像101，例如視頻幀、產(chǎn)品或人臉的圖片、書(shū)頁(yè)等，該組顯示圖像111被選擇(110)。這個(gè)組可以包括任何數(shù)量的原始組的圖像，直至并且包括整個(gè)組。用于選擇該顯示組111的過(guò)程可以是任何數(shù)量的已知技術(shù)，包括使用密鑰或MPEG視頻的編碼I幀、視頻摘要、或定期或隨機(jī)選擇。該顯示組中的圖像可以是相關(guān)或不相關(guān)的圖像序列。
為顯示圖像分配布局方法1300為顯示組111中的每個(gè)圖像分配3D坐標(biāo)、尺寸、以及方向(120)。該布局可以是線性、圓形、螺旋、蛇形、或以下一些其它函數(shù)。如圖5～7所示，圖像500的布局沿從顯示圖像中的中心點(diǎn)503到中心點(diǎn)504的一條線形成的三維軌跡排列。
為虛擬相機(jī)分配軌跡虛擬相機(jī)1410的軌跡可以是直線510、曲線602、或蛇形線702。
呈現(xiàn)活動(dòng)圖像沿著軌跡122排列的每個(gè)圖像的“深度”由其大小指示，較小的圖像距離觀察者更遠(yuǎn)。最近的圖像是顯示裝置或查看“屏幕”的圖像平面中的一個(gè)。
制作顯示圖像動(dòng)畫(huà)如圖9所示，用尸控制相機(jī)1410沿著軌跡122遍歷。遍歷在任一方向上以可變的速度發(fā)生。當(dāng)相機(jī)移動(dòng)時(shí)，依賴(lài)于沿軌跡122的方向，圖像看起來(lái)似乎移動(dòng)得更近、或更遠(yuǎn)。
如圖5～7所示，動(dòng)畫(huà)的視覺(jué)效果是推進(jìn)圖像序列500靠近或遠(yuǎn)離焦點(diǎn)504(502)。該推進(jìn)是時(shí)間的，其中在深度維度上較遠(yuǎn)的圖像，當(dāng)向前移動(dòng)穿過(guò)該序列時(shí)，該圖像比較近的圖像更晚到達(dá)焦點(diǎn)504。
圖像的表示可以模擬為沿公路的標(biāo)志的出現(xiàn)。在這項(xiàng)比擬中，用戶(hù)能夠控制汽車(chē)的速度和方向(向前或向后)。留意擋風(fēng)玻璃901，標(biāo)志看起來(lái)似乎以規(guī)律的時(shí)間和空間間隔移動(dòng)過(guò)去，最初看起來(lái)是從遠(yuǎn)處然后移動(dòng)得更近。如果用戶(hù)反向移動(dòng)，該標(biāo)志就會(huì)從肩膀的上方出現(xiàn)在視野中，然后退回到遠(yuǎn)方。
收集器幀在如上所述的在我們的發(fā)明的操作的基本模式中，圖像看起來(lái)似乎離用戶(hù)越來(lái)越近直至他們最終移過(guò)圖像平面并消失。這是當(dāng)汽車(chē)沿著公路經(jīng)過(guò)各個(gè)標(biāo)志時(shí)汽車(chē)內(nèi)直視前方的駕駛員將看到什么的標(biāo)準(zhǔn)隱喻。
我們基于具有維護(hù)跨越相關(guān)圖像(例如，同一視頻場(chǎng)景中的關(guān)鍵幀)的連續(xù)性的基本顯示模式提供變型。我們還在軌跡的近端提供靜態(tài)焦點(diǎn)501。由此，當(dāng)顯示快速改變的序列時(shí)用戶(hù)不必須切換注視。
如圖10A-C所示，我們使用沿軌跡位于固定深度位置的收集器幀1010。當(dāng)視覺(jué)圖像移近時(shí)，它們最終到達(dá)位于視野前方的收集器幀1010的位置。在圖像到達(dá)收集器幀的平面之后，替代移過(guò)該幀，其取代了之前顯示的最后的圖像。換言之，活動(dòng)組中的第一圖像1401靜態(tài)地保持在收集器幀中，而組中的其他圖像看上去似乎朝向收集器幀移動(dòng)。其它的圖像從不會(huì)阻塞收集器幀中的圖像。從視覺(jué)觀點(diǎn)來(lái)看，收集器幀充當(dāng)其內(nèi)容以比圖像在序列中推進(jìn)慢得多的速度被替換的視覺(jué)聚焦的區(qū)域，例如，收集器幀每秒鐘被替換一次。
收集器幀類(lèi)似于常規(guī)視頻播放器的主要顯示區(qū)。由此，我們的方法將常規(guī)視頻播放器的快進(jìn)或快退的優(yōu)點(diǎn)與允許用尸在圖像序列中的焦點(diǎn)之前或之后看的距離技術(shù)相結(jié)合。
我們的發(fā)明還利用了用戶(hù)的外圍視覺(jué)。當(dāng)用戶(hù)集中注意于收集器幀1010時(shí)，圖像序列從用戶(hù)的外圍視覺(jué)中的近處推進(jìn)。由此，用戶(hù)可以預(yù)測(cè)外圍的高級(jí)信息，比如場(chǎng)景改變或圖像內(nèi)容的語(yǔ)義分組，同時(shí)仍舊聚焦于收集器幀內(nèi)的前景。
語(yǔ)義分隔和分組在基本的情況下，圖像沿3D軌跡均勻分隔為單個(gè)組。然而，圖像可不均勻地在多個(gè)組中分隔。這種分隔可以在時(shí)間意義上以語(yǔ)義方式表示圖像，作為邏輯排序的場(chǎng)景或章節(jié)，或作為根據(jù)成本排序的產(chǎn)品或服務(wù)的類(lèi)別。這都依賴(lài)于布局。
過(guò)渡圖像(transition image)為了允許如圖8所示的語(yǔ)義分隔和分組，我們?cè)谛蛄兄械母鹘M之間插入邏輯過(guò)渡圖像801。該過(guò)渡圖像可以表示從序列中的一個(gè)組到下一個(gè)組的任何形式的視覺(jué)過(guò)渡。該過(guò)渡圖像可以?xún)H僅是序列中的空白位置，即，透明圖像802。
組和過(guò)渡圖像的使用反映了可被映射到某些一維線性或非線性標(biāo)度(scale)，例如內(nèi)容的對(duì)象的時(shí)間的放置，的圖像中的內(nèi)容當(dāng)中的語(yǔ)義相干關(guān)系。
停止圖像序列的遍歷從心理學(xué)著作中，已知的是感知源用于對(duì)最初的低級(jí)視覺(jué)處理的識(shí)別和隨后的反應(yīng)。當(dāng)利用現(xiàn)有技術(shù)的RSVP模式時(shí)這導(dǎo)致“過(guò)度關(guān)注(overshooting)”的常見(jiàn)問(wèn)題。這在搜索特定所期望的場(chǎng)景或圖像的視頻時(shí)太常見(jiàn)了。
當(dāng)RSVP序列以很快的速度顯示時(shí)，要求處理并響應(yīng)快速顯示圖像的感知的開(kāi)銷(xiāo)不可避免地導(dǎo)致后面的圖像會(huì)取代所期望的圖像的問(wèn)題。然后，用戶(hù)可能不得不后退一直到重新獲得所期望的圖像，可能會(huì)再次過(guò)度關(guān)注所期望的圖像。當(dāng)圖像序列擺動(dòng)時(shí)時(shí)間就被浪費(fèi)了。
因此，我們提供新穎的技術(shù)來(lái)停止沿軌跡快速遍歷序列。我們的方法涉及用于在停止事件之后“回退(backing up)”的規(guī)則，以便落在所期望的圖像上的可能性得到增加。
我們基于識(shí)別圖像所需的時(shí)間的估計(jì)(即，大約150微秒)以及驅(qū)使諸如釋放開(kāi)關(guān)或?qū)⑹髽?biāo)從控制圖標(biāo)上移開(kāi)的控制動(dòng)作的電機(jī)傳動(dòng)(motor movement)所需的時(shí)間的估計(jì)(即，大約100微秒)確定所期望的圖像。因此，當(dāng)發(fā)送停止事件信號(hào)時(shí)，所期望的圖像是在發(fā)送該停止事件信號(hào)之前大約250微秒在焦點(diǎn)501處顯示的圖像。例如，以每秒30幀的速度，將會(huì)顯示第八個(gè)先前的幀。
有目標(biāo)的遍歷(targeted traversal)如圖11中所示，我們的發(fā)明還實(shí)現(xiàn)了半自動(dòng)遍歷給定的一組目標(biāo)幀111的序列。首先，使用查詢(xún)或菜單操作以從整個(gè)可用的圖像組101(即要顯示的圖像序列111)中選擇內(nèi)容(110)。例如，如果圖像表示不同電視頻道上的可用視頻內(nèi)容，那么用戶(hù)可僅選擇體育頻道?；蛘?，監(jiān)視系統(tǒng)可以從場(chǎng)景獲得圖像。然后，用戶(hù)可以為特定時(shí)間周期、或一個(gè)所選的移動(dòng)級(jí)別、或所識(shí)別出的個(gè)人選擇圖像。
已經(jīng)選擇了該組目標(biāo)幀111后，用戶(hù)以所描述的方式利用圖12的控制器1200操縱方向和速度控制向前或向后、更快或更慢地移動(dòng)。然而，遍歷的速率還依賴(lài)于與目標(biāo)幀的距離，以便從一個(gè)目標(biāo)幀到下一個(gè)的過(guò)渡耗費(fèi)恒定的時(shí)間。在此，距離根據(jù)3D坐標(biāo)測(cè)量。這具有能感知的效果，其中經(jīng)過(guò)圖像的速度以及收集器幀1010中的幀速率根據(jù)圖像距離最近的目標(biāo)幀有多遠(yuǎn)而變化。
例如，在遠(yuǎn)離的目標(biāo)幀之間的遍歷與在靠近分隔的目標(biāo)幀之間的遍歷花費(fèi)相同的時(shí)間。同樣，目標(biāo)幀比其它圖像在收集器幀中保留得更長(zhǎng)。在目標(biāo)遍歷期間，用戶(hù)以該序列被穿越的速率控制全局幀速率。所有的其它速率，從一個(gè)目標(biāo)幀到下一個(gè)，以及收集器幀的替代速率，都與用尸控制的全局幀速率相關(guān)。
可選實(shí)施例本發(fā)明能夠在任何需要某些種類(lèi)的視覺(jué)掃描或搜索的地方的多種顯示應(yīng)用中使用。
頻道沖浪在這個(gè)應(yīng)用中，將要瀏覽的頻道圖像的典型代表是電視節(jié)目。在所有接收的節(jié)目廣播中循環(huán)的調(diào)諧器(頻道選擇器)能夠抽取頻道圖像。在通過(guò)所有節(jié)目的一個(gè)循環(huán)期間從每個(gè)節(jié)目中抽取一幅圖像?；蛘?，廣播電臺(tái)可以提供具有代表性的頻道圖像。
如圖12所示，控制裝置1200具有用于速度和方向控制的切換器(swtich)1210。在優(yōu)選實(shí)施例中，該切換器是搖臂開(kāi)關(guān)。該搖臂開(kāi)關(guān)允許在特定范圍上以向前和向后方向連續(xù)控制速度?；蛘撸摽刂蒲b置可包括快進(jìn)鍵1201、后退/倒帶鍵1202、以及播放鍵1203。
當(dāng)用戶(hù)按下?lián)u臂開(kāi)關(guān)時(shí)，當(dāng)前節(jié)目被中斷，系統(tǒng)進(jìn)入頻道沖浪模式。用戶(hù)然后以可控的速率向前或向后遍歷頻道圖像。當(dāng)用戶(hù)釋放搖臂開(kāi)關(guān)時(shí)，系統(tǒng)顯示對(duì)應(yīng)于收集器幀內(nèi)的頻道圖像的節(jié)目。這個(gè)實(shí)施例可以被擴(kuò)展到時(shí)間移位的視頻節(jié)目。查詢(xún)模塊用于選擇一組構(gòu)建可瀏覽序列的候選節(jié)目。
視頻略讀在這個(gè)實(shí)施例中，我們的方法用于瀏覽、略讀(skim)、或搜索視頻。視頻概括方法決定了要在可瀏覽的序列中包含的關(guān)鍵幀。概括方法可以使用眾所周知的瞄準(zhǔn)檢測(cè)或場(chǎng)景分析技術(shù)，在日期/時(shí)間601中，序列中每個(gè)關(guān)鍵幀的位置在與該關(guān)鍵幀相關(guān)聯(lián)的數(shù)據(jù)中指示，并如圖6所示在收集器幀之下顯示。
產(chǎn)品瀏覽在這個(gè)實(shí)施例中，圖像是產(chǎn)品。用戶(hù)選擇要瀏覽或略讀的特定產(chǎn)品。產(chǎn)品圖像可通過(guò)價(jià)格、尺寸、顏色、制造商或其它屬性分組。
人員尋找在這個(gè)實(shí)施例中，圖像是關(guān)于人群的。這種內(nèi)容的獲得能夠通過(guò)目錄服務(wù)、政府機(jī)構(gòu)、或監(jiān)視視頻做到。面部圖像的序列能夠根據(jù)時(shí)間、位置、或相似性排序。
用于允許PVR的電視系統(tǒng)的基于時(shí)間上下文的視頻瀏覽接口以上的實(shí)施例描述了用于以快進(jìn)(FF)或倒帶(REW)模式瀏覽存儲(chǔ)的數(shù)字視頻的方法。該方法通過(guò)顯示重疊的連續(xù)的未來(lái)和過(guò)去的圖像提供了時(shí)間上下文。這些實(shí)施例使用了傳統(tǒng)的電視和計(jì)算機(jī)系統(tǒng)用于處理和顯示所存儲(chǔ)的視頻，參見(jiàn)在此引入作為參考的Divakaran，A.，F(xiàn)orlines，C.，Lanning，T.，Shipman，S.，Wittenburg，K.，的“Augmenting Fast-forward and Rewind for Personal DigitalVideo Recorders”，IEEE International Conference on ConsumerElectronics(ICCE)，Digest of Technical Papers，PP.43-44，January2005。
其中，部分解碼的DC幀從MPEG編碼的比特流中抽取出來(lái)。DC幀接著以較小的比例下采樣并利用視頻接口顯示。這要求在快速回放期間提前在MPEG流中相對(duì)于流的當(dāng)前位置進(jìn)行讀取的能力，或在快速回放期間在記錄媒介上的其他地方抽取、存儲(chǔ)、和索引DC幀以及檢索DC幀的能力。這些要求中的任一個(gè)均不由電視系統(tǒng)1500提供。
如圖15～17所示，我們現(xiàn)在描述用于允許個(gè)人視頻記錄器(PVR)的電視系統(tǒng)1500的基于時(shí)間上下文的視頻瀏覽接口的實(shí)施例。盡管該實(shí)例實(shí)現(xiàn)是使用高清晰度電視(HDTV)描述的，應(yīng)當(dāng)理解的是其它的實(shí)現(xiàn)也是可能的。例如，電視監(jiān)視器能夠連接到機(jī)頂盒、DVD播放器、或包括如在此描述的必不可少的功能的其他等價(jià)組件。如此處所用的術(shù)語(yǔ)電視系統(tǒng)代指能夠顯示電視節(jié)目的一類(lèi)裝置。
系統(tǒng)1500包括電視監(jiān)視器1510、和PVR 1520。PVR包括硬盤(pán)驅(qū)動(dòng)器1521，在系統(tǒng)的傳統(tǒng)“非瀏覽”操作期間，所述硬盤(pán)驅(qū)動(dòng)器1521作為由系統(tǒng)1500使用系統(tǒng)1500的視頻接口1701作為視頻幀1531回放的視頻的存儲(chǔ)介質(zhì)。也可以使用DVD播放器或機(jī)頂盒。PVR為電視系統(tǒng)提供用于正?；胤诺囊曨l流和用于快進(jìn)和倒帶回放的“特技播放(trick-play)”視頻流。
該系統(tǒng)還包括傳統(tǒng)的視頻解碼器和定標(biāo)器(scaler)1530。該系統(tǒng)還包括根據(jù)本發(fā)明的一個(gè)實(shí)施例連接到在瀏覽期間所使用的視頻接口1701和圖形接口1702的處理器1540。圖形接口用于顯示合成的圖形RGB圖像1612。
處理器包括存儲(chǔ)器，如以下更加詳細(xì)的描述，我們使用它的一部分作為循環(huán)緩沖器1541以存儲(chǔ)減少了尺寸(縮放)的RGB圖像1611。各組件通過(guò)總線1542連接。例如，總線可以使用IEEE 1394協(xié)議，或其他等價(jià)的總線協(xié)議。
挑戰(zhàn)是消耗電視系統(tǒng)的最小計(jì)算資源以避免系統(tǒng)任何現(xiàn)有功能的中斷。此外，期望采樣所存儲(chǔ)的視頻幀以生成采樣的圖形圖像。合成下采樣(減小尺寸的)圖形RGB圖像并利用圖形接口1702呈現(xiàn)。
顯示裝置參見(jiàn)圖12，這個(gè)實(shí)施例的瀏覽接口通過(guò)按下電視的遙控裝置1200上的FF/FWD或REW/REV鍵1201-1202調(diào)用。視頻源被選作硬盤(pán)1521。圖15示出了快進(jìn)重放期間在電視屏幕1510上顯示的合成RGB圖像1612的例子。
減少了尺寸的圖像在輸出圖形圖像的非對(duì)稱(chēng)“V”布局1503中合成。如上所述的其它布局也是可能的。圖像的尺寸范圍是從V的較低頂點(diǎn)1501處的整個(gè)屏幕的1/9大小(1/3比例)到每個(gè)端點(diǎn)1502處的1/16大小(1/12比例)。
新的(未來(lái)的)圖像首先在V的右上端合成，并沿著V的右側(cè)下行到頂點(diǎn)1501處的收集器幀。在頂點(diǎn)處顯示的圖像被稱(chēng)作聚焦圖像。聚焦圖像被認(rèn)為是當(dāng)前圖像。當(dāng)觀看者按下播放鍵1203時(shí)聚焦圖像表示在時(shí)間上正常速度全屏回放恢復(fù)的瞬間。
頂點(diǎn)右側(cè)的圖像是相對(duì)于聚焦圖像的未來(lái)圖像，而左側(cè)的圖像是過(guò)去的圖像。沒(méi)有其它的圖像重疊該聚焦圖像。該外觀充分等價(jià)于以1/3比例觀看傳統(tǒng)的快進(jìn)視頻。
盡管未來(lái)的圖像重疊了，場(chǎng)景邊界和相機(jī)移動(dòng)是清晰可見(jiàn)的，這有助于觀看者識(shí)別視頻中感興趣的即將到來(lái)的點(diǎn)并因此進(jìn)行反應(yīng)。
由于相比過(guò)去布局更遠(yuǎn)地看到未來(lái)布局更為有用，布局是不對(duì)稱(chēng)的。在快速反向回放期間，V布局端對(duì)端的反向；新的幀在V的左上端進(jìn)入，在右下端退出。
我們的實(shí)現(xiàn)通過(guò)利用用于高質(zhì)量視頻縮放和幀采樣的系統(tǒng)設(shè)施成功地解決了之前提及的挑戰(zhàn)。
圖16和17示出了用于利用電視系統(tǒng)1500瀏覽視頻的方法和系統(tǒng)的基本步驟。該方法定期獲得在‘未來(lái)’相對(duì)于當(dāng)前圖像的尺寸減小的圖像1611的序列采樣(1610)。換句話(huà)說(shuō)，采樣是時(shí)間的和定期的。例如，每第五或第十幀被采樣。通過(guò)定期僅選擇一些幀，快進(jìn)或后退效果得到了實(shí)現(xiàn)。例如，如果在采樣期間十個(gè)幀中僅有一個(gè)被選擇，在回放期間就以因子10加速。采樣幀存儲(chǔ)在循環(huán)緩沖器1541中。
減小尺寸的圖像的緩存給予我們將一些圖像作為‘未來(lái)的’圖像表示的能力，并且給予了控制PVR傳送以在恢復(fù)回放之前將回放位置向后移動(dòng)的能力。這給用戶(hù)保留了回放能夠在時(shí)間上向前或向后移動(dòng)的錯(cuò)覺(jué)。傳統(tǒng)的PVR和AV/C盤(pán)不具有這種能力。本發(fā)明糾正了這個(gè)問(wèn)題。
所選擇的視頻的最后n個(gè)圖像被存儲(chǔ)在循環(huán)存儲(chǔ)器1541中(1620)，其中n是在V布局中顯示的圖像數(shù)量。所存儲(chǔ)的圖像被組合到輸出圖形圖像1612的V布局中。所合成的輸出圖形圖像1612被定期呈現(xiàn)(1630)，至少每秒五次，作為V布局顯示1503。這些步驟在每次循環(huán)中以較小的等待定期重復(fù)(1635)。當(dāng)觀看者按下播放鍵時(shí)，系統(tǒng)返回到正常速度的回放(1640)。
對(duì)于之前描述的實(shí)施例，計(jì)算機(jī)系統(tǒng)被用作到電視的接口。其中，采樣圖像通過(guò)在編碼的MPEG-2流中向前讀取而獲得。此外，DC圖像從I幀中的壓縮數(shù)據(jù)中抽取。然后，DC圖像向下縮放。所有的操作在視頻域內(nèi)運(yùn)行。相反，在這個(gè)實(shí)施例中所顯示的圖像位于圖形域內(nèi)。
電視系統(tǒng)1500的一個(gè)實(shí)施例使用IEEE 1394音頻/視頻控制(AV/C)盤(pán)1521存儲(chǔ)視頻，參見(jiàn)“1394 Trade Association Document2002001，AV/C Disk Subunit General Specification 1.2，September 13，2002.”。
AV/C盤(pán)提供了用于錄制和回放音頻和視頻內(nèi)容的高級(jí)接口。對(duì)于回放，以正常和快進(jìn)以及倒帶模式，AV/C盤(pán)利用IEEE 1394等時(shí)傳輸協(xié)議僅以實(shí)時(shí)速率提供視頻流。這使得不可能在回放期間在正常輸入視頻流1531中提前讀取。也就是說(shuō)，不可能播放“未來(lái)的”幀。
如圖17中所示，期望我們的實(shí)現(xiàn)對(duì)電視系統(tǒng)的結(jié)構(gòu)、功能、以及性能具有盡可能小的影響。由這個(gè)實(shí)施例提供的附加功能以虛線示意。在解碼之前緩存MPEG視頻流以累積“未來(lái)的”視頻幀將在時(shí)間苛刻的解碼路徑期間增加另外的復(fù)雜步驟。
由于電視系統(tǒng)支持高質(zhì)量的向下縮放(1530)，這個(gè)實(shí)施例使用了該功能來(lái)獲得減少了尺寸的圖像用作聚焦(頂點(diǎn))圖像(1611)，并使用圖形定標(biāo)器以進(jìn)一步減少圖像的尺寸，用于利用圖形接口1702在V布局的任何一側(cè)顯示作為合成圖像。所謂任何一側(cè)，我們意指相對(duì)于收集器幀中的圖像在時(shí)間上向前或向后。
電視系統(tǒng)還提供了用于采樣當(dāng)前解碼和向下縮放的視頻圖像并將該圖像從YUV視頻格式轉(zhuǎn)換為圖形接口的RGB圖形格式的硬件和軟件，以支持現(xiàn)有的電視系統(tǒng)的特征，例如畫(huà)外畫(huà)或“POP”屏幕格式。
代替如現(xiàn)有技術(shù)中提前讀取或緩沖MPEG視頻流，我們緩沖n個(gè)采樣的1/3比例的圖像(1611)。該n個(gè)1/3比例的圖像被存儲(chǔ)在循環(huán)緩沖器1541中以利用圖形接口1702呈現(xiàn)V布局1503。V布局被完整合成作為RGB格式的圖形覆蓋。作為優(yōu)點(diǎn)，圖形覆蓋不要求與解碼的視頻輸出同步。也就是說(shuō)，向下縮放過(guò)程相對(duì)于解碼/縮放過(guò)程是異步的。
將V布局填充以合成圖像所要求的時(shí)間對(duì)于緩沖有用數(shù)量的未來(lái)圖像，例如十個(gè)或更多，來(lái)說(shuō)是足夠的。最初的填充時(shí)間很短，大約為兩秒，因此典型的觀看者不應(yīng)當(dāng)注意到該較小的時(shí)間延遲。這個(gè)系統(tǒng)可以與由廣播信號(hào)或經(jīng)由機(jī)頂盒的電纜信號(hào)輸送的預(yù)先存儲(chǔ)的媒介或?qū)崟r(shí)媒介一同使用。
除以上所提及的硬件支持的圖形操作之外，所有用于瀏覽接口的步驟都由處理器1540執(zhí)行。處理器能力的基本部分已經(jīng)在支持解碼和用于其它傳統(tǒng)功能中使用。為了避免中斷任何現(xiàn)有的功能，用于瀏覽接口的執(zhí)行的線程被分配給了適當(dāng)?shù)恼{(diào)度優(yōu)先級(jí)，并被允許自由運(yùn)行并且異步直至由定時(shí)器事件強(qiáng)制執(zhí)行的最大速率。精確的更新速率和定時(shí)并不重要，在實(shí)際上達(dá)到了可用的更新速率，例如7Hz，并且抖動(dòng)不顯著。
因?yàn)橐曨l中的回放位置比聚焦輸出圖像要提前幾秒鐘，所以調(diào)整回放位置以便當(dāng)觀看者按下播放鍵以返回到正常速度的全屏回放時(shí)與該聚焦圖像的位置對(duì)應(yīng)。每個(gè)減少了尺寸的圖像在其被采樣時(shí)被蓋有時(shí)間戳，并且聚焦圖像和位于V的“到來(lái)”側(cè)的上端的圖像的時(shí)間戳之間的區(qū)別被傳遞給AV/C裝置控制功能，其使用該值在切換到正常速度回放之前調(diào)整回放位置。
本發(fā)明的效果我們成功地使我們的基于時(shí)間上下文的視頻瀏覽接口適應(yīng)于用戶(hù)產(chǎn)品，將其實(shí)現(xiàn)為配備了內(nèi)部PVR的高清晰度電視的特征。我們能夠利用目標(biāo)平臺(tái)的特征來(lái)創(chuàng)建非常不同于我們以前的原型的實(shí)現(xiàn)，但是更加適用于該平臺(tái)的強(qiáng)度和缺點(diǎn)。因?yàn)樵撎卣鳠o(wú)需額外的硬件，其不會(huì)導(dǎo)致額外的加工成本。
盡管已經(jīng)通過(guò)優(yōu)選實(shí)施例示例的方式描述了本發(fā)明，應(yīng)當(dāng)理解的是可以在本發(fā)明的精神與范圍之內(nèi)進(jìn)行各種其它的適應(yīng)和修改。因此，所附權(quán)利要求
書(shū)的目的在于覆蓋屬于本發(fā)明真正精神和范圍的所有這種變化和修改。
權(quán)利要求
1.一種用于在電視系統(tǒng)上表示一組圖形圖像的方法，包括以下步驟接收視頻幀的序列；解碼并縮放該序列的幀為減小了尺寸的幀；在時(shí)間上并且定期地采樣所述減小了尺寸的幀以提供所選擇的幀；在循環(huán)緩沖器中存儲(chǔ)前n個(gè)所選擇的幀；將所述n個(gè)所選擇的幀轉(zhuǎn)換為n個(gè)圖形圖像；將在所述循環(huán)緩沖器中存儲(chǔ)的所述n個(gè)圖形圖像定期合成為輸出圖形圖像；以及利用所述電視系統(tǒng)的圖形接口定期呈現(xiàn)所述輸出圖形圖像。
2.權(quán)利要求
1所述的方法，其中所述幀的序列存儲(chǔ)于個(gè)人錄像機(jī)中。
3.權(quán)利要求
1所述的方法，其中所述減小了尺寸的幀在非對(duì)稱(chēng)V布局中合成。
4.權(quán)利要求
3所述的方法，其中所述V布局的右端包括未來(lái)的圖像，所述V布局的左端包括過(guò)去的圖像，而所述V布局的頂點(diǎn)為當(dāng)前圖像。
5.權(quán)利要求
所述4的方法，其中所述V布局的所述右端大于所述左端。
6.權(quán)利要求
1所述的方法，其中十幀的其中之一被選擇用于存儲(chǔ)。
7.權(quán)利要求
1所述的方法，其中所述圖形圖像的所述合成和呈現(xiàn)速率為每秒至少五個(gè)。
8.權(quán)利要求
1所述的方法，其中所述幀的序列為YUV視頻格式，而所述圖形圖像為RGB圖形格式。
9.權(quán)利要求
1所述的方法，其中所述減小了尺寸的幀大約為所述視頻幀尺寸的三分之一。
10.權(quán)利要求
1所述的方法，其中所述合成和呈現(xiàn)相對(duì)于所述解碼和采樣是異步的。
11.權(quán)利要求
10所述的方法，其中所述合成和呈現(xiàn)以及所述解碼和采樣之間的延遲大約為兩秒。
12.權(quán)利要求
4所述的方法，其中所述當(dāng)前圖像在時(shí)間上向前和向后移動(dòng)。
13.一種用于表示一組圖形圖像的電視系統(tǒng)，包括用于提供視頻幀的序列的裝置；用于解碼并縮放該序列的幀為減少了尺寸的幀的裝置；用于在時(shí)間上并且定期地采樣所述減小了尺寸的幀以提供所選擇的幀的裝置；配置用于存儲(chǔ)前n個(gè)所述所選擇的幀的循環(huán)緩沖器；用于將所述n個(gè)所選擇的幀轉(zhuǎn)換為n個(gè)圖形圖像的裝置；用于將在所述循環(huán)緩沖器中存儲(chǔ)的所述n個(gè)圖形圖像定期合成為輸出圖形圖像的裝置；以及配置用于定期呈現(xiàn)所述輸出圖形圖像的圖形接口。
14.權(quán)利要求
13所述的系統(tǒng)，其中所述用于提供的裝置是個(gè)人數(shù)字記錄器。
15.權(quán)利要求
13所述的系統(tǒng)，其中所述用于提供的裝置是機(jī)頂盒。
16.權(quán)利要求
13所述的系統(tǒng)，其中所述用于提供的裝置是廣播視頻信號(hào)。
17.權(quán)利要求
13所述的系統(tǒng)，其中所述電視系統(tǒng)使用高清晰度電視信號(hào)。
18.權(quán)利要求
13所述的系統(tǒng)，其中所述合成和呈現(xiàn)在時(shí)間上向前和向后移動(dòng)。
專(zhuān)利摘要
本發(fā)明提出了一種用于在電視系統(tǒng)上表示一組圖形圖像的方法和系統(tǒng)。視頻幀的序列被接收。所述幀被解碼并縮放為減小了尺寸的幀，減小了尺寸的幀在時(shí)間上并且定期地被采樣以提供所選擇的幀。所選擇的幀被存儲(chǔ)在循環(huán)緩沖器中并被轉(zhuǎn)換為圖形圖像。該圖形圖像被定期合成并利用圖形接口呈現(xiàn)為輸出圖形圖像。
文檔編號(hào)H04N5/445GK1997103SQ200610171300
公開(kāi)日2007年7月11日 申請(qǐng)日期2006年12月28日
發(fā)明者薩謬爾·E·什普曼, 艾加·蒂瓦卡蘭 申請(qǐng)人:三菱電機(jī)株式會(huì)社導(dǎo)出引文BiBTeX, EndNote, RefMan