專利名稱：數字內容中最佳回放定位的方法和設備的制作方法
技術領域：
本公開一般涉及數字內容系統(tǒng)和數字視頻記錄系統(tǒng)，尤其涉及數字視頻內容中最佳回放定位的方法和設備。
背景技術：
當使用數字錄像機(DVR)時，想在一段內容，例如，電影或電視節(jié)目中向前或向后跳是常見的。但是，目前，還沒有一種機制可用于確定場景的適當起點或終點或開始播放內容的適當點。許多DVR簡單地在用戶按下播放按鈕的地方開始播放，但一些DVR具有以下機制其中通過快進(FF)或倒退(Rew)有多快來確定回放起點，這假設延遲量是固定的，自動向后跳過一定數量來補償。在當今現有的最好的當前實現方式中，內容回放不一定從任何類型的場景邊界開始，而簡單地讓用戶較接近他們有可能想要的地方。

發(fā)明內容
本公開提供了用于在數字視頻內容中進行最佳回放定位的方法和設備。本公開涉及以優(yōu)先的方式在內容中標記場景或重要點的機制，并定義了利用與內容相聯系的這種標記來促進在適當回放點上的停止或開始回放的機制，例如，當按下場景跳過按鈕以向前或向后跳轉到另一個場景時，或者當在輸入快進(FF)或倒退(Rew)指令之后按下播放時。按照本公開的一個方面，提供了在視頻內容中確定最佳回放位置的方法，該視頻內容包括多個幀。其中，該方法包括以用于觀看的回放速度顯示視頻內容；接收第一導航指令以便以比用于觀看的回放速度快的速度導航視頻內容；接收第二導航指令以便以用于觀看的回放速度恢復顯示視頻內容；以及根據視頻內容的至少一個帶標記幀，響應第二導航指令而確定視頻內容的回放位置。按照本公開的另一個方面，提供了回放視頻內容的設備，該視頻內容包括多個幀。其中，該設備包括視頻處理器，以用于觀看的回放速度將視頻內容提供給顯示設備；用戶接口，接收第一導航指令以便以比用于觀看的回放速度快的速度導航視頻內容，和接收第二導航指令以便以用于觀看的回放速度恢復顯示視頻內容；以及控制器，與該用戶接口耦接，接收第二導航指令，根據視頻內容的至少一個帶標記幀確定視頻內容的回放位置，并將所確定的回放位置提供給該視頻處理器。


本公開的這些和其他方面、特征和優(yōu)點將結合附圖加以描述，或從要結合附圖閱讀的對優(yōu)選實施例的如下詳細描述中變得明顯。
在附圖中，其中同樣的標號在所有視圖中表示類似的元件圖I是依照本公開輸送視頻內容的示范性系統(tǒng)的方塊圖；圖2是依照本公開的示范性機頂盒/數字錄像機(DVR)的方塊圖；圖3是依照本公開在預先標記了內容時、在環(huán)境中回放內容的示范性方法的流程圖；圖4是依照本公開在動態(tài)標記了內容時、在環(huán)境中回放內容的示范性方法的流程圖；圖5是依照本公開利用場景跳過功能回放內容和導航內容的示范性方法的流程 圖；圖6是依照本公開的另一個實施例，利用場景跳過功能回放內容和導航內容的示范性方法的流程圖；以及圖7圖示了視頻回放時間線和依照本公開如何確定各個區(qū)段(zone)以便搜索視頻內容的帶標記中貞。應該明白，這些附圖是為了例示本公開的概念，而未必是例示本公開的唯一可能配置。
具體實施例方式應該明白，顯示在圖中的元件可以以硬件、軟件或它們的組合的各種形式實現。優(yōu)選的是，這些元件在可以包括處理器、存儲器和輸入/輸出接口的一個或多個適當編程通用設備上以硬件和軟件的組合形式實現。在本文中，短語“耦接”被定義成直接連接，或通過一個或多個中間組件間接連接的手段。這樣的中間組件可以包括基于硬件和軟件兩者的組件。本描述例示本公開的原理。因此，應該懂得，本領域的普通技術人員能夠設想出盡管未明確描述或顯示在本文中，但體現本公開的原理并且被包括在本公開的精神和范圍內的各種安排。本文列舉的所有例子和條件語言都是以教導為目的，以幫助讀者理解本公開的原理以及本發(fā)明人為促進技術進步而貢獻的概念，并且應該理解為不局限于這樣具體列舉的例子和條件。此外，闡述本公開的原理、方面和實施例及其特定例子的所有語句都旨在包含其結構和功能等效物兩者。另外，這樣的等效物旨在包括當前已知的等效物以及未來開發(fā)的等效物，即與結構無關，開發(fā)出來執(zhí)行相同功能的任何元件。因此，例如，本領域的普通技術人員應該懂得，本文展示的方塊圖代表體現本公開的原理的例示性電路的概念圖。類似地，應該懂得，任何流程圖、流圖、狀態(tài)轉變圖、偽碼等代表基本上可以表示在計算機可讀媒體中，因此可以由計算機或處理器執(zhí)行的各種進程，無論這樣的計算機或處理器是否被明確顯示出來。顯示在圖中的各種元件的功能可以通過使用專用硬件以及能夠與適當軟件相聯系執(zhí)行軟件的硬件來提供。當由處理器提供時，這些功能可以由單個專用處理器，由單個共享處理器，或由其中一些可以共享的多個單獨處理器提供。此外，術語“處理器”或“控制器”的明確使用不應該理解為專門指能夠執(zhí)行軟件的硬件，而是可以隱含地包括但不限于數字信號處理器(“DSP”)硬件、存儲軟件的只讀存儲器(“ROM”)、隨機訪問存儲器(“RAM”)和非易失性存儲體。還可以包括傳統(tǒng)的和/或定制的其它硬件。類似地，顯示在圖中的任何開關都只是概念性的。它們的功能可以通過程序邏輯的運算，通過專用邏輯，通過程序控制和專用邏輯的交互，或甚至手動地實現，正如 從上下文中更具體了解到的那樣，特定的技術可由實現者選擇。在其權利要求書中，表達成執(zhí)行特定功能的部件的任何元件旨在包含執(zhí)行那種功能的任何方式，例如，包括a)執(zhí)行那種功能的電路元件的組合，或b)任何形式的軟件，因此包括與執(zhí)行那種軟件的適當電路結合執(zhí)行該功能的固件、微碼等。如這樣的權利要求限定的本公開在于以權利要求要求的方式組合和匯集各種所述部件提供的功能。因此，應該認為可以提供那些功能的任何部件都等效于本文所示的那些部件。提供了數字視頻內容中最佳回放定位的方法和設備。本公開涉及以優(yōu)先化方式在內容中標記場景或重要點的機制，并定義利用與內容相聯系的這種標記促進在適當回放點上停止或開始的機制，例如，當按下場景跳過按鈕向前或向后跳轉到另一個場景時，或者當在輸入快進(FF)或倒退(Rew)指令之后按下播放鍵時。現在轉到圖1，所示的是將視頻內容輸送給家庭或最終用戶的系統(tǒng)100的實施例的方塊圖。內容源自像電影工作室或制作公司那樣的內容源102。該內容可以以兩種形式的至少一種供應。一種形式可以是內容的廣播形式。將廣播內容提供給像美國廣播公司(ABC)、NBC、CBS等那樣，通常是全國性廣播服務機構的廣播機構管理者104。廣播機構管理者可以收集和存儲內容，并且可以調度內容在被示為輸送網絡I (106)的輸送網絡上的輸送。輸送網絡I (106)可以包括從全國中心到一個或多個區(qū)域或局部中心的衛(wèi)星鏈路傳輸。輸送網絡I (106)還可以包括像在空中廣播、衛(wèi)星廣播、或有線廣播之類的使用局部輸送系統(tǒng)的局部內容輸送。將局部輸送內容提供給用戶家中的用戶機頂盒和/或數字錄像機(DVR)108。內容的第二種形式被稱為特殊內容。特殊內容可以包括被作為獎勵觀看(premiumviewing)、付費觀看而輸送的內容、或以其它方式未提供給廣播機構管理者的其它內容。在許多情況下，特殊內容可以是用戶請求的內容。可以將特殊內容輸送給內容管理者110。內容管理者110可以是像互聯網站那樣與例如內容提供商、廣播服務機構、或輸送網絡服務機構相聯系的服務提供商。內容管理者110還可以將互聯網內容并入輸送系統(tǒng)中。內容管理者110可以在單獨的輸送網絡，即，輸送網絡2 (112)上將內容輸送給用戶的機頂盒/數字錄像機108。輸送網絡2 (112)可以包括高速寬帶互聯網型通信系統(tǒng)。重要的是要注意至IJ，來自廣播機構管理者104的內容也可以使用整個或部分輸送網絡2 (112)來輸送，以及來自內容管理者110的內容可以使用整個或部分輸送網絡I (106)來輸送。另外，用戶也可以經由輸送網絡2 (112)直接從互聯網獲取內容，而不必由內容管理者110管理內容。機頂盒/數字錄像機108可以接收來自輸送網絡I和輸送網絡2之一或兩者的不同類型內容。機頂盒/數字錄像機108處理內容，并根據用戶偏愛和命令提供對內容的分離。機頂盒/數字錄像機108還可以包括像硬盤驅動器或光盤驅動器那樣的用于記錄和回放音頻和視頻內容的存儲設備。機頂盒/數字錄像機108的操作的進一步細節(jié)以及與存儲的內容的回放相關的特征將在下面結合圖2來描述。將經處理內容提供給顯示設備114。顯示設備114可以是傳統(tǒng)2D型顯示器或可替代地可以是高級3D顯示器。現在轉到圖2，所示的是機頂盒/數字錄像機200的核心的實施例的方塊圖。所示的設備200也可以并入包括顯示設備114本身的其他系統(tǒng)中。在任一種情況下，為了簡潔起見，未示出系統(tǒng)的完整操作所需的若干組件，因為它們是本領域的普通技術人員所眾所周知的。在顯示在圖2中的設備200中，在輸入信號接收器202中接收內容。輸入信號接收器202可以是用于接收，解調和解碼通過包括空中、電纜、衛(wèi)星、以太網、光纖和電話線網絡的若干可能網絡之一提供的信號的若干已知接收器電路之一。在輸入信號接收器202中可以根據通過控制接口(未示出)提供的用戶輸入來選擇和取得所希望的輸入信號。將解碼的輸出信號提供給輸入流處理器204。輸入流處理器204進行最終信號選擇和處理，以及包括針對內容流將視頻內容與音頻內容分離。將音頻內容提供給音頻處理器206，以便從像壓縮數字信號那樣的接收格式轉換成模擬波形信號。將模擬波形信號提供給音頻接口 208，并進一步提供給顯示設備114或音頻放大器(未示出)?？商娲氖?，音頻接口 208可以使用 HDMI (高清晰度多媒體接口)電纜或諸如經由SPDIF (索尼/飛利浦數字互連格式)之類的替代音頻接口將數字信號提供給音頻輸出設備或顯示設備。音頻處理器206還為音頻信號存儲進行任何必要轉換。將從輸入流處理器204輸出的視頻提供給視頻處理器210。視頻信號可以是若干格式之一。如有必要，視頻處理器210根據輸入信號格式而提供視頻內容的轉換。視頻處理器210還為視頻信號的存儲進行任何必要轉換。存儲設備212存儲在輸入端上接收的音頻和視頻內容。存儲設備212使得可以在控制器214的控制下以及還根據從用戶接口 216接收的命令，例如，像快進(FF)和倒退(Rew)那樣的導航指令而在稍后檢索和回放內容。存儲設備212可以是硬盤驅動器，諸如靜態(tài)隨機訪問存儲器或動態(tài)隨機訪問存儲器那樣的一個或多個大容量集成電子存儲器，或可以是諸如緊致盤驅動器或數字視頻盤驅動器那樣的可互換的光盤存儲系統(tǒng)。將源自輸入端或源自存儲設備212的、來自視頻處理器210的轉換后的視頻信號提供給顯示接口 218。顯示接口 218進一步將顯示信號提供給上面所述那種類型的顯示設備。顯示接口 218可以是諸如紅-綠-藍(RGB)那樣的模擬信號接口，或可以是諸如高清晰度多媒體接口(HDMI)那樣的數字接口?？刂破?14經由總線與設備200的若干組件互連，包括輸入流處理器202、音頻處理器206、視頻處理器210、存儲設備212、和用戶接口 216。控制器214管理將輸入流信號轉換成存儲在存儲設備上或用于顯示的信號的轉換處理。控制器214還管理所存儲內容的檢索和回放。控制器214進一步與為控制器214存儲信息和指令代碼的控制存儲器220 (例如，易失性或非易失性存儲器、包括隨機訪問存儲器、靜態(tài)RAM、動態(tài)RAM、只讀存儲器、可編程ROM、閃速存儲器、EPROM、EEPROM等)耦接。進一步，存儲器的實現可以包括像單個存儲器設備，或可替代地，連接在一起形成共享或公用存儲器的不止一個存儲器電路那樣的若干可能實施例。更進一步，存儲器可以與像總線通信電路的一些部分那樣的其他電路一起被包括在較大電路中。下面描述在錄像設備中控制快進(FF)和倒退(Rew)的方法。算法或函數的物理實現可以用像與視頻處理器210有關的分立電路那樣的硬件，或駐留在控制存儲器220中的并且由控制器214讀取和執(zhí)行的軟件之類的軟件來完成。該方法牽涉到分析內容以便識別和標記內容中可能代表場景的開始或其他重要參考點的重要點。然后，在許多環(huán)境下，設備200將能夠根據若干準則，自動確定要跳轉的正確位置。該分析可以在廣播之前，在攝入(ingest)設備時或在回放時完成，但優(yōu)選的實現可能是在被攝入設備時或將內容寫入盤中時。本公開的一個實際例子是使用戶在快進通過ad (或廣告)中斷(break)之后按下播放時容易從正確點開始或容易倒退到前一個ad中斷的結束變得簡單。在這種情況下，將通過查看FF或Rew的速度來確定正確起點或回放位置，當按下播放按鈕時，控制器214將檢查最近經過的“標記”位置，并且確定最近是否通過了任何場景標記以及在什么優(yōu)先級上通過，以便有效地確定代表開始播放的有效點的、以前或動態(tài)識別的場景轉變點的附近區(qū)域。在“黑色參考幀”的情況下，其可以代表重要標記(因為黑色參考幀通常用在ad中斷的開始和結束)，如果在FF或REW中最近通過一個黑色參考幀，則其可以用作起點?？商娲?，也可以將定期間隔之外的參考幀標記成較不重要的觸發(fā)點，因為它們也可能代表場景的開始。

FF/Rew功能的速度需要與用戶反應時間一起考慮來確定在內容中搜索標記的區(qū)域。如果FF/Rew速度快,則在看到他們想開始播放的地點與需要從適當參考點開始的回放之間，用戶可能錯過了若干參考點。在較慢速度上，有可能經過的最后的參考點是適當的起點。本公開的方法和設備基于將標記與內容相聯系，以便當進行回放時，存在用于作出判定的信息可用。這種標記信息是根據三種主要操作模式之一獲得的。首先，在廣播機構管理者104或內容管理者110的首端預先分析內容，并使內容具有與其一起廣播的元數據。這可以通過將標記數據作為SI數據的一部分放入傳輸流，并與內容一起發(fā)送標記數據來實現，因此在DVR或設備200上不用進行任何工作。其次，在內容流入設備200中或在內容被寫入盤中時，對內容加以分析和做標記。第三，可以在回放時和/或在特技模式操作期間動態(tài)分析內容，以便動態(tài)創(chuàng)建參考點。例如，當用戶快進或倒退時，設備實際上在內容通過時，在任一個方向上進行一些巾貞分析。現在進一步描述每種做標記的模式。在標記視頻內容幀的第一模式中，在通過輸送網絡發(fā)送內容之前、在首端進行標記。由于存在潛在收入損失，廣播商不太可能支持內容的標記(尤其涉及到有可能跳過廣告時)。但是，在編碼器本身上實際具有這種能力的構思提供了其他機會，這是因為還存在能夠具有場景檢測的其他暗含的情況(implication)。如果場景標記存在于流本身中，貝U出現包括例如標記優(yōu)選商業(yè)廣告以指示不能將它們跳過的若干可能性。在典型實施例中，首端可能不是相關的，這是由于設備200有可能含有數字地面調諧器，因此，與任何其他DVR —樣，將在線處理的內容饋入設備200中。但是，在一個可替代實施例中，首端也可以用于接收流傳輸的預先準備的內容。在這種情況下，使用類似解決方案，可能具有使電影內的場景檢測得到某種程度改善的優(yōu)點。例如，廣播商可能想要讓內容具有最大I-幀間隔的非常長的GOP (畫面組)。在這種情況下，在首端上完成標記可能是有價值的，并且有助于回放和搜索內容。在標記視頻內容幀的第二模式中，標記將發(fā)生在視頻處理器210將內容攝入機頂盒200期間，即，其中在接收內容和/或將內容寫入盤、硬驅動器或其他存儲設備。內容被攝入設備中和/或得到處理以及被寫入盤中的點有可能是分析內容和提供標記的最佳點。處理等級將隨要求而變，并且與僅僅將非規(guī)則間隔的I-幀和“黑色” I-幀加上標記一樣簡單，或牽涉到更復雜的場景檢測。要考慮到可以怎樣使用更多的附加盤空間和應該怎樣存儲更多附加信息。在一個實施例中，當檢測場景時，還可以捕獲開始場景的幀的縮略圖，以便可以對內容進行基于圖形的瀏覽。標記幀的第三模式牽涉到實時標記內容。在內容未被預先標記的情況下，視頻處理器210可以進行場景分析，其中該場景分析可以在快進和倒退事件期間在線地(on thefly)進行。在用戶進行快進或倒退的情況下，視頻處理器210基本上在線地進行標記，保留與適當場景點有關的計數。當用戶按下播放時，將應用下面描述的算法或函數以跳到適當標記位置。在所有情況下，都將內容的標記實現成用戶完全看不見的自動解決方案，但在標記了多少信息、什么用于確定那些標記以及如何使用標記方面潛在地存在顯著不同。在一個實施例中，標記可能構成定義文件中的關鍵轉變點的極少量數據。例如，對于含有六個ad 中斷的兩個小時節(jié)目，那些ad中斷的開始和結束可以通過分析含有黑色參考幀的場景變化來定義。現在描述在視頻內容中檢測標記點的過程。在壓縮視頻的過程中，通常每半秒或一秒插入一 I-巾貞，并且存在代表場景變化的少數散布的I-巾貞。由于除了場景變化之外，I-幀通常是按規(guī)則間隔隔開的，一個難題是場景可能在規(guī)則間隔I-幀上變化，使得難以將其識別成新場景。計算內容的實際最大I-幀間隔相對較簡單，因為瀏覽短暫歷史至少每N個幀將揭示I-幀。例如，如果內容具有1/2秒的最大GOP大小，則每50秒中最少有100個I-幀。但是，由于場景變化的附加I-幀，每50秒時段間隔可能有例如110個I-幀。仍然可以從中推斷間隔是大約X或大約半秒，但另外存在代表場景變化的附加I-幀。相對而言，檢測用于標記的適合幀的實際方法是本領域的普通技術人員眾所周知的。例如，在已知方法中，一般捕獲、存儲、發(fā)送、處理，并輸出運動畫面視頻內容數據作為一系列靜止圖像。當以足夠接近的時間間隔將輸出引向觀眾時，小的逐幀數據內容變化被感知為運動。兩個相鄰幀之間的大的數據內容變化被感知為場景變化(例如，從門內場景變成門外場景、攝像機角度的變化、圖像內照明的突然變化等)。編碼和壓縮過程利用小的逐幀視頻內容數據變化來減少存儲，發(fā)送，和處理視頻數據內容所需的數據量。描述變化所需的數據量少于描述原始靜止圖像所需的數據量。在例如運動圖像專家組(MPEG)開發(fā)的標準下，一組幀從其中編碼的視頻內容數據對應于原始靜止圖像的視覺屬性(例如，亮度、色度)的內部編碼幀(I-幀)開始。該組幀中的諸如預測編碼幀(P-幀)和雙向編碼幀(B-幀)之類的隨后幀根據該組中的較早的幀的變化來編碼。新的幀組，因此新I-幀以規(guī)則時間間隔開始，以防止例如噪聲引起假的視頻內容數據變化。新的幀組因此新I-幀也在視頻內容數據變化大時在場景變化開始，這是因為描述新的靜止圖像所需的數據少于描述相鄰靜止圖像之間的大變化的數據。換句話說，來自不同場景的兩個畫面相互之間具有較小關聯。將新畫面壓縮成I-幀比使用一個畫面來預測其他畫面更高效。因此，在內容數據編碼期間，重要的是識別相鄰視頻內容數據幀之間的場景變化。本公開的方法和設備可以使用絕對直方圖差之和(SAHD)和絕對顯示幀差之和(SADFD)來檢測場景變化。這樣的方法使用相同場景中的時間信息來消除偏差并精確檢測場景變化。這些方法可以用于實時(例如，實時視頻壓縮)和非實時(例如，電影后期制作)兩者的應用。在本公開的另一個實施例中，存在標記的若干級別，S卩，按權重或優(yōu)先級分配標記。在這個實施例中，內容中的搜索區(qū)有更大影響。這些級別可以是例如空白參數幀(最高優(yōu)先級);I)非規(guī)則參考幀(次高優(yōu)先級但代表場景變化);2)其他(可選的)。
通常，當回放所存儲內容時，將從參考幀開始回放，但標記使得更好地估計用戶最有可能想從其開始的幀。如果在主要或次要搜索區(qū)中找到優(yōu)先級I幀，則將從這里開始回放。如果在主要區(qū)中找到優(yōu)先級I幀，則不再作進一步搜索。如果在主要或次要區(qū)中不存在優(yōu)先級I標記幀，則為開始位置選擇與中心最接近的第2優(yōu)先級標記?？赡艽嬖谌绲谌齼?yōu)先級那樣需要以與優(yōu)先級2標記相同的方式考慮的“其他”標記，但在缺乏這些的任何一種的情況下，將選擇與主要搜索區(qū)的中心最接近的參考幀作為開始位置?，F在描述使用標記或帶標記的幀回放視頻內容的過程。在一個實施例中，在對預先標記的內容視頻回放的情況下，假設在盤或存儲設備212上存在已經標記的內容文件或與包含標記信息的內容文件相聯系的單獨的文件。標記信息將指示一般在視頻內容文件內的場景點，尤其具有這些標簽如何重要地作為參考點的加權標記。存在諸如定義的“查找點”、規(guī)則間隔I-幀(參考幀)、關閉間隔I-幀(代表新場景)、以及空白I-幀那樣的若干可能的標記類型?？瞻?黑色)I-幀因它們包含少量數據而具有極低數據速率，一般被插入在ad中斷之間，指示例如從商業(yè)廣告到場景的開頭或場景之間的轉變。顯示在圖3中的流程圖代表在內容廣播之前或隨著被攝入DVR設備200中或寫入盤中而預先標記了內容時的環(huán)境中回放內容的處理流程。如果正在從諸如硬驅動器盤那樣的盤中讀取信息(步驟302)，則以觀看速度進行正?；胤?304)。在正?；胤牌陂g，用戶可以經由用戶接口 216輸入導航指令，例如，快進或倒退內容(步驟306)。應該懂得，導航指令，例如快進(FF)、倒退(Rew)、跳過場景等將使用戶可以以比用于觀看的正?；胤潘俣瓤斓乃俣葋韺Ш揭曨l內容。當用戶輸入快進或倒退時，不發(fā)生附加的處理直至用戶再次按下播放，即，隨后的導航指令。一旦用戶在快進或倒退之后按下播放(步驟308)，則控制器214將檢查標記信息，并確定在用戶按下播放的位置的適當范圍內出現了什么標記(步驟310)。然后，控制器214根據標記權重和FF/Rew速度確定跳到哪里來開始回放(步驟312)。一旦確定了回放位置，視頻處理器210就將回放頭定位到那個點，并從所選標記幀開始視頻回放(步驟314)。在如圖4所示的可替代實施例中，回放過程本身可以用于有效動態(tài)地標記內容。如上所述，最初，在步驟402中，將從盤中讀取內容，并進行正常回放(步驟404)。當用戶執(zhí)行FF/Rew，即，輸入導航指令時(步驟406)，視頻處理器210將應用動態(tài)或“在線”巾貞標記(步驟408)。也就是說，設備將檢測在FF/Rew過程期間經過的空白場景、參考幀等。這些檢測的參考幀或參考點將被標記。這些標記可以與內容一起或可以不與內容一起存儲供以后使用。一旦用戶在快進或倒退之后按下播放(步驟410)，則設備200將如上所述繼續(xù)進行?？刂破?14根據標記權重和FF/Rew速度確定跳到哪里開始回放(步驟412)。一旦確定了回放位置，視頻處理器210就將回放頭定位到那個點，并從所選標記幀開始視頻回放(步驟 414)。
除了支持快進或倒退通過內容的過程之外，還可以將標記用于向用戶提供能夠通過按下按鈕“從一個場景跳到另一個場景”，或跳過大量內容(具有預定基本時段)的更好或不同體驗，但仍然從如標記所定義的場景邊界開始回放。這個過程顯示在圖5中。參照圖5，從盤中讀取視頻(步驟502)，并以觀看速度進行正?；胤?步驟504)。一旦用戶在步驟506中請求“場景跳過”功能，即，輸入導航指令，控制器214就按照預定“場景定義”設置來設置“場景搜索”位置(步驟508)，S卩，向前或向后跳轉固定的時間量開始場景搜索。接著，在步驟510中，控制器214在標記信息中檢查“場景搜索”起點的附近區(qū)域內的帶標記幀。然后，控制器214在選擇區(qū)域中根據標記權重確定跳到哪里開始回放(步驟512)。一旦確定了回放位置，視頻處理器210就將回放頭定位到那個點，并從所選標記幀開始視頻回放(步驟514 )。除了能夠對帶標記內容進行場景跳過之外，如圖6所示，設備200還可以對未被預先標記的內容動態(tài)地進行場景跳過。如上所述，從盤中讀取視頻(步驟602)，并以觀看速度進行正常回放(步驟604)。一旦用戶在步驟606中請求“場景跳過”功能，控制器214就按照預定的“場景定義”設置來設置“場景搜索”位置(步驟608)，S卩，向前或向后跳轉固定時間量來開始場景搜索。接著，在步驟510，控制器214將在標記信息中檢查“場景搜索”起點的附近區(qū)域內的帶標記幀。視頻處理器210應用動態(tài)或“在線”巾貞標記(步驟610)。也就是說，視頻處理器210將檢測如在場景跳過過程期間經過的空白場景、參考幀等。將標記這些檢測參考巾貞或參考點。這些標記可以與內容一起或可以不與內容一起存儲供以后使用。然后，控制器214將在選擇區(qū)域中根據標記權重確定跳轉到哪里來開始回放(步驟612)。一旦確定了回放位置，視頻處理器210就將回放頭定位到那個點，并從所選標記幀開始視頻回放(步驟614)?，F在將描述如何在用戶按下播放之后確定適當回放位置的功能。為了確定開始回放的適當位置，控制器214將根據許多因素之一設置起點，然后指定其中從那個參考點開始沿著任一個方向搜索的時段或區(qū)段?？刂破?14然后進行搜索看看什么標記落在那個范圍之內，并應用算法或函數來確定用于回放的最適合的起點。雖然播放開始位置有可能是某些形式的參考幀，但也可以切斷(key off)也可能是與參考幀不同的可替代預定的時間戳。的確，作為標記機制的一部分，說來容易，這是與I-幀不同的，比如說，B-幀，但正是B-幀可容易地從最后四個幀中構建。如果回放的開始位置在這里，則標記可能包含使設備可以向后若干幀以回到(get back into)構建這個非參考幀所需的所有視頻數據并且同樣對它進行處理的數據(或對該數據的引用)。在這種情況下，標記有可能包含為更迅速和更容易獲取所需數據所需要的偏移信息而不是必須在線地從頭開始計算它。在另一個實施例中，在視頻壓縮導致很長G0P，例如，10秒的情況下，本公開提供了從其他地方獲取參考幀的機制，因此本設備和方法可以通過用外部數據增強，從互聯網或一些其他媒體和/或源頭動態(tài)地獲取附加幀，而實際支持對這樣視頻的快進和倒退。在本例中，視頻流含有最少的參考幀，并且存在構建完整幀所需的其余I-幀或介入數據的另一個源頭。DVR通常采用算法或函數，其中在特技模式回放期間，DVR將從I-幀跳到I-幀或確定要顯示哪些參考幀。本公開根據這個基本構思來擴展，以便不是僅僅參考I-幀，而是存在名義上被定義成場景的、DVR可以停止的多個可能點。在標記定義開始回放的可能點的同時，應用算法或函數來確定內容中搜索這些標記的時間間隔，以及哪個標記代表那種內容中的最佳起點。在這種實現中，任何回放位置搜索的開始和終止位置由內容文件中用戶開始快進/倒退，即，輸入第一導航指令，和他們按下播放，即，輸入第二導航指令的位置界定。在這些邊界之外將不進行搜索。為了確定標記搜索的開始位置，控制器214將計算“搜索位置”(在搜索區(qū)的中心)，和其中搜索標記的區(qū)域(或區(qū)段)的大小，如圖7所圖示的。當用戶在進行FF或Rew的同時按下播放按鈕時，按照如下準則在文件中定義搜索 開始位置1)用戶進行FF/Rew的速度以及2)分配給用戶的額定反應時間。用戶的反應時間最初可以設置在2-5秒，并且如下詳細描述的，可以按照用戶輸入和/或設備200關于實際可能反應時間的經驗加以修改。舉一個例子來說，用戶以30x實際速度進行FF，并在43分10秒按下播放進入文件(43:10)。假設用戶具有分配的4秒的反應時間。這意味著搜索的中心位置702將比用戶按下播放的位置早4 X 30秒(即，2分鐘)(即，41:10)。因此，對帶標記幀的搜索將從這個位置開始，主要搜索區(qū)704將是在中心點702的任一側的這個距離的固定百分比。假設是50%，則標記搜索區(qū)將是在中心點的任一側的I分鐘，即，在該文件中的40:10到42:10之間。如果在這個范圍內找到某個優(yōu)先的帶標記幀，則登記命中(hit)，并從具有最高優(yōu)先級的帶標記幀開始視頻回放。如果找到不止一個匹配，并且標記優(yōu)先級的權重相同，則從與中心位置702最接近的點開始回放。當進行任何匹配時，還可以測量用戶的反應時間，并潛在地將其用于變更將來搜索的預期響應時間。如果未找到匹配，也將搜索次要區(qū)706，這可以是，例如，從用戶按下播放的位置到中心點702的距離的100%。如果在這種搜索中找到關鍵標記，則可能指示用戶的反應是異常的，并且如果在這個區(qū)域中存在關鍵幀，仍然可以將其選為開始位置。最終的學習搜索區(qū)708從中心點702延伸到回放位置，以及從中心點向后200%。只有在前2個區(qū)段的任一個中未找到關鍵幀的情況下才進行該搜索。如果在這里找到帶標記的關鍵幀，則可以記錄延遲，以及如果這是經常性行為，則可以調整用戶的反應時間，以保證關鍵幀時常位于主要區(qū)中。注意，與中心點的距離的百分比只是例示性的，可以通過用戶剖析更好地確定。另外，與百分比無關，可以在如前所述的搜索的極端邊界內進行搜索。為了確定用戶的反應時間，設備200將應用自動和手動機制兩者。這可以包括讓用戶定義和/或測試他們自己的反應時間的用戶偏愛。典型反應時間可能是例如2秒，因此，在用戶快進通過內容時，在他們按下播放按鈕之前，從用戶看到他們想開始播放的點起花費了一定的時間量。在用戶具有2秒反應時間和以30x正常回放速度進行快進的例子中，在用戶按下播放所觸發(fā)的點與他們實際這樣做之間將經過相當I分鐘的視頻。如果FF速率只是例如2x正?；胤?，則在這個時間中只經過4秒的視頻。用戶的反應時間是高度可變的，慢的反應時間是大約5秒，而快的反應時間或許是半秒。設備200將確定用戶的反應是否快。作為一種經驗法則，使用默認值來設置基于測試的平均用戶響應。另外，設備200可以提供用戶接口供用戶配置他們的反應時間，和/或動態(tài)地計算它。如果設備定義平均用戶的默認時間為比如2秒，則可以根據測試例如在與用戶按下播放時的不尋常的長距離內是否始終發(fā)現高優(yōu)先級“空白幀”標記而構建用戶實際如何隨時間反應的記錄。也可以將響應時間與設備200上基于用戶的系統(tǒng)相聯系，以便可以對系統(tǒng)的多個用戶進行單獨剖析(prof i I ing)。手動反應時間可以使用顯示在顯示設備114上的傳統(tǒng)滑動條來設置。另一種選擇是通過例如以下方法來確定用戶的反應速度的機制以隨機次序顯示一系列圖像，請用戶在他們看到特定圖像(諸如，例如，狗的畫面)時按下播放按鈕，然后測量顯示圖像時與用戶按下播放時之間的時間?？梢灾貜驮摐y試多次以獲得更高精度，并且該測試可以是用戶特定的(即，該系統(tǒng)可以從測試角度和為了用于該設備兩者允許用戶單獨地識別他們自己)
盡管本文詳細示出和描述了包含本公開的教導的實施例，但本領域的普通技術人員仍可以容易地設想出仍然包含這些教導的許多其他變化的實施例。雖然已經描述了用于在數字內容中最佳回放定位的方法和設備的優(yōu)選實施例(旨在例示而非限制)，但應該注意至IJ，本領域的普通技術人員可以按照上述教導作出修改和改變。因此，應該明白，可以在如所附權利要求所概括的本公開的范圍內所公開的本公開的特定實施例中作出改變。
權利要求
1.一種在視頻內容中確定最佳回放位置的方法，該視頻內容包括多個幀，該方法包含: 以用于觀看的回放速度顯示(304)視頻內容； 接收(306)第一導航指令以便以比用于觀看的回放速度快的速度導航視頻內容； 接收(308)第二導航指令以便以用于觀看的回放速度恢復顯示視頻內容；以及 響應第二導航指令，根據視頻內容的至少一個帶標記巾貞來確定(312 )視頻內容的回放位置。
2.如權利要求I所述的方法，其中在顯示步驟之前標記視頻內容的至少一個標記幀。
3.如權利要求I所述的方法，進一步包含當在接收第一和第二導航指令之間的時段中經過一些幀時,動態(tài)標記(408)視頻內容的至少一個幀。
4.如權利要求I所述的方法，其中確定步驟進一步包含 確定(312，412 )在接收第一和第二導航指令之間的時段中經過的一些幀內的搜索開始位置；以及 選擇用于搜索帶標記幀的第一搜索區(qū)(704)，該第一搜索區(qū)包括視頻內容在所確定的搜索開始位置的兩側的預定時間。
5.如權利要求4所述的方法，其中該搜索開始位置(412)基于第一導航指令的速度。
6.如權利要求5所述的方法，其中該搜索開始位置進一步基于向用戶分配的反應時間。
7.如權利要求6所述的方法，其中，如果至少兩個帶標記幀在第一搜索區(qū)(704)內，則進一步包含選擇具有最高優(yōu)先級的帶標記幀作為回放位置。
8.如權利要求7所述的方法，其中，如果在第一搜索區(qū)(704)內不存在帶標記幀，則進一步包含選擇第二搜索區(qū)(706)，第二搜索區(qū)(706)大于第一搜索區(qū)(704)。
9.如權利要求8所述的方法，其中，如果在第一搜索區(qū)(704)和第二搜索區(qū)(706)內不存在帶標記巾貞，則進一步包含 選擇第三搜索區(qū)(708)，第三搜索區(qū)(708)大于第二搜索區(qū)(706)； 一旦確定了第三搜索區(qū)(708)中的至少一個帶標記幀，則調整向用戶分配的反應時間；以及 增加第一搜索區(qū)的預定時間的數量。
10.如權利要求I所述的方法，其中第一導航指令是快進功能或倒退功能(306，406)。
11.如權利要求10所述的方法，其中第二導航指令是播放功能(308，410)。
12.如權利要求I所述的方法，其中第一導航指令是場景跳過功能(506，606)。
13.如權利要求12所述的方法，其中確定步驟進一步包含 通過從接收第一導航指令的時間起向前或向后移動預定時間量來確定搜索開始位置(704);以及 在搜索開始位置的附近搜索至少一個帶標記幀。
14.如權利要求13所述的方法，其中如果至少兩個帶標記幀在第一搜索區(qū)內，則進一步包含選擇具有最高優(yōu)先級的帶標記幀作為回放位置。
15.一種回放視頻內容的設備，該視頻內容包括多個幀，該設備包含 視頻處理器(210)，以用于觀看的回放速度將視頻內容提供給顯示設備；用戶接口(216)，接收(306)第一導航指令以便以比用于觀看的回放速度快的速度導航視頻內容，和接收(308)第二導航指令以便以用于觀看的回放速度恢復顯示視頻內容；以及 控制器(214)，與該用戶接口(216)耦接，用于接收第二導航指令(308)，根據視頻內容的至少一個帶標記幀確定(312)視頻內容的回放位置，并將所確定的回放位置提供給該視頻處理器(210)。
16.如權利要求15所述的設備，其中在將視頻內容存儲在存儲設備(212)中之前，該視頻處理器(210)標記視頻內容的至少一個帶標記幀。
17.如權利要求15所述的設備，其中當在接收第一和第二導航指令之間的時段中經過一些幀時，該視頻處理器(210)動態(tài)標記(408)視頻內容的至少一個幀。
18.如權利要求15所述的設備，其中該控制器(214)被進一步配置成確定在接收第一和第二導航指令之間的時段中經過的一些幀內的搜索開始位置，以及選擇用于搜索帶標記幀的第一搜索區(qū)，該第一搜索區(qū)包括視頻內容在所確定的搜索開始位置的兩側的預定時間。
19.如權利要求18所述的設備，其中該搜索開始位置(312，412)基于第一導航指令的速度。
20.如權利要求19所述的設備，其中該搜索開始位置進一步基于向用戶分配的反應時間。
21.如權利要求20所述的設備，其中，如果至少兩個帶標記幀在第一搜索區(qū)(704)內，則該控制器(214)選擇具有最高優(yōu)先級的帶標記幀作為回放位置。
22.如權利要求21所述的設備，其中，如果在第一搜索區(qū)(704)內不存在帶標記幀，則該控制器(214)選擇第二搜索區(qū)(706)，第二搜索區(qū)(706)大于第一搜索區(qū)(704)。
23.如權利要求22所述的設備，其中，如果在第一搜索區(qū)(704)和第二搜索區(qū)(706)內不存在帶標記幀，則該控制器(214)選擇第三搜索區(qū)(708)，第三搜索區(qū)(708)大于第二搜索區(qū)(706)， 其中，一旦確定了第三搜索區(qū)(708)中的至少一個帶標記幀，則控制器(214)調整向用戶分配的反應時間，并且增加第一搜索區(qū)(704)的預定時間的數量。
24.如權利要求15所述的設備，其中第一導航指令是快進功能或倒退功能(306，406)。
25.如權利要求24所述的設備，其中第二導航指令是播放功能(308，410)。
26.如權利要求15所述的設備，其中第一導航指令是場景跳過功能(506，606)。
27.如權利要求26所述的設備，其中該控制器(214)被進一步配置成通過從接收第一導航指令的時間起向前或向后移動預定的時間量來確定搜索開始位置(704)，并且在搜索開始位置的附近搜索至少一個帶標記幀。
28.如權利要求27所述的設備，其中，如果至少兩個帶標記幀在第一搜索區(qū)內，則該控制器(214)選擇具有最高優(yōu)先級的帶標記幀作為回放位置。
全文摘要
提供了用于在視頻內容中進行最佳回放定位的方法和設備。本公開涉及以優(yōu)先方式在內容中標記場景或重要點的機制，并定義了利用與內容相聯系的這種標記促進在適當點上停止或開始以用于回放的機制，例如，當按下場景跳過按鈕(506，606)向前或向后跳轉到另一個場景時，或者在輸入快進(FF)或倒退(Rew)指令(306，406)之后按下播放時(308，410)。該方法和設備提供了以用于觀看的回放速度顯示(304)視頻內容；接收(306)第一導航指令以便以比用于觀看的回放速度快的速度導航視頻內容；接收(308)第二導航指令以便顯示視頻內容；以及根據視頻內容的至少一個帶標記幀確定(312)視頻內容的回放位置。
文檔編號H04N5/783GK102884786SQ201080066658
公開日2013年1月16日 申請日期2010年5月7日 優(yōu)先權日2010年5月7日
發(fā)明者T.A.巴雷特 申請人:湯姆森特許公司