專利名稱：數(shù)據(jù)處理裝置和方法
技術領域：
本發(fā)明涉及一種媒體內容數(shù)據(jù)處理裝置、一種數(shù)據(jù)處理方法、一種存儲媒體以及一個程序，所有的這些都涉及諸如運動圖像、視頻節(jié)目或音頻節(jié)目的連續(xù)音頻可視數(shù)據(jù)(媒體內容)的觀察、播放以及傳送，其中，僅僅播放和傳送媒體內容高亮度景物的提要或觀眾所希望的媒體內容的景物。
背景技術：
傳統(tǒng)的媒體內容在獨立文件存儲媒體內容的基礎上被傳統(tǒng)地播放、傳送或存儲。
如在日本未授權專利申請No.Hei-10-111872中所描述的，根據(jù)提取一個運動圖像特定景物的方法，檢測在兩個運動圖像的景物(此后稱之為“景物分割”)之間變化。諸如開始幀的時間碼、結束幀的時間碼和所述景物關鍵字的附加數(shù)據(jù)被加到每個景物分割上。
作為一種替換方法，Carnegie Mellon大學(CMU)試圖通過檢測一個運動圖像的景物分割、檢測人的面孔或解釋字幕和經(jīng)過語音識別檢測一個索引短語概括一個運動圖像[Mochael A.Smith和Takeo KANADE“經(jīng)過圖像和語言增強組合的視頻剪輯和特性”CMU-CS-97-111，97年2月3日]。
當以每個文件為基礎播放所述運動圖像時，觀察所述運動圖像的提要是不可能的。此外，即使當提取一個亮度景物或用戶所希望的多個景物時，也必須從媒體內容的頭開始搜索所述景物或所述多個景物。此外，在傳送一個運動圖像的情況下，一個文件的所有數(shù)據(jù)集都必須被傳送，從而需要很長的傳送時間。
根據(jù)在日本未授權專利申請No.Hei-10-111872中描述的方法，通過使用一個有助于提取用戶所希望的景物的關鍵字能夠提取多個景物。所述附加數(shù)據(jù)不包括所述景物之間的關系或聯(lián)系。由于這個原因，所述方法在提取例如一個故事的子情節(jié)方面遇到很多困難。此外，當僅僅在一個關鍵字的基礎上提取景物時，用戶在獲得對于在了解景物上下文非常重要的知覺方面遇到很多困難。因此，一個提要或高亮度景物的準備變得非常困難。
由CMU開發(fā)的方法能夠概括一個運動圖像。但是，這種概括導致了單一、固定模式的摘要。由于這個原因，將一個運動圖像概括成需要不同播放時間的摘要、例如假設播放時間為三或五分鐘的摘要是困難的。此外，概括用戶所希望的例如選擇包括一個特定字符的景物的運動圖像也是困難。
發(fā)明內容
本發(fā)明的一個目的是提供一種能夠在媒體內容播放時間內僅僅選擇、播放和傳送一個提要、一個高亮度景物或觀眾希望景物的裝置。
本發(fā)明的另一個目的是提供一種能夠在用戶所希望的時間周期內、在選擇一個提要、高亮度景物或所希望的景物的時間處播放一個提要、一個高亮度景物或觀眾希望的景物的裝置。
本發(fā)明的再一個目的是提供一種在傳送媒體內容的期間內在用戶所希望的時間周期內、在用戶請求時僅僅傳送所述提要、高亮度景物或用戶所希望的景物集的裝置。
本發(fā)明的再一個目的是提供一種根據(jù)用戶賴以和服務器建立通信的線的繁忙程度控制將被傳送的數(shù)據(jù)量的裝置。
本發(fā)明的再一個目的是提供一種摘要產(chǎn)生裝置和方法。
為了解決現(xiàn)有技術存在的問題，根據(jù)本發(fā)明的一個方面，提供了一種數(shù)據(jù)處理裝置，包括輸入裝置，用于輸入以分級結構描述的上下文描述數(shù)據(jù)，其中，所述分級結構包括所述最高分級層，在該層中，隨時間變化的媒體內容和所述媒體內容的上下文被形成為表示媒體內容的單一元素；所述最低分級層，在該層中，一個元素表示通過分割所述媒體內容和將與相應媒體段和得分相關的時間信息指定為一個屬性形成的一個媒體段；其它的分級層包括直接或間接涉及至少一個媒體段和表示多個景物或一組景物的元素；和選擇裝置，用于在指定給上下文描述數(shù)據(jù)的得分的基礎上從所述媒體內容中選擇至少一個段。
所述數(shù)據(jù)處理裝置最好還包括一個提取裝置，用于從所述媒體內容中僅僅提取與所述選擇裝置選擇的段相應的數(shù)據(jù)。
所述數(shù)據(jù)處理裝置最好還包括一個播放裝置，用于從所述媒體內容中僅僅播放與所述選擇裝置選擇的段相應的數(shù)據(jù)。
所述得分最好表示媒體內容的上下文重要性。
所述得分最好表示從一個關鍵字角度出發(fā)感興趣的一個景物的上下文重要程度，和所述選擇裝置選擇其中從至少一個角度出發(fā)使用所述得分的一個景物。
所述媒體內容最好對應于視頻數(shù)據(jù)或音頻數(shù)據(jù)。
所述媒體內容最好對應于包括相互同步的視頻數(shù)據(jù)和音頻數(shù)據(jù)的數(shù)據(jù)。
所述上下文描述數(shù)據(jù)最好描述視頻數(shù)據(jù)或音頻數(shù)據(jù)的結構。
所述上下文描述數(shù)據(jù)最好描述視頻數(shù)據(jù)集和音頻數(shù)據(jù)集中每一個的結構。
所述選擇裝置最好通過參考與視頻數(shù)據(jù)或音頻數(shù)據(jù)相關的上下文描述數(shù)據(jù)選擇一個景物。
所述選擇裝置最好包括一個用于通過參考視頻數(shù)據(jù)的上下文描述數(shù)據(jù)選擇一個視頻景物的視頻選擇裝置或用于通過參考音頻數(shù)據(jù)的上下文描述數(shù)據(jù)選擇一個音頻景物的音頻選擇裝置。
所述選擇裝置最好包括一個用于通過參考視頻數(shù)據(jù)的上下文描述數(shù)據(jù)選擇一個視頻景物的視頻選擇裝置，和用于通過參考音頻數(shù)據(jù)的上下文描述數(shù)據(jù)選擇一個音頻景物的音頻選擇裝置。
通過提取數(shù)據(jù)所提取的數(shù)據(jù)最好對應于視頻數(shù)據(jù)或音頻數(shù)據(jù)。
通過提取數(shù)據(jù)所提取的數(shù)據(jù)最好對應于包括相互同步的視頻數(shù)據(jù)和音頻數(shù)據(jù)的數(shù)據(jù)。
所述媒體內容最好包括在一個單一的時間周期內設置的多個不同媒體數(shù)據(jù)。另外，所述數(shù)據(jù)處理裝置號包括一個確定裝置，用于接收具有在其中被描述的媒體內容的數(shù)據(jù)結構的結構描述數(shù)據(jù)和在將被用于把數(shù)據(jù)確定為選擇目標的確定條件的基礎上確定所述多個媒體數(shù)據(jù)集中的哪一個將被取作為選擇目標。此外，所述選擇裝置通過參考所述結構描述數(shù)據(jù)僅僅從已經(jīng)被所述確定裝置確定為選擇目標的數(shù)據(jù)集中選擇數(shù)據(jù)。
所述數(shù)據(jù)處理裝置最好還包括確定裝置，用于接收具有在其中被描述的媒體內容的數(shù)據(jù)結構的數(shù)據(jù)的結構描述數(shù)據(jù)和在將被用于把數(shù)據(jù)確定為選擇目標的確定條件的基礎上確定是否僅僅將視頻數(shù)據(jù)、僅僅將音頻數(shù)據(jù)或者是將兩種數(shù)據(jù)取作為選擇目標。此外，所述選擇裝置通過參考所述結構描述數(shù)據(jù)僅僅從已經(jīng)被所述確定裝置確定為選擇目標的數(shù)據(jù)集中選擇數(shù)據(jù)。
所述媒體內容最好包括在一個單一時間周期內設置的多個不同媒體集，和所述確定裝置接收具有在其中描述的媒體內容的數(shù)據(jù)結構的數(shù)據(jù)的結構描述數(shù)據(jù)和確定所述視頻數(shù)據(jù)集和/或音頻數(shù)據(jù)集中的哪一個將被取作為選擇目標。此外，所述選擇裝置通過參考所述結構描述數(shù)據(jù)僅僅從已經(jīng)被所述確定裝置確定為選擇目標的數(shù)據(jù)集中選擇數(shù)據(jù)。
與相應媒體段相關的各個數(shù)據(jù)最好被作為屬性附加到最低分級層中上下文描述數(shù)據(jù)的一個元素上。此外，所述選擇裝置選擇與所述媒體段相關的全部數(shù)據(jù)和/或與相應媒體段相關的表示數(shù)據(jù)。
與所述媒體段相關的全部數(shù)據(jù)最好對應于所述媒體數(shù)據(jù)，所述媒體內容最好包括在一個單一時間周期內設置的多個不同媒體數(shù)據(jù)集。所述數(shù)據(jù)處理裝置最好還包括一個確定裝置，用于接收具有在其中描述的媒體內容的數(shù)據(jù)結構的數(shù)據(jù)的結構描述數(shù)據(jù)和確定所述媒體數(shù)據(jù)集和/或表示數(shù)據(jù)集中的哪一個將被取作為選擇目標；所述選擇裝置通過參考所述結構描述數(shù)據(jù)僅僅從已經(jīng)被所述確定裝置確定為選擇目標的數(shù)據(jù)集中選擇數(shù)據(jù)。
所述數(shù)據(jù)處理裝置最好還包括確定裝置，用于接收具有在其中描述的媒體內容的數(shù)據(jù)結構的數(shù)據(jù)的結構描述數(shù)據(jù)和在將被用于將一個數(shù)據(jù)確定為選擇目標的條件的基礎上確定是僅僅將與所述媒體段相關的全部數(shù)據(jù)、僅僅將與所述媒體段相關的表示數(shù)據(jù)還是將與一個相應媒體段相關的全部數(shù)據(jù)和表示數(shù)據(jù)作為選擇目標。此外，所述選擇裝置通過參考所述結構描述數(shù)據(jù)僅僅從已經(jīng)被所述確定裝置確定為選擇目標的數(shù)據(jù)集中選擇數(shù)據(jù)。
所述確定條件最好包括接收終端的能力、傳送線的擁擠程度、用戶的請求和用戶的情趣以及它們的相互組合等中的至少一個。
所述數(shù)據(jù)處理裝置最好還包括一個形成裝置，用于根據(jù)由所述提取裝置提取的數(shù)據(jù)形成一個媒體內容數(shù)據(jù)流。
所述數(shù)據(jù)處理裝置最好還包括一個傳送裝置，用于經(jīng)過一個線傳送由所述形成裝置形成的數(shù)據(jù)流。
所述數(shù)據(jù)處理裝置最好還包括一個記錄裝置，用于將由所述形成裝置形成的數(shù)據(jù)流記錄到一個數(shù)據(jù)記錄媒體上。
所述數(shù)據(jù)處理裝置最好還包括一個數(shù)據(jù)記錄媒體管理裝置，用于根據(jù)可以得到的所述數(shù)據(jù)記錄裝置的盤空間重新組織已經(jīng)被存儲的媒體內容和/或新記錄的媒體內容。
所述數(shù)據(jù)處理裝置最好還包括一個存儲內容管理裝置，用于根據(jù)所述媒體內容的存儲周期重新組織存儲在所述數(shù)據(jù)記錄媒體中的媒體內容。
根據(jù)本發(fā)明的另一個方面，提供了一種數(shù)據(jù)處理方法，包括步驟輸入以分級結構描述的上下文描述數(shù)據(jù)，其中，所述分級結構包括最高分級層，在該層中，隨時間變化的媒體內容和所述媒體內容的上下文被形成為一個單一元素表示的媒體內容；最低分級層，在該層中，一個元素表示通過分割所述媒體內容形成的一個媒體內容并且該元素被作為屬性指定給與相應媒體內容和得分相關的時間信息，其它的分級層包括直接或間接與至少一個媒體段相關并表示多個景物或一組景物的元素；在指定給所述上下文描述數(shù)據(jù)的得分的基礎上，從所述媒體內容中選擇至少一個段。
所述數(shù)據(jù)處理方法最好還包括一個提取步驟，用于從所述媒體內容中提取僅僅與在所述選擇步驟中選擇的段對應的數(shù)據(jù)。
所述數(shù)據(jù)處理方法最好還包括一個播放步驟，用于從所述媒體內容中僅僅播放與在選擇步驟中選擇的段對應的數(shù)據(jù)。
所述得分最好表示媒體內容的上下文重要性。
所述得分最好表示從一個關鍵字的角度出發(fā)感興趣的景物上下文重要程度，在所述選擇步驟中選擇一個景物，在該景物中，從至少一個角度出發(fā)使用所述得分。
所述媒體內容最好對應于視頻數(shù)據(jù)或音頻數(shù)據(jù)。
所述媒體內容最好對應于包括相互同步的視頻數(shù)據(jù)和音頻數(shù)據(jù)的數(shù)據(jù)。
所述上下文描述數(shù)據(jù)最好描述視頻數(shù)據(jù)或音頻涉及到結構。
所述上下文描述數(shù)據(jù)最好描述視頻數(shù)據(jù)集和音頻數(shù)據(jù)集中每一個的結構。
在所述選擇步驟中，最好參考與視頻數(shù)據(jù)和音頻數(shù)據(jù)相關的上下文描述數(shù)據(jù)選擇一個景物。
所述選擇步驟最好包括用于通過參考視頻數(shù)據(jù)的上下文描述數(shù)據(jù)選擇一個視頻景物的視頻選擇步驟或用于通過參考音頻數(shù)據(jù)的上下文描述數(shù)據(jù)選擇一個音頻數(shù)據(jù)景物的音頻選擇步驟。
所述選擇步驟最好包括一個用于通過參考視頻數(shù)據(jù)的上下文描述數(shù)據(jù)選擇一個視頻景物的視頻選擇步驟，和用于通過參考音頻數(shù)據(jù)的上下文描述數(shù)據(jù)選擇一個音頻數(shù)據(jù)景物的音頻選擇步驟。
將在提取步驟中被提取的數(shù)據(jù)最好對應于視頻數(shù)據(jù)或音頻數(shù)據(jù)。
將在提取步驟中被提取的數(shù)據(jù)最好對應于包括彼此相互同步的視頻數(shù)據(jù)和音頻數(shù)據(jù)的數(shù)據(jù)。
所述媒體內容最好包括在一個單一時間周期內設置的多個不同媒體數(shù)據(jù)集。此外，所述數(shù)據(jù)處理方法最好包括一個用于接收具有在其中描述的媒體內容的數(shù)據(jù)結構的結構描述數(shù)據(jù)和在將被用于將數(shù)據(jù)確定為選擇目標的條件的基礎上確定所述媒體數(shù)據(jù)集中的哪一個將被取作為選擇目標的確定步驟。此外，在所述選擇步驟中，通過參考所述結構描述數(shù)據(jù)僅僅從已經(jīng)被所述確定裝置確定為選擇目標的數(shù)據(jù)集中選擇數(shù)據(jù)。
所述數(shù)據(jù)處理方法最好還包括用于接收具有在其中描述的媒體內容的數(shù)據(jù)結構的結構描述數(shù)據(jù)并在將被用于將數(shù)據(jù)確定為選擇目標的條件的基礎上確定是僅僅將視頻數(shù)據(jù)、僅僅將音頻數(shù)據(jù)或者是視頻數(shù)據(jù)和音頻數(shù)據(jù)兩者作為選擇目標的確定步驟。此外，在所述選擇步驟中，通過參考所述結構描述數(shù)據(jù)僅僅從已經(jīng)在確定步驟中被確定為選擇目標的數(shù)據(jù)集中選擇數(shù)據(jù)。所述媒體內容最好包括在一個單一的時間周期內設置的多個不同的媒體數(shù)據(jù)集。在所述確定步驟中，接收具有在其中描述的所述媒體內容的數(shù)據(jù)結構的結構描述數(shù)據(jù)并確定視頻數(shù)據(jù)集和/或音頻數(shù)據(jù)集中的哪一個被取作為選擇目標。此外，在所述選擇步驟中，通過參考所述結構描述數(shù)據(jù)僅僅從已經(jīng)在所述確定步驟中被確定為選擇目標的數(shù)據(jù)集中選擇數(shù)據(jù)。
與相應媒體段相關的表示數(shù)據(jù)最好被作為屬性附加到最低分級層中上下文描述數(shù)據(jù)的一個元素上；在所述選擇步驟中，選擇與所述媒體段相關的全部數(shù)據(jù)和/或與相應媒體段相關的表示數(shù)據(jù)。
與所述媒體段相關的所述全部數(shù)據(jù)最好對應于媒體數(shù)據(jù)，所述媒體內容最好包括在一個單一的時間周期內設置的多個不同媒體數(shù)據(jù)集，所述數(shù)據(jù)處理方法最好包括一個確定步驟，用于接收具有在其中描述的媒體內容的數(shù)據(jù)結構的結構描述數(shù)據(jù)和確定所述媒體數(shù)據(jù)集和/或表示數(shù)據(jù)集中的哪一個將被取用做選擇目標。另外，在所述選擇步驟中，通過參考所述結構描述數(shù)據(jù)僅僅從已經(jīng)在確定步驟中被確定為選擇目標的數(shù)據(jù)集中選擇數(shù)據(jù)。
所述數(shù)據(jù)處理方法最好包括一個確定步驟，用于接收具有在其中描述的媒體內容的數(shù)據(jù)結構的結構描述數(shù)據(jù)并在將被用于將數(shù)據(jù)確定為選擇目標的條件的基礎上確定是僅僅與所述媒體段相關的全部數(shù)據(jù)、還是僅僅與相應媒體段相關的表示數(shù)據(jù)或者與相應媒體段相關的全部數(shù)據(jù)和表示數(shù)據(jù)兩者被取作為選擇目標。此外，在所述選擇步驟中，通過參考所述結構描述數(shù)據(jù)僅僅從已經(jīng)在確定步驟中被確定為選擇目標的數(shù)據(jù)集中選擇數(shù)據(jù)。
所述確定條件最好包括接收終端的能力、傳送線的擁擠程度、用戶的請求和用戶的情趣或它們的相互組合等中的至少一個。
所述數(shù)據(jù)處理方法最好還包括一個形成步驟，用于根據(jù)在提取步驟中提取的數(shù)據(jù)形成媒體內容的數(shù)據(jù)流。
所述數(shù)據(jù)處理方法最好還包括一個傳送步驟，用于經(jīng)過一個線傳送在所述形成步驟中形成的數(shù)據(jù)流。
所述數(shù)據(jù)處理方法最好還包括一個記錄步驟，用于將在所述形成步驟中形成的數(shù)據(jù)流記錄到一個數(shù)據(jù)記錄媒體上。
所述數(shù)據(jù)處理方法最好還包括一個數(shù)據(jù)記錄媒體管理步驟，用于根據(jù)可以得到的所述數(shù)據(jù)記錄媒體的盤空間重新組織已經(jīng)被記錄的媒體內容或新記錄的媒體內容。
所述數(shù)據(jù)處理方法最好還包括一個存儲內容管理步驟，用于根據(jù)所述媒體內容的存儲周期重新組織存儲在所述數(shù)據(jù)記錄媒體中的媒體內容。
根據(jù)本發(fā)明的再一個方面，提供了一種計算機可讀的記錄媒體，在該記錄媒體上以計算機可執(zhí)行的形式記錄有在前描述的數(shù)據(jù)處理方法。
根據(jù)本發(fā)明的再一個方面，提供了一個程序，用于使計算機執(zhí)行在前描述的數(shù)據(jù)處理方法。
本發(fā)明還提供了一種摘要產(chǎn)生裝置，包括輸入裝置，用于輸入內容描述數(shù)據(jù)，所述內容描述數(shù)據(jù)描述多個段，其中所述多個段的每個表示由多個景物組成的媒體內容的一個景物，并且所述內容描述數(shù)據(jù)描述與媒體內容相關聯(lián)的屬性信息，所述屬性信息包括表示景物邊界的時間信息和基于媒體內容的上下文的得分；選擇裝置，用于根據(jù)得分來選擇段；內容輸入裝置，用于輸入與所選擇的段對應的媒體內容；和提取裝置，用于按照與所選擇的段相關聯(lián)的時間信息來提取媒體內容部分。
根據(jù)本發(fā)明的再一個方面，提供了一種摘要產(chǎn)生裝置，包括輸入裝置，用于輸入內容描述數(shù)據(jù)，所述內容描述數(shù)據(jù)描述多個段，所述多個段的每個表示由多個景物組成的媒體內容的一個景物，并且所述內容描述數(shù)據(jù)描述與媒體內容相關聯(lián)的屬性信息，包括表示景物邊界的時間信息、由至少一個描述景物的關鍵字表示的視點和基于所述視點的段的得分；選擇裝置，根據(jù)得分來選擇段；內容輸入裝置，輸入與所選擇的段對應的媒體內容；和提取裝置，按照與所選擇的段相關聯(lián)的時間信息來提取媒體內容部分。
根據(jù)本發(fā)明的再一個方面，提供了一種摘要產(chǎn)生方法，包括步驟輸入內容描述數(shù)據(jù)，所述內容描述數(shù)據(jù)描述多個段，所述多個段的每個表示由多個景物組成的媒體內容的一個景物，并且所述內容描述數(shù)據(jù)描述與媒體內容相關聯(lián)的屬性信息，包括表示景物邊界的時間信息和基于媒體內容的上下文的得分；根據(jù)得分來選擇段；輸入與所選擇的段對應的媒體內容；和按照與所選擇的段相關聯(lián)的時間信息來提取媒體內容部分。
本發(fā)明還提供了一種摘要產(chǎn)生方法，包括步驟輸入內容描述數(shù)據(jù)，內容描述數(shù)據(jù)描述多個段，多個段的每個表示由多個景物組成的媒體內容的一個景物，并且所述內容描述數(shù)據(jù)描述與媒體內容相關聯(lián)的屬性信息，包括表示景物邊界的時間信息、由至少一個描述景物的關鍵字表示的視點和基于所述視點的段的得分；根據(jù)得分來選擇段；輸入與所選擇的段對應的媒體內容；和按照與所選擇的段相關聯(lián)的時間信息來提取媒體內容部分。
在本發(fā)明的數(shù)據(jù)處理裝置、數(shù)據(jù)處理方法、記錄媒體和程序中，選擇裝置(與選擇步驟對應)在作為屬性附加到上下文描述數(shù)據(jù)的最低分級層或其它分級層的得分的基礎上通過使用包括利用輸入裝置(對應于輸入步驟)獲得的最高分級層、最低分級層和其它分級層的分級層的上下文描述數(shù)據(jù)從所述媒體內容中選擇至少一個段。
所述提取裝置(對應于所述提取步驟)最好僅僅提取與在所述選擇裝置(對應于所述選擇步驟)中選擇的一個段相關的數(shù)據(jù)。
所述播放裝置(對應于所述播放步驟)最好僅僅播放與在所述選擇裝置(對應于所述選擇步驟)中選擇的所述段相關的數(shù)據(jù)。
因此，可以從所述媒體內容中任意選擇更加重要的景物，和被如此選擇的重要段能夠被提取或播放。此外，所述上下文描述數(shù)據(jù)假設一個分級階層包括所述最高分級層、最低分級層和其它分級層。可以在每章的基礎上或在每節(jié)的基礎上在任意單元中選擇景物。可以使用各種選擇格式，諸如某些章節(jié)的選擇和從所述章節(jié)中刪除不必要的段落。
在本發(fā)明的數(shù)據(jù)處理裝置、數(shù)據(jù)處理方法、記錄媒體和程序中，一個得分表示媒體內容上下文的重要程度。只要設置了這個得分去選擇重要的景物，就可以例如很容易地集合一個節(jié)目的重要景物。
此外，只要設置了所述得分去表示從關鍵字的角度出發(fā)感興趣的景物的重要性，通過確定一個關鍵字可以高度靈活地選擇多個段。例如，只要從一個特定的觀點出發(fā)確定了諸如一個字符或一個事件的關鍵字，那么，只有用戶所希望的景物才能夠被選擇。
在本發(fā)明的數(shù)據(jù)處理裝置、數(shù)據(jù)處理方法、記錄媒體和程序中，所述媒體內容對應于視頻數(shù)據(jù)和/或音頻數(shù)據(jù)，所述上下文描述數(shù)據(jù)描述各視頻數(shù)據(jù)集和/或音頻數(shù)據(jù)集的結構。所述視頻選擇裝置(對應于所述視頻選擇步驟)通過參考與視頻數(shù)據(jù)相關的上下文描述數(shù)據(jù)選擇一個景物。所述音頻選擇裝置(對應于所述音頻選擇步驟)通過參考與音頻數(shù)據(jù)相關的上下文描述數(shù)據(jù)選擇一個景物。
此外，所述提取裝置(對應于所述提取步驟)提取視頻數(shù)據(jù)和/或音頻數(shù)據(jù)。
從視頻數(shù)據(jù)和/或音頻數(shù)據(jù)中可以選擇一個重要的段，可以提取與如此選擇的段相關的視頻數(shù)據(jù)和/或音頻數(shù)據(jù)。
在本發(fā)明的數(shù)據(jù)處理裝置、數(shù)據(jù)處理方法、記錄媒體和程序中，在所述媒體內容包括多個在一個單一時間周期內設置的不同數(shù)據(jù)集的情況下，所述確定裝置(對應于所述確定步驟)在將被用于將數(shù)據(jù)確定為選擇目標的條件的基礎上確定哪一個媒體數(shù)據(jù)集將被取作為選擇目標。所述選擇裝置(對應于所述選擇步驟)僅僅從已經(jīng)被所述確定裝置(對應于所述確定步驟)確定的數(shù)據(jù)中選擇數(shù)據(jù)集。
所述確定條件包括接收終端能力、傳送線的傳送能力、用戶的請求和用戶的興趣或它們之間的相互組合等中的至少一個。例如，接收終端的能力對應于視頻顯示能力、音頻播放能力或壓縮數(shù)據(jù)被解壓縮的速率。傳送線的傳送能力對應于所述線的阻塞程度。
在媒體內容被分割為例如多個信道和多個層以及不同的媒體數(shù)據(jù)集被指定給所述信道和所述層的情況下，所述確定裝置(對應于所述確定步驟)能夠根據(jù)所述確定條件確定與一個最佳段相關的媒體數(shù)據(jù)。因此，所述選擇裝置(對應于所述選擇步驟)能夠選擇適當數(shù)量的媒體數(shù)據(jù)。在多個信道和層被用做最佳段的情況下，具有標準分辨率的視頻數(shù)據(jù)可以被指定給信道-1/層-1以傳輸一個運動圖像，具有高分辨率的視頻數(shù)據(jù)可以被指定給信道-1/層-2。另外，立體聲數(shù)據(jù)可以被指定給信道-1以傳輸聲音數(shù)據(jù)，單聲道數(shù)據(jù)可以被指定給信道-2。
在本發(fā)明的數(shù)據(jù)處理裝置、數(shù)據(jù)處理方法、記錄媒體和程序中，所述確定裝置(對應于所述確定步驟)在所述確定條件的基礎上確定僅僅是視頻數(shù)據(jù)、僅僅是音頻數(shù)據(jù)或者是視頻和音頻數(shù)據(jù)兩者將被取作為選擇目標。
在所述選擇裝置(對應于所述選擇步驟)選擇一個段之前，所述確定裝置(對應于所述確定步驟)確定哪一個媒體數(shù)據(jù)集將被取作為一個選擇目標或僅僅是視頻數(shù)據(jù)、音頻數(shù)據(jù)或視頻數(shù)據(jù)和音頻數(shù)據(jù)兩者將被取作為一個選擇目標。結果是可以縮短所述選擇裝置(對應于所述選擇步驟)選擇一個段所需要的時間。
在本發(fā)明的數(shù)據(jù)處理裝置、數(shù)據(jù)處理方法、記錄媒體和程序中，表示數(shù)據(jù)被作為屬性附加到最低分級層中上下文描述數(shù)據(jù)的一個元素上，所述選擇裝置選擇與一個媒體段相關的全部數(shù)據(jù)和/或與相應媒體段相關的表示數(shù)據(jù)。
在本發(fā)明的數(shù)據(jù)處理裝置、數(shù)據(jù)處理方法、記錄媒體和程序中，與一個媒體段相關的全部數(shù)據(jù)對應于媒體數(shù)據(jù)，所述媒體內容包括多個在一個單一時間周期內設置的不同媒體數(shù)據(jù)集。所述確定裝置(對應于所述確定步驟)在結構描述數(shù)據(jù)和確定條件的基礎上確定所述媒體數(shù)據(jù)集和/或表示數(shù)據(jù)集中的哪一個將被取作為選擇目標。
所述媒體內容例如被分割為多個信道和多個層，不同的媒體數(shù)據(jù)集被指定給所述信道和層。所述確定裝置能夠根據(jù)這些確定條件確定與最佳段(信道或層)相關的媒體數(shù)據(jù)。
在本發(fā)明的數(shù)據(jù)處理裝置、數(shù)據(jù)處理方法、記錄媒體和程序中，所述確定裝置(對應于所述確定步驟)在所述確定條件的基礎上確定僅僅是與相應媒體段相關的全部數(shù)據(jù)、僅僅是與相應媒體段相關的表示數(shù)據(jù)或者是與相應媒體段相關的全部數(shù)據(jù)和表示數(shù)據(jù)將被取作為選擇目標。
在所述選擇裝置(對應于所述選擇步驟)選擇一個段之前，所述確定裝置(對應于所述確定步驟)確定哪一個媒體數(shù)據(jù)集將被取作為選擇目標或僅僅是所述全部數(shù)據(jù)或僅僅是所述表示數(shù)據(jù)或所述全部數(shù)據(jù)和所述表示數(shù)據(jù)兩者將被取作為選擇目標。結果是可以縮短所述選擇裝置(對應于所述選擇步驟)選擇一個段所需的時間。
在本發(fā)明的數(shù)據(jù)處理裝置、數(shù)據(jù)處理方法、記錄媒體和程序中，形成裝置(對應于所述形成步驟)根據(jù)由所述提取裝置(對應于所述提取步驟)提取的數(shù)據(jù)形成一個媒體內容數(shù)據(jù)流。因此，可以準備用于描述對應于如此選擇的段的一段內容的數(shù)據(jù)流或文件。
在本發(fā)明的數(shù)據(jù)處理裝置、數(shù)據(jù)處理方法、記錄媒體和程序中，所述傳送裝置(對應于所述傳送步驟)經(jīng)過一個線傳送由所述形成裝置(對應于所述形成步驟)形成的數(shù)據(jù)流。因此，可以將僅僅與重要段相關的數(shù)據(jù)傳送給所述用戶。
在本發(fā)明的數(shù)據(jù)處理裝置、數(shù)據(jù)處理方法、記錄媒體和程序中，所述數(shù)據(jù)記錄媒體管理裝置(對應于所述數(shù)據(jù)記錄媒體管理步驟)根據(jù)所述數(shù)據(jù)記錄媒體可以得到的盤空間重新組織目前為止已經(jīng)存儲的媒體內容和/或將被新存儲的媒體內容。特別是，在本發(fā)明的數(shù)據(jù)處理裝置、數(shù)據(jù)處理方法、記錄媒體和程序中，所述存儲內容管理裝置(對應于所述存儲內容管理步驟)根據(jù)所述內容的存儲周期重現(xiàn)組織存儲在所述數(shù)據(jù)記錄媒體中的媒體內容。因此，在所述數(shù)據(jù)記錄媒體中可以存儲大量的媒體內容。
圖1的框圖示出了根據(jù)本發(fā)明第一實施例的數(shù)據(jù)處理方法；圖2示出了根據(jù)所述第一實施例的上下文描述數(shù)據(jù)的結構；圖3示出了根據(jù)所述第一實施例在計算機中用于使用XML描述上下文描述數(shù)據(jù)的文件類型定義(DTD)的例子的一部分，以及根據(jù)所述第一實施例使用DTD描述的上下文描述數(shù)據(jù)的例子的一部分；圖4-9示出了圖3所示例子的上下文描述數(shù)據(jù)的接續(xù)部分；圖10示出了通過向圖3-9所示上下文描述數(shù)據(jù)附加表示數(shù)據(jù)形成的XML文件的例子的一部分，以及用于在計算機中描述上下文描述數(shù)據(jù)的以可擴充置標語言(XML)描述的DTD的例子的一部分；圖11-21示出了圖10所示上下文描述數(shù)據(jù)的接續(xù)部分；圖22用于描述根據(jù)所述第一實施例用于指定重要程度的方法；圖23的流程圖示出了根據(jù)第一實施例與所述選擇步驟相關的處理；圖24的框圖示出了根據(jù)第一實施例的提取步驟的構成；圖25的流程示出了根據(jù)第一實施例在所述提取步驟中由去多路復用裝置執(zhí)行的處理；圖26的流程示出了根據(jù)第一實施例在所述提取步驟中由視頻剪輯裝置執(zhí)行的處理；圖27示出了MPEG-1視頻數(shù)據(jù)流的結構；圖28的流程示出了根據(jù)第一實施例在所述提取步驟中由音頻剪輯裝置執(zhí)行的處理；圖29示出了所述MPEG-1音頻數(shù)據(jù)流的AAU的結構；圖30的框圖示出了根據(jù)第一實施例的媒體處理方法的應用；圖31示出了根據(jù)本發(fā)明第二實施例的重要程度的處理；圖32的流程示出了根據(jù)所述第二實施例與所述選擇步驟相關的處理；圖33的流程示出了根據(jù)本發(fā)明第三實施例與所述選擇步驟相關的處理；圖34用于描述根據(jù)本發(fā)明第四實施例指定重要程度的方法；圖35的流程示出了根據(jù)本發(fā)明第四實施例與所述選擇步驟相關的處理；圖36的框圖示出了根據(jù)本發(fā)明第五實施例的媒體處理方法，圖37示出了根據(jù)本發(fā)明第五實施例結構描述數(shù)據(jù)的結構；圖38示出了根據(jù)本發(fā)明第五實施例上下文描述數(shù)據(jù)的結構；圖39示出了根據(jù)第五實施例在計算機中使用XML描述結構描述數(shù)據(jù)的文件類型定義(DTD)的例子的一部分，以及根據(jù)本發(fā)明第五實施例一個XML文件的一個例子；
圖40示出了根據(jù)第五實施例在計算機中使用XML描述所述上下文描述數(shù)據(jù)的文件類型定義(DTD)的例子的一部分，以及根據(jù)第五實施例一個XML文件的例子的前一半；圖41-45示出了圖40所示上下文描述數(shù)據(jù)的接續(xù)部分；圖46示出了根據(jù)第五實施例的選擇步驟輸出的一個例子；圖47的框圖示出了根據(jù)第五實施例的提取步驟；圖48的流程示出了根據(jù)第五實施例在所述提取步驟中由接口裝置執(zhí)行的處理；圖49示出了根據(jù)第五實施例在所述選擇步驟中當在所述提取步驟中提供的所述接口裝置轉換所述輸出時所產(chǎn)生結果的一個例子；圖50的流程示出了根據(jù)第五實施例在所述提取步驟中由所述去多路復用裝置執(zhí)行的處理；圖51的流程示出了根據(jù)第五實施例在所述提取步驟中由所述視頻剪輯裝置執(zhí)行的處理；圖52的流程示出了根據(jù)第五實施例在所述提取步驟中由所述音頻剪輯裝置執(zhí)行的處理；圖53的另一個流程圖示出了根據(jù)第五實施例在所述提取步驟中由所述視頻剪輯裝置執(zhí)行的處理；圖54的框圖示出了根據(jù)本發(fā)明第六實施例的數(shù)據(jù)處理方法；圖55的框圖示出了根據(jù)第六實施例的形成步驟和傳送步驟；圖56的框圖示出了根據(jù)本發(fā)明第七實施例的媒體處理方法；圖57示出了根據(jù)第五實施例上下文描述數(shù)據(jù)的結構；圖58示出了根據(jù)第七實施例在計算機中使用XML描述上下文描述數(shù)據(jù)的文件類型定義(DTD)的例子的一部分，以及根據(jù)第七實施例使用XML描述的上下文描述數(shù)據(jù)的例子的一部分；圖59-66示出了圖58所示上下文描述數(shù)據(jù)的接續(xù)部分；圖67示出了通過將表示數(shù)據(jù)附加到圖58-66所示上下文描述數(shù)據(jù)上形成的XML文件的例子的一部分，以及在計算機中以用于描述所述上下文描述數(shù)據(jù)的XML描述的DTD的例子的一部分；圖68-80示出了圖67所示上下文描述數(shù)據(jù)的接續(xù)部分；圖81的流程示出了根據(jù)第七實施例與所述選擇步驟相關的處理；
圖82的框圖示出了根據(jù)第七實施例所示媒體處理方法的應用；圖83的流程示出了根據(jù)本發(fā)明第八實施例與所述選擇步驟相關的處理；圖84的流程示出了根據(jù)本發(fā)明第九實施例與所述選擇步驟相關的處理；圖85的流程示出了根據(jù)本發(fā)明第十實施例與所述選擇步驟相關的處理；圖86的框圖示出了根據(jù)本發(fā)明第十二實施例的數(shù)據(jù)處理方法；圖87示出了根據(jù)本發(fā)明第十二實施例上下文描述數(shù)據(jù)的結構；圖88示出了根據(jù)第五實施例在計算機中使用XML描述上下文描述數(shù)據(jù)的文件類型定義(DTD)的例子的一部分，以及根據(jù)第五實施例一個XML文件例子的一部分；圖89-96示出了圖88所示上下文描述數(shù)據(jù)的接續(xù)部分；圖97的框圖示出了根據(jù)本發(fā)明第十三實施例的數(shù)據(jù)處理方法；圖98的框圖示出了根據(jù)本發(fā)明第十四實施例的數(shù)據(jù)處理方法；圖99的框圖示出了根據(jù)本發(fā)明第十五實施例的數(shù)據(jù)處理方法；圖100的框圖示出了根據(jù)本發(fā)明第十六實施例的數(shù)據(jù)處理方法；圖101的框圖示出了根據(jù)本發(fā)明第十七實施例的數(shù)據(jù)處理方法；圖102示出了多個信道和多個層；圖103示出了使用XML描述結構描述數(shù)據(jù)的文件類型定義(DTD)的例子的一部分，以及在DTD中描述的結構描述數(shù)據(jù)的例子的一部分；圖104示出了在圖103中所示結構描述數(shù)據(jù)的接續(xù)部分；圖105的流程示出了根據(jù)本發(fā)明第十七實施例在例1中與確定步驟相關的處理；圖106的流程示出了根據(jù)第十七實施例在例1的確定步驟中響應用戶請求將被執(zhí)行的確定處理；圖107的流程示出了根據(jù)第十七實施例在例1的確定步驟中與視頻數(shù)據(jù)相關的確定處理；圖108的流程示出了根據(jù)第十七實施例在例1的確定步驟中與聲音數(shù)據(jù)相關的處理；圖109的流程示出了根據(jù)本發(fā)明第十七實施例與例2中的確定步驟相關的處理的前一半；圖110的流程示出了根據(jù)本發(fā)明第十七實施例與例2中的確定步驟相關的處理的后一半；圖111的流程示出了根據(jù)本發(fā)明第十七實施例與在例3中的確定步驟相關的處理；圖112的流程示出了根據(jù)第十七實施例與在例3的確定步驟中的視頻數(shù)據(jù)相關的確定處理；圖113的流程示出了根據(jù)第十七實施例與在例3的確定步驟中的聲音數(shù)據(jù)相關的確定處理；圖114的流程示出了根據(jù)本發(fā)明第十七實施例與在例4中的確定步驟相關的處理的前一半；圖115的流程示出了根據(jù)本發(fā)明第十七實施例與在例4中的確定步驟相關的處理的后一半；圖116的流程示出了根據(jù)第十七實施例在例4的確定步驟中響應一個用戶請求而執(zhí)行的確定處理；圖117的流程示出了根據(jù)第十七實施例在例4的確定步驟中與視頻數(shù)據(jù)相關的確定處理；圖118的流程示出了根據(jù)第十七實施例在例4的確定步驟中與聲音數(shù)據(jù)相關的確定處理；圖119的流程示出了根據(jù)第十七實施例與在例5中的確定步驟相關的處理的前一半；圖120的流程示出了根據(jù)第十七實施例與在例5中的確定步驟相關的處理的后一半；圖121的流程示出了根據(jù)第十七實施例在例5的確定步驟中響應一個用戶請求而執(zhí)行的確定處理；圖122的框圖示出了根據(jù)本發(fā)明第十八實施例的數(shù)據(jù)處理方法；圖123的框圖示出了根據(jù)本發(fā)明第十九實施例的數(shù)據(jù)處理方法；圖124的框圖示出了根據(jù)本發(fā)明第二十實施例的數(shù)據(jù)處理方法；圖125的框圖示出了根據(jù)本發(fā)明第二十一實施例的數(shù)據(jù)處理方法；圖126的框圖示出了根據(jù)本發(fā)明第二十二實施例的數(shù)據(jù)處理方法；圖127示出了將被合并有所述上下文數(shù)據(jù)和所述結構描述數(shù)據(jù)的DTD的例子和XML文件的例子；圖128-132示出了圖127所示XML文件的接續(xù)部分；圖133示出了根據(jù)本發(fā)明第十一實施例上下文描述數(shù)據(jù)的結構；圖134示出了在第十一實施例中使用的一個觀點；圖135示出了根據(jù)第十一實施例的重要程度；圖136示出了用于使用將被用于在計算機中表達上下文描述數(shù)據(jù)的XML描述第十一實施例的上下文描述數(shù)據(jù)的DTD的一個例子，和以XML描述的所述的部分上下文描述數(shù)據(jù)的例子；圖137-163示出了圖136所示上下文描述數(shù)據(jù)的接續(xù)部分；圖164示出了用于使用將被用于在計算機中表達所述上下文數(shù)據(jù)的XML描述第十一實施例的所述上下文描述數(shù)據(jù)的DTD的另一個例子，和以XML描述的所述部分上下文描述數(shù)據(jù)的例子；圖165-196示出了圖164所示上下文描述數(shù)據(jù)的接續(xù)部分；圖197示出了根據(jù)本發(fā)明第十一實施例所述上下文描述數(shù)據(jù)的另一種結構；圖198示出了用于使用將被用于在計算機中表達所述上下文描述數(shù)據(jù)的XML描述第十一實施例的所述上下文描述數(shù)據(jù)(對應于圖197)的DTD的一個例子，和以XML描述的部分上下文描述數(shù)據(jù)的例子；圖199-222示出了圖164所示上下文描述數(shù)據(jù)的接續(xù)部分；圖223示出了用于使用將被用于在計算機中表達所述上下文描述數(shù)據(jù)的XML描述第十一實施例所述上下文描述數(shù)據(jù)(對應于圖197)的DTD的一個例子，和以XML描述的部分上下文描述數(shù)據(jù)的一個例子；和圖224-252示出了圖164所示上下文描述數(shù)據(jù)的接續(xù)部分。
具體實施例方式
下面將結合附圖描述本發(fā)明的實施例。
第一實施例下面將描述本發(fā)明的第一實施例。在該實施例中，MPEG-1系統(tǒng)的數(shù)據(jù)流的運動圖像被用做所述媒體內容。在這種情況下，一個媒體段對應于一個單一景物分割，一個得分表示感興趣景物上下文重要性的客觀程度。
圖1的框圖示出了根據(jù)本發(fā)明第一實施例的數(shù)據(jù)處理方法。在圖1中，標號101指出所述選擇步驟；標號102指出所述提取步驟。在選擇步驟101中，從所述上下文描述數(shù)據(jù)中選擇媒體內容的一個景物，并輸出所述景物的開始時間和結束時間。在提取步驟102中，提取與由在選擇步驟101中輸出的開始時間和結束時間規(guī)定的一個媒體內容段相關的數(shù)據(jù)。
圖2示出了根據(jù)所述第一實施例的所述上下文描述數(shù)據(jù)的結構。在該實施例中，所述上下文是根據(jù)三種結構描述的。三種結構內的元素是按照年月順序從左向右排列的。在圖2中，被指定樹的根<內容>表示一個單一的內容部分，所述內容的題目被作為屬性指定給所述根。
利用<節(jié)>指定<程序>的子(程序)。表示感興趣景物上下文重要程度的優(yōu)先級被作為屬性附加到所述元素<節(jié)>上。所述重要程度假設是從1到5的整數(shù)值，其中，1表示最小重要程度和5表示最大重要程度。
利用<節(jié)>或<段>指定<節(jié)>的子(節(jié))。這里，元素<節(jié)>可以被用做另一個子<節(jié)>的子<節(jié)>。但是，單一元素<節(jié)>不能具有子<節(jié)>和子<段>的混合物。
一個元素<段>表示一個單一的景物分割，并且，指定給它的優(yōu)先級與指定給其母<節(jié)>的優(yōu)先級相同。附加給<段>的屬性是表示開始時間的“開始”和表示結束時間的“結束”。使用商業(yè)上可以得到的軟件或經(jīng)過網(wǎng)絡可以得到的軟件可以對景物進行切割。另外，也可以使用人工對所述景物進行切割。雖然在當前實施例中是按照一個景物分割的開始時間和結束時間表示時間信息的，但是，當按照感興趣景物的開始時間和該感興趣景物的持續(xù)時間表示時間信息時也能夠實現(xiàn)類似的結果。在這種情況下，感興趣景物的結束時間是通過將所述持續(xù)時間加到開始時間上獲得的。
在諸如一個電影故事的情況下，通過使用在多層分級段內的元素<節(jié)>，在所述上下文描述數(shù)據(jù)的基礎上可以描述所述故事的章、節(jié)和段落。在另外一個例子中，當描述棒球游戲時，在最高分級中的元素<節(jié)>可以被用于描述局，它們的子<節(jié)>可以被用于描述半局。另外，所述元素<節(jié)>的第二代<節(jié)>可以被用于描述各棒球手的揮棒，所述元素<節(jié)>的第三代<節(jié)>還可以被用于描述每次投擲、兩次投擲之間的時間周期和揮棒結果。
具有這種結構的上下文描述數(shù)據(jù)在計算機中可以使用例如可擴充的置標語言(XML)表示。所述XML是一種數(shù)據(jù)描述語言，它的標準化是萬維網(wǎng)聯(lián)盟(World Wide Web Consortium)所追求的目標。推薦版1.0是在1998年2月10推薦的。XML1.0版的說明可以從http//WWW.W3.org/TR/1998/rec-XM1-19980210中獲得。圖3到圖9示出了根據(jù)本發(fā)明用于使用XML描述所述上下文描述數(shù)據(jù)的文件類型定義(DTD)的一個例子，和使用DTD描述的上下文描述數(shù)據(jù)的一個例子。圖10到圖9示出了通過將諸如表示圖像(即視頻數(shù)據(jù))和關鍵字(音頻數(shù)據(jù))的媒體段的表示數(shù)據(jù)附加到圖3到圖9所示上下文描述數(shù)據(jù)上所準備的上下文描述數(shù)據(jù)的一個例子和用于使用XML描述所述上下文描述數(shù)據(jù)的DTD的一個例子。
下面將描述與選擇步驟101相關的處理。與所述選擇步驟101相關的處理特別涉及上下文描述數(shù)據(jù)的格式和將一個得分指定給每個景物的上下文內容的方法。在當前的實施例中，與所述選擇步驟101相關的處理僅僅是針對具有子<段>的元素<節(jié)>執(zhí)行的，如圖22所示(圖23所示的步驟S1、S4和S5)。選擇其優(yōu)先級超過某個閾值的元素<節(jié)>(圖23所示的步驟S2)，并輸出如此選擇的元素<節(jié)>的開始時間和結束時間(圖23所示的步驟S3)。指定給具有子<段>的所述元素<節(jié)>的優(yōu)先級對應于所述內容內所有元素<節(jié)>當中共享的重要程度，所述元素<節(jié)>中的每一個都具有子<節(jié)>。具體地說，圖22中被虛線包圍的元素<節(jié)>當中共享的重要程度設置為優(yōu)先級。指定給除了前面元素<節(jié)>以外的元素<節(jié)>和<段>的優(yōu)先級可以任意設置。所述重要程度并不是必須設置從而假設一個唯一值，相同的重要程度可以被指定給不同的元素。圖23的流程示出了根據(jù)第一實施例所述選擇步驟101相關的處理?？紤]到被如此選擇的元素<節(jié)>，由所述元素<節(jié)>表示的景物的開始時間和結束時間可以根據(jù)是被如此選擇的元素<節(jié)>的子節(jié)的元素<段>確定。輸出被如此確定的開始時間和結束時間。
雖然在當前實施例中所述選擇是針對其中的每一個都具有子<段>的元素<節(jié)>執(zhí)行的，但是，所述選擇也可以針對元素<段>執(zhí)行。在這種情況下，優(yōu)先級對應于在所述內容內所有元素<段>當中共享的重要程度。另外，選擇也可以針對來自不具有子<段>的較高分級的元素<節(jié)>當中相同分級的元素<節(jié)>執(zhí)行。具體地說，所述選擇可以針對在從給定母<內容>或給定子<段>開始計數(shù)的相同路徑號中的元素<節(jié)>執(zhí)行。
現(xiàn)在參考圖24描述與所述提取步驟102相關的處理。圖24的框圖示出了根據(jù)所述第一實施例的提取步驟102。如圖24所示，根據(jù)該第一實施例的提取步驟102是由去多路復用裝置601、視頻剪輯裝置602和音頻剪輯裝置603實現(xiàn)的。在當前的實施例中，MPEG-1系統(tǒng)數(shù)據(jù)流被取作為媒體內容。所述MPEG-1數(shù)據(jù)流是通過將一個視頻數(shù)據(jù)流和一個音頻數(shù)據(jù)流多路復用到一個單一的數(shù)據(jù)流中形成的。去多路復用裝置601將所述視頻數(shù)據(jù)流和音頻數(shù)據(jù)流從被多路復用的系統(tǒng)數(shù)據(jù)流中分離出來。視頻剪輯裝置602接收被如此分離的視頻數(shù)據(jù)流和在所述選擇步驟101中所選擇的一個段，并從所接收的視頻數(shù)據(jù)流中僅僅輸出與被如此選擇的段相關的數(shù)據(jù)。音頻剪輯裝置603接收被分離的音頻數(shù)據(jù)流和在選擇步驟101中所選擇的所述段，并從所接收的音頻數(shù)據(jù)流中僅僅輸出與所選擇段相關的數(shù)據(jù)。
下面參考附圖描述由去多路復用裝置601執(zhí)行的處理。圖25的流程示出了由去多路復用裝置601執(zhí)行的處理。多路復用所述MPEG-1系統(tǒng)數(shù)據(jù)流的方法符合國際標準TSO/IEC IS 11172-1標準化。借助于將所述視頻和音頻數(shù)據(jù)流分割成被稱之為包的適當長度的數(shù)據(jù)流和將諸如標題的附加信息附加到每個包上，視頻數(shù)據(jù)流和音頻數(shù)據(jù)流被多路復用到一個包中。多個視頻數(shù)據(jù)流和多個音頻數(shù)據(jù)流也可以以相同的方式被多路復用到一個單一的信號中。在每個包的標題中，都描述了一個用于將一個包識別為視頻數(shù)據(jù)流或音頻數(shù)據(jù)流的數(shù)據(jù)流ID和一個用于將視頻數(shù)據(jù)引入到與所述音頻數(shù)據(jù)同步的時間戳。所述數(shù)據(jù)流ID不局限用于將一個包識別為視頻數(shù)據(jù)流或音頻數(shù)據(jù)流。當多個視頻數(shù)據(jù)流被多路復用時，所述數(shù)據(jù)流ID可以被用于從多個視頻數(shù)據(jù)流中識別具有感興趣包的視頻數(shù)據(jù)流。類似的，當多個音頻數(shù)據(jù)流被多路復用時，所述數(shù)據(jù)流ID可以被用于從所述多個音頻數(shù)據(jù)流中識別具有感興趣包的音頻數(shù)據(jù)流。在所述MPEG-1系統(tǒng)中，多個包被處理成一個單一的包，和用作用于執(zhí)行同步播放的基準時間的多路復用速率和附加信息被作為標題附加到所述包上。此外，與被多路復用的視頻和音頻數(shù)據(jù)流的數(shù)量相關的附加信息被作為系統(tǒng)標題附加到所述頭一個包上。去多路復用裝置601從所述頭一個包的系統(tǒng)標題中讀出被多路復用的視頻和音頻數(shù)據(jù)流的數(shù)量(S1和S2)并保證用于存儲各數(shù)據(jù)流的數(shù)據(jù)集的數(shù)據(jù)位置(S3和S4)。然后，去多路復用裝置601檢查每個包的數(shù)據(jù)流ID并將包括在所述包中的數(shù)據(jù)寫入到存儲由所述數(shù)據(jù)流ID規(guī)定的數(shù)據(jù)流的數(shù)據(jù)位置中(S5和S6)。所有的包都被進行上述處理(S8、S9和S10)。在所有的包都被進行了上述處理之后，在每個數(shù)據(jù)流的基礎上視頻數(shù)據(jù)流被輸出給視頻剪輯裝置602，音頻數(shù)據(jù)流以相同的方式被輸出給音頻剪輯裝置603(S11)。
下面將描述視頻剪輯裝置602的操作。圖26的流程示出了由視頻剪輯裝置602執(zhí)行的處理。所述MPEG-1系統(tǒng)數(shù)據(jù)流是被國際標準ISO/IEC IS11172-2標準化的。如圖27所示，所述視頻數(shù)據(jù)流包括一個順序層、一個圖像組層(GOP)、一個圖像層、一個位片層、一個宏數(shù)據(jù)塊層和一個數(shù)據(jù)塊層。在是最小單元的GOP層的基礎上進行隨機存取，包括在所述圖像層中的每個層對應于一個單一幀。視頻剪輯裝置602在每個GOP的基礎上處理數(shù)據(jù)。用于對輸出幀的數(shù)量進行計數(shù)的計數(shù)器C被初始化為0(S3)。首先，視頻剪輯裝置602確認所述視頻數(shù)據(jù)流的標題對應于所述順序層的標題(S2和S4)并存儲包括在所述標題中的數(shù)據(jù)(S5)。接著，所述視頻剪輯裝置輸出所述數(shù)據(jù)。在后續(xù)的處理期間所述順序層的標題可以出現(xiàn)。除非所述值涉及到一個量化矩陣，否則所述標題的值被允許改變。因此，每當輸入所述順序標題時，被輸入標題的值與所存儲標題的值進行比較(S8和S14)。如果所輸入的標題在除了與所述量化矩陣相關的值以外的值方面與所存儲的標題不同，所輸入的標題將被認為是錯誤的(S15)。接著，所述視頻剪輯裝置602檢測輸入數(shù)據(jù)GOP層的標題(S9)。在所述GOP層的標題中描述了與一個時間碼相關的數(shù)據(jù)(S10)，該時間碼描述從所述順序的標題開始已經(jīng)逝去的時間周期。視頻剪輯裝置602將所述時間碼與選擇步驟101輸出的段進行比較(S1)(S11)。如果所述時間碼被確定為不包括在所述段內，則視頻剪輯裝置602丟棄在所述順序層的下一個GOP層之前出現(xiàn)的所有數(shù)據(jù)集。相反，如果所述時間碼包括在所選擇的段中，那么，視頻剪輯裝置602輸出在所述順序層的下一個GOP層之前出現(xiàn)的所有數(shù)據(jù)集(S13)。為了繼續(xù)保證已經(jīng)被輸出的數(shù)據(jù)集和當前正在被輸出的數(shù)據(jù)集，所述GOP層的時間碼必須被改變(S12)。利用計數(shù)器C計算所述GOP層的時間碼將被改變成的值。計數(shù)器C保留已經(jīng)被輸出的幀的數(shù)量。根據(jù)等式1，顯示當前正在輸出的所述GOP層的標題幀的時間Tv是由計數(shù)器C以及在所述順序標題中描述并表示每秒將被顯示的幀的數(shù)量的圖像速率“Pr”計算的。
Tv=CPr---(1)]]>“Tv”以1/每秒為單位指定一個值，然后，所述Tv的值被根據(jù)MPEG-1的時間碼格式進行轉換。被如此轉換的值設置在將被在這個時間輸出的所述GOP層的時間碼中。當輸出與所述GOP層相關的數(shù)據(jù)時，所述圖像層的數(shù)量被加到所述計數(shù)器C的值上。重復執(zhí)行前面描述的處理，直到所述的視頻段結束(S7和S16)。在所述去多路復用裝置601輸出多個視頻數(shù)據(jù)流的情況下，執(zhí)行與每一個視頻數(shù)據(jù)流相關的上述處理。
下面將描述音頻剪輯裝置603的處理。圖28的流程涉及由所述音頻剪輯裝置603執(zhí)行的處理。所述MPEG-1音頻數(shù)據(jù)流是根據(jù)國際標準ISO/IEC IS11172-3標準化的。所述音頻數(shù)據(jù)流是由一系列被稱之為音頻存取單元(AAU)的幀形成的。圖29示出了一個AAU的結構。所述AAU是音頻數(shù)據(jù)能夠被單獨譯碼的最小單元，它包括給定數(shù)量的取樣數(shù)據(jù)集Sn。單個AAU的播放時間可以根據(jù)所述AAU的表示傳輸速率的位速率“br”、取樣頻率“Fs”和位數(shù)量L來計算。首先，檢測包括在所述音頻數(shù)據(jù)流中的AAU的標題(S2和S5)，借此以獲得一個單一AAU的所述位數(shù)量L。進而，在所述AUU的標題中描述所述位速率“br”和取樣頻率Fs。根據(jù)等式2計算一個單一AAU的取樣數(shù)量Sn。
Sn=L×Fsbr---(2)]]>根據(jù)等式3計算一個單一AAU的播放時間。
Tu=SnFs=Lbr---(3)]]>只要計算了Tu的值，通過對所述AAU計數(shù)可以獲得從所述數(shù)據(jù)流的標題開始已經(jīng)逝去的時間。所述音頻剪輯裝置603對已經(jīng)出現(xiàn)的AAU的數(shù)量計數(shù)并計算從所述數(shù)據(jù)流的標題開始已經(jīng)逝去的時間(S7)。被如此計算的時間與在選擇步驟中輸出的段相比較(S8)。如果所述AAU出現(xiàn)的時間包括在所選擇的段內，所述音頻剪輯裝置603輸出與那個AAU相關的所有數(shù)據(jù)集(S9)。相反，如果所述AAU出現(xiàn)的時間沒有包括在所選擇的段內，所述音頻剪輯裝置603將丟棄與所述AAU相關的數(shù)據(jù)集。重復執(zhí)行前述處理直到所述音頻數(shù)據(jù)流結束為止(S6和S11)。當去多路復用裝置601輸出多個音頻數(shù)據(jù)流時，所述音頻數(shù)據(jù)流中的每一個都被執(zhí)行前述處理。
如圖30所示，在提取步驟102中輸出的視頻數(shù)據(jù)流被輸入給視頻播放裝置，在提取步驟102中輸出的音頻數(shù)據(jù)流被輸入給音頻播放裝置。所述視頻數(shù)據(jù)流和音頻數(shù)據(jù)流被同步播放，借此能夠播放一個提要或媒體內容的高亮度景物。另外，如此產(chǎn)生的視頻和音頻數(shù)據(jù)流被多路復用，借此能夠準備與所述媒體內容的提要或所述媒體內容高亮度景物相關的MPEG-1系統(tǒng)數(shù)據(jù)流。
第二實施例下面將描述本發(fā)明的第二實施例。該第二實施例僅僅在與選擇步驟相關的處理方面不同于第一實施例。
下面將參照附圖描述根據(jù)第二實施例與選擇步驟101相關的處理。在根據(jù)第二實施例的選擇步驟101中，利用了指定給所有元素且范圍從最高分級的<節(jié)>到最低<段>的優(yōu)先級值。指定給每個元素<節(jié)>和<段>的優(yōu)先級表示上下文重要性的客觀程度。下面參考圖31描述與選擇步驟101相關的處理。在圖31中，標號1301表示包括在所述上下文描述數(shù)據(jù)中最高分級中的多個元素<節(jié)>中的一個；1302表示元素<節(jié)>1301的一個子元素<節(jié)>；1303表示元素<節(jié)>1302的一個子元素<節(jié)>；1304表示子元素<節(jié)>1303的一個子元素<節(jié)>。在根據(jù)第二實施例的選擇步驟101中，包括一個指定給從所述最高分級的葉<段>到它的先輩<節(jié)>延伸的路徑的所有優(yōu)先級值的算術平均值。當所述路徑的算術平均值超過一個閾值時，選擇所述元素<段>。在圖28所示的例子中，計算元素<段>1304、<節(jié)>1303、<節(jié)>1302和<節(jié)>1301的屬性的算術平均值“pa”、即它們的屬性優(yōu)先級值p4、p3、p2和p1。所述平均值“pa”是根據(jù)等式4計算的。
pa=p1+p2+p3+p44---(4)]]>被如此計算的“pa”與所述閾值相比較(S1和S2)。如果“pa”超過所述閾值，選擇<段>1304(S3)，與<段>1304的“開始”和“結束”相關的屬性值被作為所選擇景物的開始時間和結束時間輸出(S4)。所有的元素<段>都被進行前述處理(S1和S6)。圖32的流程示出了根據(jù)該第二實施例與選擇步驟101相關的處理。
在該第二實施例中，計算從指定給最低分級的所述<段>的優(yōu)先級值到指定給最高優(yōu)先級的先輩<節(jié)>的優(yōu)先級值的算術平均值，并在被如此計算的算術平均值的基礎上選擇所述葉<段>。另外，可以計算指定給具有子<段>的元素<節(jié)>的優(yōu)先級值到指定給最高分級的先輩<節(jié)>的優(yōu)先級值的算術平均值，通過比較被如此計算的算術平均值和所述閾值，可以選擇具有所述子<段>的元素<節(jié)>。類似的，在另一個分級段中，可以計算從指定給元素<節(jié)>的優(yōu)先級值到指定給它的最高分級的先輩<節(jié)>的優(yōu)先級值的算術平均值，被如此計算的算術平均值與所述閾值比較，借此，可以選擇在所述分級段中的元素<節(jié)>。
第三實施例下面描述根據(jù)本發(fā)明的第三實施例。所述第三實施例僅僅在與選擇步驟相關的處理方面與第一實施例不同。
下面將參考附圖描述根據(jù)第三實施例與選擇步驟101相關的處理。在結合第一實施例所描述處理的情況下，在根據(jù)第三實施例的選擇步驟101中，所述選擇僅僅針對其中的每一個都具有一個子<段>的元素<節(jié)>執(zhí)行的。在第三實施例中，設置了一個考慮到與所有將被選擇的景物的持續(xù)時間周期的和的閾值。具體地說，在截止到目前已經(jīng)被選擇的元素<節(jié)>的持續(xù)時間周期的和最大但仍保持小于所述閾值之前，按照優(yōu)先級減小的順序選擇所述元素<節(jié)>。圖33的流程示出了根據(jù)第三實施例與選擇步驟101相關的處理。其中的每一個都具有子<段>的多個<節(jié)>的集合被取作為一個集Ω(S1)。所述集Ω的元素<節(jié)>被按照屬性優(yōu)先級的降序存儲(S2)。從集Ω中選擇具有最高優(yōu)先級值的元素<節(jié)>(S4和S5)，并從所述集Ω中刪除被如此選擇的元素<節(jié)>。通過檢查所述元素<節(jié)>的所有子<段>獲得被如此選擇的元素<節(jié)>的開始時間和結束時間，并計算所述元素<節(jié)>的持續(xù)時間(S6)。計算截止到目前為止已經(jīng)被選擇的所述元素<節(jié)>的持續(xù)時間周期的和(S7)。如果所述和超過了所述閾值，處理完成(S8)。如果所述和低于所述閾值，輸出在這個時間選擇的所述元素<節(jié)>的開始時間和結束時間(S9)。然后，處理返回到從所述集Ω中選擇具有最高優(yōu)先級值的元素<節(jié)>的步驟。重復上述處理，直到所選擇的元素<節(jié)>的持續(xù)時間周期的和超過所述閾值或所述集Ω變空為止(S4和S8)。
在第三實施例中，針對具有子<段>的元素<節(jié)>執(zhí)行選擇。但是，所述選擇也可以不針對所述元素<節(jié)>而針對元素<段>進行。在這種情況下，優(yōu)先級值對應于在所述媒體內容內所有元素<節(jié)>當中共享的重要程度。此外，選擇也可以針對同一分級內不具有子<段>的元素<節(jié)>進行。具體地說，選擇可以針對位于從所述先輩<內容>或葉<段>開始計數(shù)的同一路徑中的元素<節(jié)>進行。
與在第二實施例的情況相同，指定給各元素<節(jié)>和元素<節(jié)>的優(yōu)先級值被用做為上下文重要性的客觀程度，計算從指定給所述元素<節(jié)>到最高分級的它的先輩<節(jié)>的所有優(yōu)先級的平均值“pa”。以“pa”的降序選擇其中的每一個都具有子<段>的元素<節(jié)>或元素<段>，直到所述持續(xù)時間周期的和最大但小于所述閾值為止。即使是在這種情況下，也可以獲得與第二實施例相同的有益結果。
第四實施例下面將描述本發(fā)明的第四實施例。所述第四實施例僅僅在與選擇步驟相關的處理方面與第一實施例不同。
下面參考附圖描述根據(jù)第四實施例與選擇步驟101相關的處理。與在第一實施例中在選擇步驟101中執(zhí)行的選擇的情況相同，在第四實施例中與選擇步驟101相關的選擇是針對元素<段>以及具有子<段>的元素<節(jié)>進行的。和第一實施例的情況相同，考慮到在當前實施例中將被選擇的所有景物的持續(xù)時間周期的和，設置了一個閾值。與在第一實施例的情況相同，指定給具有子<段>的元素<節(jié)>的優(yōu)先級值對應于所述媒體內容中其中的每一個都具有子<段>的所有元素<節(jié)>當中共享的重要程度。具體地說，所述優(yōu)先級值被取作為在圖34中被虛線包圍的所述元素<節(jié)>當中共享的重要程度。此外，指定給所述元素<節(jié)>的優(yōu)先級值對應于在與同一母元素<節(jié)>共享的所述元素<節(jié)>當中共享的重要程度；即，由圖34所示的一個虛線包圍的所述元素<段>當中共享的重要程度。
圖35的流程示出了根據(jù)第三實施例與選擇步驟相關的處理。其中的每一個都具有子<段>的元素<節(jié)>的集合被取作為集Ω(S1)。所述集Ω內的元素<節(jié)>按照優(yōu)先級的降序存儲(S2)。然后，從所述集Ω內選擇具有最高優(yōu)先級值的元素<節(jié)>(S3、S4和S5)。如果多個元素<節(jié)>都具有最高的優(yōu)先級值，那么選擇所有的這些元素。被如此選擇的元素<節(jié)>被取作為另一個集Ω′的元素和從所述集Ω中被刪除。通過預先檢查所述元素<節(jié)>的子<段>獲得和存儲被如此選擇的元素<節(jié)>表示的一個景物的開始時間、結束時間和持續(xù)時間(S6)。如果選擇多個元素<節(jié)>，由各元素表示的多個景物中的每一個景物的開始時間、結束時間和持續(xù)時間被預先獲得和存儲。獲得所述集Ω′的所述元素<節(jié)>的持續(xù)時間周期的和(S7和S8)。所述和與一個閾值相比較(S9)。如果所述持續(xù)時間周期的和等于所述閾值，則輸出與所述開始時間和結束時間相關且截止到目前為止已經(jīng)存儲的所有數(shù)據(jù)集，然后處理結束(S10)。相反，如果所述持續(xù)時間周期的和低于所述閾值，處理再次返回從所述集Ω選擇一個元素<節(jié)>的步驟(S4和S5)。如果所述集Ω是空的，則輸出所存儲的與所述開始時間和結束時間相關的所有數(shù)據(jù)集，然后處理結束(S4)。如果所述持續(xù)時間周期的和超過了所述閾值，則執(zhí)行下述的處理。具體地說，從所述集Ω′中選擇具有最小優(yōu)先級的元素<節(jié)>(S11)。此時，如果多個元素<節(jié)>具有所述最小優(yōu)先級，則選擇所有這些元素。在被如此選擇的元素<節(jié)>的子<段>中，刪除具有最小優(yōu)先級的子<段>(S12)。改變與被如此刪除的子<段>對應的元素<節(jié)>開始時間、結束時間和持續(xù)時間(S13)。作為刪除所述元素<段>的結果，景物被中斷。在這種情況下，對于每個已經(jīng)被中斷的景物來講，存儲所述開始時間、結束時間和持續(xù)時間。另外，作為刪除所述子<段>的結果，如果一個元素<節(jié)>的所有子<段>都被刪除，那么，從所述集Ω′中刪除所述元素<節(jié)>。如果選擇了多個元素<節(jié)>，那么所有的元素都被進行上述處理。作為刪除所述子<段>的結果，從中被刪除所述子<段>的元素<節(jié)>的持續(xù)時間變得較短，從而減小了所述持續(xù)時間周期的和。重復執(zhí)行這種刪除處理，直到所述集Ω′的元素的持續(xù)時間周期的和變得低于所述閾值為止。當所述集Ω′的元素的持續(xù)時間周期的和變得低于所述閾值時(S14)，輸出已經(jīng)被存儲的與開始時間和結束時間相關的所有數(shù)據(jù)集，然后處理結束(S15)。
雖然在第四實施例中所述選擇是針對其中的每一個都具有子<段>的元素<節(jié)>或子<段>執(zhí)行的，但是，所述選擇也可以針對一個元素<節(jié)>和它的子<節(jié)>或一個元素<節(jié)>和它的子<段>執(zhí)行。即使是在這種情況下，也可以實現(xiàn)與第四實施例相同的有益結果。
考慮到當所述持續(xù)時間周期和超過所述閾值時執(zhí)行的所述元素<段>的刪除，在當前的實施例中，從最低優(yōu)先級開始按照升序刪除所述元素<節(jié)>。但是，可以設置一個閾值用于元素<節(jié)>的優(yōu)先級，可以從低于所述閾值的所有元素<節(jié)>中刪除具有最小優(yōu)先級的子<段>。另外，也可以設置另一個閾值用于元素<段>的優(yōu)先級，和可以刪除其優(yōu)先級低于所述閾值的元素<段>。
第五實施例下面參考附圖描述本發(fā)明的第五實施例。在該實施例中，MPEG-1格式的運動圖像被取作為媒體內容。在這種情況下，一個媒體內容對應于一個單一的景物分割。一個得分對應于感興趣景物下文重要性的客觀程度。
圖36的框圖示出了根據(jù)本發(fā)明第五實施例的媒體處理方法。在圖36中，標號1801表示一個選擇步驟；1802表示一個提取步驟；1803表示一個形成步驟；1804表示一個傳送步驟；1805表示一個數(shù)據(jù)庫。在選擇步驟1801中，從上下文描述數(shù)據(jù)中選擇一個媒體內容的景物，并輸出與被如此選擇的景物的開始時間和結束時間相關數(shù)據(jù)以及表示用于存儲所述數(shù)據(jù)的文件的數(shù)據(jù)。在提取步驟1802中，接收表示所述景物開始時間和結束時間的數(shù)據(jù)集以及表示在選擇步驟1801中輸出的文件的數(shù)據(jù)集。另外，在提取步驟1802中，通過參考結構描述數(shù)據(jù)，從所述媒體內容的中提取與由在選擇步驟1801輸出的開始時間和結束時間規(guī)定的段相關的數(shù)據(jù)。在形成步驟1803中，在提取步驟1802中輸出的數(shù)據(jù)被多路復用，并由此構成MPEG-1格式的系統(tǒng)數(shù)據(jù)流。在傳送步驟1804中，在形成步驟1803中準備的MPEG-1格式的系統(tǒng)數(shù)據(jù)流被經(jīng)過一個線傳送。標號1805表示用于存儲媒體內容、它的結構描述數(shù)據(jù)和上下文描述數(shù)據(jù)的一個數(shù)據(jù)庫。
圖37示出了根據(jù)第五實施例的結構描述數(shù)據(jù)的結構。在該實施例中，以三種結構描述所述數(shù)據(jù)的物理內容。由于在所述數(shù)據(jù)庫1805中媒體內容的存儲特性，不必須以單個文件的形式存儲一個單片的媒體內容。在某些情況下，一個單片的媒體內容可以存儲在多個單獨的文件中。結構描述數(shù)據(jù)的三個結構的根可以被描述為<內容>和表示一個單片的內容。一個相應片內容的題目被作為屬性附加到所述根<內容>上。所述<內容>的子<內容>對應于表示存儲所述媒體內容的一個文件。所述子<媒體目標>被作為屬性附加到表示到存儲所述媒體內容的所述文件的鏈接的鏈接<定位器>和表示到上下文描述數(shù)據(jù)的鏈接的識別符ID上。在所述媒體內容由多個文件組成的情況下，“seq”被作為屬性附加到所述元素<媒體目標>上，用于表示在所述媒體內容內感興趣文件的順序。
圖38示出了根據(jù)第五實施例上下文描述數(shù)據(jù)的結構。本實施例的上下文描述數(shù)據(jù)對應于被附加有到所述結構描述數(shù)據(jù)的元素<媒體目標>的鏈接的第一實施例的上下文描述數(shù)據(jù)。具體地說，所述上下文描述數(shù)據(jù)的根<內容>具有一個子<媒體目標>，元素<媒體目標>具有一個子<節(jié)>。元素<節(jié)>和<段>與在第一實施例中使用的元素<節(jié)>和<段>相同。所述結構描述數(shù)據(jù)的元素<媒體目標>與所述上下文描述數(shù)據(jù)的元素<媒體目標>相關。借助于所述上下文描述數(shù)據(jù)的所述元素<媒體目標>的子<媒體目標>描述的所述媒體內容的景物被存儲在由具有相同值屬性ID的結構描述數(shù)據(jù)的元素<媒體目標>指定的一個文件中。另外，指定給一個元素<段>的時間信息“開始”和“結束”建立從每個文件的頭開始已經(jīng)逝去的時間。具體地說，在一個單片媒體內容包括多個文件的情況下，在每個文件頭處的時間對應于0，每個景物開始的時間由從所述文件頭開始到一個感興趣景物結束所經(jīng)過的時間表示。
在計算機中可以使用例如可擴展的置標語言(XML)表示所述結構描述數(shù)據(jù)和上下文描述數(shù)據(jù)。圖39示出了用于使用XML描述圖37所示結構描述數(shù)據(jù)的文件類型定義(DTD)的一個例子，以及使用所述DTD描述的結構描述數(shù)據(jù)的一個例子。圖40到45示出了用于使用XML描述圖38所示上下文描述數(shù)據(jù)的DTD的一個例子，以及使用所述DTD描述的所述上下文描述數(shù)據(jù)的一個例子。
下面描述與所述選擇步驟1801相關的處理。在選擇步驟1801中，結合第一到第四實施例所描述的任何一種方法都可以被作為選擇一個景物的方法。到所述結構描述數(shù)據(jù)的<目標>的鏈接最后與所選擇景物的開始時間和結束時間的輸出同步輸出。圖46示出了在使用圖39所示DTD以XML形式描述的結構描述數(shù)據(jù)和使用圖40和45所示DTD以XML形式描述上下文描述數(shù)據(jù)的情況下從所述選擇步驟1801輸出的數(shù)據(jù)的一個例子。在圖46中，“id”后面跟隨有一個結構描述數(shù)據(jù)的元素<媒體目標>的ID；“開始”后面跟隨有所述開始時間；“結束”后面跟隨有所述結束時間。
下面描述與提取步驟1802相關的處理。圖47的框圖示出了根據(jù)第五實施例的提取步驟1802。在圖47中，根據(jù)第五實施例的提取步驟1802是由接口裝置2401、去多路復用裝置2402、視頻剪輯裝置2403和音頻剪輯裝置2404執(zhí)行的。接口裝置2401接收在選擇步驟1801輸出的結構描述數(shù)據(jù)和一個段，從數(shù)據(jù)庫1805中提取一個媒體內容文件，向去多路復用裝置2402輸出被如此提取的文件，并向視頻剪輯裝置2403和音頻剪輯裝置2404輸出在選擇步驟1801中輸出的所述開始時間和結束時間。本實施例的媒體內容對應于其中被多路復用了視頻數(shù)據(jù)流和音頻數(shù)據(jù)流的MPEG-1格式的系統(tǒng)數(shù)據(jù)流。因此，去多路復用裝置2402將所述MPEG-1格式的系統(tǒng)數(shù)據(jù)流分割成所述視頻數(shù)據(jù)流和所述音頻數(shù)據(jù)流。被如此分割的視頻數(shù)據(jù)流和從接口裝置2401輸出的所述段被輸入給視頻剪輯裝置2403。在所輸入的視頻數(shù)據(jù)流中，所述視頻剪輯裝置2403只輸出與被選擇段相關的數(shù)據(jù)。類似的，在選擇步驟2402中輸出的音頻數(shù)據(jù)流和所述段被輸入給所述音頻剪輯裝置2404。在所輸入的音頻數(shù)據(jù)流中，音頻剪輯裝置2402只輸出與被選擇段相關的數(shù)據(jù)。
下面描述與接口裝置2401相關的處理。圖48的流程示出了由接口裝置2401執(zhí)行的處理。如圖46所示與相應內容相關的結構描述數(shù)據(jù)和在選擇步驟1801輸出的段被輸入給接口裝置2401。從指定給所述結構描述數(shù)據(jù)的元素<媒體目標>的屬性“id”獲得降序的文件，因此，在選擇步驟1801輸出的段被按照降序和“id”的順序存儲(S1)。此外，所述段被轉換為諸如圖49所示的數(shù)據(jù)。相同的段被集合在一起并按照開始時間的順序排列。然后，接口裝置2401對圖49所示的數(shù)據(jù)集按照從上到下的順序執(zhí)行下面的處理。首先，接口裝置2401使用“id”參考一個結構描述數(shù)據(jù)的元素<媒體目標>，并在該元素<媒體目標>的屬性“定位器”的基礎上讀出一個文件名。從所述數(shù)據(jù)庫中讀出與對應于所述文件名的文件相關的數(shù)據(jù)，被如此讀出的數(shù)據(jù)被輸出給去多路復用器2402(S2和S3)。在“id”后面描述的被選擇文件段的開始時間和結束時間被輸出給視頻剪輯裝置2403和音頻剪輯裝置2404(S4)。在所有的數(shù)據(jù)集都被進行了上述處理之后，處理結束(S5)。如果仍然剩下某些數(shù)據(jù)集沒有處理，那么，在結束由去多路復用裝置2402執(zhí)行的處理、由視頻剪輯裝置2403執(zhí)行的處理和由音頻剪輯裝置2404執(zhí)行的處理之后重復前述的處理(S6和S7)。
下面描述與去多路復用裝置2402相關的處理。圖50的流程示出了由去多路復用裝置2402執(zhí)行的處理。去多路復用裝置2402從接口裝置2401中接收與媒體內容對應的MPEG-1格式的系統(tǒng)數(shù)據(jù)流，并將被如此接收的MPEG-1格式的系統(tǒng)數(shù)據(jù)流分割成一個視頻數(shù)據(jù)流和一個音頻數(shù)據(jù)流。所述視頻數(shù)據(jù)流被輸出給視頻剪輯裝置2403，和所述音頻數(shù)據(jù)流被輸出給音頻剪輯裝置2404(S1到S10)。在完成所述視頻數(shù)據(jù)流和所述音頻數(shù)據(jù)流的輸出(S9和S11)之后，向接口裝置2401報告由去多路復用裝置2402執(zhí)行的處理結束(S12)。如圖50中的流程指出的，除了傳送處理結束確認以外，由去多路復用裝置2402執(zhí)行的處理與由第一實施例的去多路復用裝置執(zhí)行的處理相同。
下面描述由視頻剪輯裝置2403執(zhí)行的處理。圖53的流程示出了由視頻剪輯裝置2403執(zhí)行的處理。如圖53的流程所指出的，除了在處理結束時向接口裝置2401傳送處理結束確認(S15和S17)以外，由視頻剪輯裝置2403執(zhí)行的處理與根據(jù)第一實施例由所述視頻剪輯裝置執(zhí)行的處理相同。
下面描述由音頻剪輯裝置2404執(zhí)行的處理。圖52的流程示出了由音頻剪輯裝置2404執(zhí)行的處理。如圖52的流程所指出的，除了在處理結束時向接口裝置2401傳送處理結束確認(S11和S12)以外，由音頻剪輯裝置2404執(zhí)行的處理與結合第一實施例由所述音頻剪輯裝置執(zhí)行的處理相同。
在形成步驟1803中，在提取步驟1802中輸出的視頻數(shù)據(jù)和音頻數(shù)據(jù)被借助于用于在國際標準ISO/IEC IS 11172-1下MPEG-1標準化的方法進行時分復用。在所述媒體內容被存儲在多個獨立文件中的情況下，按照輸出視頻數(shù)據(jù)流和音頻數(shù)據(jù)流的順序在提取步驟1802中多路復用所述文件中的每一個。
在傳送步驟1804中，在形成步驟1803中被多路復用的MPEG-1格式的系統(tǒng)數(shù)據(jù)流經(jīng)過所述線被傳送。當在形成步驟1803中輸出多個MPEG-1格式的系統(tǒng)數(shù)據(jù)流時，所有的系統(tǒng)數(shù)據(jù)流按照它們的輸出順序被傳送。
在本實施例中，在所述媒體內容被存儲到多個其中的每一個文件都在提取步驟1802中被處理的獨立文件中的情況下，在其中所述媒體內容的多個文件的相關視頻和音頻數(shù)據(jù)流被相互聯(lián)系到一起并且輸出被如此聯(lián)系的數(shù)據(jù)流的形成步驟1803中，即使是當所述視頻和音頻數(shù)據(jù)流被多路復用到一個單一的MPEG-1格式的系統(tǒng)數(shù)據(jù)流中時，也可以實現(xiàn)在形成步驟1803中獲得的相同有益結果。在這種情況下，必須利用視頻剪輯裝置2403改變所述時間碼，以便使用于對輸出幀的數(shù)量進行計數(shù)的計數(shù)器C僅僅增加與視頻數(shù)據(jù)流的數(shù)量相應的量。計數(shù)器C只有在一個文件開始時被初始化(圖51所示的S3和S18)。在圖53的流程中提供了此時由視頻剪輯裝置2403執(zhí)行的處理。雖然在第五實施例中所述上下文描述數(shù)據(jù)和物理上下文數(shù)據(jù)彼此是分開描述的，但是，借助于將結構描述數(shù)據(jù)的屬性“seq(順序)”和“l(fā)ocator(定位器)”附加到所述上下文描述數(shù)據(jù)的元素<媒體目標>的屬性上，這些數(shù)據(jù)也可以被描述為一個單一的數(shù)據(jù)。
第六實施例下面參照附圖描述本發(fā)明的第六實施例。在本實施例中，MPEG-1格式的運動圖像被取作為媒本內容。在這種情況下，一個媒體段對應于一個單一的景物分割。另外，一個得分對應于一個感興趣景物的上下文重要性的客觀程度。
圖54的框圖示出了根據(jù)本發(fā)明第六實施例的媒體處理方法。在圖54中，標號3101表示選擇步驟；3102表示提取步驟；3103表示形成步驟；3104表示傳送步驟和3105表示一個數(shù)據(jù)庫。在選擇步驟3101中，從上下文描述數(shù)據(jù)中選擇一個媒體內容景物，并輸出與被如此選擇景物的開始時間和結束時間相關的數(shù)據(jù)，以及表示存儲所述數(shù)據(jù)的一個文件的數(shù)據(jù)。這樣，與選擇步驟3101相關的處理與在第五實施例的選擇步驟中執(zhí)行的處理相同。在提取步驟3102中，接收在選擇步驟3101中輸出的表示所述景物開始時間和結束時間的數(shù)據(jù)集以及表示所述文件的數(shù)據(jù)。此外，通過參考結構描述數(shù)據(jù)，從所述媒體內容文件中提取與由在選擇步驟3101輸出的開始時間和結束時間規(guī)定的所述段相關的數(shù)據(jù)。與提取步驟3102相關的處理與在第五實施例中所述提取步驟執(zhí)行的處理相同。在形成步驟3103中，根據(jù)在傳送步驟3104中確定的擁擠程度，多路復用在提取步驟3102中輸出的部分或全部數(shù)據(jù)流，借此，構成MPEG-1格式的系統(tǒng)數(shù)據(jù)流。在傳送步驟3104中，確定用于傳送MPEG-1格式系統(tǒng)數(shù)據(jù)流的所述線的擁擠程度，在形成步驟3103中傳送所述確定結果。此外，在傳送步驟3104中，經(jīng)過所述線傳送在形成步驟3103中準備的MPEG-1格式的系統(tǒng)數(shù)據(jù)流。標號3105表示用于存儲所述媒體內容、它的結構描述數(shù)據(jù)以及上下文描述數(shù)據(jù)的一個數(shù)據(jù)庫。
圖55的框圖示出了根據(jù)第六實施例在形成步驟3103和傳送步驟3104期間執(zhí)行的處理。在圖55中，形成步驟3103是由數(shù)據(jù)流選擇裝置3201和多路復用裝置3202執(zhí)行的。傳送步驟3104是由擁擠程度確定裝置3203和傳送裝置3204執(zhí)行的。數(shù)據(jù)流選擇裝置3201接收在提取步驟3102中輸出的視頻和音頻數(shù)據(jù)流和在擁擠程度確定裝置3203中輸出的擁擠程度。如果所述線的擁擠程度低得足以允許傳送所有的數(shù)據(jù)集，那么，所有的系統(tǒng)數(shù)據(jù)流都將被輸出給多路復用裝置3202。如果由于所述線非常繁忙或具有很高的擁擠程度而使得傳送所有的數(shù)據(jù)集需要很長的時間，那么，只選擇所述多個視頻和音頻數(shù)據(jù)流的一部分輸出給所述多路復用裝置3202。在這種情況下，可以一多種方式執(zhí)行所述選擇，即只選擇視頻數(shù)據(jù)流的基層；只選擇音頻數(shù)據(jù)流的單聲道；只選擇音頻數(shù)據(jù)流的左立體聲信號；只選擇音頻數(shù)據(jù)流的右立體聲信號；或它們的相互組合。這里，如果僅僅存在單一的視頻數(shù)據(jù)流和單一的音頻數(shù)據(jù)流，那么可以不考慮所述擁擠程度而輸出所述數(shù)據(jù)流。多路復用裝置3202借助于被國際標準ISO/ISE IS 11172-1標準化的MPEG-1格式的多路復用方法使從數(shù)據(jù)流選擇裝置3201輸出的視頻和音頻數(shù)據(jù)流被時分多路復用。擁擠程度確定裝置3203檢查用于傳送所述數(shù)據(jù)流的所述線的當前狀態(tài)和擁擠程度，并輸出檢查結果給數(shù)據(jù)流選擇裝置3201。傳送裝置3204經(jīng)過所述線傳送被多路復用裝置3202多路復用的MPEG-1格式的系統(tǒng)數(shù)據(jù)流。
在本實施例中，在存在單一視頻數(shù)據(jù)流的情況下，數(shù)據(jù)流選擇裝置3201不考慮所述擁擠程度而輸出所述視頻數(shù)據(jù)流。但是，如果與所述視頻數(shù)據(jù)流相關的所有數(shù)據(jù)集在經(jīng)過所述線傳送時需要大量的時間，那么可以只選擇所述視頻數(shù)據(jù)流的表示圖像加以傳送。在選擇所述表示圖像時，在所述上下文描述數(shù)據(jù)中描述所述表示圖像的時間碼。另外，只有被稱之為I圖像并能夠被單獨譯碼的一個單一幀能夠被從多個幀中選擇。
第七實施例下面參考附圖描述本發(fā)明的第七實施例。在第七實施例中，MPEG-1格式的運動圖像被作為媒體內容。在這種情況下，一個媒體段對應于一個景物分割。另外，在本實施例中，一個得分對應于從與由所述用戶選擇的字符或事件相關的關鍵字的角度出發(fā)感興趣的一個景物的上下文重要性的客觀程度。
圖56的框圖示出了根據(jù)本發(fā)明第七實施例的處理方法。在圖56中，標號3301表示選擇步驟，3302表示提取步驟。在選擇步驟3301中，借助于一個關鍵字和附加到所述上下文描述數(shù)據(jù)上的它的一個得分從上下文描述數(shù)據(jù)中選擇一個媒體內容的景物。輸出與被如此選擇景物的開始時間和結束時間相關的數(shù)據(jù)。在提取步驟3302中，提取與由在選擇步驟3301中輸出的開始時間和結束時間規(guī)定的段相關的數(shù)據(jù)。
圖57示出了根據(jù)第七實施例的上下文描述數(shù)據(jù)的結構。在本實施例中，所述上下文是根據(jù)一個樹結構描述的。在所述樹結構中的元素從左到右是按時間順序排列的。在圖57中，被指定為<內容>的所述樹的根表示一個單一的內容部分，題目被作為屬性指定給所述根。
利用<節(jié)>指定<內容>的子<內容>。表示一個景物的內容或字符的關鍵字和表示所述關鍵字重要程度的優(yōu)先級以關鍵字和優(yōu)先級對的形式作為屬性附加到元素<節(jié)>上。假設所述優(yōu)先級是范圍從1到5的一個整數(shù)。其中，1指出重要性的最低級和5指出重要性的最高級。建立所述對(關鍵字和優(yōu)先級)以便使它能夠被用做檢索用戶所希望的一個特定景物或字符的索引。為此，可以有多個對(關鍵字和優(yōu)先級)被附加到一個單一的元素<節(jié)>上。例如，在描述字符的情況下，數(shù)量等于在感興趣景物中出現(xiàn)的字符數(shù)量的多個對被附加到一個單一的元素<節(jié)>上。設置附加到所述景物上的優(yōu)先級的值，以便使其值當大量的字符出現(xiàn)在感興趣景物中時變大。
利用<節(jié)>或<段>指定<節(jié)>的子<節(jié)>。這里，元素<節(jié)>本身可以被用做另一個子<節(jié)>的子<節(jié)>。但是，一個單一的元素<節(jié)>不能具有子<節(jié)>和子<段>的混合物。
一個元素<段>表示一個單一的景物分割。與附加到所述元素<節(jié)>上的對類似的對(一個關鍵字和優(yōu)先級)和與一個感興趣景物相關的時間信息、即表示所述開始時間的“開始”和表示所述結束時間的“結束”被作為屬性附加到<節(jié)>上?？梢允褂蒙虡I(yè)可得到的軟件或經(jīng)過網(wǎng)絡可得到的軟件分割所述景物。另外，可以使用手工分割所述景物。表示一個景物開始時間的屬性“從”能夠規(guī)定一個感興趣景物的開始幀。雖然在本實施例中時間信息是按照一個景物分割的開始時間和結束時間表示的，但是，當按照一個感興趣景物的開始時間和所述感興趣景物的持續(xù)時間表示所述時間信息時也可以實現(xiàn)類似的結果。在這種情況下，所述感興趣景物的結束時間是通過將所述持續(xù)時間加到所述開始時間上獲得的。
在諸如是一個電影的故事、字符的情況下，可以使用元素<節(jié)>在所述上下文描述數(shù)據(jù)的基礎上描述章、節(jié)和段。在另一個例子中，當描述棒球游戲時，最高分級的元素<節(jié)>可以被用于描述局，它們的子<節(jié)>可以被用于描述半局。此外，元素<節(jié)>的第二代子<節(jié)>可以被用于描述各棒球手的揮棒。元素<節(jié)>的第三代子<節(jié)>也可以被用于描述每個間距以及兩個間距之間的時間周期和揮棒結果。
具有這樣結構的上下文描述數(shù)據(jù)可在計算機中利用例如可擴展標記語言(XML)來表示。XML是其標準化被萬維網(wǎng)聯(lián)盟追求的數(shù)據(jù)描述語言。1998年2月10提交了1.0版的建議。有關XML 1.0版的說明可從http/www.w3.org/TR/1998/REC-xm1-19980210獲得。圖58至66表示用來利用XML說明本實施例的上下文描述數(shù)據(jù)的文檔類型定義(DTD)的一個例子，和利用DTD說明的上下文描述數(shù)據(jù)的一個例子。圖67至80表示通過給圖58至66所示的上下文描述數(shù)據(jù)加上媒體段的代表性數(shù)據(jù)(支配數(shù)據(jù))、例如代表性圖像(即視頻數(shù)據(jù))和關鍵字(音頻數(shù)據(jù))得到的上下文描述數(shù)據(jù)的一個例子，和用來利用XML說明該上下文描述數(shù)據(jù)的DTD?，F(xiàn)在描述與選擇步驟S3301相關的處理。在本實施例中，針對元素<段>和具有子<段>的元素<節(jié)>執(zhí)行與選擇步驟S3301相關的處理。圖81是表示與第七實施例的選擇步驟3301相關的處理的流程圖。在該選擇步驟3301中，輸入起選擇景物的索引作用的關鍵字及其優(yōu)先級的閾值，由此從具有上下文描述數(shù)據(jù)的元素<段>的那些元素<節(jié)>中選擇其關鍵字與輸入的索引相同和其優(yōu)先級超過閾值的元素<節(jié)>作為子<節(jié)>(S2和S3)。。然后，從如此選出的元素<節(jié)>的子<段>中只選擇其關鍵字與該索引相同和其優(yōu)先級超過該閾值的子<段>(S5和S6)。根據(jù)利用上述處理選定的子<段>的屬性“開始”和“結束”確定被選定景物的開始時間和結束時間，并輸出該開始時間和結束時間(S7，S8，S9，S10，S11，S1，和S4)。
雖然在本實施例中針對元素<段>和具有子<段>的元素<節(jié)>進行選擇，但也可以針對另外的母-子關系進行選擇；例如在某一分級層內的元素<節(jié)>及其子<節(jié)>。此外，這種母-子關系不只限于兩層的分級層。分級層的各層的數(shù)目可以是2以上，可對樹結構的樹葉、即子<段>執(zhí)行相同的處理。還有，可把檢索索引設定成包括多個關鍵字和確定這些關鍵字之間的關系的條件的索引對。確定各關鍵字之間的關系的條件包括例如“兩者中任一個”、“兩者”或“兩者中任一個或兩者”這樣的組合?？纱_定用于選擇的閾值，在多個關鍵字的情況下，可對每一個關鍵字執(zhí)行處理。起檢索索引作用的關鍵字可由用戶輸入，或由系統(tǒng)根據(jù)用戶簡要表自動設定。
與提取步驟3302相關的處理與在第一實施例中描述的提取步驟中執(zhí)行的處理相同。
如圖82所示，本實施例的優(yōu)點是通過把提取步驟3302輸出的視頻流輸入給視頻播放裝置和把同一步驟輸出的音頻流輸入給音頻播放裝置并播放彼此同步的這些音頻和視頻流，就能夠只播放觀眾感興趣的媒體內容的景物。此外，通過多路復用這些視頻流和音頻流，還可準備與觀眾感興趣的媒體內容的景物集合相關的MPEG-1格式的系統(tǒng)流。
第八實施例現(xiàn)在描述本發(fā)明的第八實施例。第八實施例與第七實施例的不同之處僅在于與選擇步驟相關的處理方面。
現(xiàn)在描述與選擇步驟S3301相關的處理。在本實施例中，只針對元素<段>執(zhí)行與選擇步驟S3301相關的處理。圖83是表示與第七實施例的選擇步驟S3301相關的處理的流程圖。如圖83所示，在選擇步驟3301中，輸入起用來選擇景物的索引作用的關鍵字及其優(yōu)先級的閾值。從上下文描述數(shù)據(jù)的元素<段>中選擇其關鍵字與該索引相同和其優(yōu)先級超過閾值的子<段>(S1和S6)。
雖然在第八實施例中只針對元素<段>進行選擇，但也可只針對具有某種分級的元素<節(jié)>進行選擇。此外，還可把檢索索引設定成包括多個關鍵字和確定這些關鍵字之間的關系的條件的索引對。確定各關鍵字之間的關系的條件包括例如“兩者中任一個”、“兩者”或“兩者中任一個或兩者”這樣的組合。可確定用于選擇的閾值，在多個關鍵字的情況下，可對每一個關鍵字執(zhí)行處理。
第九實施例現(xiàn)在描述本發(fā)明的第九實施例。第九實施例與第七實施例的不同之處僅在于與選擇步驟相關的處理方面。
現(xiàn)在參看附圖描述與選擇步驟S3301相關的處理。如同在對第七實施例描述的處理的情形中那樣，在第九實施例的選擇步驟3301中，只針對元素<段>和具有子<段>的元素<節(jié)>進行選擇。在本實施例中，相對于所有待選擇景物的持續(xù)時間之和設定閾值；具體來說，這樣進行選擇，即，使到目前為止已選定的景物的持續(xù)時間之和最大但仍小于該閾值。圖84是表示與第九實施例的選擇步驟相關的處理的流程圖。在選擇步驟3301中，接收起檢索索引作用的一個關鍵字。然后從具有子<段>的元素<節(jié)>中提取具有與該檢索索引相同的關鍵字的所有元素<節(jié)>。把如此選定的元素<節(jié)>的集合作為集合Ω(S1和S2)。集合Ω的元素<節(jié)>按優(yōu)先級的降序進行存儲(S3)。然后從如此選定的集合Ω的元素中選擇其關鍵字或檢索索引具有最大優(yōu)先值的元素<節(jié)>(S5)。從集合Ω中刪除如此選定的元素<節(jié)>(S6)。在這種情況下，如果多個元素<節(jié)>都具有最大優(yōu)先值，就提取所有這些元素<節(jié)>。在如此選定的元素<節(jié)>的子<段>中，只選擇具有檢索索引的子<段>，把如此選定的子<段>添加到另一個集合Ω′中去。集合Ω′的初始值是“空”的(S2)。獲得與集合Ω′相關的景物的持續(xù)時間之和(S8)，把該和與閾值作比較(S9)。如果該持續(xù)時間之和等于該閾值，就輸出與集合Ω′所包含的元素<段>的所有段相關的數(shù)據(jù)，結束處理(S14)。相反地，如果持續(xù)時間之和小于閾值，處理就返回從集合Ω中選擇其檢索索引或關鍵字具有最高優(yōu)先級的元素<節(jié)>。重復上述選擇處理。如果集合Ω是空的，就輸出與集合Ω′的元素<段>的所有段相關的數(shù)據(jù)，結束處理(S4)。如果與集合Ω′相關的景物的持續(xù)時間之和大于閾值，就執(zhí)行以下處理。從集合Ω′中刪除其檢索索引或關鍵字具有最小優(yōu)先級的元素<段>(S11)。此時，如果多個元素<段>都具有最小優(yōu)先級，就刪除所有這些元素<段>。獲得集合Ω′的元素<段>的持續(xù)時間之和(S12)，把該和與閾值作比較(S13)。如果該持續(xù)時間之和大于該閾值，處理就返回從集合Ω′中刪除元素<段>。重復執(zhí)行這樣的刪除處理。在此，如果集合Ω′是空的，就結束處理(S10)。相反地，如果持續(xù)時間之和小于閾值，就輸出與集合Ω′的元素<段>的所有段相關的數(shù)據(jù)，結束處理(S14)。
雖然在本實施例中針對元素<段>和具有子<段>的元素<節(jié)>執(zhí)行選擇，但也可以對其它母-子關系、例如元素<節(jié)>和其在另一級內的子<段>執(zhí)行選擇。還有，母-子關系不只限于兩級的分級；分級的級數(shù)可以增大。例如，在對處于從最高分級的元素<節(jié)>到其子<段>范圍內的分級的元素進行處理的情況下，選擇最高級的元素<節(jié)>。還選擇如此選定的元素<節(jié)>的后續(xù)<節(jié)>，以及進一步選擇如此選定元素<節(jié)>的第二代子。重復這一輪選擇操作直到子<段>被選定為止。如此選擇的元素<段>組成集合Ω′。
在本實施例中，元素按照檢索索引或關鍵字優(yōu)先級的降序進行存儲，可關于優(yōu)先值設定閾值，可按照優(yōu)先級的降序選擇元素?？申P于元素<節(jié)>、以及可關于元素<段>分別設定閾值。
在本實施例中，檢索索引被規(guī)定為單個關鍵字。但是，可把檢索索引設定成包括多個關鍵字和確定這些關鍵字之間的關系的條件的索引對。確定各關鍵字之間的關系的條件包括例如“兩者中任一個”、“兩者”或“兩者中任一個或兩者”這樣的組合。在這種情況下，需要確定在選擇或刪除元素<節(jié)>和元素<段>時使用的各關鍵字的優(yōu)先級的規(guī)則。這種規(guī)則的一個例子如下如果條件是“兩者中任一個”，則相應各關鍵字的優(yōu)先值的最大優(yōu)先值被設定為“優(yōu)先”。此外，如果條件是“兩者”，則相應各關鍵字的優(yōu)先值的最小優(yōu)先值被設定為“優(yōu)先”。即使在條件是“兩者中任一個或兩者”時，也可按該規(guī)則確定優(yōu)先值。還有，在檢索索引或關鍵字為多個的情況下，可關于作為檢索索引的關鍵字的優(yōu)先級設定閾值，可對其優(yōu)先值超過該閾值的那些元素進行處理。
第十實施例現(xiàn)在描述本發(fā)明的第十實施例。第十實施例與第七實施例的不同之處僅在于與選擇步驟相關的處理方面。
現(xiàn)在參看附圖描述與選擇步驟S3301相關的處理。如同在對第八實施例描述的處理的情形中那樣，在第十實施例的選擇步驟3301中，只針對元素<段>進行選擇。此外，如第九實施例那樣，在本實施例中，相對于所有待選擇景物的持續(xù)時間之和設定閾值；具體來說，這樣選擇元素，即，使到目前為止已選定的景物的持續(xù)時間之和最大但仍小于閾值。圖85是表示與第十實施例的選擇步驟相關的處理的流程圖。
在選擇步驟3301中，接收起檢索索引作用的一個關鍵字。把集合Ω′初始化為“空”(S2)。然后從元素<段>中提取具有與該檢索索引相同的關鍵字的所有元素<段>。把如此選定的元素<段>的集合作為集合Ω。然后按照優(yōu)先級的降序存儲其關鍵字與檢索索引相同的元素<段>(S3)。然后從如此排序的集合Ω的元素中提取其關鍵字或檢索索引具有最大優(yōu)先值的元素<段>(S5)，并從該集合Ω中刪除如此提取的元素<段>。在這種情況下，如果多個元素<段>都具有最大優(yōu)先值，就選擇所有這些元素<段>。如果集合Ω是空的，就輸出與集合Ω′的元素<段>的所有元素有關的數(shù)據(jù)，結束處理(S4)。計算如此提取的元素<段>的持續(xù)時間之和T1(S6)，和計算集合Ω′的各景物的持續(xù)時間之和T2(S7)。把T1和T2之和與閾值作比較(S8)。如果T1和T2之和超過閾值，就輸出與集合Ω′所包含的元素<段>的所有段相關的數(shù)據(jù)，結束處理(S11)。如果T1和T2之和等于閾值，就給集合Ω′的元素添加所有提取的元素<段>(S9和S10)，輸出與集合Ω′所包含的元素<段>的所有段相關的數(shù)據(jù)，并結束處理(S11)。相反地，如果T1和T2之和小于閾值，就給集合Ω′的元素添加所有提取的元素<段>，處理然后返回從集合Ω中選擇元素<段>。
雖然在本實施例中針對元素<段>進行選擇，但也可針對另一分級中的元素<節(jié)>執(zhí)行選擇。在本實施例中，元素按照作為檢索索引的關鍵字的優(yōu)先級的降序進行排序?？申P于優(yōu)先值設定閾值，只要元素的優(yōu)先值大于閾值，就可按照優(yōu)先級的降序選擇這些元素。
此外，在本實施例中，檢索索引被規(guī)定為單個關鍵字。但是，可把檢索索引設定成包括多個關鍵字和確定這些關鍵字之間的關系的條件的索引對。確定各關鍵字之間的關系的條件包括例如“兩者中任一個”、“兩者”或“兩者中任一個或兩者”這樣的組合。在這種情況下，需要確定在選擇或刪除元素<節(jié)>和元素<段>時使用的各關鍵字的優(yōu)先級的規(guī)則。這種規(guī)則的一個例子如下如果條件是“兩者中任一個”，則相應各關鍵字的優(yōu)先值的最大優(yōu)先值被設定為“優(yōu)先”。此外，如果條件是“兩者”，則相應各關鍵字的優(yōu)先值的最小優(yōu)先值被設定為“優(yōu)先”。即使在條件是“兩者中任一個或兩者”時，也可按該規(guī)則確定優(yōu)先值。還有，在檢索索引或關鍵字為多個的情況下，可關于作為檢索索引的關鍵字的優(yōu)先級設定閾值，可對其優(yōu)先值超過該閾值的那些元素進行處理。
第十一實施例現(xiàn)在描述本發(fā)明第十一實施例。本實施例的上下文描述數(shù)據(jù)與第七至第十實施例的上下文描述數(shù)據(jù)的不同之處在于視點一起被用來選擇景物的關鍵字作用-和該視點重要程度的說明方面。如圖57所示，在第七至第十實施例中，視點和該視點的重要程度通過給元素<段>或<段>分配關鍵字和重要程度的組合(即關鍵字和優(yōu)先級)來進行說明。與此相反，如圖133所示，在第十一實施例中，視點及該視點的重要程度通過給根<內容>分配屬性“povlist”和給元素<節(jié)>或<段>分配屬性“povvalue”來說明。
如圖134所示，屬性“povlist”相應于用矢量形式表示的視點。如圖135所示，屬性“povvalue”相應于用矢量形式表示的重要程度。每一個集合包括視點和該視點一對一關系的重要程度的組合集合按給定序列排列，由此形成屬性“povlist”和“povvalue”。例如，如圖134和135所示，視點1的重要程度取值5，視點2的重要程度取值0；視點3的重要程度取值2；視點“n”(“n”為正整數(shù))的重要程度取值0。在第七實施例的情形中，視點2的重要程度取值2，表明視點2沒有被分配關鍵字；即組合(關鍵字，先級)。
圖136至163和圖164至196表示被用來利用在計算機中用來說明上下文描述數(shù)據(jù)的“可擴展標記語言”(XML)說明本實施例的上下文描述數(shù)據(jù)的“文件類型定義”(DTD)的一些例子，以及在DTD中被說明的上下文描述數(shù)據(jù)的一個例子。即使在本實施例中也利用上下文描述數(shù)據(jù)實現(xiàn)與在第七至第十實施例中描述的處理操作相同的那些處理操作。
在本實施例中，屬性“povlist”被分配給根<內容>，而屬性“povvalue”被附加給元素<節(jié)>或<段>。如圖197所示，屬性“povlist”也可被附加給元素<節(jié)>或<段>。對于被分配了屬性“povlist”的元素<節(jié)>或<段>，屬性“povvalue”相應于被分配給元素<節(jié)>或<段>的屬性“povlist”。而對于沒有被分配屬性“povlist”的元素<節(jié)>或<段>，屬性“povvalue”相應于被分配給根<內容>的屬性“povlist”或在沒有被分配屬性“povlist”的元素<節(jié)>或<段>的祖先中的被分配了屬性“povlist”的最接近元素<節(jié)>的屬性“povlist”。
圖198至252表示相應于圖197所示的DTD的、被用來利用在計算機中用來說明上下文描述數(shù)據(jù)的XML說明本實施例的上下文描述數(shù)據(jù)的DTD的一個例子，以及在DTD中被說明的上下文描述數(shù)據(jù)的一個例子。在所舉的這些例子中，被分配給元素<節(jié)>或<段>的屬性“povvalue”相應于被分配給根<內容>的屬性“povlist”。
第十二實施例現(xiàn)在參看附圖描述本發(fā)明第十二實施例。在本實施例中，MPEG-1格式的系統(tǒng)流的運動圖像被作為媒體內容。在這種情況下，媒體分段相當于一個景物分割。
圖86是表示本發(fā)明第十二實施例的媒體處理方法的方框圖。在圖86中，標號4101表示選擇步驟；4102表示提取步驟；4103表示形成步驟；4104表示輸送步驟；4105表示數(shù)據(jù)庫。在選擇步驟4101中，根據(jù)上下文描述數(shù)據(jù)選擇媒體內容的一個景物，并輸出與如此選擇的景物的開始時間和結束時間有關的數(shù)據(jù)以及表示存儲了這些數(shù)據(jù)的文件的數(shù)據(jù)。在提取步驟4102中，接收表示該景物的開始時間和結束時間的數(shù)據(jù)集和表示在選擇步驟4101輸出的文件的數(shù)據(jù)集。參看結構描述數(shù)據(jù)，從媒體內容的文件中提取與由在選擇步驟4101中接收的開始時間和結束時間確定的段相關的數(shù)據(jù)。在形成步驟4103中，對提取步驟4102輸出的數(shù)據(jù)進行多路復用，由此形成MPEG-1格式的系統(tǒng)流。在輸送步驟4104中，通過線路輸送在形成步驟4103中形成的MPEG-1格式的系統(tǒng)流。標號4105表示存儲了媒體內容及其結構描述數(shù)據(jù)和上下文描述數(shù)據(jù)的數(shù)據(jù)庫。
第十二實施例采用的結構描述數(shù)據(jù)的結構與第五實施例的相同。具體來說，使用具有圖37所示結構的結構描述數(shù)據(jù)。
圖87表示第十二實施例的上下文描述數(shù)據(jù)的結構。本實施例的上下文描述數(shù)據(jù)相應于第七實施例的給結構描述數(shù)據(jù)的元素<媒體對象>附加了鏈接的上下文描述數(shù)據(jù)。具體來說，上下文描述數(shù)據(jù)的根<內容>具有子<媒體對象>，而元素<媒體對象>具有子<節(jié)>。元素<節(jié)>和<段>與第七實施例所用的相同。給上下文描述數(shù)據(jù)的元素<媒體對象>附加屬性“id”。利用該屬性“id”使結構描述數(shù)據(jù)的元素<媒體對象>與上下文描述數(shù)據(jù)的元素<媒體對象>相關聯(lián)。利用上下文描述數(shù)據(jù)的元素(媒體對象)的子孫描述的媒體內容的景物被存儲在由具有同一值的屬性id的結構描述數(shù)據(jù)的元素<媒體對象>指定的文件內。此外，分配給元素“段”的時間信息“開始”和“結束”確定從每一個文件的開頭起已過去了的時間。具體來說，在一段媒體內容包括多個文件的情況下，每個文件的開頭的時刻相應于0，而每一景物的開始時刻用從該文件的開頭起到感興趣的景物為止已過去的時間來表示。
結構描述數(shù)據(jù)和上下文描述數(shù)據(jù)可在計算機中利用例如“可擴展標記語言”(XML)來表示。與第五實施例相關的圖39表示結構描述數(shù)據(jù)的一個例子。此外，圖88至96表示用來利用XML描述圖87所示的上下文描述數(shù)據(jù)的“文件類型定義”(DTD)的一個例子和利用該DTD描述的上下文描述數(shù)據(jù)的一個例子。
現(xiàn)在描述與選擇步驟4101相關的處理。在選擇步驟4101中，采用在第七至第十實施例中描述的任一種方法作為選擇景物的方法。相應于結構描述數(shù)據(jù)的元素<媒體對象>的“id”實際上與被選擇景物的開始時間和結束時間的輸出同時被輸出。在利用圖39所示的DTD以XML文件的形式描述結構描述數(shù)據(jù)和利用圖88和96所示的DTD以XML文件的形式描述上下文描述數(shù)據(jù)的情況下，從選擇步驟4101輸出的數(shù)據(jù)的一個例子與第五實施例中的圖6所示的相同。
與提取步驟4102相關的處理與在第五實施例中描述的提取步驟相同。與形成步驟4103相關的處理也與在第五實施例中描述的形成步驟相同。此外，與輸送步驟4104相關的處理也與在第五實施例中描述的輸送步驟相同。
第十三實施例現(xiàn)在參看附圖描述本發(fā)明第十三實施例。在本實施例中，MPEG-1格式的系統(tǒng)流的運動圖像被作為媒體內容。在這種情況下，媒體分段相當于一個景物分割。
圖97是表示本發(fā)明第十三實施例的媒體處理方法的方框圖。在圖97中，標號4401表示選擇步驟；4402表示提取步驟；4403表示形成步驟；4404表示輸送步驟；4405表示數(shù)據(jù)庫。在選擇步驟4401中，根據(jù)上下文描述數(shù)據(jù)選擇媒體內容的一個景物，并輸出與如此選擇的景物的開始時間和結束時間有關的數(shù)據(jù)以及表示存儲了這些數(shù)據(jù)的文件的數(shù)據(jù)。與選擇步驟4401相關的處理和與在第十二實施例中描述的選擇步驟相關的處理相同。在提取步驟4402中，接收表示該景物的開始時間和結束時間的數(shù)據(jù)集和表示在選擇步驟4401輸出的文件的數(shù)據(jù)集。參看結構描述數(shù)據(jù)，從媒體內容的文件中提取與由在選擇步驟4401中接收的開始時間和結束時間確定的段相關的數(shù)據(jù)。與提取步驟4402相關的處理和與在第十二實施例中描述的提取步驟相關的處理相同。在形成步驟4403中，根據(jù)在輸送步驟4404確定的傳送量對提取步驟4402輸出的系統(tǒng)流的一部分或全部進行多路復用，由此形成MPEG-1格式的系統(tǒng)流。與形成步驟4403相關的處理和與在第六實施例中描述的提取步驟相關的處理相同。在輸送步驟4404中，確定線路的傳送量，并把確定的結果傳送給形成步驟4403。此外，通過線路輸送在形成步驟4403中形成的MPEG-1格式的系統(tǒng)流。與形成步驟4404相關的處理和與在第六實施例中描述的形成步驟相關的處理相同。標號4405表示存儲了媒體內容及其結構描述數(shù)據(jù)和上下文描述數(shù)據(jù)的數(shù)據(jù)庫。
雖然在第十三實施例中把MPEG-1的系統(tǒng)流作為媒體內容，但只要其它格式也能夠獲得每一屏幕的時間代碼，則使用這種格式也能夠獲得與MPEG-1系統(tǒng)流相同的有利結果。
以下的實施例將描述對應于權利要求書要求保護的發(fā)明的模式的概要。以下將用“聲音數(shù)據(jù)”表示與聲音有關的數(shù)據(jù)，聲音包括可聞音調、無聲、話音、音樂、安靜、外部噪聲等。用“視頻數(shù)據(jù)”表示可聞和可視的數(shù)據(jù)，例如運動圖像、靜止圖像或自動反射幻燈機的字符。用“得分”表示根據(jù)聲音數(shù)據(jù)的內容、例如可聞音調、無聲、話音、音樂、安靜或外部噪聲計算的分數(shù)；根據(jù)視頻數(shù)據(jù)中有無字符及其組合分配分數(shù)。此外，還可使用除上述以外的得分。
第十四實施例現(xiàn)在描述本發(fā)明的第十四實施例，該實施例與權利要求28描述的發(fā)明相關。圖98是表示與本實施例的數(shù)據(jù)處理方法相關的處理的方框圖。在該圖中，標號501表示選擇步驟；標號503表示提取步驟。在選擇步驟501中，根據(jù)上下文描述數(shù)據(jù)的得分選擇媒體內容的至少一段或一個景物，并輸出如此選擇的段或景物。選擇的段相應于例如一選擇段的開始時間和結束時間。在提取步驟503中，只提取與被在選擇步驟S501選擇的段劃分的媒體內容的段(以下稱為“媒體段”)相關的數(shù)據(jù)，即與選擇的段相關的數(shù)據(jù)。特別是，在權利要求30所述的發(fā)明中，得分對應于從與用戶選擇的字符或事件有關的關鍵字的視點來看感興趣的景物的上下文重要性的客觀程度。
第十五實施例現(xiàn)在描述本發(fā)明的第十五實施例，該實施例與權利要求29描述的發(fā)明相關。圖99是表示與本實施例的數(shù)據(jù)處理方法相關的處理的方框圖。在該圖中，標號501表示選擇步驟；標號505表示播放步驟。在播放步驟505中，只播放與被在選擇步驟S501輸出的選擇段劃分的段相關的數(shù)據(jù)。與選擇步驟501相關的處理與在第一至第十三實施例中描述的處理相同，為簡明起見，此處不再進行說明。
第十六實施例現(xiàn)在描述本發(fā)明的第十六實施例，該實施例與權利要求38描述的發(fā)明相關。圖100是表示與十六實施例的數(shù)據(jù)處理方法相關的處理的方框圖。在該圖中，標號507表示視頻選擇步驟；標號509表示音頻選擇步驟。視頻選擇步驟507和音頻選擇步驟509都被包括在第十四和十五實施例所描述的選擇步驟501之中。
在視頻選擇步驟507中，參看與視頻數(shù)據(jù)相關的上下文描述數(shù)據(jù)選擇視頻數(shù)據(jù)段或景物，并輸出如此選擇的段。在音頻選擇步驟509中，參看與聲音數(shù)據(jù)相關的上下文描述數(shù)據(jù)選擇聲音段，并輸出如此選擇的段。在此，選擇的段相應于例如該被選擇段的開始時刻和結束時刻。在第十四實施例所述的提取步驟503中，只播放在視頻選擇步驟507選擇的視頻數(shù)據(jù)段的數(shù)據(jù)。在播放步驟505中，只播放在音頻選擇步驟509選擇的聲音數(shù)據(jù)段的數(shù)據(jù)。
第十七實施例現(xiàn)在描述本發(fā)明的第十六實施例，該實施例與權利要求41、42、43、44、45和46描述的發(fā)明相關。圖101是表示與本實施例的數(shù)據(jù)處理方法相關的處理的方框圖。在該圖中，標號511表示確定步驟；513表示選擇步驟；503表示提取步驟；505表示播放步驟。
(例子1)在權利要求41所述的發(fā)明中，媒體內容包括在一個時間段內的多個不同的媒體數(shù)據(jù)集。在判斷步驟511中，接收描述媒體內容數(shù)據(jù)結構的結構描述數(shù)據(jù)。在這一步驟中，根據(jù)判斷條件、例如接收端的能力、傳輸線的傳送量和用戶請求確定作為選擇對象的數(shù)據(jù)。在選擇步驟513中，接收在判斷步驟511中被判斷為選擇對象的數(shù)據(jù)、結構描述數(shù)據(jù)和上下文描述數(shù)據(jù)。此外，只從在判斷步驟511中被判斷為選擇對象的數(shù)據(jù)中選擇媒體數(shù)據(jù)集。由于提取步驟503與第十四實施例的提取步驟相同，而播放步驟505與第十五實施例的播放步驟相同，所以在此省略對它們的描述。媒體數(shù)據(jù)包括幾個數(shù)據(jù)集，例如視頻數(shù)據(jù)、聲音數(shù)據(jù)和文本數(shù)據(jù)。在以下各例子說明中，媒體數(shù)據(jù)特別包括至少視頻數(shù)據(jù)和聲音數(shù)據(jù)之一。
在本例子中，如圖102所示，在媒體內容的一個時間段內，把不同的視頻數(shù)據(jù)或聲音數(shù)據(jù)分配給信道，進一步把這些視頻數(shù)據(jù)或聲音數(shù)據(jù)分配給層的分級集。例如，把傳送運動圖像的信道1/層1分配給具有標準分辨率的視頻數(shù)據(jù)，把信道1/層2分配給具有高分辨率的視頻數(shù)據(jù)。把傳送聲音數(shù)據(jù)的信道1分配給立體聲數(shù)據(jù)，把信道2分配給單聲道數(shù)據(jù)。圖103和104表示用來利用XML描述結構描述數(shù)據(jù)的“文件類型定義”(DTD)的一個例子和利用該DTD描述的上下文描述數(shù)據(jù)的一個例子。
在媒體內容由這樣的信道和層構成的情況下，參看圖105至108描述與本實例的判斷步驟511相關的處理。如圖105所示，在步驟101中判斷是否有用戶請求存在。如果在步驟101確認有用戶請求存在，就對該用戶請求執(zhí)行圖106所示的判斷處理SR-A。
在步驟101中，如果確認無用戶請求，處理就到達步驟S103，進一步判斷可接收的數(shù)據(jù)是否只是視頻數(shù)據(jù)、只是聲音數(shù)據(jù)或是視頻和聲音數(shù)據(jù)兩者。如果在步驟S103確認可接收數(shù)據(jù)只是視頻數(shù)據(jù)，就執(zhí)行圖107所示的與視頻數(shù)據(jù)相關的判斷處理SR-C。如果可接收數(shù)據(jù)被確認只是聲音數(shù)據(jù)，就執(zhí)行圖108所示的與聲音數(shù)據(jù)相關的判斷處理SR-C。如果視頻和音頻數(shù)據(jù)都是可接收的，處理就到達步驟S105。在步驟S105，判斷接收視頻和音頻數(shù)據(jù)的接收端的能力；例如，視頻顯示能力，播放能力和解壓壓縮數(shù)據(jù)的速率。如果確認接收端的能力較強，處理就到達步驟S107。相反地，如果確認接收端的能力較弱，處理就到達步驟S109。在步驟S107，判斷將要通過其傳送視頻數(shù)據(jù)和音頻數(shù)據(jù)的線路的傳送量。如果確認該線路的傳送量較大，處理就到達步驟S109。如果確認該線路的傳送量較小，處理就到達步驟S111。
在接收端能力較弱或線路的傳送量較大時，執(zhí)行步驟S109的處理。在該處理期間，接收端通過信道1/層1接收具有標準分辨率的視頻數(shù)據(jù)，通過信道2接收聲音數(shù)據(jù)。在接收端能力較強或傳送量較小時，執(zhí)行步驟S111的處理。在該處理期間，接收端通過信道1/層2接收具有高分辨率的視頻數(shù)據(jù)，通過信道1接收立體聲。
現(xiàn)在描述圖106所示與用戶請求相關的判斷處理SR-A。在本實例中，假設用戶請求為選擇視頻層和聲音信道。在步驟S151中，判斷用戶是否請求視頻數(shù)據(jù)。如果在步驟S151中確認用戶請求視頻數(shù)據(jù)，處理就到達步驟S153。如果確認用戶沒有請求視頻數(shù)據(jù)，處理就到達步驟S159。在步驟S153，判斷用戶對視頻數(shù)據(jù)的請求是否對應于層2的選擇。如果在步驟S153選擇了“是”，處理就到達步驟S155，選擇層2作為視頻數(shù)據(jù)。如果在步驟S153選擇了“否”，處理就到達步驟S157，選擇層1作為視頻數(shù)據(jù)。在步驟S159，判斷用戶是否請求音頻數(shù)據(jù)。如果在步驟S159確認用戶請求音頻數(shù)據(jù)，處理就到達步驟S161。如果確認用戶沒有請求音頻數(shù)據(jù)，就結束處理。在步驟S161，判斷用戶對音頻數(shù)據(jù)的請求是否對應于信道1的選擇。如果在步驟S161選擇了“是”，處理就到達步驟S162，選擇信道1作為音頻數(shù)據(jù)。如果在步驟S161選擇了“否”，處理就到達步驟S615，選擇信道2作為音頻數(shù)據(jù)。
現(xiàn)在描述圖107所示與視頻數(shù)據(jù)相關的判斷處理SR-B。在步驟S171，判斷接收視頻數(shù)據(jù)的接收端的能力。如果接收端被確認為具有較強的能力，處理就到達步驟S173。如果接收端被確認為具有較弱的能力，處理就到達步驟S175。在步驟S173，確定線路的傳送量。如果線路的傳送量被確認為較大，處理就到達步驟S175。相反地，如果線路的傳送量被確認為較小，處理就到達步驟S177。
在接收端能力較弱或線路的傳送量較大時，執(zhí)行步驟S175的處理。在該處理期間，接收端通過信道1/層1只接收具有標準分辨率的視頻數(shù)據(jù)。在接收端能力較弱或線路的傳送量較小時，執(zhí)行步驟S177的處理。在該處理期間，接收端通過信道1/層2只接收具有高分辨率的視頻數(shù)據(jù)。
現(xiàn)在描述圖108所示與聲音數(shù)據(jù)相關的判斷處理SR-C。在步驟S181，判斷接收音頻數(shù)據(jù)的接收端的能力。如果接收端被確認為具有較強的能力，處理就到達步驟S183。如果接收端被確認為具有較弱的能力，處理就到達步驟S185。在步驟S183，確定線路的傳送量。如果線路的傳送量被確認為較大，處理就到達步驟S185。相反地，如果線路的傳送量被確認為較小，處理就到達步驟S187。
在接收端能力較弱或線路的傳送量較大時，執(zhí)行步驟S185的處理。在該處理期間，接收端通過信道2接收單聲道音頻數(shù)據(jù)。在接收端能力較強或線路的傳送量較小時，執(zhí)行步驟S187的處理。在該處理期間，接收端通過信道1只接收立體聲數(shù)據(jù)。
(例子2)權利要求42描述的發(fā)明與例子1所述的發(fā)明(權利要求41描述的發(fā)明)的不同之處僅在與判斷步驟S511相關的處理方面。在判斷步驟511中，接收描述媒體內容數(shù)據(jù)結構的結構描述數(shù)據(jù)。在這一步驟中，根據(jù)判斷條件、例如接收端的能力、傳輸線的傳送量和用戶請求，判斷是只選擇視頻數(shù)據(jù)、只選擇音頻數(shù)據(jù)還是既選擇視頻數(shù)據(jù)也選擇音頻數(shù)據(jù)。由于選擇步驟513、提取步驟503和播放步驟505都與以上所述的相同，所以在此省略對它們的描述。
現(xiàn)在參看圖109至110描述與本實例的判斷步驟511相關的處理。如圖109所示，在步驟S201中判斷是否有用戶請求存在。如果在步驟S201確認有用戶請求存在，處理就到達步驟S203，如果確認無用戶請求，處理就到達步驟S205。在步驟S203，判斷用戶是否只請求視頻數(shù)據(jù)。如果在步驟S203選擇了“是”，處理就到達步驟S253，僅視頻數(shù)據(jù)被確認為選擇的對象。如果在步驟S203選擇了“否”，處理就到達步驟S207。在步驟S207，判斷用戶是否只請求聲音數(shù)據(jù)。如果在步驟S207選擇了“是”，處理就到達步驟S255，僅聲音數(shù)據(jù)被確認為選擇的對象。如果在步驟S207選擇了“否”，處理就到達步驟S251，視頻和音頻數(shù)據(jù)都被確認為選擇的對象。
在無用戶請求存在時處理將要到達的步驟S205中，判斷是僅視頻數(shù)據(jù)、僅聲音數(shù)據(jù)還是視頻和聲音數(shù)據(jù)兩者都是可接收的。如果在步驟S205確認僅視頻數(shù)據(jù)是可接收的，處理就到達步驟S253，只把視頻數(shù)據(jù)確認為選擇的對象。如果在步驟S205確認僅聲音數(shù)據(jù)是可接收的，處理就到達步驟S255，只把聲音數(shù)據(jù)確認為選擇的對象。如果在步驟S205確認視頻和聲音數(shù)據(jù)都是可接收的，處理就到達步驟S209。
在步驟S209，確定線路的傳送量。如果該線路的傳送量較小，處理就到達步驟S251，把視頻和聲音數(shù)據(jù)都確認為選擇的對象。如果該線路的傳送量較大，處理就到達步驟S211。在步驟S211中，判斷將通過該線路被傳送的數(shù)據(jù)是否包括聲音數(shù)據(jù)。如果在步驟S211選擇了“是”，處理就到達步驟S255，把聲音數(shù)據(jù)確認為選擇的對象。如果在步驟S211選擇了“否”，處理就到達步驟S253，把視頻數(shù)據(jù)確認為選擇的對象。
(例子3)在權利要求43的發(fā)明中，媒體內容在一個時間周期內包括多個不同的視頻和/或音頻數(shù)據(jù)集。除判斷是只選擇視頻數(shù)據(jù)、只選擇聲音數(shù)據(jù)還是既選擇視頻也選擇聲音數(shù)據(jù)外，這種選擇在(權利要求42所述的發(fā)明的)第二個例子的判斷步驟511中進行，還根據(jù)判斷條件、例如接收端的能力、傳輸線路的傳送量和用戶請求判斷選擇這些視頻數(shù)據(jù)集/音頻數(shù)據(jù)集的哪一個作為選擇對象。由于選擇步驟513、提取步驟503和播放步驟505與上述的相同，所以在此不再贅述。
如例子1那樣，在媒體內容的一個時間周期內，把不同的視頻數(shù)據(jù)或聲音數(shù)據(jù)分配給信道或層。例如，把傳送運動圖像的信道1/層1分配給具有標準分辨率的視頻數(shù)據(jù)，把信道1/層2分配給具有高分辨率的視頻數(shù)據(jù)。把傳送聲音數(shù)據(jù)的信道1分配給立體聲數(shù)據(jù)，把信道2分配給單聲道數(shù)據(jù)。圖103和104表示用來利用XML描述結構描述數(shù)據(jù)的“文件類型定義”(DTD)的一個例子和利用該DTD描述的上下文描述數(shù)據(jù)的一個例子。
現(xiàn)在參看圖111至113描述與第三個例子的判斷步驟511相關的處理。如圖111所示，在本例子中，如例子2所作的判斷那樣，確定作為選擇對象的數(shù)據(jù)(選擇對象確定SR-D)。在步驟S301中，確定利用選擇對象確定處理SR-D確定的數(shù)據(jù)。在步驟S301中，當只有視頻數(shù)據(jù)被確定為選擇對象時，就執(zhí)行圖112所示的與視頻數(shù)據(jù)相關的判斷處理SR-E。在步驟S301中，當只有音頻數(shù)據(jù)被確定為選擇對象時，就執(zhí)行圖113所示的與音頻數(shù)據(jù)相關的判斷處理SR-F。在步驟S301中，當視頻數(shù)據(jù)和音頻數(shù)據(jù)都被確定為選擇對象時，處理就到達步驟S303，確定接收視頻和音頻數(shù)據(jù)的接收端的接收能力。如果確認接收端的能力較強，處理就到達步驟S305。如果確認接收端的能力較弱，處理就到達步驟S307，確定線路的能力，如傳輸速率。如果確認該線路的能力較強，處理就到達步驟S309。相反地，如果確認該線路的能力較弱，處理就到達步驟S307。如果確認該線路的傳送量較大，處理就到達步驟S307。如果確認該線路的傳送量較小，處理就到達步驟S311。
在接收端能力較弱、線路能力較弱或線路的傳送量較大時，執(zhí)行步驟S307的處理。在該處理期間，接收端通過信道1/層1接收標準分辨率的視頻數(shù)據(jù)，通過信道2接收單聲道數(shù)據(jù)。相反地，在接收端能力較強、線路能力較強或線路的傳送量較小時，執(zhí)行步驟S311的處理。在該處理期間，接收端通過信道1/層2接收高分辨率的視頻數(shù)據(jù)，通過信道1接收立體聲數(shù)據(jù)。
現(xiàn)在描述圖112所示與視頻數(shù)據(jù)相關的判斷處理SR-F。在步驟S351中，判斷接收視頻數(shù)據(jù)的接收端的能力。如果確認接收端的能力較強，處理就到達步驟S353。如果確認接收端的能力較弱，處理就到達步驟S355。在步驟S353，確定線路的能力。如果確認該線路的能力較強，處理就到達步驟S357。相反地，如果確認該線路的能力較弱，處理就到達步驟S355。在步驟S357，確定該線路的傳送量。如果確認該線路的傳送量較大，處理就到達步驟S355。相反地，如果確認該線路的傳送量較小，處理就到達步驟S359。
在接收端能力較弱、線路能力較弱或線路的傳送量較大時，執(zhí)行步驟S355的處理。在該處理期間，接收端通過信道1/層1只接收標準分辨率的視頻數(shù)據(jù)。相反地，在接收端能力較強、線路能力較強或線路的傳送量較小時，執(zhí)行步驟S359的處理。在該處理期間，接收端通過信道1/層2只接收高分辨率的視頻數(shù)據(jù)。
現(xiàn)在描述圖113所示與音頻數(shù)據(jù)相關的判斷處理SR-F。在步驟S371中，判斷接收音頻數(shù)據(jù)的接收端的能力。如果確認接收端的能力較強，處理就到達步驟S373。如果確認接收端的能力較弱，處理就到達步驟S375。在步驟S373，確定線路的能力。如果確認該線路的能力較強，處理就到達步驟S377。相反地，如果確認該線路的能力較弱，處理就到達步驟S375。在步驟S77，確定該線路的傳送量。如果確認該線路的傳送量較大，處理就到達步驟S735。相反地，如果確認該線路的傳送量較小，處理就到達步驟S379。
在接收端能力較弱、線路能力較弱或線路的傳送量較大時，執(zhí)行步驟S375的處理。在該處理期間，接收端通過信道2只接收單聲道數(shù)據(jù)。相反地，在接收端能力較強、線路能力較強或線路的傳送量較小時，執(zhí)行步驟S379的處理。在該處理期間，接收端通過信道1只接收立體聲數(shù)據(jù)。
(例子4)在權利要求44和45所述的發(fā)明中，給最低分級層中的上下文描述數(shù)據(jù)的各個元素增加與對應媒體段相關的代表性數(shù)據(jù)作為屬性。媒體內容在一個時間周期內包括多個不同的媒體數(shù)據(jù)集。在判斷步驟S511中，接收描述媒體內容的數(shù)據(jù)結構的結構描述數(shù)據(jù)。在這一步驟中，根據(jù)判斷條件、例如接收端的能力、傳輸線路的傳送量、該線路的能力和用戶請求，確定把媒體數(shù)據(jù)集和/或代表性數(shù)據(jù)集的哪一個作為選擇對象。
由于選擇步驟513、提取步驟503和播放步驟505與以上描述的相同，所以在此不再贅述。媒體數(shù)據(jù)包括視頻數(shù)據(jù)、聲音數(shù)據(jù)或文本數(shù)據(jù)。在本例子中，媒體數(shù)據(jù)包括視頻數(shù)據(jù)和聲音數(shù)據(jù)中的至少一個。在代表性數(shù)據(jù)對應于視頻數(shù)據(jù)的情況下，該代表性數(shù)據(jù)包括例如每一媒體段的代表性圖像數(shù)據(jù)或低分辨率視頻數(shù)據(jù)。在代表性數(shù)據(jù)對應于音頻數(shù)據(jù)的情況下，該代表性數(shù)據(jù)包括例如每一媒體段的關鍵短語(key-phrase)數(shù)據(jù)。
如例子3那樣，在媒體內容的一個時間周期內，把不同的視頻數(shù)據(jù)或聲音數(shù)據(jù)分配給信道或層。例如，把傳送運動圖像的信道1/層1分配給具有標準分辨率的視頻數(shù)據(jù)，把信道1/層2分配給具有高分辨率的視頻數(shù)據(jù)。把傳送聲音數(shù)據(jù)的信道1分配給立體聲數(shù)據(jù)，把信道2分配給單聲道數(shù)據(jù)。
現(xiàn)在參看圖114至118描述與本實例的判斷步驟511相關的處理。如圖114所示，在步驟S401中判斷是否有用戶請求存在。如果在步驟S401確認有用戶請求存在，就執(zhí)行圖116所示與用戶請求相關的判斷處理SR-G。
如果在步驟S401確認無用戶請求，處理就到達步驟S403，判斷是僅視頻數(shù)據(jù)、僅聲音數(shù)據(jù)還是視頻和聲音數(shù)據(jù)兩者都是可接收的。如果在步驟S403確認僅視頻數(shù)據(jù)是可接收的，就執(zhí)行圖117所示與視頻數(shù)據(jù)相關的判斷處理SR-H。相反地，如果確認僅聲音數(shù)據(jù)是可接收的，就執(zhí)行圖118所示與音頻數(shù)據(jù)相關的判斷處理SR-I。如果確認視頻和聲音數(shù)據(jù)都是可接收的，處理就如圖115所示到達步驟S405。
在步驟S405，確定接收端的能力。在執(zhí)行步驟S405的處理之后，按給定順序執(zhí)行確定線路能力的步驟S407的處理和確定該線路的傳送量的步驟S409的處理。在步驟S405、S407和S409所執(zhí)行的處理操作的結果的基礎上，在本實例的判斷步驟S511中，確定是接收視頻數(shù)據(jù)或音頻數(shù)據(jù)的信道或層，還是接收代表性數(shù)據(jù)。
表1
現(xiàn)在描述圖116所示與用戶請求相關的判斷處理SR-G。在步驟S451，判斷用戶是否只請求視頻數(shù)據(jù)。如果在步驟S451選擇“是”，就執(zhí)行與視頻數(shù)據(jù)相關的處理判斷SR-H。如果在步驟S451選擇“否”，處理就到達步驟S453。在步驟S453，判斷用戶是否只請求音頻數(shù)據(jù)。如果在步驟S453選擇“是”，就執(zhí)行與音頻數(shù)據(jù)相關的判斷處理SR-I。如果在步驟S451選擇“否”，處理就到達步驟S405。
現(xiàn)在描述圖117所示與視頻數(shù)據(jù)相關的判斷處理SR-H。在步驟S461，確定接收端的能力。在執(zhí)行完步驟S461的處理之后，按給定順序執(zhí)行確定線路能力的步驟S463的處理和確定線路傳送量的步驟S465的處理。在與這些步驟，S461、S463和S465相關的處理操作結束后，只要接收端能力強、線路能力強以及線路的傳送量小，則在與本例子的視頻數(shù)據(jù)相關的判斷處理SR-H期間，通過信道1/層2只接收視頻數(shù)據(jù)(步驟S471)。相反地，如果接收端能力弱、線路能力弱以及線路的傳送量大，則只接收代表性視頻數(shù)據(jù)(步驟S473)。如果上述任一條件都得不到滿足，則通過信道1/層1只接收視頻數(shù)據(jù)(步驟S475)。
現(xiàn)在描述圖118所示與音頻數(shù)據(jù)相關的判斷處理SR-I。在步驟S471，確定接收端的能力。在執(zhí)行完步驟S471的處理之后，按給定順序執(zhí)行確定線路能力的步驟S473的處理和確定線路傳送量的步驟S475的處理。在與這些步驟S471、S473和S475相關的處理操作結束后，只要接收端能力強、線路能力強以及線路的傳送量小，則在與本例子的音頻數(shù)據(jù)相關的判斷處理SR-I期間，通過信道1只接收音頻數(shù)據(jù)(步驟S491)。相反地，如果接收端能力弱、線路能力弱以及線路的傳送量大，則只接收代表性音頻數(shù)據(jù)(步驟S493)。如果上述任一條件都得不到滿足，則通過信道2只接收視頻數(shù)據(jù)(步驟S495)。
(例子5)
在權利要求46所述的發(fā)明中，根據(jù)判斷條件、例如接收端能力、傳輸線路能力、該線路的傳送量和用戶請求，確定把與媒體段相關的全部數(shù)據(jù)、與對應媒體段相關的僅代表性數(shù)據(jù)、或與對應媒體段相關的全部數(shù)據(jù)或代表性數(shù)據(jù)的哪一個作為選擇對象。
如例子4那樣，給最低分級層中的上下文描述數(shù)據(jù)的各個元素增加與對應媒體段相關的代表性數(shù)據(jù)作為屬性。在代表性數(shù)據(jù)對應于視頻數(shù)據(jù)的情況下，該代表性數(shù)據(jù)包括例如每一媒體段的代表性圖像數(shù)據(jù)或低分辨率視頻數(shù)據(jù)。在代表性數(shù)據(jù)對應于音頻數(shù)據(jù)的情況下，該代表性數(shù)據(jù)包括例如每一媒體段的關鍵短語(key-phrase)數(shù)據(jù)。
現(xiàn)在參看圖119至121描述與本實例的判斷步驟511相關的處理。如圖119所示，在步驟S501中判斷是否有用戶請求存在。如果在步驟S501確認有用戶請求存在，就執(zhí)行圖121所示與用戶請求相關的判斷處理SR-J。
如果在步驟S501確認無用戶請求，處理就到達步驟S503，判斷是僅與媒體段相關的代表性數(shù)據(jù)、僅與該媒體段相關的全部數(shù)據(jù)還是與該媒體段相關的代表性數(shù)據(jù)和全部數(shù)據(jù)兩者都是可接收的。如果在步驟S503確認僅代表性數(shù)據(jù)是可接收的，處理就如圖120所示到達步驟S553，只把代表性數(shù)據(jù)作為選擇對象。如果僅全部數(shù)據(jù)是可接收的，處理就到達步驟S555，只把該全部數(shù)據(jù)作為選擇對象。如果代表性數(shù)據(jù)和全部數(shù)據(jù)都是可接收的，處理就到達步驟S505。
在步驟S505，確定線路能力。如果線路能力較強，處理就到達步驟S507。相反地，如果線路能力較弱，處理就到達步驟S509。在每一個步驟S507和S509中，確定線路的傳送量。在步驟S507中，如果確認線路的傳送量較小，處理就到達步驟S551，把全部數(shù)據(jù)和代表性數(shù)據(jù)都作為選擇對象。在步驟S509，如果確認線路的傳送量較大，處理就到達步驟S553，把代表性數(shù)據(jù)作為選擇對象。如果在步驟S507確認線路的傳送量較大和在步驟S509確認線路的傳送量較大，處理就到達步驟S555，把全部數(shù)據(jù)作為選擇對象。
在與用戶請求相關的判斷處理SR-J期間，在步驟S601判斷用戶請求是否只對應于代表性數(shù)據(jù)。如果在步驟S601選擇“是”，處理就到達步驟S553，只把代表性數(shù)據(jù)作為選擇對象。如果在步驟S601選擇“否”，處理就到達步驟S603，判斷該用戶請求是否只對應于全部數(shù)據(jù)。如果在步驟S603選擇“是”，處理就到達步驟S555，只把全部數(shù)據(jù)作為選擇對象。如果在步驟S603選擇“否”，處理就到達步驟S551，把與媒體段對應的全部數(shù)據(jù)和代表性數(shù)據(jù)都作為選擇對象。
第十八實施例現(xiàn)在描述本發(fā)明第十八實施例。本實施例涉及權利要求48所述的發(fā)明。圖122是表示與本實施例的數(shù)據(jù)處理方法相關的處理的方框圖。特別是，該處理涉及權利要求28所述的發(fā)明。在附圖中，標號501表示選擇步驟；503表示提取步驟；515表示形成步驟；由于選擇步驟501和提取步驟503與第十四實施例的相同，所以在此不再贅述。
在形成步驟515中，根據(jù)與在提取步驟503提取的選擇段相關的數(shù)據(jù)形成媒體內容流。特別是，在形成步驟中，通過對在提取步驟503輸出的數(shù)據(jù)進行多路復用來形成流。
第十九實施例現(xiàn)在描述本發(fā)明第十九實施例。本實施例涉及權利要求49所述的發(fā)明。圖123是表示與本實施例的數(shù)據(jù)處理方法的處理的方框圖。在該圖中，標號501表示選擇步驟；503表示提取步驟；515表示形成步驟；517表示傳送步驟。由于選擇步驟501和提取步驟503與參看第十四實施例所描述的相同，所以在此不再贅述。此外，形成步驟515與十八實施例的形成步驟相同，所以也省略對其的描述。
在傳送步驟517中，通過線路傳送在形成步驟中形成的流。該傳送步驟517可以包括確定線路的傳送量的步驟，而形成步驟515可以包括根據(jù)在傳送步驟517中確定的線路的傳送量調整組成文件的數(shù)據(jù)量的步驟。
第二十實施例現(xiàn)在描述本發(fā)明的第二十實施例。本實施例涉及權利要求50所述的發(fā)明。圖124是表示與本實施例的數(shù)據(jù)處理方法相關的處理的方框圖。在該圖中，標號501表示選擇步驟；503表示提取步驟；515表示形成步驟；519表示記錄步驟；521表示數(shù)據(jù)記錄媒體。在記錄步驟519中，把在形成步驟515中形成的流記錄在數(shù)據(jù)記錄媒體521上。用數(shù)據(jù)記錄媒體521記錄媒體內容、與該媒體內容相關的上下文描述數(shù)據(jù)以及與該媒體內容相關的結構描述數(shù)據(jù)。數(shù)據(jù)記錄媒體521可以是例如硬盤、存儲器或DVD-ROM等。由于選擇步驟501和提取步驟503與參看第十四實施例所描述的相同，所以在此不再贅述。此外，形成步驟515與十八實施例的形成步驟相同，所以也省略對其的描述。
第二十一實施例現(xiàn)在描述本發(fā)明的第二十一實施例。本實施例涉及權利要求51所述的發(fā)明。圖125是表示與本實施例的數(shù)據(jù)處理方法相關的處理的方框圖。在該圖中，標號501表示選擇步驟；503表示提取步驟；515表示形成步驟；519表示記錄步驟；521表示數(shù)據(jù)記錄媒體；523表示數(shù)據(jù)記錄媒體管理步驟。在數(shù)據(jù)記錄媒體管理步驟523中，按照數(shù)據(jù)記錄媒體521的可用盤空間重新組織已存儲的媒體內容和最近要存儲的媒體內容。具體來說，在數(shù)據(jù)記錄管理步驟/或523中，執(zhí)行至少以下操作之一。當數(shù)據(jù)記錄媒體521的可用盤空間較小時，在對最近要存儲的媒體內容進行編輯之后再對其進行存儲。向選擇步驟501傳送都與已存儲的媒體內容相關的上下文描述數(shù)據(jù)和結構描述數(shù)據(jù)。向提取步驟503傳送媒體內容和結構描述數(shù)據(jù)。重新組織媒體內容，并將如此重新組織的內容記錄在數(shù)據(jù)記錄媒體521上。此外，刪除沒有被重新組織的媒體內容。
由于選擇步驟501和提取步驟503與第十四實施例的相同，在此不再贅述。此外，形成步驟515與第十八實施例的形成步驟相同，在此省略對其的描述。還有，由于記錄步驟519和數(shù)據(jù)記錄媒體521與第十九實施例的相同，所以在此也省略對它們的描述。
第二十二實施例現(xiàn)在描述本發(fā)明的第二十二實施例。本實施例涉及權利要求52所述的發(fā)明。圖126是表示與本實施例的數(shù)據(jù)處理方法相關的處理的方框圖。在該圖中，標號501表示選擇步驟；503表示提取步驟；515表示形成步驟；519表示記錄步驟；521表示數(shù)據(jù)記錄媒體；525表示存儲內容管理步驟。在存儲內容管理步驟525中，按照媒體內容存儲周期重新組織已存儲在數(shù)據(jù)記錄媒體521上的媒體內容。具體來說，存儲內容管理步驟525包括以下步驟管理存儲在數(shù)據(jù)記錄媒體521上的媒體內容；向選擇步驟501傳送上下文描述數(shù)據(jù)和物理內容數(shù)據(jù)，它們都與在預定一段時間內已被存儲的媒體內容相關；向提取步驟503傳送媒體內容和結構描述數(shù)據(jù)；重新組織媒體內容；把如此重新組織的媒體內容記錄在數(shù)據(jù)記錄媒體521上；以及刪除沒有被重新組織的媒體內容。
由于選擇步驟501和提取步驟503與第十四實施例的相同，在此不再贅述。此外，形成步驟515與第十八實施例的形成步驟相同，在此省略對其的描述。還有，由于記錄步驟519和數(shù)據(jù)記錄媒體521與第十九實施例的相同，所以在此也省略對它們的描述。
在上述第十三至第二十二實施例中，選擇步驟501和503可具體化為選擇裝置；視頻選擇步驟507可具體化為視頻選擇裝置；音頻選擇步驟511可具體化為音頻選擇裝置；判斷步驟511可具體化為判斷裝置；形成步驟515可具體化為形成裝置；傳送步驟517可具體化為傳送裝置；記錄步驟519可具體化為記錄裝置；數(shù)據(jù)記錄媒體管理步驟523可具體化為數(shù)據(jù)記錄媒體管理裝置；存儲內容管理步驟525可具體化為存儲內容管理裝置。因此可具體化為包括這些裝置的一部分或全部的數(shù)據(jù)處理裝置。
在上述各實施例中，媒體內容可包括數(shù)據(jù)流，例如除視頻和音頻數(shù)據(jù)外的文本數(shù)據(jù)。此外，上述各實施例的各個步驟可利用存儲在程序存儲媒體內的以軟件形式使計算機執(zhí)行與所有或一部分這些步驟相關的處理的程序來實現(xiàn)，或利用專門設計的呈現(xiàn)這些步驟的特征的硬件電路來實現(xiàn)。
雖然在上述實施例中單獨描述上下文描述數(shù)據(jù)和結構描述數(shù)據(jù)，但它們可合并成如圖127至132所示的一個數(shù)據(jù)集。
如上所述，在本發(fā)明的數(shù)據(jù)處理裝置、數(shù)據(jù)處理方法、記錄媒體和程序中，利用分層的上下文描述數(shù)據(jù)，根據(jù)由選擇裝置(相應于選擇步驟)附加給上下文描述數(shù)據(jù)的得分從媒體內容中至少選擇其中一段。利用提取裝置(相應于提取步驟)僅提取與選擇裝置(相應于選擇步驟)選擇的段相關的數(shù)據(jù)。或者，利用播放裝置(相應于播放步驟)只播放與選擇裝置(相應于選擇步驟)選擇的段相關的數(shù)據(jù)。
利用上述結構，可從媒體內容中自由地選擇更重要的景物，可提取或播放如此選擇的重要段。此外，分層的上下文描述數(shù)據(jù)包括最高層、最低層和其它層?？砂凑杖我獾膯卧?、例如以一章或一節(jié)為單位選擇景物?？刹捎酶鞣N選擇格式，例如某一章的選擇和從該章中刪除不必要的段。
在本發(fā)明的數(shù)據(jù)處理裝置、數(shù)據(jù)處理方法、記錄媒體和程序中，得分表示媒體內容的上下文重要性的程度。一旦確定了得分來選擇重要景物，就可容易地準備一節(jié)目的一些重要景物的集合。此外，只要確定了得分來表示從關鍵字的角度來看感興趣的景物的重要性，就可以通過確定關鍵字來在很大的自由度內選擇段。例如，只要從特定視點、例如人物或事件確定了關鍵字，就可只選擇用戶所需的景物。
在本發(fā)明的數(shù)據(jù)處理裝置、數(shù)據(jù)處理方法、記錄媒體和程序中，在媒體內容由在一段時間內的多個不同的媒體數(shù)據(jù)集組成的情況下，判斷裝置(相應于判斷步驟)根據(jù)判斷條件，確定把這些媒體數(shù)據(jù)集的哪一個作為選擇對象。選擇裝置(相應于選擇步驟)只從判斷裝置(相應于判斷步驟)所確定的數(shù)據(jù)中選擇媒體數(shù)據(jù)集。由于判斷裝置(相應于判斷步驟)能夠根據(jù)判斷條件確定與最佳段相關的媒體數(shù)據(jù)，所以選擇裝置(相應于選擇步驟)能夠選擇合適數(shù)量的媒體數(shù)據(jù)。
在本發(fā)明的數(shù)據(jù)處理裝置、數(shù)據(jù)處理方法、記錄媒體和程序中，判斷裝置(相應于判斷步驟)根據(jù)判斷條件，確定是僅把視頻數(shù)據(jù)、僅把音頻數(shù)據(jù)還是把視頻和音頻數(shù)據(jù)兩者都作為選作對象。于是能夠縮短選擇裝置(相應于選擇步驟)選擇段所需的時間。
在本發(fā)明的數(shù)據(jù)處理裝置、數(shù)據(jù)處理方法、記錄媒體和程序中，給上下文描述數(shù)據(jù)附加了代表性數(shù)據(jù)作為屬性，判斷裝置能夠根據(jù)判斷條件確定最佳段的媒體數(shù)據(jù)或代表性數(shù)據(jù)。
在本發(fā)明的數(shù)據(jù)處理裝置、數(shù)據(jù)處理方法、記錄媒體和程序中，判斷裝置(相應于判斷步驟)根據(jù)判斷條件，確定是僅把與相應媒體段相關的全部數(shù)據(jù)、僅把代表性數(shù)據(jù)還是把該全部數(shù)據(jù)和代表性數(shù)據(jù)兩者都作為選擇對象。于是判斷裝置能夠縮短選擇裝置(相應于選擇步驟)選擇段所需的時間。
權利要求
1.一種摘要產(chǎn)生裝置，包括輸入裝置，用于輸入內容描述數(shù)據(jù)，所述內容描述數(shù)據(jù)描述多個段，其中所述多個段的每個表示由多個景物組成的媒體內容的一個景物，并且所述內容描述數(shù)據(jù)描述與媒體內容相關聯(lián)的屬性信息，所述屬性信息包括表示景物邊界的時間信息和基于媒體內容的上下文的得分；選擇裝置，用于根據(jù)得分來選擇段；內容輸入裝置，用于輸入與所選擇的段對應的媒體內容；和提取裝置，用于按照與所選擇的段相關聯(lián)的時間信息來提取媒體內容部分。
2.一種摘要產(chǎn)生裝置，包括輸入裝置，用于輸入內容描述數(shù)據(jù)，所述內容描述數(shù)據(jù)描述多個段，其中所述多個段的每個表示由多個景物組成的媒體內容的一個景物，并且所述內容描述數(shù)據(jù)描述與媒體內容相關聯(lián)的屬性信息，所述屬性信息包括表示景物邊界的時間信息、由至少一個描述景物的關鍵字表示的視點和基于所述視點的段的得分；選擇裝置，用于根據(jù)得分來選擇段；內容輸入裝置，用于輸入與所選擇的段對應的媒體內容；和提取裝置，用于按照與所選擇的段相關聯(lián)的時間信息來提取媒體內容部分。
3.按照權利要求1或2的摘要產(chǎn)生裝置，還包括存儲裝置，它存儲內容描述數(shù)據(jù)和與其對應的媒體內容。
4.按照權利要求1或2所述的摘要產(chǎn)生裝置，其中所述內容描述數(shù)據(jù)包括對應的媒體內容的鏈接信息，和提取裝置按照與所選擇的段相關聯(lián)的時間信息來提取在鏈接信息的目的地的媒體內容的部分。
5.按照權利要求1或2所述的摘要產(chǎn)生裝置，其中所述時間信息包括每個景物的開始時間和結束時間。
6.按照權利要求1或2所述的摘要產(chǎn)生裝置，其中所述時間信息包括每個景物的開始時間和持續(xù)時間。
7.按照權利要求1或2所述的摘要產(chǎn)生裝置，其中所述內容描述數(shù)據(jù)包括被分級描述的多個段。
8.按照權利要求2所述的摘要產(chǎn)生裝置，其中在一個段中描述了多對視點和得分來作為屬性信息。
9.按照權利要求1所述的摘要產(chǎn)生裝置，其中所述選擇裝置選擇具有大于預定閾值的得分的段。
10.按照權利要求1所述的摘要產(chǎn)生裝置，其中所述選擇裝置以得分的順序選擇段，以便段的持續(xù)時間的和變?yōu)樽畲?、但是小于預定的閾值。
11.按照權利要求1所述的摘要產(chǎn)生裝置，其中所述選擇裝置以得分的順序選擇段，以便段的持續(xù)時間的和變得大約等于預定的閾值。
12.按照權利要求2所述的摘要產(chǎn)生裝置，其中所述選擇裝置以得分的順序選擇所選擇的視點的至少一個段，以便段的持續(xù)時間的和變?yōu)樽畲蟆?br>
13.按照權利要求1所述的摘要產(chǎn)生裝置，其中所述選擇裝置以得分的順序選擇至少一個所選擇的視點的段，以便段的持續(xù)時間的和變得大約等于預定閾值。
14.一種摘要產(chǎn)生方法，包括步驟輸入內容描述數(shù)據(jù)，所述內容描述數(shù)據(jù)描述多個段，其中所述多個段的每個表示由多個景物組成的媒體內容的一個景物，并且所述內容描述數(shù)據(jù)描述與媒體內容相關聯(lián)的屬性信息，所述屬性信息包括表示景物邊界的時間信息和基于媒體內容的上下文的得分；根據(jù)得分來選擇段；輸入與所選擇的段對應的媒體內容；和按照與所選擇的段相關聯(lián)的時間信息來提取媒體內容部分。
15.一種摘要產(chǎn)生方法，包括步驟輸入內容描述數(shù)據(jù)，所述內容描述數(shù)據(jù)描述多個段，其中所述多個段的每個表示由多個景物組成的媒體內容的一個景物，并且所述內容描述數(shù)據(jù)描述與媒體內容相關聯(lián)的屬性信息，所述屬性信息包括表示景物邊界的時間信息、由至少一個描述景物的關鍵字表示的視點和基于所述視點的段的得分；根據(jù)得分來選擇段；輸入與所選擇的段對應的媒體內容；和按照與所選擇的段相關聯(lián)的時間信息來提取媒體內容部分。
16.按照權利要求14或15的摘要產(chǎn)生方法，其中在存儲裝置中存儲內容描述數(shù)據(jù)和與其對應的媒體內容。
17.按照權利要求14或15所述的摘要產(chǎn)生方法，其中在所述內容描述數(shù)據(jù)中描述對應的媒體內容的鏈接信息，并且按照與所選擇的段相關聯(lián)的時間信息來提取在鏈接信息的目的地的媒體內容的部分。
全文摘要
媒體內容的上下文用具有最高分級層、最低分級層和其它分級層的上下文描述數(shù)據(jù)來表示。最高分級層由表示內容的一個元素組成。最低分級層由表示一段媒體內容的元素組成，該段媒體內容對應于視頻數(shù)據(jù)的景物之間的改變或可聞音調的改變。在數(shù)據(jù)處理方法的選擇步驟中，表述媒體內容的上下文，根據(jù)上下文描述數(shù)據(jù)的得分選擇媒體內容的一個或多個景物。此外，在數(shù)據(jù)處理方法的提取步驟中，只提取與在選擇步驟中選擇的景物相關的數(shù)據(jù)。
文檔編號G06F17/30GK1821996SQ20041005663
公開日2006年8月23日 申請日期1999年12月25日 優(yōu)先權日1998年12月25日
發(fā)明者宗續(xù)敏彥, 榮藤稔, 荒木昭一, 江村恒一 申請人:松下電器產(chǎn)業(yè)株式會社