專利名稱：數(shù)據(jù)處理設備、數(shù)據(jù)處理方法及程序的制作方法
技術領域：
本發(fā)明涉及數(shù)據(jù)處理設備、數(shù)據(jù)處理方法及程序，并且更具體地涉及例如為了易
于同步和顯示電視廣播節(jié)目等的內(nèi)容的圖像和字幕而提供的數(shù)據(jù)處理設備、數(shù)據(jù)處理方法 及程序。
背景技術：
例如，在電視廣播中，字幕數(shù)據(jù)以隱藏字幕等形式被包括在電視廣播信號中，使得 聽障觀眾可以理解作為內(nèi)容而提供的節(jié)目的圖像細節(jié)。 在接收電視廣播信號的電視(TV)接收機和/或包括記錄器等的接收設備中，字幕
數(shù)據(jù)被疊加在節(jié)目的圖像數(shù)據(jù)上，使得節(jié)目圖像得到顯示。通常，字幕可被隱藏(關閉)。 此外，在現(xiàn)時提供的電視廣播中，字幕不一定與圖像相同步地顯示。也就是說，字
幕常常與對應于字幕的圖像(其細節(jié)通過字幕來描述的圖像)不同步地顯示。 特別地，例如在現(xiàn)場廣播中，操作者當場在鍵盤上產(chǎn)生示出為字幕的字符，所以對
應于圖像的字幕比圖像顯示滯后若干秒至數(shù)十秒。在這種情況下，圖像細節(jié)與通過疊加在
圖像上的字幕提供的描述細節(jié)不匹配(不一致)。結(jié)果，觀眾常常困惑和煩惱。 為了校正所顯示字幕的上述延遲，已經(jīng)引入了通過電視廣播臺計算為圖像數(shù)據(jù)顯
示的字幕數(shù)據(jù)的延遲時間并將延遲時間數(shù)據(jù)發(fā)送給接收設備的方法，如在日本未實審專利
申請公布No. 2006-211636中所公開的。在這種情況下，接收設備基于從廣播臺發(fā)送的延遲
時間數(shù)據(jù)、與圖像相同步地顯示字幕。

發(fā)明內(nèi)容
為了以上述方式從廣播臺向接收設備發(fā)送延遲時間數(shù)據(jù)，應當參考延遲時間數(shù)據(jù) 傳輸來決定(修改)廣播標準，并且廣播臺和接收設備兩者應當為該廣播標準做好準備。
然而，為了決定廣播標準應當執(zhí)行復雜的過程。另外，要使廣播臺和接收設備兩者 為廣播標準做好準備也是復雜而困難的。 因此，為了易于同步并且顯示內(nèi)容的圖像和字幕而作出了本發(fā)明的實施例。即，本 發(fā)明的實施例允許同步并顯示內(nèi)容的圖像和字幕，而無需修改廣播標準或者使廣播臺為廣 播標準做好準備。 根據(jù)本發(fā)明一個實施例，提供了一種數(shù)據(jù)處理設備和/或使計算機充當該數(shù)據(jù)處 理設備的程序，其中該數(shù)據(jù)處理設備包括輸出控制單元，該輸出控制單元被配置為從內(nèi)容 數(shù)據(jù)中的字幕數(shù)據(jù)中提取搜索所針對的字符串，內(nèi)容數(shù)據(jù)包括圖像數(shù)據(jù)、語音數(shù)據(jù)和字幕 數(shù)據(jù)；搜索語音數(shù)據(jù)以尋找說出字符串的語音的數(shù)據(jù)，獲取在圖像數(shù)據(jù)中包括的、指示說出 字符串的時間的定時信息；生成包括識別信息和定時信息的字幕定時信息，從而獲取字幕 定時信息，其中識別信息和定時信息彼此互相關聯(lián)，并且識別信息用來識別包括字符串的 字幕數(shù)據(jù)；以及基于字幕定時信息使字幕數(shù)據(jù)和與字幕數(shù)據(jù)的識別信息相關聯(lián)的定時信息 所指示的時間的圖像數(shù)據(jù)同步，并且輸出字幕數(shù)據(jù)和圖像數(shù)據(jù)。
根據(jù)本發(fā)明 一個實施例的數(shù)據(jù)處理方法包括以下步驟從內(nèi)容數(shù)據(jù)中的字幕數(shù)據(jù) 中提取搜索所針對的字符串，內(nèi)容數(shù)據(jù)包括圖像數(shù)據(jù)、語音數(shù)據(jù)和字幕數(shù)據(jù)；搜索語音數(shù)據(jù) 以尋找說出字符串的語音的數(shù)據(jù)，獲取在圖像數(shù)據(jù)中包括的、指示說出字符串的時間的定 時信息；生成包括識別信息和定時信息的字幕定時信息，從而獲取字幕定時信息，其中識別 信息和定時信息彼此互相關聯(lián)，并且識別信息用來識別包括字符串的字幕數(shù)據(jù)；以及基于 字幕定時信息使字幕數(shù)據(jù)和與字幕數(shù)據(jù)的識別信息相關聯(lián)的定時信息所指示的時間的圖 像數(shù)據(jù)同步，并且通過數(shù)據(jù)處理設備來輸出字幕數(shù)據(jù)和圖像數(shù)據(jù)。 根據(jù)上述實施例，從包括圖像數(shù)據(jù)、語音數(shù)據(jù)和字幕數(shù)據(jù)的內(nèi)容數(shù)據(jù)中的字幕數(shù) 據(jù)中提取搜索所針對的字符串；搜索語音數(shù)據(jù)以尋找說出字符串的語音的數(shù)據(jù)，獲取在圖 像數(shù)據(jù)中包括的、指示說出字符串的時間的定時信息；生成包括識別信息和定時信息的字 幕定時信息，從而獲取字幕定時信息，其中識別信息和定時信息彼此互相關聯(lián)，并且識別信 息用來識別包括字符串的字幕數(shù)據(jù)；以及基于字幕定時信息使字幕數(shù)據(jù)和與字幕數(shù)據(jù)的識 別信息相關聯(lián)的定時信息所指示的時間的圖像數(shù)據(jù)同步，并且輸出字幕數(shù)據(jù)和圖像數(shù)據(jù)。
這里，該數(shù)據(jù)處理設備可被提供作為獨立設備和/或在單個設備中包括的至少一 個內(nèi)部塊。 另外，該程序可被經(jīng)由傳送介質(zhì)來傳送并且/或者被記錄在記錄介質(zhì)上，以便被 呈現(xiàn)給用戶。 根據(jù)本發(fā)明一個實施例，可以容易地同步并顯示內(nèi)容的圖像和字幕。


圖1是示出了根據(jù)本發(fā)明一個實施例的記錄器的示例性配置的框圖； 圖2是示出內(nèi)容數(shù)據(jù)處理單元的示例性配置的框圖； 圖3是圖示出字幕定時信息獲取處理的流程圖； 圖4是圖示出同步和再現(xiàn)處理的流程圖；以及 圖5是示出根據(jù)本發(fā)明實施例的計算機的示例性配置的框圖。
具體實施例方式[根據(jù)本發(fā)明一個實施例的記錄器的示例性配置] 圖1是示出根據(jù)本發(fā)明一個實施例的記錄器的示例性配置的框圖。 圖1所示的記錄器例如是硬盤(HD)記錄器，其包括調(diào)諧器11、解復用器12、記錄
和再現(xiàn)控制單元13、記錄介質(zhì)14、解碼器15、內(nèi)容數(shù)據(jù)處理單元16，等等。 調(diào)諧器11接收并解調(diào)電視廣播節(jié)目的傳輸信號，該傳輸信號例如是從數(shù)字廣播
臺(未示出)發(fā)送的。結(jié)果，調(diào)諧器11例如獲取包括內(nèi)容數(shù)據(jù)的傳輸流(TS)并且將該TS
發(fā)送到解復用器12。 這里，圖1所示的記錄器不僅可以以上述方式從數(shù)字廣播的傳輸信號獲取內(nèi)容數(shù) 據(jù)(包括內(nèi)容數(shù)據(jù)的TS)，而且可以從包括局域網(wǎng)(LAN)、因特網(wǎng)等在內(nèi)的網(wǎng)絡獲取內(nèi)容數(shù) 據(jù)。 解復用器12從發(fā)送自調(diào)諧器11的TS中提取用于執(zhí)行控制的適當數(shù)據(jù)(節(jié)目專 用信息(PSI)和/或業(yè)務信息(SI))、包括電子節(jié)目指南(EPG)數(shù)據(jù)的數(shù)據(jù)，并且將適當?shù)?br> 5控制數(shù)據(jù)發(fā)送到記錄和再現(xiàn)控制單元13。 另外，解復用器12基于由用戶(觀眾)執(zhí)行的操作等從發(fā)送自調(diào)諧器11的TS中 提取包括預定節(jié)目的內(nèi)容數(shù)據(jù)的TS分組，并且將該TS分組發(fā)送到記錄和再現(xiàn)控制單元13。
記錄和再現(xiàn)控制單元13控制在記錄介質(zhì)14上記錄數(shù)據(jù)和/或從記錄介質(zhì)14中 再現(xiàn)(讀取)數(shù)據(jù)的操作。 也就是說，記錄和再現(xiàn)控制單元13在記錄介質(zhì)14上記錄從解復用器12發(fā)送的 EPG數(shù)據(jù)、內(nèi)容數(shù)據(jù)(包括內(nèi)容數(shù)據(jù)的TS分組)。另外，記錄和再現(xiàn)控制單元13從記錄介 質(zhì)14中再現(xiàn)(讀取)內(nèi)容數(shù)據(jù)等，并且基于由用戶執(zhí)行的操作、從內(nèi)容數(shù)據(jù)處理單元16發(fā) 送的請求等將內(nèi)容數(shù)據(jù)等發(fā)送到解碼器15。 記錄介質(zhì)14包括包含硬盤(HD)等在內(nèi)的磁盤、包含數(shù)字通用盤(DVD)、藍光光盤 等在內(nèi)的光盤、包含閃存等在內(nèi)的半導體存儲器等，并且在記錄和再現(xiàn)控制單元13的控制 下記錄(存儲)數(shù)據(jù)。 解碼器15例如按照運動圖像專家組(MPEG)標準來解碼從記錄和再現(xiàn)控制單元 13發(fā)送的、包括內(nèi)容數(shù)據(jù)的TS分組，并且將作為解碼結(jié)果而獲得的內(nèi)容數(shù)據(jù)發(fā)送到內(nèi)容數(shù)
據(jù)處理單元16，所述內(nèi)容數(shù)據(jù)包括圖像數(shù)據(jù)、語音數(shù)據(jù)和通過隱藏字幕獲得的字幕數(shù)據(jù)，等等。 內(nèi)容數(shù)據(jù)處理單元16將對適當內(nèi)容數(shù)據(jù)的請求數(shù)據(jù)發(fā)送到記錄和再現(xiàn)控制單元 13。另外，內(nèi)容數(shù)據(jù)處理單元16對包括在從解碼器15發(fā)送的內(nèi)容數(shù)據(jù)中的圖像數(shù)據(jù)、語音 數(shù)據(jù)和字幕數(shù)據(jù)進行處理，并且輸出通過將字幕數(shù)據(jù)疊加在相應圖像數(shù)據(jù)上(復合)而得 到的復合圖像數(shù)據(jù)以及與復合圖像數(shù)據(jù)一起的語音數(shù)據(jù)。 在上述記錄器中，調(diào)諧器11接收并解調(diào)傳輸信號從而獲得TS，并且將TS發(fā)送到解 復用器12。 解復用器12從發(fā)送自調(diào)諧器11的TS中提取包括預定節(jié)目的內(nèi)容數(shù)據(jù)的TS分組， 并且將該TS分組發(fā)送到記錄和再現(xiàn)控制單元13。 記錄和再現(xiàn)控制單元13把從解復用器12發(fā)送的、包括內(nèi)容數(shù)據(jù)的TS分組記錄在 記錄介質(zhì)14上。結(jié)果，執(zhí)行了所謂的節(jié)目記錄。 當再現(xiàn)以上述方式記錄的節(jié)目時，記錄和再現(xiàn)控制單元13從記錄介質(zhì)14中再現(xiàn) (讀取)包括內(nèi)容數(shù)據(jù)的TS分組，并且將TS分組發(fā)送到解碼器15。 解碼器15對從記錄和再現(xiàn)控制單元13發(fā)送的、包括內(nèi)容數(shù)據(jù)的TS分組進行解 碼，從而得到包括圖像數(shù)據(jù)、語音數(shù)據(jù)和字幕數(shù)據(jù)的內(nèi)容數(shù)據(jù)，并且將內(nèi)容數(shù)據(jù)發(fā)送到內(nèi)容 數(shù)據(jù)處理單元16。 內(nèi)容數(shù)據(jù)處理單元16對包括在從解碼器15發(fā)送的內(nèi)容數(shù)據(jù)中的圖像數(shù)據(jù)、語音 數(shù)據(jù)和字幕數(shù)據(jù)進行處理，并且輸出通過將字幕數(shù)據(jù)疊加在相應圖像數(shù)據(jù)上而得到的復合 圖像數(shù)據(jù)以及與復合圖像數(shù)據(jù)一起的語音數(shù)據(jù)。 從內(nèi)容數(shù)據(jù)處理單元16輸出的復合圖像數(shù)據(jù)和語音數(shù)據(jù)被發(fā)送到監(jiān)視器(未示 出)。監(jiān)視器顯示與復合圖像數(shù)據(jù)相對應的復合圖像，即通過把描述節(jié)目圖像細節(jié)的字幕數(shù) 據(jù)疊加在節(jié)目圖像上而得到的圖像。同時，監(jiān)視器輸出與語音數(shù)據(jù)相對應的語音。
這里，可以基于例如由用戶執(zhí)行的操作來開啟和/或關閉字幕顯示(字幕疊加)。
[內(nèi)容數(shù)據(jù)處理單元16的示例性配置]
圖2示出了圖1所示的內(nèi)容數(shù)據(jù)處理單元16的示例性配置。 在圖2中，內(nèi)容數(shù)據(jù)處理單元16是被配置為處理從解碼器15(在圖1中示出)發(fā) 送的、包括圖像數(shù)據(jù)、語音數(shù)據(jù)和字幕數(shù)據(jù)的內(nèi)容數(shù)據(jù)的數(shù)據(jù)處理設備。內(nèi)容數(shù)據(jù)處理單元 16包括內(nèi)容數(shù)據(jù)獲取單元31、字幕獲取單元32、單詞提取單元33、語音提取單元34、語音搜 索單元35、字幕定時信息生成單元36、同步單元40，等等。 內(nèi)容數(shù)據(jù)獲取單元31把對內(nèi)容數(shù)據(jù)的請求發(fā)送給記錄和再現(xiàn)控制單元13(在圖 1中示出)，并且記錄和再現(xiàn)控制單元13響應于該請求而獲取從記錄介質(zhì)14中再現(xiàn)并被經(jīng) 由解碼器15發(fā)送到內(nèi)容數(shù)據(jù)獲取單元31的內(nèi)容數(shù)據(jù)。 另外，內(nèi)容數(shù)據(jù)獲取單元31基于例如由用戶執(zhí)行的操作，通過記錄和再現(xiàn)控制單 元13獲取從記錄介質(zhì)14中再現(xiàn)并被經(jīng)由解碼器15發(fā)送到內(nèi)容數(shù)據(jù)獲取單元31的內(nèi)容數(shù) 據(jù)。 內(nèi)容數(shù)據(jù)獲取單元31在適當情況下把以上述方式獲取的內(nèi)容數(shù)據(jù)發(fā)送到字幕獲 取單元32、語音獲取單元34和同步單元40。 字幕獲取單元32例如按照字幕數(shù)據(jù)的群組從發(fā)送自內(nèi)容數(shù)據(jù)獲取單元31的內(nèi)容 數(shù)據(jù)中獲取(分離)字幕數(shù)據(jù)，并且將所獲取的字幕數(shù)據(jù)發(fā)送到單詞提取單元33和字幕定 時信息生成單元36。 單詞提取單元33通過包括形態(tài)分析等的自然語言處理技術，例如從作為發(fā)送自 字幕獲取單元32的字幕數(shù)據(jù)而提供的文本數(shù)據(jù)中提取例如作為搜索所針對的(作為搜索 目標的)字符串數(shù)據(jù)而提供的至少一個單詞(串)的數(shù)據(jù)，并將單詞數(shù)據(jù)發(fā)送到語音搜索 單元35。 這里，作為搜索所針對的字符串而通過單詞提取單元33從字幕數(shù)據(jù)中提取的單 詞也被稱為搜索目標單詞。 另外，除了從字幕數(shù)據(jù)中提取搜索目標單詞之外，單詞提取單元33在適當情況下
獲取顯示時間信息并將所獲取的顯示時間信息和搜索目標單詞發(fā)送到語音搜索單元35，所
述顯示時間信息指示顯示與包括搜索目標單詞的字幕數(shù)據(jù)相對應的字幕的時間。 也就是說，從內(nèi)容數(shù)據(jù)獲取單元31發(fā)送到字幕獲取單元32的內(nèi)容數(shù)據(jù)例如包括
關于顯示字幕數(shù)據(jù)的時間的信息。字幕數(shù)據(jù)獲取單元32還從發(fā)送自內(nèi)容數(shù)據(jù)獲取單元31
的內(nèi)容數(shù)據(jù)中獲取顯示時間信息(除了字幕數(shù)據(jù)之外)，并且將字幕數(shù)據(jù)和顯示時間信息
發(fā)送到單詞提取單元33。 當接收到從字幕獲取單元32發(fā)送的顯示時間信息時，單詞提取單元33把從字幕 數(shù)據(jù)中提取的搜索目標單詞和關于顯示包括搜索目標單詞的字幕數(shù)據(jù)的時間的信息發(fā)送 到語音搜索單元35。 語音獲取單元34從發(fā)送自內(nèi)容數(shù)據(jù)獲取單元31的內(nèi)容數(shù)據(jù)中獲取語音數(shù)據(jù)，并 且將語音數(shù)據(jù)發(fā)送到語音搜索單元35。 語音搜索單元35搜索從語音獲取單元34發(fā)送的語音數(shù)據(jù)以尋找說出(語音表 達)搜索目標單詞(其數(shù)據(jù)是從單詞提取單元33發(fā)送的)的語音的數(shù)據(jù)，并且獲取指示在 與語音數(shù)據(jù)一起的圖像數(shù)據(jù)中說出搜索目標單詞的時間的定時信息。 這里，定時信息例如可以是時間碼等，其指示參考作為如下內(nèi)容而提供的節(jié)目的 頭時間來確定的相對時間，所述內(nèi)容對應于通過內(nèi)容數(shù)據(jù)獲取單元31獲得的內(nèi)容數(shù)據(jù)。
另外，當接收到從單詞提取單元33發(fā)送的顯示時間信息時，語音搜索單元35可以 在顯示時間信息所指示的顯示時間附近的語音數(shù)據(jù)的范圍內(nèi)搜索語音數(shù)據(jù)，以尋找說出搜 索目標單詞的語音的數(shù)據(jù)。 因為語音搜索單元35在顯示時間信息所指示的顯示時間附近的語音數(shù)據(jù)的范圍 內(nèi)搜索語音數(shù)據(jù)以尋找說出搜索目標單詞的語音的數(shù)據(jù)，而非搜索通過內(nèi)容數(shù)據(jù)獲取單元 31獲取的內(nèi)容數(shù)據(jù)中所包括的整個語音數(shù)據(jù)段，因此例如可以提高語音數(shù)據(jù)搜索的精度、 減少為了獲得搜索而執(zhí)行的處理量和以高速執(zhí)行搜索處理。 字幕定時信息生成單元36生成字幕定時信息，字幕定時信息包括用于識別從字 幕獲取單元32發(fā)送的字幕數(shù)據(jù)的字幕識別信息以及指示說出搜索目標單詞的時間的定時 信息，該定時信息是通過語音搜索單元35搜索說出從字幕數(shù)據(jù)中提取的搜索目標單詞的 語音的數(shù)據(jù)來獲取的，其中字幕識別信息和定時信息彼此互相關聯(lián)。 另外，字幕定時信息生成單元36與根據(jù)內(nèi)容數(shù)據(jù)生成的字幕定時信息相關聯(lián)地 存儲為了識別通過內(nèi)容數(shù)據(jù)獲取單元31獲取的內(nèi)容數(shù)據(jù)而提供的內(nèi)容識別信息。
字幕定時信息生成單元36中存儲的字幕定時信息被同步單元40的輸出控制單元 44在適當情況下參考。 另外，為了識別字幕數(shù)據(jù)而提供的字幕識別信息例如可以是字幕數(shù)據(jù)本身。另外， 為了識別內(nèi)容數(shù)據(jù)而提供的內(nèi)容識別信息例如可以是作為與上述內(nèi)容數(shù)據(jù)相對應的內(nèi)容 的節(jié)目的標題數(shù)據(jù)和/或廣播日期和時間數(shù)據(jù)、廣播頻道，等等。 此外，唯一的標識(ID)數(shù)據(jù)可被給予內(nèi)容數(shù)據(jù)，并且ID數(shù)據(jù)可被用作內(nèi)容識別信
息。字幕識別信息也可能是這種情形。然而，字幕識別信息應當是根據(jù)字幕數(shù)據(jù)本身獲取
的信息，例如通過將字幕數(shù)據(jù)確定為自變量(argument)而獲得的散列值。 同步單元40對從內(nèi)容數(shù)據(jù)獲取單元31發(fā)送的內(nèi)容數(shù)據(jù)執(zhí)行處理，使得內(nèi)容數(shù)據(jù)
中包括的圖像數(shù)據(jù)和對應于圖像數(shù)據(jù)的字幕數(shù)據(jù)被彼此同步地顯示。結(jié)果，同步單元40獲
得通過將字幕數(shù)據(jù)疊加在相應圖像數(shù)據(jù)上而實現(xiàn)的復合圖像數(shù)據(jù)，并且輸出復合圖像數(shù)據(jù)
和與復合圖像數(shù)據(jù)一起的語音數(shù)據(jù)。 也就是說，同步單元40包括語音獲取單元41、圖像獲取單元42、字幕獲取單元43、 輸出控制單元44、復合單元45，等等。 內(nèi)容數(shù)據(jù)獲取單元31將內(nèi)容數(shù)據(jù)發(fā)送給語音獲取單元41、圖像獲取單元42和字 幕獲取單元43。 語音獲取單元41從所發(fā)送的內(nèi)容數(shù)據(jù)中獲取語音數(shù)據(jù)并且將語音數(shù)據(jù)發(fā)送給輸 出控制單元44。 圖像獲取單元42從所發(fā)送的內(nèi)容數(shù)據(jù)中獲取圖像數(shù)據(jù)并且將圖像數(shù)據(jù)發(fā)送給輸 出控制單元44。 字幕獲取單元43從所發(fā)送的內(nèi)容數(shù)據(jù)中獲取字幕數(shù)據(jù)并且將字幕數(shù)據(jù)發(fā)送給輸 出控制單元44。 輸出控制單元44基于字幕定時信息生成單元36中存儲的字幕定時信息來同步從 字幕數(shù)據(jù)獲取單元43發(fā)送的字幕數(shù)據(jù)和與字幕數(shù)據(jù)的字幕識別信息相關聯(lián)的定時信息所 指示的時間的圖像數(shù)據(jù)，并且輸出字幕數(shù)據(jù)、圖像數(shù)據(jù)和與圖像數(shù)據(jù)一起的語音數(shù)據(jù)。
也就是說，輸出控制單元44在適當情況下存儲從圖像獲取單元42發(fā)送的圖像數(shù)
8據(jù)和從語音獲取單元41發(fā)送的、與圖像數(shù)據(jù)一起的語音數(shù)據(jù)，使得圖像數(shù)據(jù)和語音數(shù)據(jù)被 延遲預定時間并輸出。 另外，輸出控制單元44參考字幕定時信息生成單元36中存儲的字幕定時信息中 的、與通過內(nèi)容數(shù)據(jù)獲取單元31獲取的內(nèi)容信息的內(nèi)容識別信息相關聯(lián)的每個字幕定時 信息項，作為將關注的關注字幕定時信息。 另外，輸出控制單元44從關注字幕定時信息中檢測與從字幕獲取單元43發(fā)送的 字幕數(shù)據(jù)的字幕識別信息相關聯(lián)的定時信息，并且與定時信息所指示的時間的圖像數(shù)據(jù) (其細節(jié)由與從字幕獲取單元43發(fā)送的字幕數(shù)據(jù)相對應的字幕來描述)相同步地輸出從字 幕獲取單元43發(fā)送的字幕數(shù)據(jù)。 這里，從輸出控制單元44輸出的語音數(shù)據(jù)被發(fā)送到監(jiān)視器(未示出)。 另外，從輸出控制單元44輸出的圖像數(shù)據(jù)和描述圖像數(shù)據(jù)細節(jié)的字幕的數(shù)據(jù)被
發(fā)送到復合單元45。 復合單元45把從輸出控制單元44發(fā)送的字幕數(shù)據(jù)疊加在同樣從輸出控制單元44 發(fā)送的圖像數(shù)據(jù)上(復合)，使得復合圖像數(shù)據(jù)被生成并輸出。 從復合單元45輸出的復合圖像數(shù)據(jù)被發(fā)送到監(jiān)視器(未示出)，除此之外，從輸出 控制單元44輸出的、與復合圖像數(shù)據(jù)一起的語音數(shù)據(jù)也被發(fā)送到監(jiān)視器(未示出)。
上述內(nèi)容數(shù)據(jù)處理單元16執(zhí)行字幕定時信息獲取處理以及同步和再現(xiàn)處理。
在字幕定時信息獲取處理期間，例如基于記錄介質(zhì)14上記錄的內(nèi)容數(shù)據(jù)(包括內(nèi) 容數(shù)據(jù)的TS分組)而生成字幕定時信息，從而獲取字幕定時信息。另外，在同步和再現(xiàn)處 理期間，基于通過字幕定時信息獲取處理獲取的字幕定時信息來同步在內(nèi)容數(shù)據(jù)中包括的 圖像數(shù)據(jù)和字幕數(shù)據(jù)，并且輸出圖像數(shù)據(jù)、字幕數(shù)據(jù)和與圖像數(shù)據(jù)一起的語音數(shù)據(jù)。
[字幕定時信息獲取處理的描述] 將參考圖3來描述通過圖2所示的內(nèi)容數(shù)據(jù)處理單元16執(zhí)行的字幕定時信息獲 取處理。 字幕定時信息獲取處理可以在諸如周期性時間和/或非周期性時間之類的任意 時間開始。 在字幕定時信息獲取處理的步驟Sll處，內(nèi)容數(shù)據(jù)獲取單元31獲取在記錄介質(zhì) 14(在圖1中示出)上記錄的內(nèi)容數(shù)據(jù)項之一，其中針對所獲取的內(nèi)容數(shù)據(jù)項還未獲取字幕 定時信息。 也就是說，在步驟Sll處，內(nèi)容數(shù)據(jù)獲取單元31把對內(nèi)容數(shù)據(jù)的請求數(shù)據(jù)發(fā)送到 記錄和再現(xiàn)控制單元13 (在圖1中示出)。響應于該請求，內(nèi)容數(shù)據(jù)獲取單元31通過記錄 和再現(xiàn)控制單元13獲取從記錄介質(zhì)14中再現(xiàn)并被經(jīng)由解碼器15發(fā)送到內(nèi)容數(shù)據(jù)獲取單 元31的內(nèi)容數(shù)據(jù)。 另夕卜，內(nèi)容數(shù)據(jù)獲取單元31把經(jīng)由解碼器15從記錄和再現(xiàn)控制單元13獲取的內(nèi) 容數(shù)據(jù)發(fā)送到字幕獲取單元32和語音獲取單元34，并且處理從步驟Sll前進到步驟S12。
在步驟S12處，字幕獲取單元32從發(fā)送自內(nèi)容數(shù)據(jù)獲取單元31的內(nèi)容數(shù)據(jù)中獲 取每個字幕數(shù)據(jù)項，并且將這些字幕數(shù)據(jù)項發(fā)送到單詞提取單元33和字幕定時信息生成 單元36。另外，在步驟S12處，字幕獲取單元32從發(fā)送自內(nèi)容數(shù)據(jù)獲取單元31的內(nèi)容數(shù)據(jù) 中獲取關于顯示從該內(nèi)容數(shù)據(jù)中獲取的每個字幕數(shù)據(jù)項的時間的信息，并且將所獲取的顯示時間信息發(fā)送到單詞提取單元33。 另外，在步驟S12處，語音獲取單元34從發(fā)送自內(nèi)容數(shù)據(jù)獲取單元31的內(nèi)容數(shù)據(jù) 中獲取語音數(shù)據(jù)(語音的波形數(shù)據(jù))，并且將語音數(shù)據(jù)發(fā)送到語音搜索單元35。
此后，處理從步驟S12前進到步驟S13，并且單詞提取單元33從發(fā)送自字幕獲取單 元32的每個字幕數(shù)據(jù)項中提取作為搜索所針對的字符串的搜索目標單詞的數(shù)據(jù)。另外，單 詞提取單元33生成搜索目標列表的數(shù)據(jù)，利用該數(shù)據(jù)，從每個字幕數(shù)據(jù)項中提取的搜索目 標單詞和從字幕提取單元32發(fā)送的顯示時間信息(關于顯示搜索目標單詞所提取的來源 的字幕的時間的信息)彼此相關聯(lián)地被登記。然后，單詞提取單元33將搜索目標列表數(shù)據(jù) 發(fā)送到語音搜索單元35，并且處理從步驟S13前進到步驟S14。 這里，例如，單詞提取單元33對用作字幕數(shù)據(jù)的文本數(shù)據(jù)執(zhí)行形態(tài)分析，從而文 本數(shù)據(jù)被劃分為多個單詞并且這些單詞中的每一個單詞的朗讀(語聲)的數(shù)據(jù)被獲取。另 外，單詞提取單元例如從通過劃分文本數(shù)據(jù)而得到的多個單詞中選擇(提取)具有最長朗 讀的單詞、專有名詞、具有預定數(shù)目字符或者更多字符的至少兩個連續(xù)單詞(單詞串)等，
作為搜索目標單詞，以便例如在稍后將描述的步驟S16處以適當?shù)木人阉髡f出變?yōu)殛P注 單詞(remarked word)的搜索目標單詞的語音的數(shù)據(jù)。 在步驟S14處，語音搜索單元35判定搜索目標單詞是否在發(fā)送自單詞提取單元33 的搜索目標列表數(shù)據(jù)中登記過。 如果在步驟S14處判定搜索目標單詞在搜索目標列表中登記過，那么處理前進到 步驟S15并且語音搜索單元35把在搜索目標列表中登記過的搜索目標單詞之一選擇為關 注單詞。 此后，處理從步驟S15前進到步驟S16，并且語音搜索單元35搜索從語音獲取單元 34發(fā)送的語音數(shù)據(jù)，以尋找說出關注單詞的語音的數(shù)據(jù)。然后，語音搜索單元35基于搜索 結(jié)果辨認出在先前步驟(即步驟Sll)處獲取的內(nèi)容數(shù)據(jù)中包括的圖像數(shù)據(jù)中說出關注單 詞的時間。另外，語音搜索單元35生成指示說出關注單詞的時間的定時信息從而獲取定時 信息，并且將定時信息發(fā)送到字幕定時信息生成單元36，結(jié)果處理從步驟S16前進到步驟 S17。 這里，語音搜索單元35例如通過所謂的關鍵字定點(keywordspotting)方法和/ 或生成從語音獲取單元34發(fā)送的語音數(shù)據(jù)的音位(phoneme)和音位位置作為索引并且基 于上述索引來搜索包括在關注單詞中的音位的系統(tǒng)的方法，來搜索說出關注單詞的語音的 數(shù)據(jù)。 另外，語音搜索單元35可以在與關注單詞相關聯(lián)的顯示時間信息所指示的顯示 時間附近的語音數(shù)據(jù)的范圍內(nèi)，搜索從單詞提取單元33發(fā)送的搜索目標列表數(shù)據(jù)，以尋找 說出關注單詞的語音的數(shù)據(jù)(例如，包括顯示時間信息所指示的顯示時間并且與關注單詞 的朗讀長度成比例的時間)。 在步驟S17處，字幕定時信息生成單元36把從字幕獲取單元32發(fā)送的每個字幕 數(shù)據(jù)項確定為字幕數(shù)據(jù)項的字幕識別信息。另外，字幕定時信息生成單元36生成字幕定 時信息，字幕定時信息包括從語音搜索單元35發(fā)送的、指示說出關注單詞的時間的定時信 息，以及關注單詞所提取來自的字幕數(shù)據(jù)(從該字幕數(shù)據(jù)提取)的字幕識別信息，其中定時 信息和字幕識別信息彼此互相關聯(lián)。
另外，字幕定時信息生成單元36與針對關注單詞而生成的字幕定時信息相關聯(lián) 地存儲在先前步驟(即步驟Sll)處獲取的內(nèi)容數(shù)據(jù)的內(nèi)容識別信息，并且處理從步驟S17 前進到步驟S18。 在步驟S18處，語音搜索單元35從搜索目標列表(其數(shù)據(jù)是從單詞提取單元33
發(fā)送的)中去除關注單詞和與關注單詞相關聯(lián)的顯示時間信息。 此后，處理從步驟S18返回到步驟S14，從而重復從S14往下的處理。 如果在步驟S14處判定搜索目標單詞未在搜索目標列表中登記過，S卩，如果為在
先前步驟(即步驟Sll)處獲取的內(nèi)容數(shù)據(jù)中包括的每個字幕數(shù)據(jù)項生成了字幕定時信息，
那么字幕信息獲取處理完成。 [OO"][同步和再現(xiàn)處理的描述] 將參考圖4來描述通過圖2所示的內(nèi)容數(shù)據(jù)處理單元16執(zhí)行的同步和再現(xiàn)處理。
在同步和再現(xiàn)處理期間，內(nèi)容數(shù)據(jù)獲取單元31在步驟S31處判定是否例如由操作 記錄器的用戶指定了再現(xiàn)所針對的(作為再現(xiàn)目標的)內(nèi)容數(shù)據(jù)。 如果在步驟S31處判定未指定再現(xiàn)所針對的內(nèi)容數(shù)據(jù)，那么處理返回到步驟S31。
如果在步驟S31處判定指定了再現(xiàn)所針對的內(nèi)容數(shù)據(jù)，那么處理前進到步驟S32， 結(jié)果內(nèi)容數(shù)據(jù)獲取單元31開始獲取內(nèi)容數(shù)據(jù)，然后處理前進到步驟S33。
也就是說，如果例如由操作記錄器的用戶指定了再現(xiàn)所針對的內(nèi)容數(shù)據(jù)，那么記 錄和再現(xiàn)控制單元13(在圖1中示出)從記錄介質(zhì)14中再現(xiàn)對其進行指定的內(nèi)容數(shù)據(jù)(下 文中稱為所指定的內(nèi)容數(shù)據(jù))，并把所指定的內(nèi)容數(shù)據(jù)經(jīng)由解碼器15發(fā)送到內(nèi)容數(shù)據(jù)處理 單元16。 內(nèi)容數(shù)據(jù)獲取單元31開始獲取應以上述方式被發(fā)送到內(nèi)容數(shù)據(jù)處理單元16的所 指定內(nèi)容數(shù)據(jù)。 通過內(nèi)容數(shù)據(jù)獲取單元31獲取的內(nèi)容數(shù)據(jù)被發(fā)送到設在同步單元40中的語音獲 取單元41、圖像獲取單元42和字幕獲取單元43。 在步驟S33處，內(nèi)容數(shù)據(jù)獲取單元31判定是否應當結(jié)束內(nèi)容數(shù)據(jù)再現(xiàn)。 如果在步驟S33處判定不應當結(jié)束內(nèi)容數(shù)據(jù)再現(xiàn)，即如果用戶未執(zhí)行指示結(jié)束內(nèi)
容數(shù)據(jù)再現(xiàn)的操作等，那么處理前進到步驟S34，從而從所指定的內(nèi)容數(shù)據(jù)中獲取語音數(shù)
據(jù)、圖像數(shù)據(jù)和字幕數(shù)據(jù)，然后處理前進到步驟S35。 也就是說，在步驟S34處，語音獲取單元41從發(fā)送自內(nèi)容數(shù)據(jù)獲取單元31的所指 定內(nèi)容數(shù)據(jù)中獲取語音數(shù)據(jù)，并且將語音數(shù)據(jù)發(fā)送到輸出控制單元44。
另外，圖像獲取單元42從發(fā)送自內(nèi)容數(shù)據(jù)獲取單元31的所指定內(nèi)容數(shù)據(jù)中獲取 圖像數(shù)據(jù)，并且將圖像數(shù)據(jù)發(fā)送到輸出控制單元44。 另外，字幕獲取單元43從發(fā)送自內(nèi)容數(shù)據(jù)獲取單元31的所指定內(nèi)容數(shù)據(jù)中獲取 字幕數(shù)據(jù)，并且將字幕數(shù)據(jù)發(fā)送到輸出控制單元44。 另外，在步驟S35處，輸出控制單元44參考在字幕定時信息生成單元36中存儲 的、與通過內(nèi)容數(shù)據(jù)獲取單元31獲取的所指定內(nèi)容數(shù)據(jù)的內(nèi)容識別信息相關聯(lián)的每個字 幕定時信息項，作為要關注的關注字幕定時信息。 另外，輸出控制單元44把從字幕獲取單元43發(fā)送的字幕數(shù)據(jù)確定為字幕識別信 息，并且根據(jù)關注字幕定時信息來檢測與字幕識別信息相關聯(lián)的定時信息，從而獲取定時信息。 然后，處理從步驟S35前進到步驟S36，并且輸出控制單元44基于由關注字幕定時 信息而獲取的字幕定時信息，來控制從語音獲取單元41輸出的語音數(shù)據(jù)、從圖像獲取單元 42輸出的圖像數(shù)據(jù)、以及從字幕獲取單元43輸出的字幕數(shù)據(jù)。 也就是說，輸出控制單元44在適當情況下延遲和/或不延遲從圖像獲取單元42 發(fā)送的圖像數(shù)據(jù)和從語音獲取單元41發(fā)送的、與圖像數(shù)據(jù)一起的語音數(shù)據(jù)，并且輸出圖像 數(shù)據(jù)和語音數(shù)據(jù)。 另外，輸出控制單元44與如下圖像數(shù)據(jù)相同步地輸出從字幕獲取單元43發(fā)送的
字幕數(shù)據(jù)所述圖像數(shù)據(jù)在由關注字幕定時信息獲取的字幕定時信息所指示的時間被顯
示，即其細節(jié)通過與從字幕獲取單元43發(fā)送的字幕數(shù)據(jù)相對應的字幕來描述的圖像數(shù)據(jù)。
也就是說，在由關注字幕定時信息獲取的字幕定時信息所指示的時間的圖像數(shù)據(jù)被輸出的
同時，輸出控制單元44開始輸出從字幕獲取單元43發(fā)送的字幕數(shù)據(jù)。 從輸出控制單元44輸出的圖像數(shù)據(jù)和(描述圖像數(shù)據(jù)的細節(jié)的)字幕數(shù)據(jù)被發(fā)
送到復合單元45。 此后，處理從步驟S36前進到步驟S37，并且復合單元45把從輸出控制單元44發(fā) 送的字幕數(shù)據(jù)疊加在同樣從輸出控制單元44發(fā)送的圖像數(shù)據(jù)上(復合)，從而生成并輸出 復合圖像數(shù)據(jù)。 從復合單元45輸出的復合圖像數(shù)據(jù)被發(fā)送到監(jiān)視器(未示出)，除此之外，從輸出
控制單元44輸出的、與復合圖像數(shù)據(jù)一起的語音數(shù)據(jù)也被發(fā)送到監(jiān)視器(未示出)。 結(jié)果，通過監(jiān)視器，顯示了對應于復合圖像數(shù)據(jù)的復合圖像(即，描述節(jié)目圖像的
字幕所疊加于的節(jié)目圖像)，并且輸出了對應于語音數(shù)據(jù)的語音。此后，處理從步驟S37返回到步驟S33，從而重復從步驟S33往下的處理。 然后，如果在步驟S33處判定應當結(jié)束內(nèi)容數(shù)據(jù)再現(xiàn)，即如果用戶執(zhí)行了指示結(jié)
束內(nèi)容數(shù)據(jù)再現(xiàn)的操作等，那么結(jié)束同步和再現(xiàn)處理。 因此，在內(nèi)容數(shù)據(jù)處理單元16中執(zhí)行的字幕定時信息獲取處理(在圖3中示出)
期間，單詞提取單元33從包括圖像數(shù)據(jù)、語音數(shù)據(jù)和字幕數(shù)據(jù)的內(nèi)容數(shù)據(jù)中包括的字幕
數(shù)據(jù)中提取作為搜索所針對的字符串的搜索目標單詞，語音搜索單元35搜索內(nèi)容數(shù)據(jù)中
包括的語音數(shù)據(jù)以尋找說出搜索目標單詞的語音數(shù)據(jù)，從而獲取指示在圖像數(shù)據(jù)中說出搜
索目標單詞的時間的定時信息，并且字幕定時信息生成單元36生成包括字幕識別信息和
定時信息的字幕定時信息，字幕識別信息是為了識別包括搜索目標單詞的字幕數(shù)據(jù)而提供
的，定時信息指示說出搜索目標單詞的時間，其中字幕識別信息和定時信息彼此互相關聯(lián)。 另外，在內(nèi)容數(shù)據(jù)處理單元16中執(zhí)行的同步和再現(xiàn)處理(在圖4中示出)期間，
輸出控制單元44基于字幕定時信息來同步字幕數(shù)據(jù)和與字幕數(shù)據(jù)的字幕識別信息相關聯(lián)
的定時信息所指示的時間的圖像數(shù)據(jù)，并且輸出字幕數(shù)據(jù)和圖像數(shù)據(jù)。 因此，可以容易地同步和顯示內(nèi)容的圖像和字幕。就是說，例如在不修改廣播標準
和/或使廣播臺為廣播標準做好準備的情況下，可以顯示如下內(nèi)容圖像在該內(nèi)容圖像上
疊加了描述內(nèi)容圖像的細節(jié)的字幕。 結(jié)果，可以減少與圖像(其細節(jié)通過字幕來描述)不同步顯示的字幕并且防止觀 眾困惑和/或煩惱。
12
另外，除了作為從字幕數(shù)據(jù)中提取的、搜索所針對的字符串的單個單詞之外，單詞 提取單元33還可以采用包括子句、句子等在內(nèi)的多個單詞串。 另外，在上述實施例中，內(nèi)容數(shù)據(jù)處理單元16基于在記錄介質(zhì)14上記錄的內(nèi)容數(shù) 據(jù)來生成字幕定時信息，從而獲取字幕定時信息。然而，可以例如從設在因特網(wǎng)上的服務器 等獲取字幕定時信息。即，可以通過設在因特網(wǎng)上的服務器來生成和呈遞字幕定時信息。在 這種情況下，內(nèi)容數(shù)據(jù)處理單元16可以從設在因特網(wǎng)上的服務器下載字幕定時信息以進 行獲取。 當從設在因特網(wǎng)上的服務器下載字幕定時信息以進行獲取時，內(nèi)容數(shù)據(jù)處理單元 16可以不包括字幕獲取單元32(被提供為生成字幕定時信息的塊)、單詞提取單元33、語音 獲取單元34、語音搜索單元35和字幕定時信息生成單元36。 另外，在上述實施例中，針對記錄介質(zhì)14中存儲(記錄)的內(nèi)容數(shù)據(jù)執(zhí)行了字幕 定時信息獲取處理(在圖3中示出)和同步和再現(xiàn)處理(在圖4中示出)。然而，除了記錄 介質(zhì)14上記錄的內(nèi)容數(shù)據(jù)之外，還可以針對實時廣播的節(jié)目的內(nèi)容數(shù)據(jù)執(zhí)行字幕定時信 息獲取處理以及同步和再現(xiàn)處理。 當針對實時廣播的節(jié)目的內(nèi)容數(shù)據(jù)執(zhí)行字幕定時信息獲取處理以及同步和再現(xiàn) 處理時，內(nèi)容數(shù)據(jù)被發(fā)送到字幕獲取單元32和語音獲取單元34，以及設在同步單元40中的 語音獲取單元41、圖像獲取單元42和字幕獲取單元43，并且在內(nèi)容數(shù)據(jù)處理單元16中并 行執(zhí)行字幕定時信息獲取處理(在圖3中示出)以及同步和再現(xiàn)處理(在圖4中示出)。
在這種情況下，作為同步和再現(xiàn)處理，(在圖2中示出的)輸出控制單元44使從 語音獲取單元41發(fā)送的語音數(shù)據(jù)和從圖像獲取單元42發(fā)送的圖像數(shù)據(jù)延遲預定時間，例 如獲取至少一個字幕數(shù)據(jù)項(一組字幕數(shù)據(jù)項)的字幕定時信息所用的時間，并且輸出語 音數(shù)據(jù)和圖像數(shù)據(jù)。 另一方面，作為字幕定時信息獲取處理，字幕獲取單元32、單詞提取單元33、語音 提取單元34、語音搜索單元35和字幕定時信息生成單元36針對通過字幕獲取單元32獲取 的最新字幕數(shù)據(jù)生成字幕定時信息，并且將字幕定時信息發(fā)送到輸出控制單元44。
輸出控制單元44基于最新字幕定時信息與相應圖像數(shù)據(jù)相同步地輸出從字幕獲 取單元43發(fā)送的最新字幕數(shù)據(jù)。 在上述實施例中，本發(fā)明用于記錄器。然而，除了記錄器之外，本發(fā)明可以用于被 配置為再現(xiàn)內(nèi)容的設備和/或裝置，例如被配置為接收電視廣播節(jié)目的電視(TV)。
接下來，可以通過硬件和/或軟件來執(zhí)行通過內(nèi)容數(shù)據(jù)處理單元16執(zhí)行的上述一 系列處理過程。當通過軟件來執(zhí)行這一系列處理過程時，軟件中包括的程序例如被安裝在 通用計算機上。 圖5示出了根據(jù)本發(fā)明一個實施例的計算機的示例性配置，其中執(zhí)行上述一系列 處理過程的程序被安裝在計算機上。 程序可被預先記錄在設在計算機中的、充當記錄介質(zhì)的硬盤105和/或只讀存儲 器(ROM) 103上。 另外，程序可被臨時地和/或永久地存儲(記錄)在可移除記錄介質(zhì)111中，其中 可移除記錄介質(zhì)111包括柔性盤、致密盤只讀存儲器(CD-ROM)、磁光(M0)盤、數(shù)字通用盤 (DVD)、磁盤、半導體存儲器，等等。上述可移除記錄介質(zhì)111可以表示為所謂的套裝軟件。
13
除了從計算機上的上述可移除記錄介質(zhì)111安裝之外，程序也可以經(jīng)由為了實現(xiàn)數(shù)字衛(wèi)星廣播而提供的人造衛(wèi)星被從下載站點無線地傳送到計算機，或者經(jīng)由包括局域網(wǎng)(LAN)、因特網(wǎng)等的網(wǎng)絡被以有線方式傳送到計算機。計算機可以通過通信單元108接收以上述方式傳送的程序，并且將程序安裝在內(nèi)部的硬盤105上。 計算機包括經(jīng)由總線101而連接到輸入和輸出接口 110的中央處理單元(CPU) 102。例如當包括鍵盤、鼠標、麥克風等的輸入單元107被用戶操作，使得指令經(jīng)由輸入和輸出接口 IIO被發(fā)送到CPU 102時，CPU 102基于該指令執(zhí)行在只讀存儲器(ROM) 103中存儲的程序。另一方面，CPU 102把硬盤105中存儲的程序加載到隨機存取存儲器(RAM) 104中并執(zhí)行該程序，該程序是從衛(wèi)星和/或網(wǎng)絡傳送、由通信單元108接收、并被安裝在硬盤105上的程序，或是從插入到驅(qū)動器109中的可移除記錄介質(zhì)111中讀取、并被安裝在硬盤105上的程序。結(jié)果，CPU 102執(zhí)行基于上述流程圖的處理，以及通過上述框圖的配置來執(zhí)行的處理。然后，CPU102在適當情況下例如經(jīng)由輸入和輸出接口 IIO從包括液晶顯示器(LCD)、揚聲器等的輸出單元106輸出處理結(jié)果的數(shù)據(jù)，或者從通信單元108發(fā)送處理結(jié)果數(shù)據(jù)，并且將處理結(jié)果數(shù)據(jù)記錄在硬盤105上。 另外，在本說明書中，描述使計算機執(zhí)行各處理過程的程序的處理步驟可以不按照根據(jù)編寫為流程圖的次序的時間順序來執(zhí)行。即，處理步驟包括并行執(zhí)行和/或分開執(zhí)行的處理過程(例如，并行處理和/或由對象執(zhí)行的處理)。 可以通過單個計算機來處理程序，或者可以將程序分發(fā)在多個計算機中進行處理。另外，可以將程序傳送到遠處的計算機并且執(zhí)行程序。 本申請包含與2008年12月4日向日本專利局提交的日本在先專利申請JP
2008-309578中所公開的內(nèi)容有關的主題，該申請的全部內(nèi)容通過引用結(jié)合于此。 本領域技術人員應當明白，取決于設計要求和其他因素，只要各種修改、組合、子
組合和變更在權利要求或其等同物的范圍內(nèi)就可以作出這些修改、組合、子組合和變更，而
不限于上述實施例。
權利要求
一種數(shù)據(jù)處理設備，包括輸出控制裝置，被配置為從內(nèi)容數(shù)據(jù)中的字幕數(shù)據(jù)中提取搜索所針對的字符串，所述內(nèi)容數(shù)據(jù)包括圖像數(shù)據(jù)、語音數(shù)據(jù)和所述字幕數(shù)據(jù)，搜索所述語音數(shù)據(jù)以尋找說出所述字符串的語音的數(shù)據(jù)，獲取在所述圖像數(shù)據(jù)中包括的、指示說出所述字符串的時間的定時信息，生成包括識別信息和所述定時信息的字幕定時信息，從而獲取所述字幕定時信息，其中所述識別信息和所述定時信息彼此互相關聯(lián)，并且所述識別信息用來識別包括所述字符串的字幕數(shù)據(jù)，以及基于所述字幕定時信息使所述字幕數(shù)據(jù)和與所述字幕數(shù)據(jù)的識別信息相關聯(lián)的定時信息所指示的時間的圖像數(shù)據(jù)同步，并且輸出所述字幕數(shù)據(jù)和所述圖像數(shù)據(jù)。
2. 根據(jù)權利要求1所述的數(shù)據(jù)處理設備，還包括提取裝置，被配置為從所述內(nèi)容數(shù)據(jù)的字幕數(shù)據(jù)中提取所述搜索所針對的字符串； 搜索裝置，被配置為搜索所述內(nèi)容數(shù)據(jù)中的語音數(shù)據(jù)以尋找說出所述字符串的語音的數(shù)據(jù)，并且獲取指示說出所述字符串的時間的定時信息，以及生成裝置，被配置為生成包括所述識別信息和所述定時信息的字幕定時信息，其中所述識別信息和所述定時信息彼此互相關聯(lián)，并且其中所述識別信息用來識別包括所述字符串的字幕數(shù)據(jù)。
3. 根據(jù)權利要求2所述的數(shù)據(jù)處理設備，其中，當所述內(nèi)容數(shù)據(jù)還包括指示顯示所述字幕數(shù)據(jù)的時間的顯示時間信息時， 所述搜索裝置在所述顯示時間信息所指示的顯示時間的時間附近的語音數(shù)據(jù)的范圍 內(nèi)，搜索說出所述字符串的語音的數(shù)據(jù)。
4. 一種數(shù)據(jù)處理方法，包括以下步驟從內(nèi)容數(shù)據(jù)中的字幕數(shù)據(jù)中提取搜索所針對的字符串，所述內(nèi)容數(shù)據(jù)包括圖像數(shù)據(jù)、 語音數(shù)據(jù)和所述字幕數(shù)據(jù)，搜索所述語音數(shù)據(jù)以尋找說出所述字符串的語音的數(shù)據(jù)，獲取在所述圖像數(shù)據(jù)中包括 的、指示說出所述字符串的時間的定時信息，生成包括識別信息和所述定時信息的字幕定時信息，從而獲取所述字幕定時信息，其 中所述識別信息和所述定時信息彼此互相關聯(lián)，并且所述識別信息用來識別包括所述字符 串的字幕數(shù)據(jù)，以及基于所述字幕定時信息使所述字幕數(shù)據(jù)和與所述字幕數(shù)據(jù)的識別信息相關聯(lián)的定時 信息所指示的時間的圖像數(shù)據(jù)同步，并且通過數(shù)據(jù)處理設備來輸出所述字幕數(shù)據(jù)和所述圖 像數(shù)據(jù)。
5. —種使計算機充當輸出控制裝置的程序，所述輸出控制裝置被配置為 從內(nèi)容數(shù)據(jù)中的字幕數(shù)據(jù)中提取搜索所針對的字符串，所述內(nèi)容數(shù)據(jù)包括圖像數(shù)據(jù)、語音數(shù)據(jù)和所述字幕數(shù)據(jù)，搜索所述語音數(shù)據(jù)以尋找說出所述字符串的語音的數(shù)據(jù)，獲取在所述圖像數(shù)據(jù)中包括 的、指示說出所述字符串的時間的定時信息，生成包括識別信息和所述定時信息的字幕定時信息，從而獲取所述字幕定時信息，其中所述識別信息和所述定時信息彼此互相關聯(lián)，并且所述識別信息用來識別包括所述字符 串的字幕數(shù)據(jù)，基于所述字幕定時信息使所述字幕數(shù)據(jù)和與所述字幕數(shù)據(jù)的識別信息相關聯(lián)的定時 信息所指示的時間的圖像數(shù)據(jù)同步，并且輸出所述字幕數(shù)據(jù)和所述圖像數(shù)據(jù)。
6. —種數(shù)據(jù)處理設備，包括 輸出控制單元，被配置為從內(nèi)容數(shù)據(jù)中的字幕數(shù)據(jù)中提取搜索所針對的字符串，所述內(nèi)容數(shù)據(jù)包括圖像數(shù)據(jù)、 語音數(shù)據(jù)和所述字幕數(shù)據(jù)，搜索所述語音數(shù)據(jù)以尋找說出所述字符串的語音的數(shù)據(jù)，獲取在所述圖像數(shù)據(jù)中包括 的、指示說出所述字符串的時間的定時信息，生成包括識別信息和所述定時信息的字幕定時信息，從而獲取所述字幕定時信息，其 中所述識別信息和所述定時信息彼此互相關聯(lián)，并且所述識別信息用來識別包括所述字符 串的字幕數(shù)據(jù)，以及基于所述字幕定時信息使所述字幕數(shù)據(jù)和與所述字幕數(shù)據(jù)的識別信息相關聯(lián)的定時 信息所指示的時間的圖像數(shù)據(jù)同步，并且輸出所述字幕數(shù)據(jù)和所述圖像數(shù)據(jù)。
全文摘要
本發(fā)明公開了數(shù)據(jù)處理設備、數(shù)據(jù)處理方法及程序。該數(shù)據(jù)處理設備包括輸出控制單元，該輸出控制單元被配置為從內(nèi)容數(shù)據(jù)中的字幕數(shù)據(jù)中提取搜索所針對的字符串，內(nèi)容數(shù)據(jù)包括圖像數(shù)據(jù)、語音數(shù)據(jù)和字幕數(shù)據(jù)；搜索語音數(shù)據(jù)以尋找說出字符串的語音的數(shù)據(jù)，獲取在圖像數(shù)據(jù)中包括的、指示說出字符串的時間的定時信息；生成包括識別信息和定時信息的字幕定時信息，從而獲取字幕定時信息，其中識別信息和定時信息彼此互相關聯(lián)，并且識別信息用來識別包括字符串的字幕數(shù)據(jù)；以及使字幕數(shù)據(jù)和與字幕數(shù)據(jù)的識別信息相關聯(lián)的定時信息所指示的時間的圖像數(shù)據(jù)同步，并且基于字幕定時信息輸出字幕數(shù)據(jù)和圖像數(shù)據(jù)。
文檔編號H04N5/445GK101753915SQ200910252949
公開日2010年6月23日 申請日期2009年12月4日 優(yōu)先權日2008年12月4日
發(fā)明者小林賢一郎, 山本則行, 淺野康治 申請人:索尼株式會社