使用音頻流識(shí)別與當(dāng)前播放的電視節(jié)目相關(guān)聯(lián)的元數(shù)據(jù)的制作方法
【技術(shù)領(lǐng)域】
[0001]本描述通常涉及被配置成呈現(xiàn)與播放的電視節(jié)目相關(guān)聯(lián)的互聯(lián)網(wǎng)可訪問(wèn)內(nèi)容的系統(tǒng)、方法和設(shè)備。
【背景技術(shù)】
[0002]視頻內(nèi)容有時(shí)包括提示觀眾采取與視頻的內(nèi)容有關(guān)的某個(gè)動(dòng)作的聽(tīng)覺(jué)或視覺(jué)消息。例如，電視廣告可以提不用戶(hù)訪冋與廣告的廣品相關(guān)聯(lián)的廣品網(wǎng)站來(lái)獲得有關(guān)廣品的優(yōu)惠券或信息。在另一示例中，在廣播電視節(jié)目或電影期間，消息可能出現(xiàn)，提示觀眾訪問(wèn)網(wǎng)站來(lái)觀看有關(guān)在電視節(jié)目或電影中描述或相關(guān)聯(lián)的人物、地點(diǎn)或事物的信息。即使沒(méi)有被提示，許多用戶(hù)對(duì)與他們正觀看的視頻內(nèi)容有關(guān)的人物、地點(diǎn)或事物感興趣。通常，為獲得與視頻流相關(guān)的信息，用戶(hù)需要使用上網(wǎng)功能的設(shè)備訪問(wèn)網(wǎng)站?，F(xiàn)有的方法是低效的，因?yàn)樗鼈円笥脩?hù)采取觀看體驗(yàn)外的某個(gè)動(dòng)作。而且，許多觀眾可能錯(cuò)過(guò)或忽略提供有關(guān)視頻內(nèi)容的附加信息的音頻消息和視覺(jué)消息，對(duì)許多觀眾來(lái)說(shuō)，在觀看視頻內(nèi)容的同時(shí)，不方便操作計(jì)算設(shè)備。

【發(fā)明內(nèi)容】

[0003]在此所述的方法和系統(tǒng)提供在用戶(hù)觀看視頻內(nèi)容的同時(shí)顯示與視頻內(nèi)容相關(guān)的信息的高效方式。例如，可以在顯示設(shè)備上顯示有關(guān)茶的廣告，當(dāng)用戶(hù)正觀看該廣告時(shí)，連接到顯示設(shè)備的客戶(hù)端設(shè)備解析隱藏字幕內(nèi)容來(lái)獲得信息集，將信息集發(fā)送到服務(wù)器，從服務(wù)器獲得指令集并且根據(jù)接收的指令集來(lái)執(zhí)行一個(gè)或多個(gè)功能。一個(gè)或多個(gè)功能顯示有關(guān)隱藏字幕內(nèi)容的信息。在該示例中，指令集包括執(zhí)行一個(gè)或多個(gè)應(yīng)用的指令，所述應(yīng)用諸如顯示具有有關(guān)特定類(lèi)型或品牌的茶的網(wǎng)頁(yè)的瀏覽器、示出有關(guān)制作茶的教學(xué)視頻的媒體播放器、顯示有關(guān)茶的文章的饋送閱讀器應(yīng)用或呈現(xiàn)作為廣告的主題的茶的優(yōu)惠券的優(yōu)惠券簿應(yīng)用的指令。當(dāng)正播放廣告時(shí)，執(zhí)行一個(gè)或多個(gè)應(yīng)用，并且在顯示設(shè)備上，與廣告一起同時(shí)顯示一個(gè)或多個(gè)應(yīng)用。
[0004]根據(jù)一些實(shí)現(xiàn)，提供系統(tǒng)和方法來(lái)顯示信息。在客戶(hù)端設(shè)備接收包括隱藏字幕的視頻流。從隱藏字幕的內(nèi)容確定信息集。將包括信息集的請(qǐng)求發(fā)送到遠(yuǎn)離客戶(hù)端設(shè)備的服務(wù)器以便處理。從服務(wù)器接收指令集。指令集包括顯示與信息集有關(guān)的信息的指令。響應(yīng)于接收指令集，根據(jù)指令集來(lái)執(zhí)行一個(gè)或多個(gè)應(yīng)用。
[0005]根據(jù)一些實(shí)現(xiàn)，在服務(wù)器接收包括從視頻流中的隱藏字幕內(nèi)容提取的信息集的客戶(hù)請(qǐng)求。從信息集識(shí)別一個(gè)或多個(gè)相關(guān)標(biāo)識(shí)。確定與信息集相關(guān)聯(lián)的指令集。將指令集發(fā)送到客戶(hù)端。
[0006]本公開(kāi)的另一方面包括一種方法的實(shí)現(xiàn)，包括在具有一個(gè)或多個(gè)處理器和存儲(chǔ)將由一個(gè)或多個(gè)處理器執(zhí)行的一個(gè)或多個(gè)程序的存儲(chǔ)器的計(jì)算設(shè)備處:獲得視頻流，視頻流包括音頻描述數(shù)據(jù)；從音頻描述數(shù)據(jù)確定信息集，其中信息集包括從音頻描述數(shù)據(jù)取得的一個(gè)或多個(gè)符號(hào)或詞；將包括信息集的請(qǐng)求發(fā)送到遠(yuǎn)離計(jì)算設(shè)備的服務(wù)器以便處理；從服務(wù)器接收指令集，其中指令集包括用于顯示與信息集有關(guān)的內(nèi)容信息的指令；以及響應(yīng)于接收指令集并且根據(jù)指令集，基于內(nèi)容信息的類(lèi)型來(lái)執(zhí)行一個(gè)或多個(gè)應(yīng)用，其中一個(gè)或多個(gè)應(yīng)用包括下述中的至少一個(gè):Web瀏覽器、音樂(lè)應(yīng)用、饋送閱讀器應(yīng)用、優(yōu)惠券應(yīng)用和內(nèi)容觀看器。
[0007]在一些實(shí)現(xiàn)中，該方法進(jìn)一步包括格式化來(lái)自一個(gè)或多個(gè)應(yīng)用的輸出以與視頻流的顯示相鄰地顯示。
[0008]在一些實(shí)現(xiàn)中，信息集包括從音頻描述數(shù)據(jù)取得的非語(yǔ)音信息。在一些實(shí)現(xiàn)中，信息集包括從音頻描述數(shù)據(jù)提取的至少一個(gè)符號(hào)。在一些實(shí)現(xiàn)中，信息集包括從音頻描述數(shù)據(jù)提取的至少一個(gè)句子。在一些實(shí)現(xiàn)中，與視頻流并發(fā)地顯示來(lái)自一個(gè)或多個(gè)應(yīng)用的輸出。
[0009]在一些實(shí)現(xiàn)中，在與計(jì)算設(shè)備同步的第二設(shè)備上并發(fā)地顯示來(lái)自一個(gè)或多個(gè)應(yīng)用的輸出。
[0010]在一些實(shí)現(xiàn)中，從音頻描述數(shù)據(jù)確定信息集包括應(yīng)用語(yǔ)音識(shí)別技術(shù)來(lái)將音頻內(nèi)容轉(zhuǎn)換成文本。在一些實(shí)現(xiàn)中，從音頻描述數(shù)據(jù)確定信息集包括將音頻描述數(shù)據(jù)轉(zhuǎn)換成文本，而不播放音頻描述數(shù)據(jù)使得音頻描述數(shù)據(jù)能被聽(tīng)到。
[0011]在一些實(shí)現(xiàn)中，信息集包括從音頻描述數(shù)據(jù)提取的至少一些文本。
[0012]在一些實(shí)現(xiàn)中，該方法進(jìn)一步包括:傳送發(fā)起包括在音頻描述數(shù)據(jù)中的音頻內(nèi)容的播放的代碼；記錄音頻內(nèi)容的至少一部分；以及從記錄的音頻內(nèi)容提取文本。
[0013]在本公開(kāi)中，還提供用于執(zhí)行上述方法的一個(gè)或多個(gè)步驟的計(jì)算系統(tǒng)和非瞬時(shí)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。
【附圖說(shuō)明】
[0014]因此，能更詳細(xì)地理解本公開(kāi)，參考各個(gè)實(shí)現(xiàn)的特征給出更特定描述，在附圖中示出一些。然而，附圖僅示出本公開(kāi)的更相關(guān)特征，因此不視為限制，因?yàn)楸菊f(shuō)明書(shū)容許其他有效的特征。
[0015]圖1是圖示根據(jù)一些實(shí)現(xiàn)的分布式客戶(hù)端-服務(wù)器系統(tǒng)的框圖。
[0016]圖2A是圖示根據(jù)一些實(shí)現(xiàn)的示例性服務(wù)器系統(tǒng)的結(jié)構(gòu)的框圖。
[0017]圖2B是圖示根據(jù)一些實(shí)現(xiàn)的示例性廣播系統(tǒng)的結(jié)構(gòu)的框圖。
[0018]圖3是圖示根據(jù)一些實(shí)現(xiàn)的示例性客戶(hù)端設(shè)備的結(jié)構(gòu)的框圖。
[0019]圖4是圖示顯示信息的過(guò)程的概述的流程圖。
[0020]圖5A、5B、5CjD和5E是根據(jù)一些實(shí)現(xiàn)的示例性截屏。
[0021]圖6是圖示顯示信息的過(guò)程的流程圖。
[0022]圖7是圖示基于從隱藏字幕提取的信息集來(lái)確定指令集的過(guò)程的流程圖。
[0023]圖8是客戶(hù)端-服務(wù)器環(huán)境的實(shí)現(xiàn)的圖。
[0024]圖9A是根據(jù)一些實(shí)現(xiàn)的電視顯示的示例性截屏的示意圖。
[0025]圖9B是根據(jù)一些實(shí)現(xiàn)的電視顯示和第二屏幕客戶(hù)端設(shè)備(即平板電腦)的示意圖。
[0026]圖10是圖示使用包括在節(jié)目數(shù)據(jù)中的音頻描述數(shù)據(jù)來(lái)顯示相關(guān)聯(lián)的內(nèi)容和信息的過(guò)程的概述的信號(hào)流圖。
[0027]圖11是使用包括節(jié)目數(shù)據(jù)中的音頻描述數(shù)據(jù)來(lái)顯示相關(guān)聯(lián)的內(nèi)容和信息的方法的實(shí)現(xiàn)的流程圖表示。
[0028]圖12是基于從音頻描述數(shù)據(jù)提取的信息集來(lái)確定指令集的方法的實(shí)現(xiàn)的流程圖表不。
[0029]根據(jù)一般實(shí)踐，在圖中所示的各個(gè)特征可以不按比例繪制。因此，為清楚起見(jiàn)，各個(gè)特征的尺寸可以任意地?cái)U(kuò)大或縮小。此外，圖可以不描述給定系統(tǒng)、方法或設(shè)備的所有部件，因?yàn)闉楹?jiǎn)化起見(jiàn)，未詳盡地描述已知方法、部件和電路。最后，在整個(gè)說(shuō)明書(shū)和圖中，使用相同的參考數(shù)字來(lái)表示相同的特征。
【具體實(shí)施方式】
[0030]在此所述的各個(gè)實(shí)現(xiàn)包括能識(shí)別并且實(shí)時(shí)地呈現(xiàn)與在電視或顯示器上并發(fā)播放的特定電視節(jié)目相關(guān)聯(lián)的互聯(lián)網(wǎng)可訪問(wèn)和/或基于互聯(lián)網(wǎng)的功能、內(nèi)容和/或服務(wù)作為交互電視技術(shù)套件的一部分的系統(tǒng)、方法和/或設(shè)備。在一些實(shí)現(xiàn)中，識(shí)別相關(guān)聯(lián)的內(nèi)容的過(guò)程包括分析包括在用于媒體(例如電視)節(jié)目的視頻流數(shù)據(jù)中的隱藏字幕數(shù)據(jù)和音頻描述數(shù)據(jù)中的至少一個(gè)。例如，本公開(kāi)的一個(gè)方面是通過(guò)獲得包括在用于媒體節(jié)目的視頻流數(shù)據(jù)中的隱藏字幕數(shù)據(jù)和音頻描述數(shù)據(jù)中的至少一個(gè)、從包括在視頻流數(shù)據(jù)中的隱藏字幕數(shù)據(jù)和音頻描述數(shù)據(jù)中的至少一個(gè)提取文本、基于提取的文本中的至少一些傳送對(duì)信息的請(qǐng)求，以及顯示響應(yīng)于該請(qǐng)求接收的相關(guān)聯(lián)的內(nèi)容和/或信息，識(shí)別和呈現(xiàn)與媒體節(jié)目相關(guān)聯(lián)的內(nèi)容的方法。
[0031]在此描述許多細(xì)節(jié)以便提供在附圖中所圖示的示例性實(shí)現(xiàn)的全面理解。然而，在沒(méi)有這些具體細(xì)節(jié)的情況下，也可以實(shí)施本發(fā)明。未以詳盡地方式描述非常公知的方法、過(guò)程、部件和電路，以便不必要地混淆示例性實(shí)現(xiàn)的更相關(guān)方面。
[0032]圖1是圖示為一些實(shí)現(xiàn)而實(shí)現(xiàn)的分布式系統(tǒng)100的框圖?？蛻?hù)端-服務(wù)器系統(tǒng)100包括:一個(gè)或多個(gè)客戶(hù)端設(shè)備102、通信網(wǎng)絡(luò)104、服務(wù)器系統(tǒng)106、顯示設(shè)備108和廣播系統(tǒng)128。服務(wù)器系統(tǒng)106通過(guò)通信網(wǎng)絡(luò)104耦接到一個(gè)或多個(gè)客戶(hù)端設(shè)備102和廣播系統(tǒng) 128。
[0033]廣播系統(tǒng)128將視頻流161廣播到一個(gè)或多個(gè)客戶(hù)端設(shè)備102。服務(wù)器系統(tǒng)106接收包含從隱藏字幕內(nèi)容取得的信息集的請(qǐng)求，基于信息集來(lái)確定指令集并且將指令集發(fā)送到客戶(hù)端設(shè)備102以便執(zhí)行。當(dāng)由客戶(hù)端設(shè)備102執(zhí)行時(shí)，指令集使客戶(hù)端設(shè)備102顯示與從視頻流的隱藏字幕提取的信息集相關(guān)的信息。
[0034]根據(jù)一些實(shí)現(xiàn)，視頻或視頻流是表示具有運(yùn)動(dòng)中的對(duì)象的場(chǎng)景的一系列圖像或幀。視頻每秒顯示多個(gè)圖像或幀。例如，視頻通常每秒顯示30幀。相比而言，如在此單獨(dú)使用的靜態(tài)圖像是靜態(tài)或靜止的，不包括如視頻通常的運(yùn)動(dòng)或變化。在此的圖像能包括或嵌入在更大圖像或視頻內(nèi)。
[0035]隱藏字幕是指顯示字幕文本來(lái)選擇觀眾的成員的能力。隱藏字幕在出現(xiàn)時(shí)或通過(guò)稍微延遲(以逐字或編輯形式)通常顯示節(jié)目的音頻部分的轉(zhuǎn)錄，有時(shí)包括非語(yǔ)音元素。隱藏字幕中的術(shù)語(yǔ)“隱藏”指示不是所有觀眾能看到該字幕。僅選擇解碼或激活隱藏字幕的用戶(hù)能觀看它們。隱藏字幕與所有用戶(hù)均能看到的開(kāi)放式字幕相區(qū)分。隱藏字幕還與字幕相區(qū)分。字幕假定觀眾能聽(tīng)到但不能理解語(yǔ)言或口音，因此字幕僅轉(zhuǎn)錄對(duì)話和一些屏上文本。隱藏字幕用來(lái)向聾人和聽(tīng)力困難的人描述所有重要的音頻內(nèi)容，包括口語(yǔ)對(duì)話、音樂(lè)、聲音效果和非語(yǔ)音信息，諸如說(shuō)話者的身份和他們的說(shuō)話方式。隱藏字幕有時(shí)由內(nèi)容創(chuàng)建者或內(nèi)容的廣播者創(chuàng)建。
[0036]在一些實(shí)施例中，服務(wù)器系統(tǒng)106被實(shí)現(xiàn)為單一服務(wù)器系統(tǒng)，而在其他實(shí)現(xiàn)中，其被實(shí)現(xiàn)為多個(gè)服務(wù)器的分布式系統(tǒng)。僅為了說(shuō)明方便，在下文中將服務(wù)器系統(tǒng)106描述為實(shí)現(xiàn)在單一服務(wù)器系統(tǒng)上。在一些實(shí)現(xiàn)中，廣播系統(tǒng)128被實(shí)現(xiàn)為單一服務(wù)器系統(tǒng)，而在其他實(shí)現(xiàn)中，其被實(shí)現(xiàn)為多個(gè)服務(wù)器的分布式系統(tǒng)。僅為了說(shuō)明方便，在下文中將廣播系統(tǒng)128描述為實(shí)現(xiàn)在單一服務(wù)器系統(tǒng)上。
[0037]通信網(wǎng)絡(luò)104可以是任何有線或無(wú)線局域網(wǎng)(LAN)和/或廣域網(wǎng)(WAN)，諸如內(nèi)聯(lián)網(wǎng)、外聯(lián)網(wǎng)或互聯(lián)網(wǎng)。通信網(wǎng)絡(luò)104提供一個(gè)或多個(gè)客戶(hù)端設(shè)備102和服務(wù)器系統(tǒng)106之間的通信能力則足以。在一些實(shí)現(xiàn)中，通信網(wǎng)絡(luò)104使用超文本傳輸協(xié)議(HTTP)來(lái)使用傳輸控制協(xié)議/網(wǎng)際協(xié)議(TCP/IP)來(lái)傳輸信息。HTTP允許客戶(hù)端設(shè)備102訪問(wèn)經(jīng)通信網(wǎng)絡(luò)104可獲得的各種資源。然而，各種實(shí)現(xiàn)不限于使用任何特定協(xié)議。
[0038]在一些實(shí)現(xiàn)中，服務(wù)器系統(tǒng)106包括便利服務(wù)器系統(tǒng)106和網(wǎng)絡(luò)104之間的通信的前端服務(wù)器112。在一些實(shí)現(xiàn)中，前端服務(wù)器112被配置成接收對(duì)指令集的請(qǐng)求。在一些實(shí)現(xiàn)中，前端服務(wù)器112被配置成將指令集發(fā)送到發(fā)出請(qǐng)求的客戶(hù)端設(shè)備102。在一些實(shí)現(xiàn)中，前端服務(wù)器112被配置成發(fā)送內(nèi)容文件或/和指向內(nèi)容文件的鏈接或內(nèi)容文件。在該上下文中，術(shù)語(yǔ)“內(nèi)容文件”是指任何格式的任何電子文件，包括但不限于視頻文件、圖像文件、音樂(lè)文件、Web頁(yè)面、電子郵件消息、SMS消息、內(nèi)容饋送、廣告、優(yōu)惠券、播放列表和XML內(nèi)容文件。在一些實(shí)現(xiàn)中，前端服務(wù)器112還被配置成將視頻流發(fā)送到客戶(hù)端102。
[0039]內(nèi)容饋送(或信道)是在饋送源提供呈現(xiàn)、新添加或新更新的內(nèi)容項(xiàng)的列表的資源或服務(wù)。內(nèi)容饋送中的內(nèi)容項(xiàng)可以包括與項(xiàng)本身相關(guān)聯(lián)的內(nèi)容(內(nèi)容項(xiàng)指定的實(shí)際內(nèi)容)、標(biāo)題(有時(shí)稱(chēng)為標(biāo)題行)和/或內(nèi)容的描述、內(nèi)容的網(wǎng)絡(luò)位置或定位符(例如URL)或其任意組合。例如，如果內(nèi)容項(xiàng)識(shí)別文本文章，內(nèi)容項(xiàng)可以包括內(nèi)嵌的文章本身，以及標(biāo)題(或標(biāo)題行)和定位符。替選地，內(nèi)容項(xiàng)可以包括標(biāo)題、描述和定位符，但不包括文章內(nèi)容。由此，一些內(nèi)容項(xiàng)可以包括與那些項(xiàng)相關(guān)聯(lián)的內(nèi)容，而其他包含指向相關(guān)聯(lián)的內(nèi)容的鏈接，而不是項(xiàng)的整個(gè)內(nèi)容。內(nèi)容項(xiàng)還可以包括提供有關(guān)內(nèi)容的另外的信息的另外的元數(shù)據(jù)。內(nèi)容的版本可以是任何機(jī)器可讀數(shù)據(jù)，包括但不限于網(wǎng)頁(yè)、圖像、數(shù)字音頻、數(shù)字視頻、可移植內(nèi)容文件格式(PDF)內(nèi)容文件等等。
[0040]在一些實(shí)現(xiàn)中，使用內(nèi)容聯(lián)合格式，諸如RSS，指定內(nèi)容饋送。RSS是代表“豐富站點(diǎn)摘要”、“RDF站點(diǎn)摘要”或“真正簡(jiǎn)易聚合”的縮寫(xiě)?！癛SS”可以是指基于用于指定內(nèi)容饋送和包括在該饋送中的內(nèi)容項(xiàng)的可擴(kuò)展標(biāo)記語(yǔ)言(XML)的格式系列中的任何一個(gè)。在一些其他實(shí)現(xiàn)中，諸如Atom聯(lián)合格式或VCALENDAR日歷格式的其他內(nèi)容聯(lián)合格式可以用來(lái)指定內(nèi)容饋送。
[0041]在一些實(shí)現(xiàn)中，服務(wù)器系統(tǒng)106包括存儲(chǔ)一個(gè)或多個(gè)相關(guān)標(biāo)識(shí)和相關(guān)聯(lián)的度量的標(biāo)識(shí)數(shù)據(jù)庫(kù)116。標(biāo)識(shí)能表示人、地點(diǎn)或事物以及相關(guān)聯(lián)的度量測(cè)量各個(gè)標(biāo)識(shí)的重要性。在一些實(shí)現(xiàn)中，標(biāo)識(shí)數(shù)據(jù)庫(kù)116是分布式數(shù)據(jù)庫(kù)。
[0042]在一些實(shí)現(xiàn)中，服務(wù)器系統(tǒng)106包括管理和檢索在標(biāo)識(shí)數(shù)據(jù)庫(kù)116中存儲(chǔ)的信息的識(shí)別模塊114。識(shí)別模塊114接收請(qǐng)求并且返回與該請(qǐng)求匹配的、標(biāo)識(shí)數(shù)據(jù)庫(kù)116中存儲(chǔ)的標(biāo)識(shí)。
[0043]在一些實(shí)現(xiàn)中，服務(wù)器系統(tǒng)106包括存儲(chǔ)用戶(hù)數(shù)據(jù)的用戶(hù)數(shù)據(jù)庫(kù)124。用于各個(gè)用戶(hù)的用戶(hù)數(shù)據(jù)包括用戶(hù)標(biāo)識(shí)符、相關(guān)聯(lián)的內(nèi)容文件和偏好。在一些實(shí)現(xiàn)中，用戶(hù)數(shù)據(jù)庫(kù)124是分布式數(shù)據(jù)庫(kù)。
[0044]在一些實(shí)現(xiàn)中，服務(wù)器系統(tǒng)106包括內(nèi)容數(shù)據(jù)庫(kù)122。在一些實(shí)現(xiàn)中，內(nèi)容數(shù)據(jù)庫(kù)122存儲(chǔ)視頻、圖像、音樂(lè)、網(wǎng)頁(yè)、電子郵件消息、SMS消息、內(nèi)容饋送、廣告、優(yōu)惠券、播放列表XML內(nèi)容文件。在一些實(shí)現(xiàn)中，內(nèi)容數(shù)據(jù)庫(kù)122存儲(chǔ)指向視頻、圖像、音樂(lè)、網(wǎng)頁(yè)、電子郵件消息、SMS消息、內(nèi)容