本發(fā)明涉及一種用于為流傳輸客戶機(jī)提供事件的流傳輸呈現(xiàn)的系統(tǒng)和方法。本發(fā)明還涉及一種供所述系統(tǒng)和方法使用的流傳輸客戶機(jī),并且涉及一種用于所述流傳輸客戶機(jī)的清單。本發(fā)明還涉及一種包括用于使處理器系統(tǒng)執(zhí)行所述方法的指令的計算機(jī)程序產(chǎn)品。
背景技術(shù):
記錄裝置(諸如,數(shù)字照相機(jī)和移動電話)現(xiàn)今無處不在。因此,事件(諸如,音樂會、游戲、聚會等)可由多個記錄裝置同時記錄,由此獲得同一事件的多個記錄。這種多個記錄可按照各種方式不同。例如,所述記錄可從不同觀察位置示出事件。另一示例是:記錄的類型可不同,例如是視頻記錄、立體視頻記錄、音頻記錄等。特別地,所述記錄可在質(zhì)量方面不同。例如,通過例如對于事件具有受限(不受限)的視角或合適(不合適)的距離,所述記錄可在內(nèi)容質(zhì)量方面不同。例如,通過源于具有不同技術(shù)能力的記錄裝置、以不同比特率編碼等,所述記錄還可在記錄質(zhì)量方面不同。這種內(nèi)容質(zhì)量和記錄質(zhì)量此后簡稱為“質(zhì)量”。
可通過流傳輸使得事件的不同記錄可獲得。在這種情況下,不同記錄可由多個媒體流表示,可從相應(yīng)多個流源訪問所述多個媒體流。媒體流的示例包括視頻流(諸如,照相機(jī)記錄的流)、音頻流(諸如,麥克風(fēng)記錄的流)和多媒體流(包括不同類型的媒體流)。因此,當(dāng)使用可訪問所述多個媒體流的流傳輸客戶機(jī)時,消費(fèi)者可手動選擇用于呈現(xiàn)的媒體流以便例如切換照相機(jī)視野。
不利地,在不同媒體流之間手動切換是麻煩的,因?yàn)橄M(fèi)者通常不能容易地比較不同流并且因此不能容易地根據(jù)他/她的偏好選擇媒體流。
技術(shù)實(shí)現(xiàn)要素:
將會有益的是,獲得這樣一種系統(tǒng)或方法:在解決已知現(xiàn)有技術(shù)的至少一個缺點(diǎn)的同時,為流傳輸客戶機(jī)提供事件的流傳輸呈現(xiàn)。
本發(fā)明的第一方面提供一種用于為流傳輸客戶機(jī)提供事件的流傳輸呈現(xiàn)的系統(tǒng)和方法,已通過在表示事件的不同記錄的多個媒體流之間動態(tài)地切換來獲得流傳輸呈現(xiàn),可從相應(yīng)多個流源訪問所述多個媒體流。
所述系統(tǒng)可包括:
-輸入,用于從所述多個流源獲得源數(shù)據(jù),源數(shù)據(jù)由所述多個媒體流的并發(fā)部分的內(nèi)容數(shù)據(jù)和/或元數(shù)據(jù)構(gòu)成,并發(fā)部分表示事件的并發(fā)時間段;
-處理子系統(tǒng),被配置為:
i)將至少一個質(zhì)量評估函數(shù)應(yīng)用于源數(shù)據(jù)以將質(zhì)量得分分派給每個并發(fā)部分,由此建立多個質(zhì)量得分;以及
ii)產(chǎn)生選擇數(shù)據(jù)用于使流傳輸客戶機(jī)能夠訪問相應(yīng)媒體流的并發(fā)部分中的所選擇的部分,已基于所述多個質(zhì)量得分的比較選擇所述所選擇的部分。
所述方法可包括:
-從所述多個流源獲得源數(shù)據(jù),源數(shù)據(jù)由所述多個媒體流的并發(fā)部分的內(nèi)容數(shù)據(jù)和/或元數(shù)據(jù)構(gòu)成,并發(fā)部分表示事件的并發(fā)時間段;
-將至少一個質(zhì)量評估函數(shù)應(yīng)用于源數(shù)據(jù)以將質(zhì)量得分分派給每個并發(fā)部分,由此建立多個質(zhì)量得分;以及
-產(chǎn)生選擇數(shù)據(jù)用于使流傳輸客戶機(jī)能夠訪問相應(yīng)媒體流的并發(fā)部分中的所選擇的部分,已基于所述多個質(zhì)量得分的比較選擇所述所選擇的部分。
本發(fā)明的另一方面提供一種包括用于使處理系統(tǒng)執(zhí)行所述方法的指令的計算機(jī)程序產(chǎn)品。
在從屬權(quán)利要求中定義實(shí)施例。
以上方面涉及多個流源。每個流源可構(gòu)成用于事件的不同記錄的流傳輸源。因此,流源可提供同一事件的替代記錄。流傳輸可以是實(shí)況的,由此與事件自身一致。
可從所述多個流源獲得源數(shù)據(jù)。源數(shù)據(jù)可由內(nèi)容數(shù)據(jù)構(gòu)成,即表示視頻流、音頻流等的一部分。附加或者替代地,源數(shù)據(jù)可由針對相應(yīng)媒體流的元數(shù)據(jù)構(gòu)成。這種元數(shù)據(jù)可指示相應(yīng)記錄的情境或表征記錄。
源數(shù)據(jù)可與媒體流的并發(fā)部分關(guān)聯(lián)。這里,術(shù)語“并發(fā)部分”表示與事件的共同時間段對應(yīng)的相應(yīng)媒體流的各部分。如此,并發(fā)部分可構(gòu)成針對所述時間段的替代記錄。需要注意的是,例如,通過分割媒體流,并發(fā)部分可明確地存在于相應(yīng)媒體流中。然而,在媒體流可同樣地構(gòu)成非分割媒體流的情況中不需要這樣。此外,在分割媒體流的情況下,片段不需要具有相同長度和/或同步。相反地,以下情況可能就足夠了:片段在事件時間上交疊并且由此包括并發(fā)部分。
質(zhì)量評估函數(shù)可被應(yīng)用于源數(shù)據(jù)。通過如此操作,質(zhì)量得分可被分派給每個并發(fā)部分,并且由此也被隱含地分派給相應(yīng)媒體流和流源。因此,可例如在質(zhì)量標(biāo)度上評定每個并發(fā)部分,這可允許并發(fā)部分之間的質(zhì)量比較。需要注意的是,這種質(zhì)量評估函數(shù)可評估內(nèi)容質(zhì)量和/或記錄質(zhì)量,并且通??缮婕翱紤]用戶反饋。還需要注意的是,從信號分析領(lǐng)域本來已知這種質(zhì)量評估函數(shù)。
此外,可產(chǎn)生選擇數(shù)據(jù),選擇數(shù)據(jù)可被用于選擇并發(fā)部分之一。在確定將要選擇哪個并發(fā)部分時,可使用所述多個質(zhì)量得分,其中可選擇并發(fā)部分的已被分派最高質(zhì)量得分或通常例如按照準(zhǔn)則被視為合適的質(zhì)量得分的部分。因此,選擇數(shù)據(jù)例如通過包括如下各項(xiàng)來明確地或隱含地指示最合適的并發(fā)部分:包括并發(fā)部分的流的流標(biāo)識符、標(biāo)識表示并發(fā)部分的片段的片段標(biāo)識符、與流或片段關(guān)聯(lián)的質(zhì)量得分等。
以上措施提供一種有效地充當(dāng)流傳輸客戶機(jī)和多個流源之間的代理(即,中間設(shè)備)的系統(tǒng),因?yàn)樗鱿到y(tǒng)評估多個媒體流的并發(fā)部分的質(zhì)量并且產(chǎn)生選擇數(shù)據(jù),選擇數(shù)據(jù)使流傳輸客戶機(jī)能夠基于質(zhì)量得分的比較具體地訪問相應(yīng)媒體流的并發(fā)部分之一。例如,所選擇的部分可能已被分派最高質(zhì)量得分。通過評估這種并發(fā)片段中的連續(xù)并發(fā)片段的質(zhì)量,選擇數(shù)據(jù)使流傳輸客戶機(jī)能夠連續(xù)地訪問當(dāng)前提供特定質(zhì)量的那些媒體流的片段。如此,可建立事件的流傳輸呈現(xiàn),流傳輸呈現(xiàn)構(gòu)成所述多個媒體流的不同部分的動態(tài)選擇。需要注意的是,雖然應(yīng)用質(zhì)量評估的處理子系統(tǒng)被包括在流源中或位于流源附近或被包括在網(wǎng)絡(luò)中可能是有益的,但不排除處理子系統(tǒng)被包括在流傳輸客戶機(jī)中或位于流傳輸客戶機(jī)附近。例如,如果存在可用于將相關(guān)流傳送給流傳輸客戶機(jī)的足夠帶寬,則可在流傳輸客戶機(jī)中或在流傳輸客戶機(jī)附近執(zhí)行質(zhì)量評估函數(shù),并且下面的優(yōu)點(diǎn)仍然適用。
優(yōu)點(diǎn)可以是:不再需要消費(fèi)者在不同媒體流之間手動切換。另一優(yōu)點(diǎn)可以是:所述系統(tǒng)很適合用于這樣的情況:所述多個流源構(gòu)成獨(dú)立的、不受管理的一組流源。
在這個方面,需要注意的是,Saini, Mukesh Kumar等, Proceedings of the 20th ACM international conference on Multimedia. ACM, 2012的標(biāo)題為“MoViMash: Online Mobile Video Mashup”的論文描述創(chuàng)建幾個視頻剪輯的“混合(mashup)”。然而,這不同于本發(fā)明,因?yàn)槊枋龅目蚣軜?gòu)成后期制作期間的視頻編輯的自動化,并且因此不適合被用于流傳輸情境,在流傳輸情境中目的是為流傳輸客戶機(jī)提供事件的流傳輸呈現(xiàn)。
在實(shí)施例中,流傳輸客戶機(jī)可被提供清單,所述清單可包括用于使流傳輸客戶機(jī)能夠訪問所述多個流源的地址信息,并且其中:
-所述系統(tǒng)還可包括用于向流傳輸客戶機(jī)提供選擇數(shù)據(jù)的客戶機(jī)接口;以及
-選擇數(shù)據(jù)可由處理子系統(tǒng)產(chǎn)生以便使流傳輸客戶機(jī)能夠從清單選擇所述多個流源中的提供對所述所選擇的部分的訪問的流源。
在媒體流的流傳輸領(lǐng)域內(nèi),為流傳輸客戶機(jī)提供清單是已知的。清單可標(biāo)識不同媒體流及其地址信息,即可從流源對相應(yīng)媒體流進(jìn)行尋址。在這個實(shí)施例中,流傳輸客戶機(jī)可被提供清單,所述清單使流傳輸客戶機(jī)能夠訪問所述多個流源并且如此訪問由所述流源提供的媒體流。通過以要求保護(hù)的方式產(chǎn)生選擇數(shù)據(jù),可以使流傳輸客戶機(jī)能夠從清單識別將要訪問哪個流源以便獲得所選擇的部分。這個實(shí)施例的優(yōu)點(diǎn)可以是:流傳輸客戶機(jī)可直接訪問所選擇的流源。因此,所述系統(tǒng)不需要進(jìn)行媒體流(的各部分)的傳送。另一優(yōu)點(diǎn)可以是:實(shí)際選擇可由流傳輸客戶機(jī)執(zhí)行,由此使流傳輸客戶機(jī)能夠?qū)⑵渌?例如,局部)考慮因素納入考慮。此外,可使用已有清單和他們的傳送機(jī)制。因此,僅另外向流傳輸客戶機(jī)提供選擇數(shù)據(jù)可能就足夠了。
在實(shí)施例中,選擇數(shù)據(jù)可包括所述多個質(zhì)量得分的至少一部分。因此,可向流傳輸客戶機(jī)直接提供質(zhì)量得分。在這個實(shí)施例中,流傳輸客戶機(jī)可將質(zhì)量得分與在清單中標(biāo)識的相應(yīng)流源進(jìn)行匹配以便確定將要訪問哪個流源并且因此確定將要訪問哪個媒體流。
在實(shí)施例中,處理子系統(tǒng)可被配置用于:
i)將所述質(zhì)量得分格式化為元數(shù)據(jù)流;
ii)將地址信息包括在清單中以便使流傳輸客戶機(jī)能夠訪問元數(shù)據(jù)流。
通過將質(zhì)量得分格式化為元數(shù)據(jù)流并且產(chǎn)生清單以包括所述地址信息,質(zhì)量得分可被以與媒體流自身類似的方式,也就是說,以流的形式并且通過提供針對流的地址信息的清單來傳送給流傳輸客戶機(jī)。這個實(shí)施例的優(yōu)點(diǎn)可以是:已有傳送機(jī)制可被重新使用,諸如用于MPEG-4 Part 14中的元數(shù)據(jù)流的傳送的那些傳送機(jī)制。這里,僅新的流標(biāo)識符可能必須被聲明以標(biāo)識包括質(zhì)量得分的元數(shù)據(jù)流。因此,這可避免需要用于向(一個或多個)流傳輸客戶機(jī)傳送質(zhì)量得分的另外的傳送機(jī)制。
在實(shí)施例中,客戶機(jī)接口可被配置用于經(jīng)信令信道向流傳輸客戶機(jī)提供選擇數(shù)據(jù)。通過經(jīng)信令信道向流傳輸客戶機(jī)提供選擇數(shù)據(jù),不需要依賴于用于所述傳送的已有傳送機(jī)制。因此,即使用于對所述多個媒體流進(jìn)行流傳輸?shù)臉?biāo)準(zhǔn)未明確地提供用于傳送這種選擇數(shù)據(jù)的傳送機(jī)制,選擇數(shù)據(jù)也可被提供給流傳輸客戶機(jī)。例如,當(dāng)使用MPEG動態(tài)自適應(yīng)HTTP流傳輸(DASH)時,即使MPEG-DASH未提供合適的傳送機(jī)制,這種信令信道也可被用于傳送選擇數(shù)據(jù)。
在實(shí)施例中,可相對于向流傳輸客戶機(jī)提供清單異步地提供選擇數(shù)據(jù)。通過與清單異步地傳送選擇數(shù)據(jù),其傳送在時間上分離。
在實(shí)施例中,選擇數(shù)據(jù)還可包括用于使流傳輸客戶機(jī)能夠?qū)⑺龆鄠€質(zhì)量得分與所述多個流源關(guān)聯(lián)的關(guān)聯(lián)信息。如此,可向流傳輸客戶機(jī)提供使所述質(zhì)量得分能夠與所述多個流源關(guān)聯(lián)的信息。這種關(guān)聯(lián)信息可以是明確的或隱含的。后者的示例可以是所述多個質(zhì)量得分的排序,所述多個質(zhì)量得分的排序與清單中的流源的地址信息的排序匹配。
在實(shí)施例中,處理子系統(tǒng)可被配置用于產(chǎn)生用于流傳輸客戶機(jī)的清單,所述清單包括播放列表,播放列表標(biāo)識用于從所述多個流源中的相應(yīng)流源連續(xù)地訪問的所述多個媒體流的不同部分,已基于選擇數(shù)據(jù)選擇所述不同部分中的至少一個部分。在這個實(shí)施例中,所述系統(tǒng)而非流傳輸客戶機(jī)執(zhí)行相應(yīng)媒體流的選擇。替代于向流傳輸客戶機(jī)傳送所述多個質(zhì)量得分,例如通過連續(xù)地識別已被分派合適的質(zhì)量得分的部分,所述系統(tǒng)提供表示選擇的播放列表。因此,流傳輸客戶機(jī)可通過根據(jù)播放列表訪問所述多個流源來獲得事件的流傳輸呈現(xiàn)。
在實(shí)施例中,處理子系統(tǒng)可被配置用于針對新的并發(fā)部分更新清單。這個實(shí)施例考慮到:在流傳輸期間,可能無法產(chǎn)生針對整個媒體流的清單,因?yàn)槲磥?即,將要進(jìn)行流傳輸)的部分的質(zhì)量可能仍然是未知的。因此,清單可隨著時間而被更新。
在實(shí)施例中,處理子系統(tǒng)可被配置用于:在下述情況下在產(chǎn)生選擇數(shù)據(jù)時保持所述多個媒體流中的一個媒體流的前一選擇:
-所述前一媒體流的并發(fā)部分和所選擇的部分之間的質(zhì)量得分的差異低于質(zhì)量閾值;或者
-并發(fā)部分的長度低于長度閾值。
這個實(shí)施例考慮到:即使另一媒體流的并發(fā)部分已被分派合適的質(zhì)量得分,也可能并不總是希望切換到所述另一媒體流。也就是說,當(dāng)并發(fā)片段的長度或與前一所選擇的媒體流的并發(fā)部分的質(zhì)量的差異低于相應(yīng)閾值時,這種切換的缺點(diǎn)可大于在質(zhì)量方面的優(yōu)點(diǎn)。因此,可保持前一選擇。
在實(shí)施例中,所述多個媒體流可包括一個或多個分割媒體流,并且并發(fā)部分可至少部分地由所述一個或多個分割媒體流的并發(fā)片段構(gòu)成。分割媒體流由連續(xù)片段構(gòu)成。這種明確地定義的片段提供用于在媒體流之間動態(tài)地切換的自然間隔度。這種分割媒體流的示例包括為自適應(yīng)比特率流傳輸提供的那些分割媒體流。下面的情況可能因此是方便的:在逐片段基礎(chǔ)上,選擇已被分派合適的質(zhì)量得分的那些片段。相反地,可能不需要另外分割所述一個或多個分割媒體流,也不需要使用或定義不同間隔度。
在實(shí)施例中,所述系統(tǒng)可被配置為通過下述操作來用作流傳輸客戶機(jī)和所述多個流源之間的代理:
i)從所述多個流源接收所述多個媒體流的并發(fā)部分;以及
ii)將所選擇的部分傳送給流傳輸客戶機(jī)。
因此,替代于向流傳輸客戶機(jī)傳送選擇數(shù)據(jù),所述系統(tǒng)選擇并且隨后向流傳輸客戶機(jī)傳送所選擇的部分。這個實(shí)施例的優(yōu)點(diǎn)可以是:可向流傳輸客戶機(jī)提供通過在媒體流之間動態(tài)地切換而獲得的媒體流,而流傳輸客戶機(jī)不必進(jìn)行或甚至不必知道這種動態(tài)切換。另外優(yōu)點(diǎn)可以是:不需要向流傳輸客戶機(jī)提供選擇數(shù)據(jù),由此避免需要傳送機(jī)制。
在實(shí)施例中,可按照非分割形式接收所述多個媒體流中的至少一個媒體流,并且處理子系統(tǒng)可被配置用于分割所述媒體流。通過分割所述媒體流,建立用于在媒體流之間動態(tài)地切換的自然間隔度。下面的情況因此是方便的:在逐片段基礎(chǔ)上,在媒體流之間切換以獲得已被分派合適的質(zhì)量得分的那些片段。
在實(shí)施例中,基于并發(fā)部分之中具有最高質(zhì)量得分的所選擇的部分來選擇所述所選擇的部分。最高質(zhì)量得分可指示針對被包括在事件的流傳輸呈現(xiàn)中的最高適合性,因?yàn)樗鲆粋€或多個質(zhì)量評估函數(shù)已將所選擇的部分視為例如向消費(fèi)者提供最高質(zhì)量。
本發(fā)明的另一方面提供一種供所述系統(tǒng)使用的流傳輸客戶機(jī)。流傳輸客戶機(jī)可被配置用于獲得清單,所述清單包括用于使流傳輸客戶機(jī)能夠訪問所述多個流源的地址信息。流傳輸客戶機(jī)還可包括:
-輸入,用于從所述系統(tǒng)接收選擇數(shù)據(jù);和
-處理子系統(tǒng),被配置為:
i)基于選擇數(shù)據(jù),從清單選擇所述多個流源中的提供對所述所選擇的部分的訪問的流源;以及
ii)從所述流傳輸源訪問所選擇的部分。
因此,提供一種流傳輸客戶機(jī),所述流傳輸客戶機(jī)可被配置用于從所述系統(tǒng)獲得例如具有質(zhì)量得分的形式的選擇數(shù)據(jù),并且隨后基于選擇數(shù)據(jù)執(zhí)行選擇。
本發(fā)明的另一方面提供一種用于流傳輸客戶機(jī)的清單,所述清單包括用于使流傳輸客戶機(jī)能夠訪問由所述系統(tǒng)產(chǎn)生的選擇數(shù)據(jù)的地址信息。因此,除了其它信息(諸如,針對所述多個流源的地址信息)之外,清單還包括針對選擇數(shù)據(jù)的地址信息。因此,使獲得清單的流傳輸客戶機(jī)能夠訪問選擇數(shù)據(jù)。
總之,本發(fā)明可為流傳輸客戶機(jī)提供事件的流傳輸呈現(xiàn),已通過在表示事件的不同記錄的多個媒體流之間動態(tài)地切換來獲得所述呈現(xiàn)。為了該目的,可從多個流源獲得源數(shù)據(jù)。源數(shù)據(jù)可由所述多個媒體流的并發(fā)部分的內(nèi)容數(shù)據(jù)和/或元數(shù)據(jù)構(gòu)成。通過將質(zhì)量評估函數(shù)應(yīng)用于源數(shù)據(jù),質(zhì)量得分可被分派給每一個并發(fā)部分。這允許產(chǎn)生選擇數(shù)據(jù),所述選擇數(shù)據(jù)可以使流傳輸客戶機(jī)能夠訪問相應(yīng)媒體流的并發(fā)部分中的所選擇的并發(fā)部分。例如,可選擇提供最高質(zhì)量得分的片段。通過如此操作,因此不再需要消費(fèi)者在不同媒體流之間手動切換。
本領(lǐng)域技術(shù)人員將會理解,本發(fā)明的上述實(shí)施例、實(shí)現(xiàn)方式和/或方面中的兩個或更多個可按照視為有用的任何方式進(jìn)行組合。
與描述的所述系統(tǒng)的修改和變化對應(yīng)的所述方法、計算機(jī)程序產(chǎn)品、流傳輸客戶機(jī)和/或清單的修改和變化能夠由本領(lǐng)域技術(shù)人員基于本描述執(zhí)行。
在獨(dú)立權(quán)利要求中限定本發(fā)明。在從屬權(quán)利要求中限定有益的但是可選的實(shí)施例。
附圖說明
根據(jù)以下描述的實(shí)施例,本發(fā)明的這些和其它方面變得清楚,并且將會參照以下描述的實(shí)施例闡明本發(fā)明的這些和其它方面。在附圖中,
圖1示出根據(jù)本發(fā)明的系統(tǒng)的實(shí)施例;
圖2圖示通過以不同比特率對同一記錄進(jìn)行編碼而獲得的分割媒體流,由此實(shí)現(xiàn)自適應(yīng)比特率流傳輸;
圖3圖示本發(fā)明的一方面,其中它示出構(gòu)成同一事件的不同記錄的分割媒體流,質(zhì)量得分已被分派給分割媒體流的每個片段;
圖4示出根據(jù)本發(fā)明的系統(tǒng)的另一實(shí)施例,其中選擇數(shù)據(jù)被格式化為元數(shù)據(jù)流,通過將針對元數(shù)據(jù)流的地址信息包括在用于流傳輸客戶機(jī)的清單中,流傳輸客戶機(jī)可訪問元數(shù)據(jù)流;
圖5示出根據(jù)本發(fā)明的系統(tǒng)的另一實(shí)施例,其中選擇數(shù)據(jù)經(jīng)信令信道被提供給流傳輸客戶機(jī);
圖6示出根據(jù)本發(fā)明的系統(tǒng)的另一實(shí)施例,其中所述系統(tǒng)通過訪問所述多個媒體流并且將從所述媒體流的不同部分建立的媒體流傳送給流傳輸客戶機(jī)來用作流傳輸客戶機(jī)和流源之間的代理;
圖7示出根據(jù)本發(fā)明的系統(tǒng)的另一實(shí)施例,其中所述系統(tǒng)不傳送媒體流自身,而是將清單和選擇數(shù)據(jù)傳送給流傳輸客戶機(jī);
圖8示出用于使消費(fèi)者能夠提供關(guān)于片段的質(zhì)量的反饋的反饋機(jī)制,由此提高質(zhì)量評估;
圖9示出根據(jù)本發(fā)明的方法;和
圖10示出包括用于使處理系統(tǒng)執(zhí)行所述方法的指令的計算機(jī)程序產(chǎn)品。
應(yīng)該注意的是,在不同附圖中具有相同參考標(biāo)號的項(xiàng)具有相同結(jié)構(gòu)特征和相同功能或者是相同信號。在已解釋這種項(xiàng)的功能和/或結(jié)構(gòu)的情況下,在詳細(xì)描述中不需要其重復(fù)解釋。
圖1和4-7中的參考標(biāo)號的列表:
020 多個流源;
021 第一流源;
022 第二流源;
031 第一片段服務(wù)器;
032 第二片段服務(wù)器;
040 來自所述多個流源的源數(shù)據(jù);
041 來自第一流源的第一源數(shù)據(jù);
042 來自第二流源的第二源數(shù)據(jù);
043 從第一源數(shù)據(jù)和第二源數(shù)據(jù)的選擇;
080 多個流傳輸客戶機(jī);
081 第一流傳輸客戶機(jī);
100A-E 根據(jù)本發(fā)明的系統(tǒng)的實(shí)施例;
120 輸入;
140A-C 處理子系統(tǒng)的實(shí)施例;
142 選擇數(shù)據(jù);
160 客戶機(jī)接口;
162 與(一個或多個)流傳輸客戶機(jī)的通信;
164 經(jīng)信令信道與(一個或多個)流傳輸客戶機(jī)的通信;
170 清單;
172 可用媒體流的片段的描述;
174 元數(shù)據(jù)流的描述;
180 選擇數(shù)據(jù);
300 質(zhì)量評估函數(shù)單元;
310 質(zhì)量得分?jǐn)?shù)據(jù)庫;
400 (一個或多個)質(zhì)量得分的傳送;
410 對清單/片段的請求;
412 片段/清單/(一個或多個)質(zhì)量得分的傳送;
414 清單/(一個或多個)質(zhì)量得分的傳送;
421 與第一片段服務(wù)器的通信;
422 與第二片段服務(wù)器的通信;
430 與質(zhì)量得分?jǐn)?shù)據(jù)庫的通信;
440 清單的讀/寫;
451 對第一片段服務(wù)器的片段請求;和
452 對第二片段服務(wù)器的片段請求。
具體實(shí)施方式
圖1示出具有系統(tǒng)100A的形式的本發(fā)明的實(shí)施例。還示出多個流源020,所述多個流源020提供對相應(yīng)多個媒體流的訪問。圖1示出多個記錄裝置的形式的所述多個流源020,所述多個記錄裝置包括視聽傳感器。這種記錄裝置020的示例包括智能電話、小型照相機(jī)、專業(yè)照相機(jī)、智能手表、智能眼鏡等。然而,這不是限制,因?yàn)樗龆鄠€流源020還可包括其它類型的裝置或系統(tǒng),諸如流傳輸服務(wù)器,所述流傳輸服務(wù)器自己不能記錄事件,而是能夠?qū)⑦@種記錄作為媒體流進(jìn)行流傳輸。另一示例是流緩沖器,所述流緩沖器緩沖媒體分發(fā)網(wǎng)絡(luò)內(nèi)的媒體流。
系統(tǒng)100A包括用于從所述多個流源020獲得源數(shù)據(jù)040的輸入120。為了該目的,系統(tǒng)100A可經(jīng)網(wǎng)絡(luò)(圖1中未明確地示出)(諸如,局域網(wǎng)、廣域網(wǎng)和/或互聯(lián)網(wǎng))連接到所述多個流源020。圖1示出正在從所述多個流源020中的每個流源020獲得源數(shù)據(jù)040(即,具有與所述多個流源020中的每個流源020分開的數(shù)據(jù)的形式)。替代地,可從流源020的子集獲得源數(shù)據(jù)040,間接地從所述流源020獲得源數(shù)據(jù)040,或者從另一個源獲得源數(shù)據(jù)040。源數(shù)據(jù)040可由所述多個媒體流的至少并發(fā)部分的內(nèi)容數(shù)據(jù)和/或元數(shù)據(jù)構(gòu)成。例如,在基于MPEG-4 Part 14(MP4)的媒體流的情況下,源數(shù)據(jù)可由如下信息構(gòu)成:該信息由記錄源作為元數(shù)據(jù)軌道(track)嵌入在MP4容器中的。這種嵌入可涉及:例如,通過根據(jù)數(shù)據(jù)的相應(yīng)類型聲明編碼解碼器四字符代碼(fourcc)來為每個數(shù)據(jù)類型定義流標(biāo)識符。
系統(tǒng)100A還包括處理子系統(tǒng)140A,處理子系統(tǒng)140A可由硬件、軟件或硬件和軟件的組合構(gòu)成。這種硬件和/或軟件可分布在幾個功能單元上。
處理子系統(tǒng)140A可被配置為:在系統(tǒng)100A的操作期間將至少一個質(zhì)量評估函數(shù)(QAF)應(yīng)用于源數(shù)據(jù)040。為了該目的,把處理子系統(tǒng)140A示出為從輸入120接收源數(shù)據(jù)040。通過將所述一個或多個質(zhì)量評估函數(shù)應(yīng)用于源數(shù)據(jù)040,質(zhì)量得分可被分派給每一個并發(fā)部分,由此建立多個質(zhì)量得分。這里,需要注意的是,術(shù)語“分派”表示每個質(zhì)量得分與相應(yīng)部分關(guān)聯(lián)或可與相應(yīng)部分關(guān)聯(lián),例如,通過標(biāo)記、與所述部分的標(biāo)識符相關(guān)地存儲等。需要注意的是,由所述一個或多個質(zhì)量評估函數(shù)獲得的質(zhì)量得分也可被稱為質(zhì)量評估得分(QA得分),參照圖2、3和8進(jìn)一步解釋本發(fā)明的這個方面。此外,雖然圖1中未示出,但質(zhì)量得分可被(暫時地)存儲在例如內(nèi)部或外部存儲庫或文件中。
處理子系統(tǒng)140A還可被配置為:在系統(tǒng)100A的操作期間產(chǎn)生選擇數(shù)據(jù)142用于使流傳輸客戶機(jī)能夠訪問相應(yīng)媒體流的并發(fā)部分中的所選擇的部分,已基于所述多個質(zhì)量得分的比較選擇所述所選擇的部分。通過如此操作,并且特別是通過連續(xù)訪問這種部分,流傳輸客戶機(jī)被提供事件的流傳輸呈現(xiàn)。需要注意的是,這種選擇數(shù)據(jù)142可采用各種形式。圖1示出本發(fā)明的可選方面,其中選擇數(shù)據(jù)142被提供給流傳輸客戶機(jī)自身,也就是說,通過系統(tǒng)100A的客戶機(jī)接口160,經(jīng)消息162的交換將選擇數(shù)據(jù)142提供給多個流傳輸客戶機(jī)080。需要注意的是,將會參照圖4至8進(jìn)一步解釋本發(fā)明的這個方面以及選擇數(shù)據(jù)142的替代形式和針對流傳輸客戶機(jī)的傳送。
需要注意的是,通常,流傳輸客戶機(jī)080可包括TV、DVB播放器和記錄器、移動(智能)電話、照相機(jī)、數(shù)字無線電設(shè)備、音樂(MP3)播放器、PC、膝上型計算機(jī)、平板計算機(jī)、智能手表、智能眼鏡、機(jī)頂盒、媒體播放器、汽車hi-fi裝置、專業(yè)音頻和視頻裝備等。
還需要注意的是,源數(shù)據(jù)040可包括相應(yīng)媒體流的比特流數(shù)據(jù)形式的內(nèi)容數(shù)據(jù)。這種比特流數(shù)據(jù)可包括視聽數(shù)據(jù),諸如編碼視頻和音頻樣本。特別地,如果媒體流是分割媒體流,則源數(shù)據(jù)040可由相應(yīng)片段的比特流數(shù)據(jù)構(gòu)成。為了獲得這種比特流數(shù)據(jù),系統(tǒng)100A可訂閱由所述多個流源020提供的流傳輸會話。附加或者替代地,源數(shù)據(jù)040可包括元數(shù)據(jù)。元數(shù)據(jù)可由記錄裝置產(chǎn)生,并且可例如通過指示飽和(saturation)、阻塞(occlusion)、斬波(clipping)、靜音(silence)等而與記錄裝置的一個或多個視聽傳感器相關(guān)。元數(shù)據(jù)還可與該裝置中的其它傳感器(諸如,位置傳感器(例如,全球定位系統(tǒng)(GPS)傳感器)、陀螺儀、加速度計等)相關(guān)。因此,元數(shù)據(jù)可指示例如位置、方向、側(cè)向移動等。元數(shù)據(jù)還可例如通過指示時間戳、網(wǎng)絡(luò)時間協(xié)議(NTP)信息等而與定時信息相關(guān)。需要注意的是,元數(shù)據(jù)可被包括在相應(yīng)媒體流中,但同樣可被分開地提供。
圖2圖示從自適應(yīng)比特率流傳輸?shù)念I(lǐng)域(并且特別地,HTTP自適應(yīng)流傳輸(HAS)的子領(lǐng)域)本來已知的分割媒體流。利用HAS,可按照比特率的不同表示并且因此按照質(zhì)量的不同表示提供視聽媒體流。例如,記錄可被以350 kbit/s編碼以提供低質(zhì)量(LQ)媒體流,以500 kbit/s編碼以提供中等質(zhì)量(MQ)媒體流,并且以1500 kbit/s編碼以提供高質(zhì)量(HQ)媒體流。每個媒體流可由一系列連續(xù)片段S1-S4構(gòu)成,所述一系列連續(xù)片段S1-S4可能可獨(dú)立地訪問、傳送和解碼。因此,來自不同媒體流的片段可被互換和/或交換,由此使流傳輸客戶機(jī)能夠基于可用帶寬在不同媒體流之間切換。例如,通過阻止或減少緩沖,這可以實(shí)現(xiàn)無縫回放,因?yàn)榱鱾鬏斂蛻魴C(jī)可暫時地切換到具有較低質(zhì)量但需要較低傳送帶寬的媒體流。
圖3圖示構(gòu)成同一事件的不同記錄的分割媒體流。所述媒體流被標(biāo)記為“SRC 1”、“SRC 2”和“SRC 3”,表示所述媒體流源自不同流源。需要注意的是,與圖2的媒體流不同,圖3的媒體流各自表示不同內(nèi)容,例如不同視聽記錄。然而,所述媒體流仍然通過表示同一事件的不同記錄而被關(guān)聯(lián)。已意識到:在目前情境下也能夠使用在HAS中采用的一個或多個基本原理,即,用于建立由不同媒體流的片段構(gòu)成的流傳輸呈現(xiàn),不同媒體流的片段為觀察者(例如,消費(fèi)者)提供最好的體驗(yàn)。為了量化最好的體驗(yàn),可使用一個或多個質(zhì)量評估函數(shù)。(一個或多個)這種質(zhì)量評估函數(shù)可在預(yù)定義質(zhì)量標(biāo)度上評定每個并發(fā)片段。在圖3中,并發(fā)片段由相同的下標(biāo)(最后一個)標(biāo)號(例如S11、S21和S31)指示。圖3中的質(zhì)量標(biāo)度使用四種不同質(zhì)量得分,即“差”、“不佳”、“中等”和“好”。然而,同樣可設(shè)想各種其它種類的質(zhì)量標(biāo)度。例如,質(zhì)量標(biāo)度可處于從0至1的范圍中,其中1指示最高可能質(zhì)量并且0指示最低可能質(zhì)量。替代方案可以是范圍從1(即,最低質(zhì)量)至5(即,最高質(zhì)量)的平均意見得分(MOS)質(zhì)量標(biāo)度。
通過將所述一個或多個質(zhì)量評估函數(shù)應(yīng)用于前述源數(shù)據(jù),可在質(zhì)量方面評定每個片段。這種評定可評定每個并發(fā)片段的一個質(zhì)量相關(guān)方面,但可同樣考慮幾個質(zhì)量相關(guān)方面。例如,質(zhì)量評估函數(shù)可評定內(nèi)容質(zhì)量(例如,通過檢測阻塞、視頻的穩(wěn)定性、語音的可辨別性等)以及記錄質(zhì)量(例如,通過確定每個并發(fā)片段的空間分辨率、幀速率和/或比特率)。替代地,可使用不同質(zhì)量評估函數(shù),組合它們的質(zhì)量得分。在已評定每個片段的情況下,能夠確定哪個并發(fā)片段提供合適的(例如,最高的)質(zhì)量。在圖3的示例中,這導(dǎo)致流1提供并發(fā)片段S11-S31、S12-S32和S14-S34的最高質(zhì)量和流3提供并發(fā)片段S13-S33的最高質(zhì)量。因此,可建立由片段S11、S12、S32、S34構(gòu)成的流傳輸呈現(xiàn),所述流傳輸呈現(xiàn)表示與每個個體媒體流SRC 1、SRC 2和SRC 3相比平均更高質(zhì)量的媒體流。
可基于產(chǎn)生選擇數(shù)據(jù)的系統(tǒng)建立流傳輸呈現(xiàn)。這種選擇數(shù)據(jù)和針對流傳輸客戶機(jī)的傳送可采用各種形式,并且將會參照圖4至8進(jìn)一步解釋這種選擇數(shù)據(jù)和針對流傳輸客戶機(jī)的傳送。
圖4示出根據(jù)本發(fā)明的系統(tǒng)100B的實(shí)施例,其中選擇數(shù)據(jù)被格式化為元數(shù)據(jù)流。在這里,并且在下面的附圖中,客戶機(jī)接口未被明確地示出,改為示出由處理子系統(tǒng)140B產(chǎn)生并且所述多個流傳輸客戶機(jī)080可經(jīng)客戶機(jī)接口獲得的數(shù)據(jù)的圖形表示。
在圖4的實(shí)施例中,(一個或多個)流傳輸客戶機(jī)080被提供清單170,清單170包括用于使(一個或多個)流傳輸客戶機(jī)能夠訪問所述多個流源020的地址信息172。這種清單170可基于已知類型的清單。例如,在基于MPEG-DASH的媒體流傳輸?shù)那榫持?,清單可基于由MPEG-DASH定義的媒體呈現(xiàn)描述(MPD),其可描述可用媒體流的片段和可從其訪問所述片段的相應(yīng)流源020的地址。這種地址可采用任何合適的形式,包括但不限于統(tǒng)一資源定位器(URL)地址。例如,MPD可按照下面的方式識別(一個或多個)元數(shù)據(jù)流(這里,為了簡潔的原因,已省略用于音頻的AdaptationSet信息):
<?xml version="1 .0" encoding="UTF-8"?>
<MPD
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xmlns="urn:mpeg:DASH:schema:MPD:XXXX"
xsi:schemaLocation="urn:mpeg:dash:schema:mpd:2011 DASH-MPD.xsd"
<BaseURL>http://cdn1. example. com/</BaseURL>
<BaseURL>http://cdn2. example. com/</BaseURL>
<Period>
<!-- Video ->
<AdaptationSet
id="video"
mimeType="video/mp4"
codecs="avc1.4D401F"
frameRate="30000/1001"
segmentAlignment="true"
startWithSAP="1">
<BaseURL>video/</BaseURL>
<SegmentTemplate timescale="90000" media="$Bandwidth$/$Time$.mp4v">
<SegmentTimeline>
<S t="0" d="180180" r="432"/>
</SegmentTimeline>
</SegmentTemplate>
<Representation id="v0" width="320" height="240" bandwidth="250000"/>
<Representation id="v1" width="640" height="480" bandwidth="500000"/>
<Representation id="v2" width="960" height="720" bandwidth="1000000"/>
</AdaptationSet>
<!— AdaptationSet for selection data — >
<AdaptationSet id="quality_scores" codecs="wxyz"/>
<BaseURL>video_quality/</BaseURL>
<SegmentTemplate timescale="90000" media="$id$/$Time$.mp4m">
<SegmentTimeline>
<S t="0" d="180180" r="432"/>
</SegmentTimeline>
</SegmentTemplate>
<Representation id="quality_scores_v0" bandwidth="1000"
dependencyld="v0"/>
Representation id="quality_scores_v1" bandwidth="1000"
dependencyld="v1"/>
Representation id="quality_scores_v2" bandwidth="1000"
dependencyld="v2"/>
</AdaptationSet>
</Period>
</MPD>。
這種清單170可由系統(tǒng)100B例如經(jīng)消息162的交換向(一個或多個)流傳輸客戶機(jī)提供,并且可包括可用媒體流的片段的前述描述172。根據(jù)本發(fā)明,處理子系統(tǒng)140B可使用清單170來使得(一個或多個)流傳輸客戶機(jī)可訪問選擇數(shù)據(jù),由此使(一個或多個)流傳輸客戶機(jī)能夠從清單170識別流源中提供合適質(zhì)量的流源。這種選擇數(shù)據(jù)可采用一個或多個質(zhì)量得分的形式。處理子系統(tǒng)140B可將質(zhì)量得分格式化為元數(shù)據(jù)流,并且產(chǎn)生清單170以包括元數(shù)據(jù)流的描述174。這種描述174可包括地址信息(例如,URL地址),由此使流傳輸客戶機(jī)能夠經(jīng)該地址訪問元數(shù)據(jù)流。
圖5示出根據(jù)本發(fā)明的系統(tǒng)100C的另一實(shí)施例,其中選擇數(shù)據(jù)142經(jīng)信令信道被直接提供給(一個或多個)流傳輸客戶機(jī)。信令信道被隱含地(即,通過與向(一個或多個)流傳輸客戶機(jī)提供清單170的消息162的交換分開的另外的消息164的交換)示出在圖5中。需要注意的是,選擇數(shù)據(jù)142可被異步地提供,即并不明確地與向(一個或多個)流傳輸客戶機(jī)提供清單170同步。
作為信令信道,可使用所謂的流傳輸控制信道,如例如WO 2013/098317 A1中所述。這里,描述了一種用于實(shí)現(xiàn)從傳送節(jié)點(diǎn)(即,流傳輸源)到至少一個流傳輸客戶機(jī)的分割內(nèi)容的流傳輸?shù)木W(wǎng)絡(luò)發(fā)起控制的方法。該方法包括:為流傳輸客戶機(jī)提供信道設(shè)立信息,并且隨后基于所述提供的信道設(shè)立信息在所述客戶機(jī)和控制信道服務(wù)器功能之間建立至少一個流傳輸控制信道。因此,流傳輸客戶機(jī)可經(jīng)所述流傳輸控制信道接收至少一個清單文件更新消息,所述清單文件更新消息可包括清單文件或用于定位清單文件的清單文件位置信息。將會理解,其中描述的流傳輸控制信道和向流傳輸客戶機(jī)提供清單信息的方式可被有益地用于目前情境,即從系統(tǒng)100C向(一個或多個)流傳輸客戶機(jī)提供這種信息。因此,系統(tǒng)100C可包括如WO 2013/098317 A1中所述的控制信道服務(wù)器功能,并且(一個或多個)流傳輸客戶機(jī)可經(jīng)流傳輸控制信道與系統(tǒng)100C的控制信道服務(wù)器功能通信。
通常,這種信令信道可被用于向(一個或多個)流傳輸客戶機(jī)通知用于流傳輸?shù)那鍐魏?或質(zhì)量得分的可用性。替代或附加于所述通知,信令信道也可被用于發(fā)送(更新的)清單、(更新的)質(zhì)量得分和/或控制信息。
需要注意的是,在圖4和5中示出的實(shí)施例中,(一個或多個)流傳輸客戶機(jī)080負(fù)責(zé)基于選擇數(shù)據(jù)選擇合適的片段并且隨后從流源020取回合適的片段。如此,用于合適的片段的傳送機(jī)制遵循(即,在概念上類似于)當(dāng)前HAS方案,其中(一個或多個)流傳輸客戶機(jī)自己基于MPD中的帶寬信息確定取回哪些片段。
進(jìn)一步參照圖4和5,需要注意的是,清單170可以是多級清單,即由分級體系的子清單構(gòu)成。因此,可在與元數(shù)據(jù)流的描述174不同的子清單中提供片段的描述172??山?jīng)分開的信道傳送這種子清單。例如,可經(jīng)信令信道傳送包括元數(shù)據(jù)流的描述174的子清單。
圖6示出根據(jù)本發(fā)明的系統(tǒng)100D的另一實(shí)施例,其中該系統(tǒng)通過接收所述多個媒體流并且將從具有合適的質(zhì)量得分的片段建立的媒體流傳送給流傳輸客戶機(jī)來用作流傳輸客戶機(jī)081和多個流源020之間的代理。在這個示例中,從所述多個流傳輸源020獲得的源數(shù)據(jù)040包括媒體流自身的片段。為了該目的,系統(tǒng)100D可訂閱由所述多個流源020提供的流傳輸會話。系統(tǒng)100D可在片段服務(wù)器031上(即,經(jīng)數(shù)據(jù)通信421)暫時地存儲片段。此外,系統(tǒng)100D可將一個或多個質(zhì)量評估函數(shù)應(yīng)用于源數(shù)據(jù)040以將質(zhì)量得分分派給相應(yīng)媒體流的每個并發(fā)片段。圖6示出(一個或多個)質(zhì)量評估函數(shù)由分開的單元(即,質(zhì)量評估函數(shù)單元300,簡稱為QAF單元)實(shí)現(xiàn)。然而,雖然被分開地示出,但QAF單元可以是系統(tǒng)100D的一部分。作為向QAF單元300提供源數(shù)據(jù)040的結(jié)果,可獲得質(zhì)量得分400。系統(tǒng)100D可在質(zhì)量得分?jǐn)?shù)據(jù)庫310中(即,經(jīng)數(shù)據(jù)通信430)(暫時地)存儲質(zhì)量得分。系統(tǒng)100D還可訪問清單170,清單170可以是從所述多個流傳輸源020獲得的原始清單或在將所述一個或多個質(zhì)量評估函數(shù)應(yīng)用于源數(shù)據(jù)040之后產(chǎn)生的(更新的)清單。需要注意的是,雖然清單170被示出在系統(tǒng)100D的外部,但清單170可被存儲在系統(tǒng)100D的內(nèi)部存儲裝置或存儲器中。
100D能夠?qū)碜粤鱾鬏斂蛻魴C(jī)081的對清單的請求410做出響應(yīng),并且在流傳輸客戶機(jī)081接收到清單時,對流傳輸客戶機(jī)081對片段的隨后請求做出響應(yīng),即,通過將清單和所請求的片段傳送412給流傳輸客[h1] [h2] [h3] 戶機(jī)081。
需要注意的是,在圖6的實(shí)施例中,可能發(fā)生這樣的情況:例如通過從流源非同步地接收不同媒體流,所述不同媒體流相對于事件的時間線未對準(zhǔn)。在這種情況下,該系統(tǒng)可采用從媒體同步的領(lǐng)域本來已知的流間同步技術(shù),以確保不同媒體流的片段的時間對準(zhǔn),由此建立片段的并發(fā)的程度。如果正在接收具有不相等片段持續(xù)時間的明確分割的流,則可執(zhí)行所接收的片段的同步或重新分割,或者可接受某種時間未對準(zhǔn)。需要注意的是,對準(zhǔn)可能不需要是完美的,例如,在視聽數(shù)據(jù)的情況下的幀準(zhǔn)確。也就是說,由于媒體流表示事件的不同記錄,所以消費(fèi)者可能可允許(例如,可接受)某種程度的時間未對準(zhǔn)。這可導(dǎo)致可能比正在記錄的事件的持續(xù)時間更長的流傳輸媒體呈現(xiàn)的持續(xù)時間。需要注意的是,當(dāng)前自適應(yīng)流傳輸標(biāo)準(zhǔn)(諸如,MPEG-DASH)支持在時間上對準(zhǔn)的片段以及在時間上未對準(zhǔn)的片段。
圖7示出根據(jù)本發(fā)明的系統(tǒng)的另一實(shí)施例,其中系統(tǒng)100E不向流傳輸客戶機(jī)081傳送(一個或多個)媒體流的片段,而是向流傳輸客戶機(jī)081傳送清單和選擇數(shù)據(jù),由此使流傳輸客戶機(jī)081能夠向相應(yīng)流傳輸源請求片段。如此,圖7的實(shí)施例在概念上更類似于圖4和5的實(shí)施例,而非圖6的實(shí)施例,其中所述系統(tǒng)選擇片段并且隨后將所選擇的片段傳送給流傳輸客戶機(jī)。
圖7示出第一流傳輸源021和第二流傳輸源022,第一流傳輸源021被示出為以第一媒體流的片段(并且可選地,第一媒體流的元數(shù)據(jù))的形式向第一片段服務(wù)器031提供第一源數(shù)據(jù)041。第一片段服務(wù)器031至少暫時地存儲第一源數(shù)據(jù)041。此外,第二流傳輸源022被示出為以第二媒體流的片段(并且可選地,第二媒體流的元數(shù)據(jù))的形式向第二片段服務(wù)器032提供第二源數(shù)據(jù)042。系統(tǒng)100E可向第一片段服務(wù)器031(即,經(jīng)第一數(shù)據(jù)通信421)訪問第一源數(shù)據(jù)041。另外,系統(tǒng)100E可向第二片段服務(wù)器032(即,經(jīng)第二數(shù)據(jù)通信422)訪問第二源數(shù)據(jù)042。有效地,在這個實(shí)施例中,第一片段服務(wù)器031和第二片段服務(wù)器032構(gòu)成流源。
在已獲得對第一源數(shù)據(jù)041和第二源數(shù)據(jù)042的選擇的情況下,系統(tǒng)100E可將這種所選擇的源數(shù)據(jù)043提供給QAF單元300,QAF單元300可將至少一個質(zhì)量評估函數(shù)應(yīng)用于所選擇的源數(shù)據(jù)043。作為結(jié)果,可獲得質(zhì)量得分400。系統(tǒng)100E可在質(zhì)量得分?jǐn)?shù)據(jù)庫310中(即,經(jīng)數(shù)據(jù)通信430)暫時地存儲質(zhì)量得分。系統(tǒng)100E還可訪問清單170。因此,使系統(tǒng)100E能夠?qū)碜粤鱾鬏斂蛻魴C(jī)081的對清單的請求410做出響應(yīng),即,通過將清單和(一個或多個)質(zhì)量得分傳送414給流傳輸客戶機(jī)081。因此,使流傳輸客戶機(jī)081能夠基于質(zhì)量得分和清單向第一片段服務(wù)器031(即,經(jīng)第一片段請求451)或向第二片段服務(wù)器032(即,經(jīng)第二片段請求452)請求合適的片段。通過如此操作,并且特別地,通過在用于連續(xù)片段的兩個片段服務(wù)器之間動態(tài)地切換,使流傳輸客戶機(jī)081能夠獲得事件的流傳輸呈現(xiàn)。
雖然未在圖7中示出,但系統(tǒng)100E也可將清單傳送給流傳輸客戶機(jī)081,所述清單已經(jīng)包括來自相應(yīng)流傳輸源的片段的合適選擇。例如,在MPEG-DASH的情境中,MPD可采用如以下所示的形式。這里,所述選擇由標(biāo)識不同流源的連續(xù)時間段表示。此外,需要注意的是,MPD仍然按照片段實(shí)現(xiàn)基于帶寬的質(zhì)量選擇。
<?xml version="1.0" encoding="UTF-8"?>
<MPD
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xmlns="urn:mpeg:dash:schema:mpd:2011"
xsi:schemaLocation="urn:mpeg:dash:schema:mpd:2011 DASH-MPD.xsd"
type="static"
>
<!— First period of 30 seconds using media stream of camera 1—>
<Period id="1" duration="PT30S">
<BaseURL>http://camera1.example.com/</BaseURL>
<AdaptationSet
mimeType="video/mp2t"
codecs="avc1.4D401F,mp4a"
frameRate="24000/1001"
segmentAlignment="true"
subsegmentAlignment="true"
bitstreamSwitching="true"
startWithSAP="2"
subsegmentStartsWithSAP="2">
<ContentComponent contentType="video" id="481"/>
<ContentComponent contentType="audio" id="482" lang="en"/>
<ContentComponent contentType="audio" id="483" Iang = "es"/>
<BaseURL>SomeEvent/</BaseURL>
<SegmentTemplate
media="$RepresentationlD$_$Number%05d$.ts"
index="$RepresentationlD$.sidx"
initialization="$RepresentationlD$-init.ts"
bitstreamSwitching="$RepresentationlD$-bssw.ts
"duration="4"/>
<Representation id="1400kbps" bandwidth="1540000" width="960"
height="544"/>
Representation id="2700kbps" bandwidth="2970000" width="1280"
height="720"/>
</AdaptationSet>
</Period>
<!— Following period of 20 seconds using media stream of camera 2 ->
<Period id="1" duration="PT20S">
<BaseURL>http://camera2.example.com/</BaseURL>
<AdaptationSet
mimeType="video/mp2t"
codecs="avc1.4D401F,mp4a"
frameRate="24000/1001"
segmentAlignment="true"
subsegmentAlignment="true"
bitstreamSwitching="true"
startWithSAP="2"
subsegmentStartsWithSAP="2">
<ContentComponent contentType="video" id="481"/>
<ContentComponent contentType="audio" id="482" lang="en"/>
<ContentComponent contentType="audio" id="483" lang="es"/>
<BaseURL>SomeEvent/</BaseURL>
<SegmentTemplate
media="$RepresentationlD$_$Number%05d$.ts"
index="$RepresentationlD$.sidx"
initialization="$RepresentationlD$-init.ts"
bitstreamSwitching="$RepresentationlD$-bssw.ts"
duration="4"/>
<Representation id="1400kbps" bandwidth="1540000" width="960"
height="544"/>
<Representation id="2700kbps" bandwidth="2970000" width="1280"
height="720"/>
</AdaptationSet>
</Period>
</MPD>。
需要注意的是,包括片段的合適選擇的清單的可能缺點(diǎn)可以是它的大小,因?yàn)闀r間段越短,需要聲明的Period(時間段)元素越多,并且因此,清單的大小越大。
為了防止所述大小變得太大,可為每個流源(例如,為每個照相機(jī))聲明單個時間段,同時提供另外的屬性,該另外的屬性定義將要在其期間選擇流源的多個間隔的。例如,作為對MPEG-DASH標(biāo)準(zhǔn)的修改,可按照下面的方式在Period元素中引入@startInterval和@durationInterval屬性:
<Period id="1" startlnterval="PT0S,PT40S"
durationlnterval="PT30S,PT30S"">
<BaseURL>http://camera1.example.com/</BaseURL>
<AdaptationSet
(...)
</AdaptationSet>
</Period>
<Period id="2"
startlnterval="PT30S,PT70S"
durationlnterval="PT10S,PT30S">
<BaseURL>http://camera2.example.com/</BaseURL>
<AdaptationSet
(...)
</AdaptationSet>
</Period>。
需要注意的是,在以上和下面的示例中,為了簡潔的原因,(一個或多個)AdapationSet的各種屬性已被省略。以上說明的修改涉及通過在@startInterval和@durationInterval屬性中指定多個開始和持續(xù)時間值來在時間段內(nèi)定義多個時間間隔,由此基本上定義子時間段。除了表示在其期間將要選擇(不同)流源的不同時間間隔之外,這種子時間段共享所述時間段的所有性質(zhì)。
另一可能性可以是:使用SegmentTimeline元素,該元素使MPD作者能夠描述Period內(nèi)的Representation的時間線的不連續(xù)性。如此,可存在為每個流源聲明的一個Period和AdaptationSet,并且可按照AdaptationSet聲明不同SegmentTimeline元素以定義它們覆蓋的時間間隔。
另一可能性是使用參考元素。這些通常被用于經(jīng)xlink(參見http://www.w3.org/TR/xlink/)鏈接到遠(yuǎn)程文檔以便例如利用外部MPD中所包含的AdaptationSet填充MPD。這種概念可被擴(kuò)展或重新使用以便例如按照下面的方式提及局部元素:
<Period id="1" start="PT0S" duration="PT30S">
<BaseURL>http://camera1.example.com/</BaseURL>
<AdaptationSet
(...)
</AdaptationSet>
</Period>
<Period id="2" xlink:href="#1" start="PT40S" duration="PT30S">
[這里,將會從id=1的Period復(fù)制每件東西]
</Period>。
包括片段的合適選擇的清單的另一可能缺點(diǎn)可以是:可能需要MPD的頻繁更新以便將端對端延遲限制到可接受水平。這里,端對端延遲至少部分地由被MPD覆蓋的時間段確定,因?yàn)楫?dāng)MPD覆蓋1分鐘的內(nèi)容時,使用MPD的流傳輸客戶機(jī)落后于事件的“實(shí)況”呈現(xiàn)至少1分鐘。因此,通過將MPD的總呈現(xiàn)時間限制到可接受長度(例如,20秒或更少),可減少端對端延遲。為了避免在MPD覆蓋更短時間段的情況下需要更頻繁的MPD更新,可在MPD之外選擇流傳輸源,以使得MPD寫作獨(dú)立于流源選擇。
例如,已知使用模板機(jī)制在URL中產(chǎn)生片段的名稱,參見例如SegmentTemplate元素。這種概念可被例如按照下面的方式擴(kuò)展至BaseURL:
<Period id="1">
<BaseURL>http://camera1.example.com/$AdaptationSetlD$/</BaseURL>
<AdaptationSet id="camera1"
(...)
</AdaptationSet>
<AdaptationSet id="camera2"
(...)
</AdaptationSet>
</Period>。
在這種方案中,流傳輸客戶機(jī)可經(jīng)信令信道接收當(dāng)前推薦(例如,提供最合適質(zhì)量)的AdaptationSetld,由此使流傳輸客戶機(jī)能夠在流源之間切換。在沒有值被給予流傳輸客戶機(jī)的情況下,它可開始于任意值。
另一可能性可以是:一個Period元素可聲明所有AdaptationSet(即,針對所有流傳輸源)。流傳輸客戶機(jī)可隨后經(jīng)信令信道接收關(guān)于選擇哪個AdaptationSet的推薦。
需要注意的是,通常,除了一個或多個質(zhì)量得分之外,選擇數(shù)據(jù)還可包括用于使流傳輸客戶機(jī)能夠?qū)①|(zhì)量得分與所述多個流源關(guān)聯(lián)的關(guān)聯(lián)信息。此外,處理子系統(tǒng)可被配置為:在產(chǎn)生選擇數(shù)據(jù)時,在所述前一媒體流的并發(fā)部分和所選擇的部分之間的質(zhì)量得分的差異低于質(zhì)量閾值時保持所述多個媒體流中的一個媒體流的前一選擇。如此,質(zhì)量得分的可能增加可被確定為不大于切換到來自不同媒體流的片段的缺點(diǎn)。類似地,當(dāng)并發(fā)部分的長度低于長度閾值時,可保持所述前一選擇。
需要注意的是,以上實(shí)施例涉及分割的媒體流。然而,本發(fā)明可同樣被應(yīng)用于非分割的媒體流。處理子系統(tǒng)可分割這種分割的媒體流。替代地,可基于與前述逐片段不同的間隔度執(zhí)行媒體流之間的動態(tài)切換。例如,可例如通過在圖像組(GOP)間隔的開始切換流來在編碼解碼器水平執(zhí)行動態(tài)切換,所述GOP間隔開始于可獨(dú)立解碼的視頻幀(通常在H.264/MPEG-4 AVC中被稱為l-幀或稱為IDR幀)。需要注意的是,盡管媒體流被分割,但可執(zhí)行這種切換。因此,可在并發(fā)片段內(nèi)(即,在并發(fā)片段期間)執(zhí)行所述切換。
本發(fā)明的另一可選方面涉及下面的情況:在確定選擇哪個片段時,除了所述多個質(zhì)量得分,還可考慮(一個或多個)流傳輸源的入口帶寬(ingress bandwidth)。這使得能夠選擇這樣的片段:給定(一個或多個)流傳輸源的入口帶寬,該片段向流傳輸客戶機(jī)提供合適的質(zhì)量。因此,如果不同流傳輸源共享共同網(wǎng)絡(luò)連接,則可例如通過將相對較高的質(zhì)量得分分派給已經(jīng)流傳輸?shù)剑ㄒ粋€或多個)其它流傳輸客戶機(jī)的片段來最佳地使用接納連接的有限容量。另一優(yōu)點(diǎn)可以是:該系統(tǒng)可使用(一個或多個)流傳輸源的入口帶寬的知識以防止選擇(一個或多個)流傳輸源的如下片段:由于帶寬限制而不能將所述片段流傳輸?shù)搅鱾鬏斂蛻魴C(jī)。
附加或者替代地,當(dāng)選擇片段時,可考慮(一個或多個)流傳輸客戶機(jī)的可用帶寬。這個可選方面基于這樣的認(rèn)識:當(dāng)流傳輸客戶機(jī)具有有限帶寬可用性并且使用自適應(yīng)流傳輸基礎(chǔ)時,流傳輸客戶機(jī)將會通常切換到具有較低比特率的表示(例如,低帶寬并且因此低質(zhì)量媒體流)。然而,這種表示可能具有如此低質(zhì)量,使得它可能不再適合呈現(xiàn),即提供負(fù)面用戶體驗(yàn)。在存在事件的多個替代記錄的情況下,情況可能是這樣:盡管具有相同的比特率,但不同記錄提供不同質(zhì)量。這也可適用于相對較低的比特率,例如適用于500 kbit/s的視頻比特率。因此,當(dāng)由于可用帶寬的減小而必須切換到不同媒體流時,從事件的不同記錄選擇片段可能是有益的。例如,第一流源可提供500 kbit/s的第一媒體流,所述第一媒體流的片段“10”已被分派質(zhì)量得分1(5分中的1分)。此外,第二流源也可提供500 kbit/s的第二媒體流,所述第二媒體流的片段“10”已被分派質(zhì)量得分2(5分中的2分)。當(dāng)可能當(dāng)前正在對1000 kbit/s的媒體流進(jìn)行流傳輸?shù)牧鱾鬏斂蛻魴C(jī)需要在片段“9”之后切換到較低質(zhì)量時,它可選擇第二流源的片段“10”,因?yàn)檫@已被分派比第一流源的對應(yīng)并發(fā)片段“10”高的質(zhì)量得分。因此,通常,對所述多個流源之一的選擇可基于所述多個質(zhì)量得分的比較以及流傳輸客戶機(jī)的可用帶寬和相應(yīng)媒體流的比特率之間的比較。
需要注意的是,通常,選擇數(shù)據(jù)可包括流源或記錄裝置的屬性,諸如位置數(shù)據(jù)、取向數(shù)據(jù)等。這些屬性可能已被獲得作為來自流源的元數(shù)據(jù),并且可由流傳輸客戶機(jī)使用以便例如使觀察者能夠在超過一個媒體流被轉(zhuǎn)發(fā)給觀察者的流傳輸客戶機(jī)的情況下執(zhí)行進(jìn)一步的個人選擇。
還需要注意的是,質(zhì)量評估函數(shù)也可被包括在流源自身中。因此,流源可執(zhí)行質(zhì)量評估,并且例如通過將元數(shù)據(jù)添加到媒體流自身來將所獲得的質(zhì)量得分提供給所述系統(tǒng)。因此,可在(一個或多個)流源而非在所述系統(tǒng)處執(zhí)行質(zhì)量評估。
此外,流源可表示如下各項(xiàng)的源:實(shí)況流、按需流或二者組合。因此,由所述系統(tǒng)建立的流傳輸呈現(xiàn)可包括來自這種實(shí)況流的片段以及來自按需流的片段。這可允許例如即時重放功能。
還需要注意的是,通常,本發(fā)明可被用于基于M個不同媒體流建立N個不同流傳輸呈現(xiàn),所述N個不同流傳輸呈現(xiàn)具有例如N個媒體流、N個不同播放列表等形式,其中N小于M。這可能能夠使得輸入媒體流的數(shù)量減少。
圖8圖示本發(fā)明的另一可選方面,其中它示出用于使消費(fèi)者能夠提供關(guān)于感覺到的質(zhì)量的反饋的反饋機(jī)制,由此增進(jìn)質(zhì)量評估函數(shù)。這里,(實(shí)況)流傳輸會話的初始觀察者可提供關(guān)于感覺到的質(zhì)量的隱含或明確反饋240。例如,如果質(zhì)量評估尚未被執(zhí)行(在圖8中由虛線的片段指示)或者如果從質(zhì)量評估函數(shù)獲得的對片段的選擇是次優(yōu)的,則反饋240能夠被用于改進(jìn)所述選擇。在圖8的示例中,通過用戶明確地(例如,通過由流傳輸客戶機(jī)提供的評定機(jī)制)或隱含地(例如,通過用戶暫時地請求不同媒體流)將片段S13評定為具有壞質(zhì)量來示出這一點(diǎn)。因此能夠使該系統(tǒng)了解到片段S13具有壞質(zhì)量。該系統(tǒng)可隨后對一個或多個替代片段(例如,片段S23)執(zhí)行質(zhì)量評估,由此將該片段評定為“中等”。替代地,該系統(tǒng)可選擇片段S23而不執(zhí)行評定。因此,對于隨后的流傳輸會話,替代于片段S13,該系統(tǒng)可選擇片段S23以便被包括在事件的流傳輸呈現(xiàn)中。將會理解,這種反饋可采用各種其它形式,并且可被以各種方式使用。例如,該系統(tǒng)可從所述反饋進(jìn)行學(xué)習(xí),例如,通過修改質(zhì)量評估函數(shù)或不同函數(shù)之間的權(quán)重。該系統(tǒng)還可使用所述反饋來無效質(zhì)量評估函數(shù)。另一示例是:所述反饋可被用于使所述選擇個性化。
圖9示出一種用于為流傳輸客戶機(jī)提供事件的流傳輸呈現(xiàn)的方法。方法200可對應(yīng)于根據(jù)本發(fā)明的系統(tǒng)的操作。然而,這不是限制,因?yàn)橐部衫缭诓煌到y(tǒng)上或按照分布式方式分開地執(zhí)行方法200。
在標(biāo)題為“獲得源數(shù)據(jù)”的步驟中,方法200包括從所述多個流源獲得210源數(shù)據(jù),源數(shù)據(jù)由所述多個媒體流的并發(fā)部分的內(nèi)容數(shù)據(jù)和/或元數(shù)據(jù)構(gòu)成,并發(fā)部分表示事件的并發(fā)時間段。在標(biāo)題為“將質(zhì)量評估函數(shù)應(yīng)用于源數(shù)據(jù)”的步驟中,方法200還包括將至少一個質(zhì)量評估函數(shù)應(yīng)用220于源數(shù)據(jù)以將質(zhì)量得分分派給每個并發(fā)部分,由此建立多個質(zhì)量得分。在標(biāo)題為“產(chǎn)生選擇數(shù)據(jù)”的步驟中,方法200還包括產(chǎn)生230選擇數(shù)據(jù)用于使流傳輸客戶機(jī)能夠訪問相應(yīng)媒體流的并發(fā)部分中的所選擇的部分,已基于所述多個質(zhì)量得分的比較選擇所述所選擇的部分。
將會理解,可按照計算機(jī)程序的形式實(shí)現(xiàn)根據(jù)本發(fā)明的方法,所述計算機(jī)程序包括用于使處理器系統(tǒng)執(zhí)行所述方法的指令。所述方法也可被實(shí)現(xiàn)在專用硬件中,或?qū)崿F(xiàn)為以上各項(xiàng)的組合。
所述計算機(jī)程序可被以非暫態(tài)方式存儲在計算機(jī)可讀介質(zhì)上。所述非暫態(tài)存儲可包括提供一系列機(jī)器可讀物理標(biāo)記和/或具有不同電氣(例如,磁)或光學(xué)性質(zhì)或值的一系列元件。圖10示出計算機(jī)程序產(chǎn)品,所述計算機(jī)程序產(chǎn)品包括計算機(jī)可讀介質(zhì)260和存儲在計算機(jī)可讀介質(zhì)260上的計算機(jī)程序250。計算機(jī)程序產(chǎn)品的示例包括存儲裝置、光學(xué)存儲裝置、集成電路、服務(wù)器、在線軟件等。
應(yīng)該注意的是,上述實(shí)施例說明本發(fā)明,而非限制本發(fā)明,并且本領(lǐng)域技術(shù)人員將會能夠設(shè)計許多替代實(shí)施例。
在權(quán)利要求中,放置在括號之間的任何參考符號不應(yīng)被解釋為限制權(quán)利要求。動詞“包括”及其變形的使用不排除除了在權(quán)利要求中陳述的元件或步驟之外的元件或步驟的存在。位于元件前面的冠詞“一”或“一個”不排除多個這種元件的存在??赏ㄟ^包括幾個不同元件的硬件以及通過合適地編程的計算機(jī)來實(shí)現(xiàn)本發(fā)明。在列舉幾個設(shè)備的裝置權(quán)利要求中,這些設(shè)備中的幾個可由同一項(xiàng)硬件實(shí)現(xiàn)。僅僅在互相不同的從屬權(quán)利要求中敘述某些措施的事實(shí)并不指示不能有益地使用這些措施的組合。