視頻傳輸?shù)挠脩趔w驗(yàn)質(zhì)量測試的制作方法
【專利摘要】在此描述了一種用于計(jì)算接收裝置上播放的視頻流的用戶體驗(yàn)質(zhì)量(QoE)的分?jǐn)?shù)的技術(shù)。在計(jì)算QoE分?jǐn)?shù)前，裝置接收在接收裝置播放視頻流時(shí)捕捉的接收裝置的顯示屏幕的視頻。裝置還從參與視頻流到接收裝置的傳輸?shù)闹辽僖粋€(gè)裝置接收傳輸指標(biāo)。然后裝置至少部分基于參考視頻、所述傳輸指標(biāo)和一個(gè)或多個(gè)QoE模型計(jì)算所述QoE分?jǐn)?shù)。另外，在接收視頻或傳輸指標(biāo)前，裝置可以通過至少一個(gè)網(wǎng)絡(luò)模擬器將參考視頻作為視頻流從發(fā)送裝置自動(dòng)傳輸?shù)浇邮昭b置，包括提供網(wǎng)絡(luò)損傷設(shè)置到所述網(wǎng)絡(luò)模擬器。
【專利說明】視頻傳輸?shù)挠脩趔w驗(yàn)質(zhì)量測試
【技術(shù)領(lǐng)域】
[0001]本申請要求2011年10月14日提交的、題為“Multimedia QoE Video Lab”的、申請?zhí)枮?1/547，652的美國臨時(shí)專利申請的優(yōu)先權(quán)。申請?zhí)枮?1/547，652的申請作為參考被全部合并于此。
[0002]本申請要求2012年10 月 11 日提交的、題為“Quality of User Experience Testingfor Video Transmiss1ns”的、申請?zhí)枮?3/649,818的美國實(shí)用新型專利申請的優(yōu)先權(quán)。申請?zhí)枮?3/649,818的申請作為參考被全部合并于此。
【背景技術(shù)】
[0003]隨著網(wǎng)絡(luò)技術(shù)、手持裝置和數(shù)據(jù)傳輸技術(shù)的發(fā)展，使用手持裝置來享受消耗高寬帶的媒體(諸如視頻流)越來越多。現(xiàn)在用戶在視頻聊天、視頻會(huì)議和在線游戲中，會(huì)對來自遠(yuǎn)程視頻流服務(wù)器的視頻進(jìn)行回放。為了量化用戶消費(fèi)視頻的用戶體驗(yàn)質(zhì)量(QoE)，國際電信聯(lián)盟(ITU-T)在J.341標(biāo)準(zhǔn)中定義了用于確定平均意見分?jǐn)?shù)(MOS)中“感性分析”建議。MOS表示用戶對質(zhì)量的感受，可以由一組用戶主觀確定或基于模型客觀確定。模型可以反過來基于關(guān)于多個(gè)視頻的多個(gè)主觀評(píng)價(jià)。
【專利附圖】

【附圖說明】
[0004]參考附圖做了詳細(xì)的描述。在附圖中，附圖標(biāo)記的最左邊的數(shù)字辨別該附圖標(biāo)記第一次出現(xiàn)的圖。不同的圖中使用相同的附圖標(biāo)記指示相似或相同的項(xiàng)或特征。
[0005]圖1a示出了視頻QoE測試系統(tǒng)，包括測試控制器裝置、發(fā)送裝置、至少一個(gè)網(wǎng)絡(luò)模擬器、接收裝置和相機(jī)，所述系統(tǒng)計(jì)算觀看顯示在所述接收裝置上的傳輸?shù)囊曨l流的用戶體驗(yàn)的QoE分?jǐn)?shù)；
[0006]圖1b示出了視頻QoE測試系統(tǒng)，包括測試控制器裝置、視頻流服務(wù)器、至少一個(gè)網(wǎng)絡(luò)模擬器、接收裝置和相機(jī)，所述系統(tǒng)計(jì)算觀看顯示在接收裝置上的傳輸?shù)囊曨l流的用戶體驗(yàn)的QoE分?jǐn)?shù)；
[0007]圖2示出了能夠用作測試控制器裝置、發(fā)送裝置、接收裝置、相機(jī)、電信網(wǎng)絡(luò)模擬器、互聯(lián)網(wǎng)協(xié)議(IP)網(wǎng)絡(luò)模擬器、視頻中繼服務(wù)器或視頻流服務(wù)器的計(jì)算裝置的組件級(jí)視圖；以及
[0008]圖3示出了用于對多個(gè)視頻流傳輸以及在改變傳輸條件的情況下計(jì)算在用戶的接收裝置上進(jìn)行視頻流回放的用戶體驗(yàn)的QoE分?jǐn)?shù)的示例性過程。
【具體實(shí)施方式】
[0009]本說明書部分描述了計(jì)算接收裝置上播放的視頻流的用戶體驗(yàn)質(zhì)量(QoE)分?jǐn)?shù)的技術(shù)。在計(jì)算QoE分?jǐn)?shù)之前，諸如視頻測試系統(tǒng)的測試控制器裝置的裝置，接收在接收裝置播放視頻流的同時(shí)捕捉的接收裝置的顯示屏幕的視頻。裝置還從至少一個(gè)參與向接收裝置傳輸視頻流的裝置接收傳輸指標(biāo)。然后裝置至少部分基于參考視頻、傳輸指標(biāo)和一個(gè)或多個(gè)QoE模型來計(jì)算所述接收的視頻的QoE。另外，在接收視頻或傳輸指標(biāo)之前，裝置可以隨著通過至少一個(gè)網(wǎng)絡(luò)模擬器從發(fā)送裝置到接收裝置的視頻流自動(dòng)傳輸參考視頻。所述自動(dòng)可以包括向網(wǎng)絡(luò)模擬器提供網(wǎng)絡(luò)損傷設(shè)置。
[0010]然后裝置用給定的一組網(wǎng)絡(luò)損傷設(shè)置多次重復(fù)其操作，以及在其他時(shí)間用其他損傷設(shè)置多次重復(fù)其操作。通過在變化的情況下執(zhí)行多次測試，視頻測試系統(tǒng)將達(dá)到準(zhǔn)確反應(yīng)用戶體驗(yàn)的QoE分?jǐn)?shù)。
[0011]示例性測試系統(tǒng)
[0012]圖1示出了視頻QoE測試系統(tǒng)，該系統(tǒng)包括測試控制器裝置、發(fā)送裝置、至少一個(gè)網(wǎng)絡(luò)模擬器、接收裝置和相機(jī)，所述系統(tǒng)計(jì)算觀看顯示在所述接收裝置上的傳輸?shù)囊曨l流的用戶體驗(yàn)的QoE分?jǐn)?shù)。如圖所示，測試控制器裝置102可以通過至少一個(gè)網(wǎng)絡(luò)模擬器106從發(fā)送裝置104自動(dòng)傳輸視頻流到接收裝置108。在接收裝置108播放視頻流的同時(shí)，相機(jī)110捕捉接收裝置108的顯示屏幕的視頻，并提供所述視頻到測試控制器裝置102。在一些實(shí)施方式中，測試控制器裝置102可以指示發(fā)送裝置104通過IP網(wǎng)絡(luò)模擬器112在網(wǎng)絡(luò)(諸如互聯(lián)網(wǎng))116上將視頻流傳輸?shù)揭曨l中繼服務(wù)器114上。為了自動(dòng)化傳輸視頻流和計(jì)算相機(jī)110捕捉的視頻的QoE分?jǐn)?shù)，測試控制器裝置102可以配置有多個(gè)模塊，諸如測試管理器模塊118、損傷設(shè)置模塊120、自動(dòng)化模塊122、傳輸指標(biāo)模塊124、QoE計(jì)算模塊126和QoE報(bào)告模塊128。
[0013]在各種實(shí)施方式中，測試控制器裝置102、發(fā)送裝置104、電信網(wǎng)絡(luò)模擬器106、接收裝置108、相機(jī)110、IP網(wǎng)絡(luò)模擬器112和視頻中繼服務(wù)器114中的每一個(gè)可以是或者可以包括服務(wù)器或服務(wù)器群、多個(gè)分布式服務(wù)器群、主機(jī)、工作站、個(gè)人電腦(PC)、筆記本電腦、平板電腦、個(gè)人數(shù)字助理、移動(dòng)電話、媒體中心、嵌入式系統(tǒng)或任何其他種類的裝置。在一些實(shí)施方式中，一個(gè)或多個(gè)測試控制器裝置102、發(fā)送裝置104、電信網(wǎng)絡(luò)模擬器106、接收裝置108、相機(jī)110、IP網(wǎng)絡(luò)模擬器112和視頻中繼服務(wù)器114可以為在一個(gè)或多個(gè)計(jì)算裝置上實(shí)現(xiàn)的一個(gè)或多個(gè)虛擬機(jī)。圖2中示出了并在下面參考圖2描述了示例性的能夠用作控制器裝置102、發(fā)送裝置104、電信網(wǎng)絡(luò)模擬器106、接收裝置108、相機(jī)110、IP網(wǎng)絡(luò)模擬器112或視頻中繼服務(wù)器114的計(jì)算裝置。
[0014]在一些實(shí)施方式中，發(fā)送裝置104可以被配置為與電信網(wǎng)絡(luò)模擬器106通過一個(gè)或多個(gè)射頻進(jìn)行無線通信。發(fā)送裝置104例如還經(jīng)由通用串行總線(USB)連接器、以太網(wǎng)連接器或一些其他類型的連接器與測試控制器裝置102物理耦合。而且，發(fā)送裝置104可以從測試控制器裝置102接收參考視頻和/或自動(dòng)指令。基于所述指令，發(fā)送裝置104可以創(chuàng)建視頻聊天、視頻會(huì)議或其他到接收裝置108的連接，以及可以將參考視頻作為視頻流通過電信網(wǎng)絡(luò)模擬器106傳輸?shù)浇邮昭b置108。在一些實(shí)施方式中，可以以點(diǎn)對點(diǎn)(P2P)的方式傳輸視頻流；在其他實(shí)施方式中，發(fā)送裝置104可以將視頻流導(dǎo)向視頻中繼服務(wù)器114以用于隨后傳輸?shù)浇邮昭b置108。在其他實(shí)施方式中，可以由用戶啟動(dòng)傳輸，而不是響應(yīng)于自動(dòng)化指令。不論何種情況，在傳輸視頻流時(shí)，發(fā)送裝置104可以記錄傳輸指標(biāo)，諸如幀率、比特率、往返時(shí)間、呼叫建立時(shí)間或編碼率，以及可以自動(dòng)或者根據(jù)請求向測試控制器裝置102提供傳輸指標(biāo)。
[0015]在各種實(shí)施方式，電信網(wǎng)絡(luò)模擬器106可以模擬任何種類的電信網(wǎng)絡(luò)，諸如全球移動(dòng)通信系統(tǒng)(GSM)網(wǎng)絡(luò)、通用移動(dòng)通信系統(tǒng)(UMTS)網(wǎng)絡(luò)、演進(jìn)的高速分組接入技術(shù)(HSPA+)網(wǎng)絡(luò)或長期演進(jìn)(LTE)網(wǎng)絡(luò)。電信網(wǎng)絡(luò)模擬器106可以包括一個(gè)或多個(gè)能夠在一個(gè)或多個(gè)射頻上進(jìn)行傳輸和接收的基站模擬器組件。例如，電信網(wǎng)絡(luò)模擬器106可以包括用于與發(fā)送裝置104通信的第一基站模擬器組件，和用于與接收裝置108通信的第二基站模擬器組件。另外，電信網(wǎng)絡(luò)模擬器106可以有線或無線地連接到IP網(wǎng)絡(luò)模擬器112或網(wǎng)絡(luò)116。而且，電信網(wǎng)絡(luò)模擬器106可以例如經(jīng)由USB連接器、以太網(wǎng)連接器或一些其他類型的連接器物理耦合到測試控制器裝置102。
[0016]在一些實(shí)施方式中，電信網(wǎng)絡(luò)模擬器106可以配置為從測試控制器裝置102接收網(wǎng)絡(luò)損傷設(shè)置，以及根據(jù)所述配置執(zhí)行視頻流的傳輸。例如，網(wǎng)絡(luò)損傷設(shè)置可以指定射頻(RF)損傷，以及電信網(wǎng)絡(luò)模擬器106可以在所述RF損傷的情況下傳輸視頻流。而且，電信網(wǎng)絡(luò)模擬器106可以檢查傳輸視頻流的分組，以確定傳輸是P2P還是客戶端-服務(wù)器式。如果是P2P，電信網(wǎng)絡(luò)模擬器106可以在接下來將視頻流傳輸?shù)浇邮昭b置108。如果是客戶端-服務(wù)器式，電信網(wǎng)絡(luò)模擬器106可以通過IP網(wǎng)絡(luò)模擬器112將視頻流傳輸?shù)揭曨l中繼服務(wù)器114，可以從視頻中繼服務(wù)器114將視頻流接收回來，以及然后可以將視頻流傳輸?shù)浇邮昭b置108。在傳輸視頻流時(shí)，電信網(wǎng)絡(luò)模擬器106可以記錄傳輸指標(biāo)，諸如射頻、幀率、比特率、往返率、呼叫建立時(shí)間、或編碼率，以及可以自動(dòng)或根據(jù)請求提供傳輸指標(biāo)到測試控制器裝置102。
[0017]在各種實(shí)施方式中，接收裝置108被配置為從測試控制器裝置102接收自動(dòng)化指令，和從發(fā)送裝置104接收視頻流。接收裝置108可以例如經(jīng)由USB連接器、以太網(wǎng)連接器或一些其他類型的連接器物理耦合到測試控制器裝置102。指令可以包括接收連接視頻聊天、視頻會(huì)議或視頻廣播的指令，以及在接收到視頻流時(shí)播放與所述連接有關(guān)的視頻流的指令。在其他實(shí)施方式中，并不是接收自動(dòng)化指令，而是接收裝置108可以接收響應(yīng)于用戶輸入的連接。當(dāng)播放視頻流時(shí)，接收裝置108可以同時(shí)以視頻流播放的方式來記錄視頻流，而不需要對記錄的視頻進(jìn)行任何后處理來去掉延遲、漏掉的幀等。然后，接收裝置108可以自動(dòng)或根據(jù)請求向測試控制器裝置102提供記錄的視頻。而且在接收和播放視頻流時(shí)，接收裝置108可以記錄傳輸指標(biāo)，諸如幀率、比特率、往返時(shí)間、呼叫建立時(shí)間或編碼率，以及可以自動(dòng)或根據(jù)請求向測試控制器裝置102提供傳輸指標(biāo)。
[0018]在一些實(shí)施方式中，相機(jī)110可以被配置成從測試控制器裝置102接收指令，來記錄接收裝置108的顯示屏幕的視頻。相機(jī)110可以經(jīng)由例如USB連接器、以太網(wǎng)連接器或一些其他形式的連接器物理耦合到測試控制器裝置102。可以對指令進(jìn)行時(shí)控以當(dāng)在接收裝置108上開始回放時(shí)指令使得視頻的記錄開始。相機(jī)110還可以接收指令以停止記錄。在完成記錄時(shí)，相機(jī)110可以向測試控制器裝置102提供視頻。
[0019]在各個(gè)實(shí)施方式中，IP網(wǎng)絡(luò)模擬器可以被配置成從測試控制器裝置102接收網(wǎng)絡(luò)損傷設(shè)置，以及根據(jù)所述設(shè)置執(zhí)行視頻流的傳輸。例如，網(wǎng)路損傷設(shè)置可以指定一個(gè)或多個(gè)IP損傷，諸如分組丟失、傳輸延遲、數(shù)據(jù)損壞或有限的吞吐量，以及IP網(wǎng)絡(luò)模擬器112可以在所述IP損傷的條件下傳輸視頻流。而且，IP網(wǎng)絡(luò)模擬器112可以從耦合到IP網(wǎng)絡(luò)模擬器112的電信網(wǎng)絡(luò)模擬器106接收視頻流，可以將視頻流傳輸?shù)娇梢灾苯踊蛲ㄟ^網(wǎng)絡(luò)116耦合到IP網(wǎng)絡(luò)模擬器112的視頻中繼服務(wù)器114，可以從視頻中繼服務(wù)器114接收回視頻流，以及然后可以通過電信網(wǎng)絡(luò)模擬器106向接收裝置108傳輸視頻流。當(dāng)傳輸視頻流時(shí)，IP網(wǎng)絡(luò)模擬器112可以記錄傳輸指標(biāo)，諸如幀率、比特率、往返時(shí)間、呼叫建立時(shí)間或編碼率，以及可以自動(dòng)或根據(jù)請求提供傳輸指標(biāo)到測試控制器裝置102。
[0020]在一些實(shí)施方式中，視頻中繼服務(wù)器114可以被配置成接收去往接收裝置108的視頻流，以及可以將視頻流傳輸?shù)浇邮昭b置108?？梢灾苯踊蛲ㄟ^網(wǎng)絡(luò)116從IP網(wǎng)絡(luò)模擬器112接收或可以向IP網(wǎng)絡(luò)模擬器112傳輸視頻流。
[0021]在進(jìn)一步的實(shí)施方式中，網(wǎng)絡(luò)116可以為任意一個(gè)或多個(gè)網(wǎng)絡(luò)，諸如有線網(wǎng)絡(luò)、無線網(wǎng)絡(luò)和有線與無線網(wǎng)絡(luò)的結(jié)合。進(jìn)一步的，網(wǎng)絡(luò)116可以包括任意一個(gè)公共或私有網(wǎng)絡(luò)(例如電纜網(wǎng)絡(luò)、互聯(lián)網(wǎng)、無線網(wǎng)絡(luò)等)或多個(gè)不同類型的公共或私有網(wǎng)絡(luò)的結(jié)合。在一些情況下，計(jì)算裝置使用安全協(xié)議(例如http)和/或任何其他協(xié)議或協(xié)議組(諸如傳輸控制協(xié)議/互聯(lián)網(wǎng)協(xié)議(TCP/IP))來在網(wǎng)絡(luò)116上進(jìn)行通信。
[0022]如圖1a所示，測試控制器裝置102可以配置有多個(gè)模塊，所述多個(gè)模塊被配置成執(zhí)行視頻傳輸性能測試。所述模塊包括測試管理器模塊118。測試管理器模塊118自動(dòng)或基于設(shè)置或響應(yīng)于用戶輸入來啟動(dòng)測試。例如可以經(jīng)由測試用戶接口來接收該用戶輸入。用戶或者設(shè)置可以指定多個(gè)不同的網(wǎng)絡(luò)損傷設(shè)置來測試以及指定給定數(shù)量的測試去執(zhí)行特定的網(wǎng)絡(luò)損傷設(shè)置?？商鎿Q的，可以使用一組默認(rèn)的網(wǎng)絡(luò)損傷設(shè)置和默認(rèn)數(shù)量的測試迭代。
[0023]在一些實(shí)施方式中，在啟動(dòng)測試時(shí)，測試管理器模塊118調(diào)用損傷設(shè)置模塊120以及指定要提供給電信網(wǎng)絡(luò)模擬器106和IP網(wǎng)絡(luò)模擬器中的一者或兩者的網(wǎng)絡(luò)損傷設(shè)置。所述網(wǎng)絡(luò)損傷設(shè)置的示例如上所述。然后損傷設(shè)置模塊120提供網(wǎng)絡(luò)損傷設(shè)置，以及在確定成功應(yīng)用了所述網(wǎng)絡(luò)損傷設(shè)置時(shí)，告知測試管理器模塊118。
[0024]測試管理器模塊118然后調(diào)用自動(dòng)化模塊，來將視頻流從發(fā)送裝置104自動(dòng)傳輸?shù)浇邮昭b置108。自動(dòng)模塊122可以向發(fā)送裝置104提供參考視頻，以及提供將參考視頻作為視頻流傳輸?shù)浇邮昭b置108的指令。指令還可以指定傳輸是P2P傳輸還是使用視頻中繼服務(wù)器114的客戶端-服務(wù)器傳輸。自動(dòng)化模塊122還可以提供指令給電信網(wǎng)絡(luò)模擬器106和IP網(wǎng)絡(luò)模擬器112來在接收到視頻流時(shí)傳輸視頻流，以及提供指令給接收裝置108。給接收裝置108的指令可以告訴接收裝置108從發(fā)送裝置104接收通信以及在接收后打開和播放與通信相關(guān)的視頻流。在一些實(shí)施方式中，自動(dòng)化模塊122還指示接收裝置108將視頻流的回放記錄為視頻文檔或指示相機(jī)在接收裝置108播放視頻流時(shí)記錄接收裝置108的顯示屏幕的視頻。如果指示相機(jī)，自動(dòng)化模塊122可以對指令計(jì)時(shí)，從而相機(jī)110與接收裝置108開始回放基本同時(shí)啟動(dòng)視頻捕捉操作。在提供指令之后，自動(dòng)化模塊122告知管理器模塊118指令已被提供。
[0025]在各種實(shí)施方式中，測試管理器模塊118然后調(diào)用傳輸指標(biāo)模塊124來從一個(gè)或多個(gè)發(fā)送裝置104、電信網(wǎng)絡(luò)模擬器106、接收裝置108或IP網(wǎng)絡(luò)模擬器112接收或檢索傳輸指標(biāo)。所述傳輸指標(biāo)的示例如上所述。然后，傳輸指標(biāo)模塊124將傳輸指標(biāo)模塊124提供到測試管理器模塊118。
[0026]在接收到傳輸指標(biāo)時(shí)，測試管理器模塊118調(diào)用QoE計(jì)算模塊126，和給QoE計(jì)算模塊126提供傳輸指標(biāo)。QoE計(jì)算模塊126還從接收裝置108或相機(jī)110獲取或檢索視頻流回放的視頻。使用一個(gè)或多個(gè)QoE模塊，然后QoE計(jì)算模塊126計(jì)算視頻的QoE分?jǐn)?shù)。例如，QoE計(jì)算模塊126可以使用第一 QoE模型、視頻和參考視頻來基于參考視頻和第一 QoE模模型計(jì)算視頻的Q0E分?jǐn)?shù)。QoE計(jì)算模塊126然后可以使用一個(gè)或多個(gè)第二 QoE模型、傳輸指標(biāo)以及視頻來基于傳輸指標(biāo)和第二 QoE模型計(jì)算視頻的一個(gè)或多個(gè)另外的QoE分?jǐn)?shù)。接下來，QoE計(jì)算模塊126可以使用第三QoE模型，所述第三QoE模型基于QoE分?jǐn)?shù)是否被計(jì)算使用參考視頻或特定傳輸指標(biāo)來給QoE分?jǐn)?shù)權(quán)重，以將QoE分?jǐn)?shù)合成為單個(gè)的視頻QoE分?jǐn)?shù)。在其他實(shí)施方式中，并不是使用傳輸指標(biāo)和第二 QoE模型計(jì)算另外的QoE分?jǐn)?shù)，而是QoE計(jì)算模塊126可以使用傳輸指標(biāo)和第二 QoE模型計(jì)算QoE分?jǐn)?shù)調(diào)整，所述QoE分?jǐn)?shù)調(diào)整被加入QoE分?jǐn)?shù)中或者從QoE分?jǐn)?shù)中減去。在計(jì)算視頻的QoE分?jǐn)?shù)后，QoE計(jì)算模塊126可以提供QoE分?jǐn)?shù)到測試管理器模塊118。
[0027]在各種實(shí)施方式中，測試管理器模塊118然后確定是否應(yīng)該使用網(wǎng)絡(luò)損傷設(shè)置來執(zhí)行另外的測試迭代。例如，測試管理器模塊118可以確定為給定一組網(wǎng)絡(luò)損傷設(shè)置要執(zhí)行的三個(gè)測試，以及確定需要執(zhí)行的再兩個(gè)測試迭代。在該情況下，所述測試管理器模塊118可以再調(diào)用自動(dòng)化模塊122、傳輸設(shè)置模塊124和QoE計(jì)算模塊126，來獲得每個(gè)測試迭代的QoE分?jǐn)?shù)。此外，測試管理器模塊118可以確定是否有其他網(wǎng)絡(luò)損傷設(shè)置來測試，以及如果有，則經(jīng)由損傷設(shè)置模塊120提供所述網(wǎng)絡(luò)損傷設(shè)置，以及使用所述網(wǎng)絡(luò)損傷設(shè)置執(zhí)行測試迭代。
[0028]在測試完成時(shí)，測試管理器模塊118具有一個(gè)或多個(gè)QoE分?jǐn)?shù)，每個(gè)QoE分?jǐn)?shù)與測試迭代和一組網(wǎng)絡(luò)損傷設(shè)置相關(guān)。測試管理器模塊118可以將一些或所有分?jǐn)?shù)綜合起來(例如，計(jì)算平均值或中間值)。綜合的QoE分?jǐn)?shù)可以為所有QoE分?jǐn)?shù)的綜合或給定一組網(wǎng)絡(luò)損傷設(shè)置的QoE分?jǐn)?shù)的綜合。測試管理器模塊118然后可以調(diào)用QoE報(bào)告模塊128和向QoE報(bào)告模塊128提供QoE分?jǐn)?shù)、合成的QoE分?jǐn)?shù)和/或傳輸指標(biāo)。QoE報(bào)告模塊128然后可以經(jīng)由例如測試用戶界面或其他用戶界面與用戶分享QoE分?jǐn)?shù)、合成的QoE分?jǐn)?shù)和/或傳輸指標(biāo)。
[0029]在一些實(shí)施方式中，測試管理器模塊118或QoE報(bào)告模塊128還可以根據(jù)一個(gè)或多個(gè)QoE分?jǐn)?shù)生成模塊，所述一個(gè)或多個(gè)QoE分?jǐn)?shù)中的每個(gè)與一組給定的網(wǎng)絡(luò)損傷設(shè)置或者傳輸指標(biāo)中的一者或兩者相關(guān)。然后模型可以被提供到其他用戶或?qū)嶓w或被其他用戶和實(shí)體使用，以評(píng)估其他用戶或?qū)嶓w的視頻回放體驗(yàn)的QoE。
[0030]圖1b示出了視頻QoE測試系統(tǒng)，包括測試控制器裝置、視頻流服務(wù)器、至少一個(gè)網(wǎng)絡(luò)模擬器、接收裝置和相機(jī)，所述系統(tǒng)計(jì)算觀看顯示在接收裝置上的傳輸?shù)囊曨l流的用戶的體驗(yàn)的QoE分?jǐn)?shù)。在圖1b中，通過視頻流服務(wù)器130而不是發(fā)送裝置104或視頻中繼服務(wù)器114提供視頻流。
[0031]視頻流服務(wù)器130可以是任意種類的配置為傳輸視頻流的服務(wù)器，諸如經(jīng)由用戶網(wǎng)絡(luò)瀏覽器給用戶提供流化視頻回放的網(wǎng)絡(luò)服務(wù)器。視頻流服務(wù)器130可以經(jīng)由例如USB連接器、以太網(wǎng)連接器或其他任何形式的連接器物理耦合到測試控制器裝置102。在其他實(shí)施方式中，視頻流服務(wù)器130可以通過網(wǎng)絡(luò)(諸如網(wǎng)絡(luò)116)與測試控制器裝置102通信。而且，視頻流服務(wù)器130可以從測試控制器裝置102接收參考視頻和/或自動(dòng)化指令。基于所述指令，視頻流服務(wù)器130可以創(chuàng)建與接收裝置108的數(shù)據(jù)連接，以及可以將參考視頻作為視頻流通過IP網(wǎng)絡(luò)模擬器112和電信網(wǎng)絡(luò)模擬器106發(fā)送到接收裝置108。在傳輸視頻流時(shí)，視頻流服務(wù)器130可以就傳輸指標(biāo)，諸如幀率、往返時(shí)間或編碼率，以及可以自動(dòng)或根據(jù)請求將傳輸指標(biāo)提供給測試控制器裝置102。
[0032]在一些實(shí)施方式中，在圖1b的視頻測試系統(tǒng)中，測試管理器模塊118、損傷設(shè)置模塊120、QoE計(jì)算模塊126和QoE報(bào)告模塊128與圖1a的視頻測試系統(tǒng)中一樣操作。除了參考視頻和傳輸指令提供給視頻流服務(wù)器130而不是提供給發(fā)送裝置104以外，自動(dòng)化模塊122也同樣操作。而且，除了傳輸指令從視頻流服務(wù)器130獲取和接收而不是從發(fā)送裝置104獲取和接收外，傳輸指令模塊也同樣操作。
[0033]示例裝置
[0034]圖2示出了能夠用作測試控制器裝置102、發(fā)送裝置104、電信網(wǎng)絡(luò)模擬器106、接收裝置108、相機(jī)110、IP網(wǎng)絡(luò)模擬器112、視頻中繼服務(wù)器114或視頻流服務(wù)器130的計(jì)算裝置的組件級(jí)視圖。如圖所示，計(jì)算裝置200包括系統(tǒng)存儲(chǔ)器202，用于存儲(chǔ)模塊和數(shù)據(jù)204。而且，計(jì)算裝置200包括處理器206、可移動(dòng)存儲(chǔ)208和不可移動(dòng)存儲(chǔ)210、輸入裝置及212、輸出裝置214和用于與其他計(jì)算裝置218進(jìn)行通信的通信連接216。
[0035]在各種實(shí)施方式中，系統(tǒng)存儲(chǔ)器202為易失性(諸如RAM)、非易失性(諸如ROM、快閃存儲(chǔ)器等)或這兩者的一些結(jié)合。存儲(chǔ)在系統(tǒng)存儲(chǔ)器202中的模塊或數(shù)據(jù)204可以包括方法、線程、進(jìn)程、應(yīng)用或任意其他種類的可執(zhí)行指令，諸如用來執(zhí)行測試控制器裝置102、發(fā)送裝置104、電信網(wǎng)絡(luò)模擬器106、接收裝置108、相機(jī)110、IP網(wǎng)絡(luò)模擬器112、視頻中繼服務(wù)器114或視頻流服務(wù)器130的操作。模塊和數(shù)據(jù)204也可以包括文檔和數(shù)據(jù)庫。
[0036]在一些實(shí)施方式中，處理器206為中央處理單元(CPU)、圖形處理單元(GPU)或CPU和GPU、或本領(lǐng)域中已知的其他處理單元或組件。
[0037]計(jì)算裝置200還包括另外的數(shù)據(jù)存儲(chǔ)裝置(可移動(dòng)和/或不可移動(dòng))，例如磁盤、光盤或磁帶。圖2中由可移動(dòng)存儲(chǔ)208和不可移動(dòng)存儲(chǔ)210示出了這種另外的存儲(chǔ)。有形計(jì)算機(jī)可讀介質(zhì)可以包括用于存儲(chǔ)信息(諸如計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其他數(shù)據(jù))的任何方法或技術(shù)中實(shí)施的易失性和非易失性、可移動(dòng)和不可移動(dòng)介質(zhì)。系統(tǒng)存儲(chǔ)器202、可移動(dòng)存儲(chǔ)208和不可移動(dòng)存儲(chǔ)210都是計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)的示例。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)包括但不限于RAM、R0M、EEPR0M、快閃存儲(chǔ)器或其他存儲(chǔ)器技術(shù)、CD-ROM、數(shù)字通用光盤(DVD)或其他光存儲(chǔ)、磁帶盒、磁帶、磁盤存儲(chǔ)或其他磁存儲(chǔ)裝置，或其他任何可以用來存儲(chǔ)所需信息和可以由計(jì)算裝置200訪問的媒介。任何這種有形計(jì)算機(jī)可讀介質(zhì)可以為計(jì)算裝置200的一部分。
[0038]計(jì)算裝置200還具有輸入裝置212，諸如鍵盤、鼠標(biāo)、觸摸式顯示器、語音輸入裝置等，以及還具有輸出裝置，諸如顯示器、揚(yáng)聲器、打印機(jī)等。所述裝置是本領(lǐng)域公知的，在此不再贅述。
[0039]計(jì)算裝置200還包括通信連接216，該通信連接216允許計(jì)算裝置200與其他計(jì)算裝置218 (諸如其他測試控制器裝置102、發(fā)送裝置104、電信網(wǎng)絡(luò)模擬器106、接收裝置108、相機(jī)110、IP網(wǎng)絡(luò)模擬器112、視頻中繼服務(wù)器114或視頻流服務(wù)器130)進(jìn)行通信。
[0040]示例過程
[0041]圖3示出了示例過程300。該過程以邏輯圖表示出，過程的每個(gè)操作表示可以在硬件、軟件或其結(jié)合中執(zhí)行的操作序列。在軟件情況下，操作表示存儲(chǔ)在一個(gè)或多個(gè)計(jì)算機(jī)可讀存儲(chǔ)戒指上的計(jì)算機(jī)可執(zhí)行指令，所述指令當(dāng)被一個(gè)或多個(gè)處理器執(zhí)行時(shí)執(zhí)行所列出的操作。一般，計(jì)算機(jī)可執(zhí)行指令包括例程、程序、對象、組件、數(shù)據(jù)結(jié)構(gòu)和執(zhí)行特定功能和實(shí)現(xiàn)特定抽象數(shù)據(jù)類型的指令。操作的順序不用于做出限制，任意數(shù)量的所述操作可以以任意的順序結(jié)合起來，或者可以并列執(zhí)行所述過程。[0042]圖3示出了用于對多個(gè)視頻流傳輸以及在改變傳輸條件的情況下計(jì)算在用戶的接收裝置上進(jìn)行視頻流回放的用戶體驗(yàn)的QoE分?jǐn)?shù)的示例性過程。過程300包括，在302通過測試控制器裝置提供網(wǎng)絡(luò)損傷設(shè)置到至少一個(gè)網(wǎng)絡(luò)模擬器。所述至少一個(gè)網(wǎng)絡(luò)模擬器可以為電信網(wǎng)絡(luò)模擬器或IP網(wǎng)絡(luò)模擬器中的一者。網(wǎng)絡(luò)損傷設(shè)置可以包括RF損傷設(shè)置、分組丟失設(shè)置、傳輸延遲設(shè)置、數(shù)據(jù)損壞設(shè)置或吞吐量設(shè)置中的至少一者。
[0043]在304，測試控制器裝置通過至少一個(gè)網(wǎng)絡(luò)模擬器自動(dòng)將參考視頻作為視頻流從發(fā)送裝置傳輸?shù)浇邮昭b置，包括將網(wǎng)絡(luò)損傷設(shè)置提供給至少一個(gè)網(wǎng)絡(luò)模擬器。在304a，自動(dòng)包括指示發(fā)送裝置或視頻流服務(wù)器將參考視頻作為視頻流傳輸，指示至少一個(gè)網(wǎng)絡(luò)模擬器將視頻流傳輸?shù)浇邮昭b置，以及指示接收裝置接收和播放視頻流。在304b，自動(dòng)包括將參考視頻提供到發(fā)送裝置或視頻流服務(wù)器。在304c，自動(dòng)包括指示發(fā)送裝置將視頻流以點(diǎn)對點(diǎn)方式或者通過視頻中繼服務(wù)器以客戶端-服務(wù)器方式傳輸?shù)浇邮昭b置。
[0044]在306，測試控制器裝置接收在接收裝置播放視頻流時(shí)捕捉的接收裝置的顯示屏幕的視頻。在306a，接收包括從相機(jī)接收視頻或從接收裝置接收視頻。接收裝置可以從遠(yuǎn)程視頻流服務(wù)器接收了視頻流。
[0045]在308，測試控制器裝置從至少一個(gè)參與向接收裝置的視頻流的傳輸?shù)难b置接收傳輸指標(biāo)。傳輸指標(biāo)可以包括幀率、比特率、往返時(shí)間、呼叫建立時(shí)間或編碼率中的至少一者。
[0046]在310，測試控制器裝置至少部分基于參考視頻、傳輸指標(biāo)和一個(gè)或多個(gè)QoE模型計(jì)算視頻的QoE分?jǐn)?shù)。一個(gè)或多個(gè)QoE模型可以包括至少一個(gè)用于基于參考視頻計(jì)算視頻的第一 QoE分?jǐn)?shù)的QoE模型或用于基于傳輸指標(biāo)計(jì)算視頻的第二 QoE分?jǐn)?shù)的QoE模型。而且，一個(gè)或多個(gè)QoE模型可以包括用于綜合第一和第二 QoE分?jǐn)?shù)的QoE模型。而且或者可替換的，一個(gè)或多個(gè)QoE模型可以包括用于基于參考視頻計(jì)算視頻的第一 QoE分?jǐn)?shù)的QoE模型，和用于基于傳輸指標(biāo)計(jì)算QoE分?jǐn)?shù)調(diào)整的QoE模型。
[0047]在312，測試控制器裝置確定是否存在為給定的參考視頻和一組網(wǎng)絡(luò)損傷設(shè)置執(zhí)行的更多測試迭代。這可以包括將計(jì)數(shù)器與設(shè)置或閾值進(jìn)行比較。如果測試控制器裝置確定應(yīng)該執(zhí)行另一個(gè)測試迭代，則測試控制器裝置重復(fù)在304-310示出的操作。
[0048]在314，測試控制器裝置確定是否存在用參考視頻測試的其他損傷設(shè)置。如果存在其他測試的網(wǎng)絡(luò)損傷設(shè)置，則測試控制器重復(fù)在框302-312示出的操作。
[0049]結(jié)論
[0050]雖然以特定的結(jié)構(gòu)特征和/或方法的語言描述了主體，但是應(yīng)該理解，所附權(quán)利要求中限定的主題不必現(xiàn)定于所描述的特定特征或領(lǐng)域。而是，特定特征和領(lǐng)域作為實(shí)施權(quán)利要求的示例形式而公開。
【權(quán)利要求】
1.一種系統(tǒng)，該系統(tǒng)包括: 發(fā)送裝置，被配置為將參考視頻作為視頻流傳輸； 接收裝置，被配置為接收和播放所述視頻流； 至少一個(gè)網(wǎng)絡(luò)模擬器組件，被通信地耦合到所述發(fā)送裝置和所述接收裝置，以及被配置為將所述視頻流從所述發(fā)送裝置傳輸?shù)剿鼋邮昭b置； 相機(jī)，被配置為在所述接收裝置播放所述視頻流時(shí)捕捉所述接收裝置的顯示屏幕的視頻；以及 測試控制器裝置，被配置為: 將所述視頻流從所述發(fā)送裝置自動(dòng)傳輸?shù)剿鼋邮昭b置，包括提供網(wǎng)絡(luò)損傷設(shè)置到所述至少一個(gè)網(wǎng)絡(luò)模擬器， 從所述發(fā)送裝置、所述接收裝置和所述至少一個(gè)網(wǎng)絡(luò)模擬器中的至少一者接收傳輸指標(biāo)，； 從所述相機(jī)接收 所述視頻；以及 至少部分基于所述參考視頻、所述傳輸指標(biāo)和一個(gè)或多個(gè)QoE模型，計(jì)算所述視頻的用戶體驗(yàn)質(zhì)量(QoE)分?jǐn)?shù)。
2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述至少一個(gè)網(wǎng)絡(luò)模擬器為電信網(wǎng)絡(luò)模擬器或互聯(lián)網(wǎng)協(xié)議(IP)網(wǎng)絡(luò)模擬器中的一者。
3.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述發(fā)送裝置、所述接收裝置、所述至少一個(gè)網(wǎng)絡(luò)模擬器和所述相機(jī)每者被物理耦合到所述測試控制器裝置。
4.根據(jù)權(quán)利要求1所述的系統(tǒng)，該系統(tǒng)還包括視頻中繼服務(wù)器，該視頻中繼服務(wù)器經(jīng)由IP網(wǎng)絡(luò)連接到所述至少一個(gè)網(wǎng)絡(luò)模擬器，以及被配置成從所述至少一個(gè)網(wǎng)絡(luò)模擬器接收所述視頻流和將所述視頻流傳輸回所述至少一個(gè)網(wǎng)絡(luò)模擬器。
5.根據(jù)權(quán)利要求4所述的系統(tǒng)，其中所述視頻中繼服務(wù)器被配置為基于損傷設(shè)置執(zhí)行所述傳輸或接收。
6.一種方法，該方法包括: 由計(jì)算裝置接收在接收裝置播放視頻流時(shí)捕捉的所述接收裝置的顯示屏幕的視頻；由所述計(jì)算裝置從參與向所述接收裝置的所述視頻流的傳輸?shù)闹辽僖粋€(gè)裝置接收傳輸指標(biāo)；以及 由所述計(jì)算裝置至少部分基于參考視頻、所述傳輸指標(biāo)和一個(gè)或多個(gè)QoE模型計(jì)算所述視頻的用戶體驗(yàn)質(zhì)量(QoE)分?jǐn)?shù)。
7.根據(jù)權(quán)利要求6所述的方法，其中接收所述視頻包括從相機(jī)接收所述視頻或從所述接收裝置接收所述視頻中的至少一者。
8.根據(jù)權(quán)利要求6所述的方法，該方法還包括通過至少一個(gè)網(wǎng)絡(luò)模擬器將所述參考視頻作為所述視頻流從發(fā)送裝置自動(dòng)傳輸?shù)剿鼋邮昭b置，包括提供網(wǎng)絡(luò)損傷設(shè)置到所述至少一個(gè)網(wǎng)絡(luò)模擬器。
9.根據(jù)權(quán)利要求6所述的方法，其中所述接收裝置從遠(yuǎn)程視頻服務(wù)器接收所述視頻流。
10.根據(jù)權(quán)利要求6所述的方法，其中所述傳輸指標(biāo)包括幀率、比特率、往返時(shí)間、呼叫建立時(shí)間或編碼率中的至少一者。
11.根據(jù)權(quán)利要求6所述的方法，其中所述一個(gè)或多個(gè)QoE模型包括以下至少一者:用于基于所述參考視頻計(jì)算所述視頻的第一 QoE分?jǐn)?shù)的QoE模型、或用于基于所述傳輸指標(biāo)計(jì)算所述視頻的第二 QoE分?jǐn)?shù)的QoE模型。
12.根據(jù)權(quán)利要求11所述的方法，其中所述一個(gè)或多個(gè)QoE模型包括用于綜合所述第一 QoE分?jǐn)?shù)和所述第二 QoE分?jǐn)?shù)的QoE模型。
13.根據(jù)權(quán)利要求11所述的方法，其中所述一個(gè)或多個(gè)QoE模型包括用于基于所述參考視頻計(jì)算所述第一 QoE分?jǐn)?shù)的QoE模型和基于所述傳輸指標(biāo)計(jì)算QoE分?jǐn)?shù)調(diào)整的QoE模型。
14.一種或多種有形計(jì)算機(jī)可讀介質(zhì)，其上存儲(chǔ)有多個(gè)可執(zhí)行指令，所述可執(zhí)行指令配置為對計(jì)算裝置編程以執(zhí)行以下操作，包括: 通過至少一個(gè)網(wǎng)絡(luò)模擬器將參考視頻作為視頻流從發(fā)送裝置自動(dòng)傳輸?shù)浇邮昭b置，包括將網(wǎng)絡(luò)損傷設(shè)置提供到所述至少一個(gè)網(wǎng)絡(luò)模擬器； 接收在所述接收裝置播放所述視頻流時(shí)捕捉的所述接收裝置的顯示屏幕的視頻； 從所述發(fā)送裝置、所述接收裝置或所述至少一個(gè)網(wǎng)絡(luò)模擬器中的至少一個(gè)裝置接收傳輸指標(biāo)；以及 至少部分基于所述參考視頻、所述傳輸指標(biāo)和一個(gè)或多個(gè)QoE模型計(jì)算所述視頻的用戶體驗(yàn)質(zhì)量(QoE)分?jǐn)?shù)。
15.根據(jù)權(quán)利要求14所述的一個(gè)或多個(gè)有形計(jì)算機(jī)可讀介質(zhì)，其中所述網(wǎng)絡(luò)損傷設(shè)置包括射頻(RF)損傷設(shè)置、分組丟失設(shè)置、傳輸延遲設(shè)置、數(shù)據(jù)損壞設(shè)置或吞吐量設(shè)置中的至少一者。
16.根據(jù)權(quán)利要求14所述的一個(gè)或多個(gè)有形計(jì)算機(jī)可讀介質(zhì)，其中所述自動(dòng)包括指示所述發(fā)送裝置將所述參考視頻作為所述視頻流傳輸，指示所述至少一個(gè)網(wǎng)絡(luò)模擬器將所述視頻流傳輸?shù)剿鼋邮昭b置，以及指示所述接收裝置接收和播放所述視頻流。
17.根據(jù)權(quán)利要求14所述的一個(gè)或多個(gè)有形計(jì)算機(jī)可讀介質(zhì)，其中所述自動(dòng)包括提供所述參考視頻到所述發(fā)送裝置。
18.根據(jù)權(quán)利要求14所述的一個(gè)或多個(gè)有形計(jì)算機(jī)可讀介質(zhì)，其中所述自動(dòng)包括指示所述發(fā)送裝置以點(diǎn)對點(diǎn)的方式或以通過視頻中繼服務(wù)器的客戶端-服務(wù)器的方式將所述視頻流傳輸?shù)剿鼋邮昭b置。
19.根據(jù)權(quán)利要求14所述的一個(gè)或多個(gè)有形計(jì)算機(jī)可讀介質(zhì)，其中所述操作還包括采用同一網(wǎng)絡(luò)損傷設(shè)置和同一參考視頻多次重復(fù)所述自動(dòng)、所述接收所述視頻和所述接收所述傳輸指標(biāo)，以及基于所述參考視頻、所接收的傳輸指標(biāo)和所述一個(gè)或多個(gè)QoE模型為所接收的視頻執(zhí)行所述計(jì)算。
20.根據(jù)權(quán)利要求19所述的一個(gè)或多個(gè)有形計(jì)算機(jī)可讀介質(zhì)，其中所述操作還包括采用不同的網(wǎng)絡(luò)損傷設(shè)置重復(fù)所述自動(dòng)、所述接收所述視頻、所述接收所述傳輸指標(biāo)和所述計(jì)算。
21.根據(jù)權(quán)利要求20所述的一個(gè)或多個(gè)有形計(jì)算機(jī)可讀介質(zhì)，其中所述操作還包括生成將QoE分?jǐn)?shù)與網(wǎng)絡(luò)損傷設(shè)置或傳輸指標(biāo)中的一者或兩者相關(guān)聯(lián)的模型。
【文檔編號(hào)】H04L12/26GK104040953SQ201280058751
【公開日】2014年9月10日 申請日期:2012年10月12日 優(yōu)先權(quán)日:2011年10月14日
【發(fā)明者】惠捷, M·F·伊茲丁, M·塞繆爾 申請人:T移動(dòng)美國公司