專利名稱：由服務(wù)器播送音頻和視頻數(shù)據(jù)序列的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種由服務(wù)器播送音頻和視頻數(shù)據(jù)序列的方法。家庭 中媒體的多樣性開(kāi)啟了多種可能性。網(wǎng)絡(luò)的存在為連接同一家庭的各 個(gè)不同的媒體元件提供了可能性。這樣的網(wǎng)絡(luò)其形式表現(xiàn)為 一個(gè)服務(wù) 器設(shè)備或服務(wù)器(通常是一 臺(tái)計(jì)算機(jī))和一些客戶機(jī)設(shè)備或客戶機(jī)(例
如一些視頻解碼器)，其間通過(guò)網(wǎng)絡(luò)連接，無(wú)論是HDMI、 WIFI、以 太網(wǎng)，甚至是通過(guò)載波電流的形式。
背景技術(shù)：
這樣的配置使得可以生成一個(gè)桌面(bureau)。這樣的桌面包括 在屏幕(通常為客戶機(jī)的屏幕)上顯示一個(gè)允許客戶機(jī)用戶實(shí)施控制的 菜單。該桌面由服務(wù)器管理，但由客戶機(jī)通過(guò)網(wǎng)絡(luò)遙控。這種配置也 允許在同樣條件下使用 一個(gè)遠(yuǎn)程媒體中心。
媒體中心是這樣一個(gè)設(shè)備該設(shè)備包括一個(gè)控制部件和一個(gè)考慮 該控制的執(zhí)行部件。通常，控制部件可以容許控制按鈕在屏幕上的顯 示(例如桌面上的顯示)。該控制部件包括一個(gè)用于啟動(dòng)所顯示的控制 按鈕的設(shè)備，例如遙控器。媒體中心的執(zhí)行部件管理由啟動(dòng)所顯示的 按鈕而引起的操作，例如增大音量或從一個(gè)視頻序列轉(zhuǎn)到另 一個(gè)視頻 序列。
例如，這樣的媒體中心或桌面可以由客戶機(jī)顯示在客廳電視屏幕 上或其它的形成用戶接口的顯示裝置上。用戶接口軟件可以顯示數(shù) 據(jù)。用戶可以借助于例如遙控器這樣的控制設(shè)備來(lái)與數(shù)據(jù)互動(dòng)。通常， 如上文定義的媒體中心的控制部件也是用戶接口的一部分。
用戶對(duì)媒體中心的管理在客戶機(jī)實(shí)現(xiàn)。用戶接口可以定義為對(duì)于 用戶可能存在的命令的樹(shù)。因此，用戶借助于例如遙控器通過(guò)從用戶接口上顯示的可選項(xiàng)中給出執(zhí)行命令來(lái)與該用戶接口互動(dòng)。這些命令 被客戶機(jī)接收到，并使客戶機(jī)建立用戶互動(dòng)。
在生成了 一個(gè)用戶互動(dòng)后，客戶機(jī)給服務(wù)器發(fā)送一個(gè)請(qǐng)求消息， 以使其處理所述用戶互動(dòng)任務(wù)。是服務(wù)器通過(guò)處理客戶機(jī)發(fā)送的請(qǐng)求 消息來(lái)處理用戶的指令的。 一旦該請(qǐng)求消息被處理，服務(wù)器就給客戶 才幾發(fā)送一個(gè)對(duì)該請(qǐng)求消息的回應(yīng)。服務(wù)器的回應(yīng)由對(duì)用戶互動(dòng)的處理 產(chǎn)生，尤其是由客戶機(jī)在此次用戶互動(dòng)以后要播送的視頻音頻和數(shù)據(jù) 的編碼產(chǎn)生。所述回應(yīng)被客戶機(jī)接收并被解碼，處理的結(jié)果由客戶機(jī) 顯示在用戶接口上。
在這樣的系統(tǒng)中，服務(wù)器在向客戶機(jī)發(fā)送其播放的內(nèi)容之前先對(duì) 其進(jìn)行編碼，即壓縮。如果服務(wù)器需要把播送的圖像顯示在自己的屏 幕上，則不必壓縮這些圖像。服務(wù)器的內(nèi)部總線中的轉(zhuǎn)送部件支持高 速率。為了壓縮，服務(wù)器通常截圖自己的顯示，將其編碼，然后通過(guò) 網(wǎng)絡(luò)將其發(fā)送到客戶機(jī)，例如對(duì)于以太網(wǎng)而言的 一個(gè)客戶機(jī)IP地址。 因此，編碼開(kāi)始于一個(gè)逐點(diǎn)順序定義的、被稱作位圖格式的圖像。這 樣的逐點(diǎn)順序定義的圖像非常適合于在顯示器上顯示。
服務(wù)器進(jìn)行的編碼是時(shí)空類型的，即，被壓縮的數(shù)據(jù)包括視頻、 音頻數(shù)據(jù)和為了正確地播送這些數(shù)據(jù)的一些信號(hào)(令)。這樣的編碼
例如可以根據(jù)規(guī)范H264實(shí)施；這樣的壓縮編碼允許在簡(jiǎn)化的攀信鏈 路(例如HDMI)上高速傳輸數(shù)據(jù)。對(duì)于同樣的品質(zhì)，H264協(xié)議允許以 低于由MPEG2規(guī)范獲得的流量?jī)杀兜牧髁縼?lái)編碼視頻流。H264規(guī) 范采用有損壓縮方式。在編碼時(shí)， 一個(gè)圖像被切割成多個(gè)大單元塊。 每個(gè)大塊纟皮編碼。
在接收時(shí)，客戶機(jī)應(yīng)當(dāng)對(duì)由服務(wù)器發(fā)送的音頻/視頻數(shù)據(jù)解碼。
客戶機(jī)對(duì)這些數(shù)據(jù)的解碼通常由客戶機(jī)的圖形/聲卡的一個(gè)專用電路 實(shí)施。 一旦數(shù)據(jù)被解碼，客戶機(jī)通過(guò)其播送裝置將這些數(shù)據(jù)播送在其 自己的屏幕上。
不過(guò)，服務(wù)器編碼數(shù)據(jù)需要大功率，或者，需要一個(gè)對(duì)數(shù)據(jù)進(jìn)行 實(shí)時(shí)編碼不可能的實(shí)施時(shí)間。在實(shí)踐中，編碼對(duì)服務(wù)器要求的功率五倍大于解碼對(duì)客戶機(jī)要求的功率。傳統(tǒng)的、家庭的服務(wù)器不能實(shí)時(shí)編 碼。
當(dāng)前的媒體中心包含大量動(dòng)畫(huà)。例如，這些動(dòng)畫(huà)是關(guān)于按鈕或圖
標(biāo)的、關(guān)于反復(fù)("curent)運(yùn)動(dòng)的屏幕背景或展開(kāi)下拉菜單的。這些動(dòng) 畫(huà)是一些小的視頻序列。為了把這些動(dòng)畫(huà)傳送給需要的客戶機(jī)，服務(wù) 器要對(duì)這些動(dòng)畫(huà)編碼然后進(jìn)行傳送，以便這些動(dòng)畫(huà)通過(guò)用戶接口播 送。這樣的視頻序列被定義為以足夠的速度播送的 一組圖像以便獲得 良好視頻流暢度。許多這種動(dòng)畫(huà)在用戶互動(dòng)之后產(chǎn)生。然而，在這樣 的用戶互動(dòng)之后，客戶機(jī)屏幕上顯示的內(nèi)容只有一部分發(fā)生改變。實(shí) 際上，例如，在用戶點(diǎn)擊所顯示的菜單的一個(gè)按鈕之后，菜單展開(kāi)， 而只有菜單展開(kāi)的部分發(fā)生變化，圖像的其余部分保持不變。
當(dāng)前，音頻W見(jiàn)頻協(xié)議只對(duì)整個(gè)圖像編碼。因此，編碼發(fā)生在圖 #>由于用戶互動(dòng)而變化了的部分，也發(fā)生在圖像沒(méi)有變化的部分。這 種整體編碼大大減慢了對(duì)要轉(zhuǎn)送的音頻/視頻數(shù)據(jù)的編碼時(shí)間。
在一些關(guān)于顯示和遠(yuǎn)程管理的主要功能的有說(shuō)服力的測(cè)試中，客 戶機(jī)顯示音頻/視頻數(shù)據(jù)的時(shí)間被證實(shí)為過(guò)分的長(zhǎng)。對(duì)于單獨(dú)一個(gè)圖 <象，該顯示時(shí)間為幾秒的數(shù)量級(jí)。因此該顯示時(shí)間不允許就這樣使用 該功能。
過(guò)分長(zhǎng)的顯示時(shí)間由兩個(gè)因素解釋。第一，IP鏈路上的傳輸吋 間；第二，請(qǐng)求消息的處理時(shí)間。本發(fā)明的目的在于降低這兩種時(shí)間。
由于音頻/視頻數(shù)據(jù)被壓縮而更加復(fù)雜，這些數(shù)據(jù)的編碼和解碼就更加 耗時(shí)。當(dāng)前，為了對(duì)這類應(yīng)用進(jìn)行圖形解碼，解碼器需要集成一個(gè)可 以對(duì)已壓縮音頻/視頻數(shù)據(jù)解壓縮的圖形庫(kù)。
有一個(gè)業(yè)內(nèi)人士已知的解決方案，用來(lái)解決與網(wǎng)絡(luò)數(shù)據(jù)傳輸時(shí)間 相關(guān)的問(wèn)題，該解決方案在于降低通過(guò)網(wǎng)絡(luò)轉(zhuǎn)運(yùn)的數(shù)據(jù)量。這樣，通 過(guò)根據(jù)已知的壓縮規(guī)范盡可能地壓縮數(shù)據(jù)，所得到的音頻/視頻數(shù)據(jù)的
體積(volumineuse )也就越小。這些被壓縮的信息因此更快速地轉(zhuǎn)運(yùn) 通過(guò)網(wǎng)絡(luò)。不過(guò)，這樣的解決方案使得音頻/視頻數(shù)據(jù)的壓縮更加復(fù)雜。 這種復(fù)雜增加了服務(wù)器的編碼時(shí)間。這種復(fù)雜也增加了客戶機(jī)為解碼所接收到的數(shù)據(jù)所需的時(shí)間。而且，該解決方案依賴于集成一個(gè)與客 戶機(jī)所用的壓縮格式對(duì)應(yīng)的庫(kù)。因此，該解決方案具有降低網(wǎng)絡(luò)轉(zhuǎn)送 數(shù)據(jù)的時(shí)間的優(yōu)點(diǎn)，卻顯著增加了服務(wù)器和客戶機(jī)處理音頻/視頻數(shù)據(jù) 的時(shí)間。
通過(guò)結(jié)合應(yīng)用程序TightVNC和協(xié)議H264來(lái)屏幕截圖，例如， 整個(gè)圖像的完全編碼的問(wèn)題就可以解決。這樣，所有的運(yùn)動(dòng)檢測(cè)和圖 像計(jì)算等功能(函數(shù))都由H264庫(kù)計(jì)算。于是，屏幕的完整視頻圖 像被發(fā)送，并且只包括變化。該圖像有高壓縮比。而且圖像的編碼時(shí) 間也少有變化。
不過(guò)，對(duì)于這種方法，必須完全重新采用服務(wù)器tightVNC碼的 結(jié)構(gòu)。此外，服務(wù)器的編碼時(shí)間也可能相對(duì)較長(zhǎng)。對(duì)于一個(gè)2.8GHz 雙核處理器服務(wù)器，以最小的選擇，以30.0Hz、 150K字節(jié)/秒的比特 率對(duì)每個(gè)分辨率為352x288的圖像的編碼耗時(shí)0.1秒以上。因此，為 了對(duì)一個(gè)分辨率1280x720的圖像編碼，這種方法會(huì)耗時(shí)1秒左右。
因此，看來(lái)這些方案沒(méi)有任何一個(gè)能有效地解決管理在網(wǎng)絡(luò)中以 可接受速度轉(zhuǎn)送音頻/視頻數(shù)據(jù)的問(wèn)題。

發(fā)明內(nèi)容
為了解決該問(wèn)題，本發(fā)明考慮以多種方式降低服務(wù)器的編碼負(fù) 荷。此外，本發(fā)明考慮保持高的數(shù)據(jù)壓縮水平。在媒體中心或在菜單 顯示中，用戶交互通常是重復(fù)性的。因此，在使用媒體中心或菜單的 過(guò)程中，這些用戶交互所產(chǎn)生的動(dòng)畫(huà)很可能多次發(fā)生。為了顯著減少 服務(wù)器的編碼任務(wù)，本發(fā)明考慮使用服務(wù)器的存儲(chǔ)器來(lái)保存以前已經(jīng) 編碼過(guò)的音頻/視頻序列。更具體地說(shuō)，本發(fā)明考慮這樣一個(gè)步驟其 間服務(wù)器探求客戶機(jī)發(fā)送的請(qǐng)求消息是否以前已經(jīng)處理過(guò)。如果客戶 機(jī)發(fā)送的消息過(guò)去從未處理過(guò)，服務(wù)器就給客戶機(jī)發(fā)送一個(gè)快速回 應(yīng)，并且并行地完整處理請(qǐng)求消息。 一旦請(qǐng)求消息被完全處理，處理 結(jié)果就由服務(wù)器保存在存儲(chǔ)器中。以后，如果客戶機(jī)重新發(fā)送同樣的 請(qǐng)求消息，可以再次使用該處理(結(jié)果)。如果消息已經(jīng)由服務(wù)器以前處理過(guò)，服務(wù)器就給客戶機(jī)發(fā)送存儲(chǔ)在其存儲(chǔ)器中的、該請(qǐng)求消息 的處理結(jié)果。
本發(fā)明還考慮通過(guò)只對(duì)在用戶互動(dòng)以后發(fā)生變化的音頻/視頻數(shù) 據(jù)進(jìn)行編碼來(lái)降低服務(wù)器的編碼負(fù)擔(dān)。為此，本發(fā)明計(jì)算圖像的固定 部分，并只對(duì)代表與用戶交互相對(duì)應(yīng)的動(dòng)畫(huà)或視頻序列的數(shù)據(jù)進(jìn)行編 碼。
另外，本發(fā)明在原始的、例如所顯示的圖像層次上處理數(shù)據(jù)。因 此，本發(fā)明不依賴于限定的壓縮類型。因此，無(wú)論為壓縮音頻/視頻數(shù) 據(jù)選擇何種編碼類型，本發(fā)明都在編碼層次上節(jié)省時(shí)間。
因此，本發(fā)明的目的是提供一種由發(fā)送音頻和視頻數(shù)據(jù)序列的服
務(wù)器播送音頻視頻和數(shù)據(jù)序列的方法，其中逐點(diǎn)順序定義類型的音 頻/視頻數(shù)據(jù)序列通過(guò)網(wǎng)絡(luò)在服務(wù)器和客戶機(jī)之間傳輸；客戶機(jī)接收到 的音頻/視頻數(shù)據(jù)序列由客戶機(jī)以交互的方式播送；客戶機(jī)的用戶通過(guò) 客戶機(jī)的用戶接口給出播送序列的命令，該命令使得客戶機(jī)產(chǎn)生至少 一個(gè)請(qǐng)求消息并向服務(wù)器發(fā)送該至少 一個(gè)請(qǐng)求消息；客戶機(jī)傳送給服 務(wù)器的請(qǐng)求消息被服務(wù)器根據(jù)壓縮格式以圖像編碼的形式處理，特征 在于服務(wù)器對(duì)請(qǐng)求消息的處理包括至少如下步驟
-這樣一個(gè)步驟其中服務(wù)器在存儲(chǔ)器中探究是否對(duì)該請(qǐng)求的處 理已經(jīng)發(fā)生過(guò)，以及是否該數(shù)據(jù)序列的壓縮數(shù)據(jù)可隨意使用以被發(fā)送 給客戶機(jī)；
-如果對(duì)該請(qǐng)求的處理以前未發(fā)生過(guò)
- 服務(wù)器給客戶機(jī)發(fā)送一個(gè)快速回應(yīng)消息，該快速回應(yīng)消 息包括一個(gè)音頻/視頻序列，該音頻視頻序列包括被壓縮數(shù)據(jù)序列 的第一個(gè)和最后一個(gè)圖像；
- 服務(wù)器完整地處理該請(qǐng)求，并將對(duì)該請(qǐng)求的完整處理的 結(jié)果存入存儲(chǔ)器，以便以后能夠發(fā)送回應(yīng)；
-如果該請(qǐng)求以前被處理過(guò)，那么服務(wù)器就直接把存儲(chǔ)器中保存 的序列的數(shù)據(jù)發(fā)送給客戶機(jī)。


在閱讀了下文的描述及查閱相應(yīng)的附圖之后，可以更好地理解本
發(fā)明。這些圖只是用于非限制性地說(shuō)明本發(fā)明。圖中表明了 圖1:根據(jù)本發(fā)明的一個(gè)網(wǎng)絡(luò)設(shè)備的布置。 圖2:根據(jù)本發(fā)明的方法的實(shí)施示意圖。
具體實(shí)施例方式
圖l表示根據(jù)本發(fā)明的一個(gè)網(wǎng)絡(luò)設(shè)備的布置。這種布置包括通過(guò) 一個(gè)網(wǎng)絡(luò)2連接的一個(gè)服務(wù)器1和一個(gè)客戶機(jī)3。網(wǎng)絡(luò)2允許音頻/視 頻數(shù)據(jù)在服務(wù)器l(例如一臺(tái)計(jì)算機(jī)l)與客戶機(jī)3(例如一個(gè)解碼器)之 間傳輸。用戶接口 5的播送裝置4與客戶機(jī)3連接。例如，這樣的播 送裝置4是一臺(tái)客廳電視機(jī)4。服務(wù)器1包括其自身的播送裝置6， 例如一臺(tái)計(jì)算機(jī)顯示器。另外，服務(wù)器1還包括自己的存儲(chǔ)器7。服 務(wù)器1可以集成例如H264的編碼協(xié)議，以及服務(wù)器VNC類型的應(yīng)用 程序。用戶可以通過(guò)例如遙控器8與用戶接口 5互動(dòng)。這些互動(dòng)11 被客戶機(jī)3接收到，客戶機(jī)3向服務(wù)器l發(fā)送由這些用戶互動(dòng)11產(chǎn) 生的命令。服務(wù)器1處理由這些用戶互動(dòng)11產(chǎn)生的命令，并向客戶 機(jī)3發(fā)送與執(zhí)行由這些用戶互動(dòng)11給出的命令相應(yīng)的音頻/視頻數(shù)據(jù)。
客戶機(jī)3接收到的音頻/視頻數(shù)據(jù)被客戶機(jī)3以事件的方式恢復(fù)。 也就是說(shuō)，客戶機(jī)3允許用戶與數(shù)據(jù)互動(dòng)。通常，用戶接口5允許用 戶按照一個(gè)可能的互動(dòng)樹(shù)11瀏覽。例如，用戶接口 5可以表現(xiàn)為一 個(gè)菜單9，用戶可以通過(guò)借助于遙控器8啟動(dòng)菜單9的按鈕10來(lái)瀏覽 菜單9。啟動(dòng)這樣的按鈕10可以表現(xiàn)為與一個(gè)視頻序列相對(duì)應(yīng)的動(dòng)畫(huà)。 例如，這些動(dòng)畫(huà)可以在激活按鈕10、經(jīng)過(guò)按鈕10、或經(jīng)過(guò)一個(gè)動(dòng)畫(huà) 了的屏幕背景時(shí)出現(xiàn)。這樣的動(dòng)畫(huà)就是根據(jù)用戶互動(dòng)11而顯示的視 頻序列。不過(guò)，這些動(dòng)畫(huà)通常只改變用戶接口 5顯示的圖像12的一 小部分，圖像12的其余部分不發(fā)生任何改動(dòng)。
圖2是根據(jù)本發(fā)明的方法的實(shí)施示意圖。用戶互動(dòng)ll在客戶機(jī) 3產(chǎn)生一個(gè)請(qǐng)求消息13?？蛻舨艓?—產(chǎn)生該請(qǐng)求消息，就把該請(qǐng)求消息發(fā)送給服務(wù)器1。該請(qǐng)求消息13通過(guò)網(wǎng)絡(luò)2在客戶機(jī)3和服務(wù)器1 之間傳送。根據(jù)當(dāng)前技術(shù)，服務(wù)器1分析客戶機(jī)3的請(qǐng)求，并在將該 回應(yīng)22發(fā)送給客戶機(jī)3之前對(duì)回應(yīng)22進(jìn)行編碼。于是，客戶機(jī)3在 通過(guò)用戶接口 5播送由該請(qǐng)求消息產(chǎn)生的變化之前對(duì)接收的回應(yīng)22 進(jìn)行解碼。
客戶機(jī)3發(fā)送的請(qǐng)求消息13包括各種不同的信息。這些信息允 許服務(wù)器1處理該消息13所包含的數(shù)據(jù)并將回應(yīng)消息22發(fā)送給客戶 機(jī)3。該回應(yīng)消息22允許客戶機(jī)3通過(guò)用戶接口 5播送與用戶引起的 互動(dòng)11相應(yīng)的音頻/視頻數(shù)據(jù)。因此，請(qǐng)求消息13包括服務(wù)器l應(yīng)該 回應(yīng)到的地址23(通常是客戶機(jī)3的IP地址23)、 一個(gè)用戶互動(dòng)11后 要執(zhí)行的命令24、 一個(gè)與客戶機(jī)3通過(guò)用戶接口 5播送的當(dāng)前顯示相 對(duì)應(yīng)的狀態(tài)25。該當(dāng)前狀態(tài)25允許服務(wù)器l根據(jù)用戶接口 5的當(dāng)前 顯示來(lái)處理所給的命令24，即，對(duì)從用戶互動(dòng)11后的當(dāng)前顯示開(kāi)始 要由客戶機(jī)3通過(guò)用戶接口 5顯示的音頻/視頻數(shù)據(jù)序列進(jìn)行編碼。
根據(jù)本發(fā)明，當(dāng)一個(gè)用戶互動(dòng)11引發(fā)一個(gè)動(dòng)畫(huà)時(shí)，服務(wù)器l分 別對(duì)動(dòng)畫(huà)和掩模進(jìn)行編碼。動(dòng)畫(huà)過(guò)程中保持不變的圖像背景稱為掩 模。通過(guò)將例如應(yīng)用程序TightVNC與協(xié)議H264在發(fā)送功能層次結(jié) 合，服務(wù)器1只發(fā)送用戶互動(dòng)11后改變了的部分以及要放置該序列 的位置。這種編碼的分離允許不必^^動(dòng)畫(huà)時(shí)對(duì)要顯示的圖像的全部進(jìn) 行編碼。于是，對(duì)于包含動(dòng)畫(huà)的每個(gè)顯示的圖像，服務(wù)器l只對(duì)動(dòng)畫(huà) 進(jìn)行編碼，而不對(duì)每個(gè)顯示的圖像整體重新編碼。
此外，本發(fā)明考慮服務(wù)器1在存儲(chǔ)器7中保存對(duì)應(yīng)于所述動(dòng)畫(huà)的、 被編碼的音頻/視頻序列的壓縮數(shù)據(jù)序列26。如果從同一掩模開(kāi)始引 起該動(dòng)畫(huà)的用戶互動(dòng)11以后再發(fā)生，服務(wù)器1不對(duì)該動(dòng)畫(huà)重新編碼， 而是直接發(fā)送相應(yīng)的已編碼并已存儲(chǔ)在存儲(chǔ)器7中的數(shù)據(jù)序列26。如 此使用存儲(chǔ)器7容許減輕服務(wù)器1的工作，而無(wú)論所選編碼為何種類 型。
不過(guò)，為了重新找出對(duì)應(yīng)于一個(gè)掩模和一個(gè)給定的用戶互動(dòng)11 的已編碼數(shù)據(jù)序列26，必須能夠?qū)ふ艺_—的數(shù)據(jù)序列26。為此，需要一個(gè)壓縮數(shù)據(jù)序列26的索引系統(tǒng)。根據(jù)本發(fā)明，該索引27建立在 音頻/視頻序列26的首個(gè)圖像28上。這種只針對(duì)圖像28的索引27 不依賴于給定的壓縮類型，因此可以適用于任何音頻/視頻編碼類型。 因此，為了實(shí)施這些步驟，請(qǐng)求消息13包括與用戶互動(dòng)11對(duì)應(yīng) 的命令24、掩才莫29、掩模的索引30，以及關(guān)于網(wǎng)絡(luò)2的信息23。對(duì) 請(qǐng)求消息13的處理包括一個(gè)搜索階段，以及在需要時(shí)的一個(gè)對(duì)音頻/ 視頻數(shù)據(jù)編碼的階段。例如，該編碼可以根據(jù)規(guī)范H264實(shí)施。被編 碼的音頻/視頻數(shù)據(jù)序列26是服務(wù)器1正常顯示的圖像，也就是說(shuō)， 這些圖像是服務(wù)器1的屏幕截圖。因此這些圖像是逐點(diǎn)順序定義的類 型的。
狀態(tài)25定義為包括一個(gè)掩模29和一個(gè)掩模索引30。根據(jù)本發(fā) 明，狀態(tài)25可由索引30直接存取，以便迅速獲知是否一個(gè)給定的已 索引的圖像與一個(gè)已知的狀態(tài)25相對(duì)應(yīng)。如果狀態(tài)25已知，服務(wù)器 1就搜索是否存在一個(gè)從對(duì)應(yīng)于該狀態(tài)25的掩模29開(kāi)始的轉(zhuǎn)變 (transition)。掩模29是一個(gè)只包括圖像不變部分的圖像切割部分。 通常，掩模29包括沒(méi)有動(dòng)畫(huà)部分的所顯示的圖像。該動(dòng)畫(huà)部分例如 為所顯示圖像的動(dòng)畫(huà)菜單或動(dòng)畫(huà)按鈕。
一個(gè)轉(zhuǎn)變包括用戶互動(dòng)11以及對(duì)應(yīng)于該用戶互動(dòng)的視頻序列 26。因此，在引起從狀態(tài)1過(guò)渡到狀態(tài)2的用戶互動(dòng)11之桑，通過(guò) 一個(gè)包括音頻/視頻序列的轉(zhuǎn)變從狀態(tài)1過(guò)渡到狀態(tài)2。各個(gè)轉(zhuǎn)變?cè)谄?包括的音頻/視頻數(shù)據(jù)序列26的第 一個(gè)圖像28上被索引。如果用戶互 動(dòng)11和對(duì)應(yīng)于初始狀態(tài)25的掩模29巳經(jīng)發(fā)生過(guò)，則該索引27允許 直接存取該序列26，掩模29和轉(zhuǎn)變相互補(bǔ)充，形成一個(gè)完整的圖像。
在首次啟動(dòng)(c^marrage)時(shí)，服務(wù)器l實(shí)施多個(gè)步驟。在第一 個(gè)步驟中，服務(wù)器l對(duì)要顯示的啟動(dòng)序列的整體進(jìn)行編碼，并把該啟 動(dòng)序列直接發(fā)送給客戶機(jī)3。在第二個(gè)步驟中，服務(wù)器l確定對(duì)應(yīng)于 啟動(dòng)狀態(tài)的第一個(gè)索引和第一個(gè)掩模。最后，在第三個(gè)步驟中，服務(wù) 器1將擁有該索引的狀態(tài)與相應(yīng)的掩模關(guān)聯(lián)。以后，當(dāng)用戶互動(dòng)11 引起一個(gè)狀態(tài)變化時(shí)，請(qǐng)求消息13將包含與用戶接口 5的當(dāng)前顯示關(guān)聯(lián)的狀態(tài)的索引。為此，服務(wù)器1存儲(chǔ)(例如在其緩存中)該狀態(tài)及 其索引。
在機(jī)器啟動(dòng)以后，本發(fā)明包括多個(gè)步驟。服務(wù)器l已經(jīng)在存儲(chǔ)器
7中記錄了一個(gè)或多個(gè)已經(jīng)產(chǎn)生的狀態(tài)25。當(dāng)引起狀態(tài)25變化的用 戶互動(dòng)11發(fā)生時(shí)，客戶機(jī)3向服務(wù)器1發(fā)送一個(gè)如上文所述的請(qǐng)求 消息13。于是服務(wù)器1立即處理該請(qǐng)求消息13。在第一時(shí)間14，服 務(wù)器1在其存儲(chǔ)器7中搜索是否存在一個(gè)從索引狀態(tài)25 (該索引狀態(tài) 25由客戶機(jī)3在其請(qǐng)求消息13中發(fā)送)開(kāi)始的、由用戶互動(dòng)11索引 的轉(zhuǎn)變。
當(dāng)在存儲(chǔ)器7中有這樣的被索引的轉(zhuǎn)變的情況15下，服務(wù)器1 直接發(fā)送相應(yīng)的、已經(jīng)被編碼的音頻/視頻數(shù)據(jù)序列26。編碼的省略 可以使服務(wù)器1節(jié)省大量時(shí)間。服務(wù)器1不必對(duì)音頻/視頻數(shù)據(jù)序列 26進(jìn)行編碼，從而可以執(zhí)行其它任務(wù)。
當(dāng)在存儲(chǔ)器7中沒(méi)有被索引的轉(zhuǎn)變的情況16下，服務(wù)器1對(duì)音 頻/視頻序列進(jìn)行編碼17。服務(wù)器1然后對(duì)該音頻/視頻序列進(jìn)行索引， 并將其與一個(gè)轉(zhuǎn)變關(guān)聯(lián)。不過(guò)，為了不在服務(wù)器1實(shí)施編碼17時(shí)阻
塞用戶，服務(wù)器1執(zhí)行一個(gè)與編碼17并行的輔助任務(wù)18。該輔助任 務(wù)18包括向客戶機(jī)3發(fā)送一個(gè)快速回應(yīng)消息31。為了讓服務(wù)器1節(jié) 省時(shí)間而不阻塞用戶，作為回應(yīng)，服務(wù)器l給客戶機(jī)3發(fā)送一個(gè)尸、包 括兩個(gè)圖像的音頻/視頻序列32。所述音頻/視頻序列32的兩個(gè)圖像是 完整音頻/視頻數(shù)據(jù)序列26的第一個(gè)和最后一個(gè)圖像。音頻/^L頻數(shù)據(jù) 序列的最后一個(gè)圖像通常是直接在服務(wù)器l上顯示的圖像。因此，為 了發(fā)送快速回應(yīng)31，該最后圖像是直接可以獲得的。 一旦對(duì)完整音頻 /視頻數(shù)據(jù)序列26編碼17完成，服務(wù)器1在其存儲(chǔ)器7中保存與該音 頻W見(jiàn)頻數(shù)據(jù)序列26和該用戶互動(dòng)ll相對(duì)應(yīng)的轉(zhuǎn)變。
在首次發(fā)生所述用戶互動(dòng)11時(shí)，該快速回應(yīng)31的發(fā)送并不能播 送對(duì)應(yīng)于用戶互動(dòng)11的音頻/視頻數(shù)據(jù)序列26。該快速回應(yīng)31只允 許顯示所述音頻/視頻數(shù)據(jù)序列的第一個(gè)和最后一個(gè)圖像。不過(guò)，服務(wù) 器1的快速回應(yīng)31使用戶不會(huì)在服務(wù)器1對(duì)所述完整序列26進(jìn)行編碼17時(shí)被阻塞。
一旦序列或根據(jù)情況服務(wù)器1所發(fā)送的快速回應(yīng)31被發(fā)送到客 戶機(jī)3，服務(wù)器1就計(jì)算掩模19和最后獲得的圖像的索引20。這些 元素允許建立一個(gè)對(duì)應(yīng)于該最后圖像的新?tīng)顟B(tài)。在從第一狀態(tài)25開(kāi) 始不存在對(duì)應(yīng)于用戶互動(dòng)11的任何一個(gè)已索引的轉(zhuǎn)變的情況下，該 轉(zhuǎn)變被自己的第一個(gè)圖像28索引，并被保存于存儲(chǔ)器7中。在已經(jīng) 存在一個(gè)從第一狀態(tài)25開(kāi)始的、由同一用戶互動(dòng)11索引的轉(zhuǎn)變，并 且由用戶互動(dòng)11獲得的最終狀態(tài)不同于存儲(chǔ)器7中的由該已索引的 轉(zhuǎn)變獲得的狀態(tài)的最終狀態(tài)的情況下，已經(jīng)在存儲(chǔ)器7中的轉(zhuǎn)變被已 編碼的新轉(zhuǎn)變替換21。
通常，每次都計(jì)算掩模和變化。在每一次用戶互動(dòng)ll時(shí)，都計(jì) 算所顯示的圖像和保存在存儲(chǔ)器7中的影片(film)的最后一個(gè)圖像 之間的差異。如果這些圖像不同，則在顯示舊轉(zhuǎn)變時(shí)重新編碼該轉(zhuǎn)變。 然后，正確的圖像，即當(dāng)前圖像就在播送舊的音頻/視頻序列之后顯示。 一個(gè)用戶互動(dòng)11只能產(chǎn)生用于音頻和視頻序列的起始圖像和一個(gè)給 定的用戶互動(dòng)11的唯——個(gè)索引的一見(jiàn)頻序列26。
這種方法的優(yōu)點(diǎn)在于為任何媒體中心節(jié)省執(zhí)行時(shí)間，原因在于， 該方法不采用特定的編碼類型。這種用服務(wù)器l播送音頻和視頻數(shù)據(jù) 序列的方法尤其適合于這樣的用戶接口 5:可以在DVD上見(jiàn)到的菜 單，或其它具有動(dòng)畫(huà)的精確變化的菜單9，在這些菜單上，用戶只能 從一個(gè)按鈕IO移動(dòng)到具有預(yù)定的光標(biāo)移位的另一個(gè)按鈕。
權(quán)利要求
1、一種由發(fā)送音頻和視頻數(shù)據(jù)序列的服務(wù)器(1)播送音頻和視頻數(shù)據(jù)序列的方法，其中逐點(diǎn)順序定義類型的音頻/視頻數(shù)據(jù)序列(26)通過(guò)網(wǎng)絡(luò)(2)在服務(wù)器和客戶機(jī)(3)之間傳輸；客戶機(jī)(3)接收到的音頻/視頻數(shù)據(jù)序列(26)由客戶機(jī)(3)以交互方式播送；客戶機(jī)(3)的用戶通過(guò)客戶機(jī)(3)的用戶接口(5)發(fā)出播送序列(26)的命令(24)，該命令(24)使得客戶機(jī)(3)產(chǎn)生至少一個(gè)請(qǐng)求消息(13)并向服務(wù)器(1)發(fā)送該至少一個(gè)請(qǐng)求消息(13)；由客戶機(jī)(3)傳送給服務(wù)器(1)的請(qǐng)求消息(13)被服務(wù)器(1)根據(jù)一種壓縮格式以圖像編碼的形式處理，其特征在于服務(wù)器(1)對(duì)請(qǐng)求消息(13)的處理包括至少如下步驟這樣一個(gè)步驟其中服務(wù)器(1)在存儲(chǔ)器(7)中探究是否已發(fā)生過(guò)對(duì)該請(qǐng)求的處理，以及該數(shù)據(jù)序列(26)的壓縮數(shù)據(jù)是否可隨意使用以被發(fā)送給客戶機(jī)(3)；如果對(duì)該請(qǐng)求的處理以前沒(méi)有發(fā)生過(guò)服務(wù)器(1)向客戶機(jī)(3)發(fā)送一個(gè)快速回應(yīng)消息(31)，該快速回應(yīng)消息(31)包括一個(gè)音頻/視頻序列(32)，該音頻視頻序列(32)包括壓縮數(shù)據(jù)序列(26)的第一個(gè)和最后一個(gè)圖像；服務(wù)器(1)完整地處理該請(qǐng)求，并將對(duì)該請(qǐng)求的完整處理的結(jié)果存入存儲(chǔ)器(7)中，以便以后能夠發(fā)送回應(yīng)；如果對(duì)該請(qǐng)求的處理以前已發(fā)生過(guò)，服務(wù)器(1)就直接將存儲(chǔ)器(7)中保存的序列(26)的數(shù)據(jù)發(fā)送到客戶機(jī)(3)。
2、 根據(jù)權(quán)利要求l的方法，其特征在于所述音頻和/或視頻數(shù) 據(jù)由服務(wù)器(1)根據(jù)規(guī)范H264編碼。
3、 根據(jù)權(quán)利要求1或2的方法，其特征在于如果對(duì)由客戶機(jī) (3)發(fā)送到服務(wù)器(1)的消息(13)的處理以前沒(méi)有發(fā)生過(guò)，則服務(wù)器(1)發(fā)送快速回應(yīng)消息(31)，并且并行地完全處理該請(qǐng)求。
4、 根據(jù)權(quán)利要求1至3中任一項(xiàng)的方法，其特征在于對(duì)請(qǐng)求 的處理包括對(duì)數(shù)據(jù)序列(26)的開(kāi)頭的被編碼的圖像(28)進(jìn)行索引 的步驟。
5、 根據(jù)權(quán)利要求1至4中任一項(xiàng)的方法，其特征在于對(duì)請(qǐng)求 消息(13)的處理包括一個(gè)按索引搜索存儲(chǔ)于存儲(chǔ)器(7)中的壓縮 序列(26)的步驟。
6、 根據(jù)權(quán)利要求1至5中任一項(xiàng)的方法，其特征在于只對(duì)圖 像的被修改的區(qū)域進(jìn)行編碼。
7、 根據(jù)權(quán)利要求1至6中任一項(xiàng)的方法，其特征在于對(duì)請(qǐng)求 消息(13)的處理包括建立代表圖像的不變部分的掩模(29)的步驟； 對(duì)該掩模編制索引的步驟； 建立代表圖像的動(dòng)畫(huà)部分的轉(zhuǎn)變的步驟； 對(duì)該轉(zhuǎn)變編制索引的步驟，該索引是客戶機(jī)(3)已知的并在該請(qǐng)求消息(13)中被發(fā)送。
8、 根據(jù)權(quán)利要求1至7中任一項(xiàng)的方法，其特征在于 一個(gè)用 戶互動(dòng)(11)引起發(fā)送一個(gè)4見(jiàn)頻序列(26)，該互動(dòng)(11)由用戶從客戶機(jī)(3)上顯示的首個(gè)圖像開(kāi)始被操作；該視頻序列由服務(wù)器(1)的音頻/視頻數(shù)據(jù)庫(kù)的狀態(tài)或由該請(qǐng)求 消息(13)來(lái)確定參數(shù)。
9、 根據(jù)權(quán)利要求8的方法，其特征在于當(dāng)服務(wù)器(1)的數(shù)據(jù)庫(kù)的狀態(tài)改變時(shí)，對(duì)請(qǐng)求消息(13)的處 理包括這樣一個(gè)步驟，其中與該用戶互動(dòng)(11)相對(duì)應(yīng)的任何先前序 列被與數(shù)據(jù)庫(kù)新?tīng)顟B(tài)相對(duì)應(yīng)的新序列(26)替換。
全文摘要
本發(fā)明涉及一種由服務(wù)器設(shè)備播送音頻視頻數(shù)據(jù)的方法。網(wǎng)絡(luò)(2)可以在其間連接同一家庭的各個(gè)不同的媒體元件。這樣的網(wǎng)絡(luò)包括一個(gè)服務(wù)器(1)(通常是一臺(tái)計(jì)算機(jī))、一些客戶機(jī)(3)(例如一個(gè)解碼器)。這種配置可以產(chǎn)生一個(gè)由服務(wù)器(1)管理、但由客戶機(jī)(3)通過(guò)網(wǎng)絡(luò)(2)遙控的桌面。這樣的網(wǎng)絡(luò)(2)應(yīng)該傳播并快速處理數(shù)據(jù)。當(dāng)前的趨勢(shì)是最大限度地壓縮在網(wǎng)絡(luò)(2)上傳輸?shù)臄?shù)據(jù)。然而，數(shù)據(jù)越壓縮，處理起來(lái)就越耗時(shí)。本發(fā)明不考慮使數(shù)據(jù)傳輸更方便，而相反地，考慮只傳送圖形動(dòng)畫(huà)序列的第一個(gè)和最后一個(gè)圖像，從而減少在網(wǎng)絡(luò)(2)上傳播的數(shù)據(jù)的處理時(shí)間。
文檔編號(hào)H04N7/173GK101622873SQ200880006309
公開(kāi)日2010年1月6日 申請(qǐng)日期2008年2月26日 優(yōu)先權(quán)日2007年2月27日
發(fā)明者J·P·莫拉爾 申請(qǐng)人:薩基姆通信簡(jiǎn)易股份公司