專利名稱：在便攜式多媒體設(shè)備中的音頻視頻數(shù)據(jù)處理的制作方法
技術(shù)領(lǐng)域：
本發(fā)明總地涉及在電子設(shè)備中的數(shù)據(jù)流處理，更具體地涉及處理例如在可使用多媒體的無線通信設(shè)備中的音頻和視頻數(shù)據(jù)流的非同步數(shù)據(jù)流，以及方法。
背景技術(shù)：
在很多能使用多媒體的無線通信終端中，音頻和視頻參考公共的時(shí)序源，并且在能從相關(guān)的數(shù)字信號處理(DSP)設(shè)備捕獲編碼的音頻視頻信息的單核處理器中多路復(fù)用，其中音頻視頻輸入和輸出緊密耦合。這些公知的體系被設(shè)計(jì)來提供一組近乎恒定的品質(zhì)，除了其他包括音頻和視頻的同步。
3GPP和3GPP2標(biāo)準(zhǔn)體系采用電路交換的H.324M協(xié)議，使得可使用包括通用移動通信系統(tǒng)(UMTS)WCDM和CDMA2000協(xié)議網(wǎng)絡(luò)等的第三代(3G)無線通信網(wǎng)絡(luò)上的實(shí)時(shí)應(yīng)用程序和服務(wù)。示例性而非限制性的應(yīng)用程序和服務(wù)包括，視頻電話和會議、視頻監(jiān)督、實(shí)時(shí)游戲和視頻點(diǎn)播及其他。
在H.324M中，雖然H.324M協(xié)議在接收設(shè)備中提供了用于音頻/視頻延遲補(bǔ)償?shù)闹噶詈徒涌?，但音頻和視頻信息是非同步傳輸?shù)?。更具體地，H.324M提供了時(shí)滯指示消息(skew indication message)，使得傳輸終端可向接收終端報(bào)告在各音頻和視頻數(shù)據(jù)流之間的時(shí)滯，這可用于補(bǔ)償以提供例如聲像吻合的音頻和視頻數(shù)據(jù)等的同步數(shù)據(jù)流。但在H.324協(xié)議中，同步并不是強(qiáng)制性的并且接收終端并不要求使用時(shí)滯信息來提供同步。
對本領(lǐng)域的技術(shù)人員來說，通過仔細(xì)考察以下結(jié)合附圖所作的詳細(xì)描述將使本發(fā)明的各個(gè)方面、特征和優(yōu)點(diǎn)變得更加明顯。


圖1是表示示例性的便攜式多媒體設(shè)備的結(jié)構(gòu)圖。
圖2描述了用來管理音頻和視頻時(shí)滯的示例性的音頻和視頻隊(duì)列機(jī)制。
圖3描述了選擇性丟棄程序由用于動態(tài)減少音頻和視頻的時(shí)滯。
圖4描述了選擇性插入程序用于動態(tài)增加音頻和視頻的時(shí)滯。
圖5是示例性的處理流圖。
具體實(shí)施例方式
圖1是在無線通信終端100中的示例形式的便攜式多媒體設(shè)備，其包括調(diào)制解調(diào)器110和應(yīng)用程序?qū)嶓w120，提供了如下更全面討論的在傳輸之前被多路復(fù)用的非同步音頻和視頻數(shù)據(jù)流。例如，在一個(gè)實(shí)施例中，可使用通用接口將視頻路由到PC或執(zhí)行從相機(jī)的視頻插入，例如，通過未集成有音頻源的通用串行總線(USB)端口進(jìn)行視頻捕獲和/或繪制。通常，還存在其他的應(yīng)用和實(shí)施例，其中單獨(dú)的各數(shù)據(jù)流源于非同步源或由非同步源提供。在本發(fā)明中，數(shù)據(jù)流源因何不同步是無關(guān)緊要的。
在一些實(shí)施例中，對于一個(gè)或多個(gè)數(shù)據(jù)流源自其中的源(或多個(gè)源)，其中的變化會影響時(shí)序。例如，從喇叭擴(kuò)音器到藍(lán)牙頭戴式耳機(jī)的音頻數(shù)據(jù)流的源中的改變可能要改變音頻數(shù)據(jù)時(shí)序或時(shí)滯，該音頻數(shù)據(jù)流與相應(yīng)的希望與該音頻數(shù)據(jù)流同步的視頻數(shù)據(jù)流有關(guān)。在一些應(yīng)用中，來自非同步源的多個(gè)數(shù)據(jù)流之間的延遲根據(jù)這些數(shù)據(jù)流中的一個(gè)或二者的處理結(jié)果而動態(tài)改變。時(shí)序的改變可能是由于對數(shù)據(jù)流的一個(gè)或兩個(gè)的一部分進(jìn)行編碼或其他處理，例如數(shù)字版權(quán)管理(DRM)編碼。
在其他的實(shí)施例中，當(dāng)從一個(gè)來源獲得視頻時(shí)，不必同步音頻和視頻，但當(dāng)從另一個(gè)源獲得視頻時(shí)可能需要同步音頻和視頻。例如，一些移動電話包括多個(gè)相機(jī)，可以由用戶選擇其中的一個(gè)或另外一個(gè)。但選擇了背向用戶的相機(jī)時(shí)，與音頻的同步可能不成問題。但當(dāng)選擇了面向用戶的相機(jī)時(shí)，通常需要聲像吻合。這樣，在一些實(shí)施例中，根據(jù)所選擇的視頻來源而需要音頻和視頻的同步。
在當(dāng)前公開文本中，時(shí)滯(skew)是分別從其中獲取第一和第二數(shù)據(jù)流的非同步源之間近乎恒定的延遲。例如，在一個(gè)實(shí)施例中，時(shí)滯是根據(jù)非同步數(shù)據(jù)流源間的抖動和延遲差的中值或平均值。通常，非同步源要么是用于數(shù)據(jù)流的始發(fā)源要么作為數(shù)據(jù)流的管道來工作。
在一個(gè)實(shí)施例中，調(diào)制解調(diào)器110是無線調(diào)制解調(diào)器，其支持移動通信協(xié)議，例如全球數(shù)字移動電話系統(tǒng)(GSM)協(xié)議、第3代(3G)通用移動通信系統(tǒng)(UMTS)W-CDMA協(xié)議、或幾個(gè)CDMA協(xié)議中的一個(gè)，以及其他移動通信協(xié)議?？商鎿Q地，該調(diào)制解調(diào)器可以兼容其他一些無線通信協(xié)議，諸如IEEE802.xx等的局域網(wǎng)協(xié)議、諸如藍(lán)牙等的個(gè)人區(qū)域網(wǎng)絡(luò)協(xié)議、和廣域網(wǎng)協(xié)議以及其他。在其他的實(shí)施例中，該調(diào)制解調(diào)器可以是短程無線調(diào)制解調(diào)器，例如兼容DECT或其他無線電話協(xié)議?？商鎿Q地，該調(diào)制解調(diào)器可以是有線調(diào)制解調(diào)器。雖然示例性的多媒體設(shè)備包括調(diào)制解調(diào)器，但當(dāng)前的公開文本在通常情況下并不要求調(diào)制解調(diào)器。這樣的未裝配調(diào)制解調(diào)器的設(shè)備包括個(gè)人數(shù)字助理(PDA)、多媒體播放器、音頻和視頻記錄設(shè)備、膝上及筆記本計(jì)算機(jī)以及其他的便攜式設(shè)備，它們中的任何一個(gè)也可以包括無線調(diào)制解調(diào)器。
示例性的調(diào)制解調(diào)器110包括從音頻管理器實(shí)體132輸入的音頻。音頻流管理器從音頻編碼器134接收音頻數(shù)據(jù)流并將音頻輸出提供給音頻解碼器136。編碼器134可以從至少一個(gè)源獲得音頻輸入，雖然更一般的情況是可以在音頻管理器實(shí)體的控制下從幾個(gè)來源中的某一個(gè)選擇音頻輸入。例如，在一個(gè)實(shí)施例中，音頻管理器實(shí)體從頭戴耳機(jī)的麥克風(fēng)或喇叭擴(kuò)音器、或藍(lán)牙頭戴耳機(jī)、或從其他一些源選擇音頻。在一些實(shí)施例中，音頻編譯碼器在DSP處理器中實(shí)現(xiàn)，其可以封裝為調(diào)制解調(diào)器電路(IC)的一部分或作為單獨(dú)的實(shí)體。示例性音頻源的每個(gè)一般都具有相對于例如由相機(jī)所捕獲的相應(yīng)的視頻數(shù)據(jù)流的唯一延遲，其實(shí)例將在以下討論。該示例性調(diào)制解調(diào)器接收實(shí)時(shí)的語音數(shù)據(jù)流。
在圖1中，示例性的應(yīng)用程序?qū)嶓w120通常包括用來管理源自不同源的視頻數(shù)據(jù)的視頻流管理器實(shí)體122。示例性的多媒體設(shè)備110通信耦合到例如攝相機(jī)或視頻記錄器等的附屬設(shè)備130，用以將視頻數(shù)據(jù)流提供給視頻流管理器122。示例性的應(yīng)用程序?qū)嶓w還包括視頻編碼器124，其具有作為輸入端的集成相機(jī)引擎；和視頻解碼器126，其具有例如至顯示設(shè)備的視頻信號輸出端。該示例性的應(yīng)用程序處理器120的視頻流管理器122就成為源于其他源的視頻數(shù)據(jù)流的管道。在一些實(shí)施例中，數(shù)據(jù)流的選擇由用戶控制，而在其他實(shí)施例中，選擇由應(yīng)用程序自動控制。通常，源和由管理實(shí)體123管理的數(shù)據(jù)流的特定類型以及如何選擇視頻數(shù)據(jù)流都是無關(guān)緊要的。可替換地，輸入到視頻流管理器的視頻數(shù)據(jù)流都源于集成的源或來自附屬設(shè)備。
在圖1中，通常，調(diào)制解調(diào)器110在多路復(fù)用的音頻和視頻數(shù)據(jù)被傳送之前執(zhí)行音頻和視頻多路復(fù)用。在一些實(shí)施例中，如以下要進(jìn)一步討論的，音頻和視頻數(shù)據(jù)流在多路復(fù)用前同步。調(diào)制解調(diào)器110還從獨(dú)立的、非同步的處理器獲得視頻數(shù)據(jù)，且在示例性實(shí)施例中該處理器是應(yīng)用程序?qū)嶓w120的一部分。從調(diào)制解調(diào)器110的透視圖中可看到，視頻數(shù)據(jù)流源自應(yīng)用程序?qū)嶓w120，盡管在一些實(shí)施例中應(yīng)用程序?qū)嶓w120僅僅是用于源于其他源的視頻數(shù)據(jù)的管道，例如源于附屬設(shè)備130或源于以上討論的其他一些源。復(fù)用器并不一定是調(diào)制解調(diào)器的一部分。通常，在需要多路復(fù)用的應(yīng)用程序中，復(fù)用器可以是獨(dú)立于兩個(gè)數(shù)據(jù)流源的實(shí)體。但，本公開文本并不限于其中的數(shù)據(jù)流是復(fù)用的實(shí)施例或應(yīng)用。
在圖1中，示例性的調(diào)制解調(diào)器110包括H.324M協(xié)議實(shí)體112，其使得可通過第3代(3G)無線通信網(wǎng)絡(luò)進(jìn)行實(shí)時(shí)應(yīng)用和服務(wù)。H.324M協(xié)議實(shí)體包括H.245模塊114，其指定呼叫控制協(xié)議，包括音頻和視頻能力交換、主/從確定、邏輯信道的信號打開和關(guān)閉、以及其他的功能。H.324M協(xié)議實(shí)體還包括H.223M模塊116，其復(fù)用并分離信號和數(shù)據(jù)信道。具體地，H.223復(fù)用器116復(fù)用在音頻信道118上的視頻數(shù)據(jù)流、在音頻信道119上的音頻數(shù)據(jù)流并控制在H.245信道116上的信號信息。H.223協(xié)議通過公共通信鏈路支持?jǐn)?shù)字語音/音頻、數(shù)字視頻/圖像和數(shù)據(jù)組合的傳輸。在圖1中，H.223輸出端通信耦合至示例性的64kbps電路交換數(shù)據(jù)(CSD)信道。在一些實(shí)施例中，復(fù)用器是與非同步實(shí)體相分離的離散實(shí)體。在其他的實(shí)施例中，復(fù)用器并不一定要與H.324協(xié)議兼容。在其他實(shí)施例中，從其他非同步源來的數(shù)據(jù)流由例如H.323實(shí)體等的其他的復(fù)用器復(fù)用，其中H.323實(shí)體為H.324實(shí)體的基于分組的對等物。
在圖1中，如上所討論地，在控制所選擇的視頻捕獲和繪制(render)路徑的建立的同時(shí)，應(yīng)用程序?qū)嶓w120啟動并終止H.324M的調(diào)用。由于例如在圖1中從附件130或集成的相機(jī)編碼器124的視頻數(shù)據(jù)流的源通常不與作為音頻數(shù)據(jù)流源的調(diào)制解調(diào)器110同步，因此通常會影響音頻和視頻時(shí)序。
圖2顯示了在示例性的H.324棧中用于管理音頻和視頻時(shí)滯的音頻和視頻隊(duì)列機(jī)制。在一個(gè)實(shí)施例中，在多路復(fù)用前，音頻和視頻數(shù)據(jù)流在H.324實(shí)體中同步。應(yīng)用程序處理器以示例性的每秒7幀(7幀/秒)的速率將包括了視頻幀212的視頻數(shù)據(jù)流210提供給示例性的H.223復(fù)用器220。調(diào)制解調(diào)器以示例性的每秒五十幀(50幀/秒)的速率將包括音頻幀232的音頻數(shù)據(jù)流230提供給復(fù)用器。
在圖1示例性的實(shí)施例中，先于多路復(fù)用控制、視頻和音頻信道而發(fā)生同步。具體地，時(shí)滯信息用來確定何時(shí)提供音頻和視頻數(shù)據(jù)流給H.223以確保同步。公知地，時(shí)滯信息依賴于所獲得的數(shù)據(jù)流或基于其他的公知信息。在示例性的實(shí)施例中，由于存在編譯碼器不能解決的系統(tǒng)級問題，因此同步發(fā)生在音頻和視頻編譯碼器之外。例如，在圖1的示例性的實(shí)施例中，音頻編譯碼器駐留在單獨(dú)的子系統(tǒng)中，這樣視頻數(shù)據(jù)流就必須經(jīng)由多個(gè)處理器而管理。此外，諸如DRM編碼的前述非編碼解碼器，可以將已知的延遲量引入數(shù)據(jù)流。
在圖1中，調(diào)制解調(diào)器110給應(yīng)用程序?qū)嶓w120提供了接口來設(shè)定用于計(jì)算音頻/視頻同步的隊(duì)列延遲的捕獲和繪制視頻延遲參數(shù)。示例性的接口在視頻應(yīng)用程序?qū)嶓w123和H.234實(shí)體112之間。在示例性實(shí)施例中，視頻應(yīng)用程序?qū)嶓w123還與視頻流管理器120和視頻流管理器132通信。
在圖1中，通過在視頻應(yīng)用程序?qū)嶓w123和H.324實(shí)體間的接口提供復(fù)用音頻和視頻的時(shí)間推遲量和拖延在執(zhí)行H.223分離操作后解碼音頻的時(shí)間推遲量。這些示例性的參數(shù)用來計(jì)算音頻/視頻同步的延遲變量。如上所建議的，在一些實(shí)施例中，延遲或時(shí)滯的改變是基于一個(gè)或多個(gè)數(shù)據(jù)流源自其中的源的變化和/或基于其他情況，例如，對該一個(gè)或多個(gè)數(shù)據(jù)流進(jìn)行的特定處理。
在一個(gè)實(shí)施例中，在便攜式多媒體設(shè)備中，源于所選擇源的數(shù)據(jù)流與源于其他非同步源的數(shù)據(jù)流根據(jù)源于這些數(shù)據(jù)流的源之間的延遲或時(shí)滯來同步。在圖1的示例性的多媒體設(shè)備中，所選擇的數(shù)據(jù)流和其他的數(shù)據(jù)流先于復(fù)用以及通過空中接口傳輸而同步。
在時(shí)滯或延遲變化的實(shí)施例中，第一和第二數(shù)據(jù)流通過短暫的時(shí)間周期或間隔逐漸同步。例如，在一些實(shí)施例中，當(dāng)延遲從較高的值降到較低的值時(shí)，逐漸的同步可以通過從數(shù)據(jù)流中的一個(gè)去除幀而獲得。在第一和第二數(shù)據(jù)流為音頻和視頻數(shù)據(jù)流的示例性實(shí)施例中，例如從音頻數(shù)據(jù)流中去除受限數(shù)據(jù)承載(bearing)幀，即DTX幀。在圖2的示例性實(shí)施例中，在時(shí)間“t”，時(shí)滯從160ms變?yōu)?0ms。對新的時(shí)滯速率的逐漸同步通過按100ms的周期從音頻流去除DTX而取得。在另一個(gè)實(shí)施例中，視頻和音頻數(shù)據(jù)流可以通過選擇性地從視頻數(shù)據(jù)幀中去除幀而逐漸同步。雖然在其他的實(shí)施例中幀的去除可以通過任意其他的同步實(shí)體或能夠選擇幀或數(shù)據(jù)去除的設(shè)備來執(zhí)行幀的去除，但在圖1的示例性實(shí)施例中，在H.324實(shí)體中執(zhí)行幀的去除。
例如，在另一個(gè)實(shí)施例中，在延遲從較低值增加到較高值時(shí)，通過將幀添加到數(shù)據(jù)流中的一個(gè)而得到逐漸的同步。在第一和第二數(shù)據(jù)流為音頻和視頻數(shù)據(jù)流的示例性實(shí)施例中，將例如DTX幀的受限數(shù)據(jù)承載幀插入到音頻數(shù)據(jù)流中。在圖4的示例性實(shí)施例中，在時(shí)間“t”時(shí)滯從80ms變?yōu)?40ms。對新的時(shí)滯的逐漸同步通過按180ms的周期將DTX幀插入到音頻流而得到。在其他的實(shí)施例中，視頻和音頻數(shù)據(jù)流可以通過選擇性地將幀插入到視頻數(shù)據(jù)流而逐漸同步。雖然在其他的實(shí)施例中插入可以通過任意其他的實(shí)體或能夠選擇幀或數(shù)據(jù)插入的設(shè)備執(zhí)行，但在圖1的示例性實(shí)施例中，幀的插入在H.324實(shí)體中執(zhí)行。在視頻并不完全同步的應(yīng)用中，數(shù)據(jù)流可以通過幀和視頻比特率的增加或降低而降低或增加。
圖5示出了例如在圖1中的H.324實(shí)體中用來復(fù)用同步的音頻和視頻數(shù)據(jù)流的示例性處理500。在塊510，請求同步音頻和視頻的復(fù)用。例如，在一個(gè)實(shí)施例中，在例如每隔20ms的特定的時(shí)間間隔中發(fā)生音頻和視頻的復(fù)用，不論是否存在同步。在其他的實(shí)施例中，時(shí)間間隔可以改變，即不是固定的。通常，可以請求一些時(shí)間間隔來同步音頻和視頻信號。間隔例如可根據(jù)待去除幀的可用性而改變。
在圖5中，在塊520，當(dāng)判定是否存在音頻的延遲大于參考配置。如果音頻延遲大于參考配置，則在塊530從音頻數(shù)據(jù)流去除例如DTX幀的數(shù)據(jù)。在一些實(shí)施例中，幀被選擇性去除直至獲得新的時(shí)滯率。同時(shí)，無論是否完成了同步，都在塊560按特定的速率復(fù)用幀。在塊540判定延遲是否小于參考配置。如果音頻延遲小于參考配置，則在塊550將例如DTX幀的幀選擇性插入到音頻數(shù)據(jù)流直至獲得新的時(shí)滯。同時(shí)，無論是否完成了同步，都在塊560以特定的速率復(fù)用幀。
雖然本公開以及認(rèn)為是最佳方式的內(nèi)容已經(jīng)以通過建立發(fā)明人所有并使本領(lǐng)域的人員可以制造和使用的方式進(jìn)行了描述，但可以理解并預(yù)期的是，還存在這里所公開的實(shí)施例的許多等同改型并且在不背離本發(fā)明的范圍和精神下可以做出修改和變化，其并不受示例性實(shí)施例的限制而由權(quán)利要求書進(jìn)行限定。
權(quán)利要求
1.一種用在便攜式多媒體設(shè)備中的方法，該方法包括選擇源自至少兩個(gè)源之一的數(shù)據(jù)流；基于所選擇的數(shù)據(jù)流源自其中的源與另外非同步源之間的時(shí)滯，同步該選擇的數(shù)據(jù)流和源自所述另外非同步源的另外數(shù)據(jù)流。
2.根據(jù)權(quán)利要求1的方法，當(dāng)選擇了數(shù)據(jù)流，則改變到新的時(shí)滯，該新的時(shí)滯與先前選擇的數(shù)據(jù)流所關(guān)聯(lián)的先前時(shí)滯不同，在某個(gè)時(shí)間周期內(nèi)逐漸同步所選擇的數(shù)據(jù)流和該另外數(shù)據(jù)流以適應(yīng)所述新的時(shí)滯。
3.根據(jù)權(quán)利要求2的方法，該新的時(shí)滯小于該先前時(shí)滯，在所述時(shí)間周期內(nèi)通過在所選擇的數(shù)據(jù)流和該另外數(shù)據(jù)流之一中選擇性地去除幀來逐漸同步該選擇的數(shù)據(jù)流和該另外數(shù)據(jù)流。
4.根據(jù)權(quán)利要求3的方法，該選擇的數(shù)據(jù)流是視頻數(shù)據(jù)流而該另外數(shù)據(jù)流是音頻數(shù)據(jù)流，通過選擇性地將受限數(shù)據(jù)承載幀從該音頻數(shù)據(jù)流中去除而逐漸同步所述音頻和視頻數(shù)據(jù)流。
5.根據(jù)權(quán)利要求3的方法，該選擇的數(shù)據(jù)流是視頻數(shù)據(jù)流而該另外數(shù)據(jù)流是音頻數(shù)據(jù)流，通過從該視頻數(shù)據(jù)流中選擇性地去除幀而逐漸同步所述音頻和視頻數(shù)據(jù)流。
6.根據(jù)權(quán)利要求2的方法，該新的時(shí)滯大于該先前時(shí)滯，通過將幀插入到該選擇的數(shù)據(jù)流和該另外數(shù)據(jù)流中的一個(gè)而逐漸同步該選擇的數(shù)據(jù)流和該另外數(shù)據(jù)流。
7.根據(jù)權(quán)利要求1的方法，先同步該選擇的數(shù)據(jù)流和該另外數(shù)據(jù)流，然后傳輸同步的該選擇數(shù)據(jù)流和該另外數(shù)據(jù)流。
8.根據(jù)權(quán)利要求1的方法，在同步之后多路復(fù)用所述選擇的數(shù)據(jù)流和另外數(shù)據(jù)流，根據(jù)依賴于該選擇的數(shù)據(jù)流的延遲參數(shù)而進(jìn)行同步。
9.一種能使用多媒體的便攜式通信設(shè)備，包括應(yīng)用程序處理器；與所述應(yīng)用程序處理器不同步的實(shí)時(shí)處理器；通信耦合至所述應(yīng)用程序處理器和實(shí)時(shí)處理器的同步實(shí)體，所述同步實(shí)體根據(jù)延遲信息來同步來自所述應(yīng)用程序處理器的視頻信息與來自所述實(shí)時(shí)處理器的音頻信息。
10.根據(jù)權(quán)利要求9的設(shè)備，時(shí)序控制實(shí)體，其與所述應(yīng)用程序處理器和實(shí)時(shí)處理器中的一個(gè)關(guān)聯(lián)；所述同步實(shí)體通信耦合至所述時(shí)序控制實(shí)體，所述時(shí)序控制實(shí)體給所述同步實(shí)體提供所述延遲信息。
11.根據(jù)權(quán)利要求9的設(shè)備，所述應(yīng)用程序處理器具有視頻流管理器，其從至少兩個(gè)源之一獲取視頻信息，和所述時(shí)序控制實(shí)體根據(jù)從中獲取所述視頻信息的源來提供延遲信息。
12.根據(jù)權(quán)利要求9的設(shè)備，所述同步實(shí)體響應(yīng)在延遲信息中的變化而逐漸同步所述音頻和視頻信息。
13.根據(jù)權(quán)利要求12的設(shè)備，所述同步實(shí)體通過從所述音頻和視頻信息中的一個(gè)中去除幀而逐漸同步所述音頻和視頻信息。
14.根據(jù)權(quán)利要求13的設(shè)備，所述同步實(shí)體通過將幀插入到所述音頻和視頻信息中的一個(gè)而逐漸同步所述音頻和視頻信息。
15.一種用在能夠使用多媒體的電子設(shè)備中的方法，該方法包括從相應(yīng)的非同步源獲取第一和第二數(shù)據(jù)流；通過在某個(gè)時(shí)間間隔中逐漸同步所述第一和第二數(shù)據(jù)流而補(bǔ)償在所述第一和第二數(shù)據(jù)流之間的延遲中的改變。
16.根據(jù)權(quán)利要求15的方法，通過在所述時(shí)間間隔從所述第一和第二數(shù)據(jù)流中的一個(gè)選擇性地去除幀來補(bǔ)償在所述第一和第二數(shù)據(jù)流間的延遲中的改變。
17.根據(jù)權(quán)利要求16的方法，所述第一數(shù)據(jù)流為音頻數(shù)據(jù)流而所述第二數(shù)據(jù)流為視頻數(shù)據(jù)流，通過從所述音頻數(shù)據(jù)流和視頻數(shù)據(jù)流中的一個(gè)去除受限數(shù)據(jù)承載幀而補(bǔ)償在所述第一和第二數(shù)據(jù)流間的延遲中的改變。
18.根據(jù)權(quán)利要求15的方法，通過將幀插入到所述第一和第二數(shù)據(jù)流中的一個(gè)而補(bǔ)償在所述第一和第二數(shù)據(jù)流間的延遲中的改變。
19.根據(jù)權(quán)利要求15的方法，所述第一數(shù)據(jù)流為音頻數(shù)據(jù)流而所述第二數(shù)據(jù)流為視頻數(shù)據(jù)流，通過將受限數(shù)據(jù)的承載幀插入到所述音頻和視頻數(shù)據(jù)流中的一個(gè)而補(bǔ)償在所述第一和第二數(shù)據(jù)流間的延遲中的改變。
20.根據(jù)權(quán)利要求15的方法，通過改變所述第一和第二數(shù)據(jù)流中的一個(gè)從中發(fā)出的源而改變所述延遲。
21.根據(jù)權(quán)利要求15的方法，通過處理所述第一和第二數(shù)據(jù)流中的一個(gè)來改變所述延遲。
22.根據(jù)權(quán)利要求15的方法，多路復(fù)用所述第一和第二數(shù)據(jù)流。
全文摘要
一種能使用多媒體的便攜式通信設(shè)備和方法，包括通信耦合到同步實(shí)體(112)的實(shí)時(shí)處理器(110)和應(yīng)用程序處理器(120)。在一個(gè)實(shí)施例中，同步實(shí)體為集成有實(shí)時(shí)處理器的H.324實(shí)體。所述同步實(shí)體基于延遲信息使來自所述應(yīng)用程序處理器的視頻數(shù)據(jù)流與來自實(shí)時(shí)處理器的音頻數(shù)據(jù)流同步。
文檔編號H04N5/44GK101057504SQ200580038809
公開日2007年10月17日 申請日期2005年11月17日 優(yōu)先權(quán)日2004年12月8日
發(fā)明者威廉·J·D·瑞安, 安庫爾·梅羅特拉, 拉維·坎特·拉奧 申請人:摩托羅拉公司