專利名稱：遠(yuǎn)程教學(xué)多模式實時多媒體交互系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種遠(yuǎn)程教學(xué)多模式實時多媒體交互系統(tǒng)，面向?qū)崟r網(wǎng)絡(luò)教育/遠(yuǎn)程教育，涉及計算機(jī)、信息傳遞及多媒體技術(shù)。
在上述專利1中，發(fā)明人提出了一套在分組交換網(wǎng)下開展多媒體視頻會議的方法，該套方法主要有以下特點1)采用群組交互模式下多媒體數(shù)據(jù)的發(fā)送、接收；2)多媒體數(shù)據(jù)采用實時傳輸協(xié)議RTP，實時控制協(xié)議RTCP進(jìn)行傳輸；3)采用資源預(yù)留協(xié)議RSVP對交互過程中的視音頻質(zhì)量進(jìn)行控制。
4)數(shù)據(jù)傳輸采用單播、組播、廣播三種網(wǎng)絡(luò)傳輸模式；在專利2中，發(fā)明人提出了一套在視頻會議系統(tǒng)中創(chuàng)建呼叫的過程，該過程主要描述了呼叫雙方的認(rèn)證、授權(quán)、能力協(xié)商，此外還定義了呼叫消息所攜帶數(shù)據(jù)的內(nèi)容與格式。目前，視頻會議系統(tǒng)一般都采用類似的呼叫機(jī)制。
在專利3中，發(fā)明人提出了一套在分組交換網(wǎng)下開展多媒體視頻會議的方法，并實現(xiàn)了該系統(tǒng)。此套方法與系統(tǒng)主要有以下特點1)采用多個分組間基于RTP協(xié)議的組播數(shù)據(jù)發(fā)送、接收；2)采用目錄管理機(jī)制對會議成員進(jìn)行管理；3)通過創(chuàng)建虛擬現(xiàn)實環(huán)境，實現(xiàn)分組間的用戶相互感知，并能通過虛擬對象進(jìn)行交互。
根據(jù)上述查新，現(xiàn)有系統(tǒng)存在以下2個問題1.不能支持組播數(shù)據(jù)的跨網(wǎng)段傳輸，網(wǎng)絡(luò)帶寬資源利用率較低，進(jìn)而導(dǎo)致系統(tǒng)不能大規(guī)模大范圍地部署。
2.不能支持手持移動設(shè)備，不能自適應(yīng)地為不同網(wǎng)絡(luò)條件下使用不同硬件設(shè)備提供不同的視頻數(shù)據(jù)流。
為實現(xiàn)這樣的目的，本發(fā)明的遠(yuǎn)程教學(xué)多模式實時多媒體交互系統(tǒng)，是一個面向?qū)崟r網(wǎng)絡(luò)教學(xué)的分布式多媒體應(yīng)用系統(tǒng)，由多媒體客戶端，會議服務(wù)中心和多點控制單元MCU組成，通過遠(yuǎn)程教學(xué)現(xiàn)場的多媒體錄制和網(wǎng)絡(luò)傳輸，實現(xiàn)遠(yuǎn)程教學(xué)全部現(xiàn)場的直播和師生間的交互。會議服務(wù)中心分別和多媒體客戶端和多點控制單元通過網(wǎng)絡(luò)服務(wù)調(diào)用相連，多媒體客戶端和多點控制單元通過RTP/RTCP協(xié)議相連。會議服務(wù)中心控制客戶端和多點控制單元的用戶權(quán)限，客戶端接收會議服務(wù)中心的指令控制本地視頻、音頻和其他教學(xué)數(shù)據(jù)的發(fā)送和接收，多點控制單元接收會議服務(wù)中心的指令控制視頻、音頻和其他教學(xué)數(shù)據(jù)的轉(zhuǎn)發(fā)?？蛻舳嗽诘玫綍h服務(wù)中心的授權(quán)后，向多點控制單元發(fā)送本地的視頻、音頻和其他教學(xué)數(shù)據(jù)，并從多點控制單元接收其他客戶端的視頻、音頻和其他教學(xué)數(shù)據(jù)；多點控制單元根據(jù)會議服務(wù)中心提供的信息啟動視頻、音頻和其他教學(xué)數(shù)據(jù)轉(zhuǎn)發(fā)模塊和視頻轉(zhuǎn)換編碼引擎。
本發(fā)明主要包括以下的具體內(nèi)容
1、多媒體客戶端多媒體客戶端由事務(wù)管理模塊，視音頻處理模塊和應(yīng)用程序共享模塊三個部分組成。事務(wù)管理模塊通過窗口消息分別和視音頻處理模塊和應(yīng)用程序共享模塊相連。事務(wù)管理模塊與會議服務(wù)中心通過網(wǎng)絡(luò)服務(wù)相連，進(jìn)行狀態(tài)、控制信息的交互，并根據(jù)其交互結(jié)果發(fā)送窗口控制信息給視音頻處理模塊和應(yīng)用程序共享模塊，來控制視頻、音頻和應(yīng)用程序共享數(shù)據(jù)采集、編碼壓縮、組播、接收、解碼解壓縮和回放；視音頻處理模塊與本地的媒體設(shè)備相連，從中讀取視頻、音頻，根據(jù)事務(wù)管理模塊的指令選用適當(dāng)?shù)木幋a器和服務(wù)質(zhì)量控制參數(shù)把數(shù)據(jù)組播到本網(wǎng)段的多點控制單元或者單播到集中式多點控制單元，同時調(diào)用服務(wù)質(zhì)量控制器從本網(wǎng)段的多點控制單元或者集中式多點控制單元接收視頻、音頻數(shù)據(jù)，根據(jù)事務(wù)管理模塊的指令選用適當(dāng)?shù)慕獯a器來播放視頻、音頻；應(yīng)用程序共享模塊和顯卡以及內(nèi)存相連，根據(jù)事務(wù)管理模塊的指令選用適當(dāng)?shù)木幋a器和服務(wù)質(zhì)量控制參數(shù)把應(yīng)用程序共享數(shù)據(jù)組播到本網(wǎng)段的多點控制單元或者單播到集中式多點控制單元，同時調(diào)用服務(wù)質(zhì)量控制器從本網(wǎng)段的多點控制單元或者集中式多點控制單元接收應(yīng)用程序共享數(shù)據(jù)，根據(jù)事務(wù)管理模塊的指令選用適當(dāng)?shù)慕獯a器來播放應(yīng)用程序共享數(shù)據(jù)。
2、會議服務(wù)中心會議服務(wù)中心是整個系統(tǒng)的控制中心，由客戶端控制模塊、多點控制單元控制模塊和信息統(tǒng)計模塊三個部分組成。通過網(wǎng)絡(luò)服務(wù)調(diào)用與所有的多媒體客戶端、所有的多點控制單元相連，從而獲得整個系統(tǒng)最全面最完整的信息，并且提供接口供外部的日志分析、監(jiān)控和診斷模塊。它和客戶端通過網(wǎng)絡(luò)服務(wù)調(diào)用相連，控制客戶端的權(quán)限，確定多媒體客戶端的視頻、音頻和屏幕數(shù)據(jù)的采集參數(shù)，建議采用的編碼壓縮，解碼解壓縮參數(shù)，指導(dǎo)使用組播還是單播來收發(fā)數(shù)據(jù)。它和多點控制單元通過網(wǎng)絡(luò)服務(wù)調(diào)用相連，控制多點控制單元是否收發(fā)視頻、音頻和屏幕數(shù)據(jù)，確定從哪個網(wǎng)絡(luò)套接字收發(fā)視頻、音頻和屏幕數(shù)據(jù)的RTP/RTCP包，確定是否需要啟動視頻轉(zhuǎn)換引擎，設(shè)置視頻轉(zhuǎn)換引擎的編碼器和比特率參數(shù)。
3、多點控制單元多點控制單元是系統(tǒng)全部視頻、音頻和屏幕數(shù)據(jù)的交換中心，由多點控制器MC和多點處理器MP兩部分組成。多點控制器通過網(wǎng)絡(luò)服務(wù)調(diào)用與會議服務(wù)中心相連，接收會議服務(wù)中心的指令來控制多點處理器，多點處理器通過窗口消息和多點控制器相連，把收到的RTP/RTCP網(wǎng)絡(luò)狀態(tài)信息反饋給多點控制器。
多點控制器MC由多點交互控制模塊和服務(wù)質(zhì)量QoS參數(shù)控制模塊兩個部分組成。多點交互控制模塊通過窗口消息與多點處理器相連，控制視頻、音頻和應(yīng)用程序共享的收發(fā)權(quán)限，它還通過網(wǎng)絡(luò)服務(wù)調(diào)用與會議中心相連，生成當(dāng)前多點控制單元與其他客戶端和多點控制單元的連接狀態(tài)信息。QoS參數(shù)控制模塊和多點交互控制模塊通過窗口消息相連，根據(jù)多點交互控制模塊提供的當(dāng)前多點控制單元在網(wǎng)絡(luò)拓?fù)渲械慕巧臀恢眯畔⒖刂泼襟w流的QoS參數(shù)，將此參數(shù)通過窗口消息傳遞給多點處理器。
多點處理器MP由轉(zhuǎn)發(fā)器和視頻轉(zhuǎn)換編碼引擎兩個部分組成。轉(zhuǎn)發(fā)器通過窗口消息和視頻轉(zhuǎn)換編碼引擎相連，負(fù)責(zé)接收和轉(zhuǎn)發(fā)數(shù)據(jù)包，而不管數(shù)據(jù)包里面的數(shù)據(jù)類型、數(shù)據(jù)大小和數(shù)據(jù)內(nèi)容。視頻轉(zhuǎn)換編碼引擎和多點交互控制模塊以及QoS參數(shù)控制模塊通過窗口消息相連，根據(jù)獲得的多媒體客戶端的網(wǎng)絡(luò)狀況、是否支持組播和單播和設(shè)備的處理能力這些信息，把使用原始編碼器采用原始比特率編碼壓縮的視頻、音頻和應(yīng)用程序共享數(shù)據(jù)轉(zhuǎn)換為使用另外一種編碼器采用另外一個比特率編碼壓縮的視頻、音頻和屏幕數(shù)據(jù)。轉(zhuǎn)發(fā)器既轉(zhuǎn)發(fā)沒有經(jīng)過視頻轉(zhuǎn)換編碼引擎處理過的視頻、音頻和屏幕數(shù)據(jù)，也轉(zhuǎn)發(fā)經(jīng)過視頻轉(zhuǎn)換編碼引擎處理過的視頻、音頻和屏幕數(shù)據(jù)。
轉(zhuǎn)發(fā)器采用三種不同的轉(zhuǎn)發(fā)方式(1)單播<->單播轉(zhuǎn)發(fā)；(2)組播<->組播轉(zhuǎn)發(fā)；(3)單播<->組播轉(zhuǎn)發(fā)。每個轉(zhuǎn)發(fā)器通過調(diào)用會議服務(wù)中心的網(wǎng)絡(luò)服務(wù)來動態(tài)創(chuàng)建多個活動的會議室，每個會議室有1個組播地址和4個網(wǎng)絡(luò)套接字(2個組播網(wǎng)絡(luò)套接字和2個單播轉(zhuǎn)發(fā)網(wǎng)絡(luò)套接字)。
視頻轉(zhuǎn)換編碼引擎參考了“MPEG-7轉(zhuǎn)換編碼提示”中的效用伸縮描述參數(shù)、抽取運動提示參數(shù)、難度提示參數(shù)和重要性提示參數(shù)，使用分層編碼來轉(zhuǎn)換、編碼多媒體數(shù)據(jù)，采用普通計算機(jī)和手持設(shè)備作為多媒體客戶端使用以太網(wǎng)和無線網(wǎng)絡(luò)連入遠(yuǎn)程教學(xué)多模式實時多媒體交互系統(tǒng)，支持9.6kbps到768kbps范圍的分層編碼，滿足了不同網(wǎng)絡(luò)、不同設(shè)備、不同處理器、不同操作系統(tǒng)的個性化的多媒體訪問需求。
多點控制單元采用分布式MCU和集中式MCU相結(jié)合的混合模型。多媒體客戶端根據(jù)會議服務(wù)中心的控制信息智能地選擇和切換本地的多點控制單元或者中央集中式的多點控制單元(客戶端在不支持組播協(xié)議的情況下使用，例如ADSL網(wǎng)絡(luò)連接使用的PPP協(xié)議)。分布式多點控制單元的跨網(wǎng)段傳輸機(jī)制是指系統(tǒng)所分布的每個組播網(wǎng)段都存在一個多點控制單元節(jié)點，各客戶端通過組播連接本地多點控制單元，各個多點控制單元之間通過單播連接來轉(zhuǎn)發(fā)數(shù)據(jù)，該機(jī)制實現(xiàn)了廣域網(wǎng)上視頻、音頻和應(yīng)用程序共享的組播傳輸，有效提高了網(wǎng)絡(luò)帶寬利用率，使得系統(tǒng)具有良好的可擴(kuò)展性。集中式多點控制單元機(jī)制是指整個系統(tǒng)只存在一個多點控制單元節(jié)點，各客戶端通過單播連接它，它適合于一些不支持組播的環(huán)境，例如ADSL網(wǎng)絡(luò)連接使用的PPP協(xié)議。通過分布式MCU機(jī)制和集中式MCU機(jī)制相結(jié)合的模型，遠(yuǎn)程教學(xué)多模式實時多媒體交互系統(tǒng)通過這種混合模型，既減少了延時、提高了網(wǎng)絡(luò)帶寬利用率、服務(wù)質(zhì)量和系統(tǒng)的可擴(kuò)展性，又避免了一些不支持組播的客戶端不能連接的問題。
因為多點控制單元是系統(tǒng)全部視頻、音頻和屏幕數(shù)據(jù)的交換中心，因此其把實時接收到的各個多媒體客戶端發(fā)送出來的視頻、音頻和應(yīng)用程序共享數(shù)據(jù)以及經(jīng)過自己的視頻編碼轉(zhuǎn)換引擎處理過的數(shù)據(jù)錄制成流媒體文件。生成的流媒體文件使用IMS、SCORM標(biāo)準(zhǔn)包裝，并且通過與數(shù)據(jù)分析中心的配合，使其具有智能化多媒體數(shù)據(jù)挖掘分析等功能，為教學(xué)創(chuàng)造一個科學(xué)的貼近自然的培訓(xùn)環(huán)境。
圖2為本發(fā)明的客戶端工作機(jī)制示意圖。
圖3為本發(fā)明的視頻、音頻和應(yīng)用程序共享所使用的RTP包示意圖。
圖4為本發(fā)明的視頻、音頻和應(yīng)用程序共享所使用的緩沖區(qū)處理流程示意圖。
圖5為本發(fā)明的會議服務(wù)中心工作機(jī)制示意圖。
圖6為本發(fā)明的多點控制單元MCU結(jié)構(gòu)圖。
圖7為本發(fā)明的MCU的轉(zhuǎn)發(fā)器模塊工作機(jī)制示意圖。
圖8為本發(fā)明的MCU的視頻轉(zhuǎn)換編碼引擎工作機(jī)制示意圖。
圖9為本發(fā)明的MCU的視頻轉(zhuǎn)換編碼引擎使用的分層可擴(kuò)展性編碼工作機(jī)制示意圖。
本發(fā)明的遠(yuǎn)程教學(xué)多模式實時多媒體交互系統(tǒng)是一個面向?qū)崟r網(wǎng)絡(luò)教學(xué)的分布式多媒體應(yīng)用系統(tǒng)。從物理分布上可分為多媒體客戶端，會議服務(wù)中心和多點控制單元三個部分。系統(tǒng)結(jié)構(gòu)如

圖1所示，圖1中描述了本發(fā)明實際運行系統(tǒng)的結(jié)構(gòu)以及模塊間的連接關(guān)系。會議服務(wù)中心分別和多媒體客戶端和多點控制單元通過網(wǎng)絡(luò)服務(wù)調(diào)用相連，多媒體客戶端和多點控制單元通過RTP/RTCP協(xié)議相連。會議服務(wù)中心控制客戶端和多點控制單元的用戶權(quán)限，客戶端接收會議服務(wù)中心的指令控制本地的視頻、音頻和其他教學(xué)數(shù)據(jù)的發(fā)送和接收，多點控制單元接收會議服務(wù)中心的指令控制視頻、音頻和其他教學(xué)數(shù)據(jù)的轉(zhuǎn)發(fā)?？蛻舳嗽诘玫綍h服務(wù)中心的授權(quán)后，向多點控制單元發(fā)送本地的視頻、音頻和其他教學(xué)數(shù)據(jù)，并從多點控制單元接收其他客戶端的視頻、音頻和其他教學(xué)數(shù)據(jù)；多點控制單元根據(jù)會議服務(wù)中心提供的信息啟動視頻、音頻和其他教學(xué)數(shù)據(jù)轉(zhuǎn)發(fā)模塊和視頻轉(zhuǎn)換編碼引擎。
以下分別對本發(fā)明的各個子系統(tǒng)(包括多媒體客戶端子系統(tǒng)，會議服務(wù)中心子系統(tǒng)和多點控制單元子系統(tǒng)) 的工作機(jī)制進(jìn)行說明。多媒體客戶端工作機(jī)制多媒體客戶端的工作機(jī)制如圖2所示，由事務(wù)管理模塊，視音頻處理模塊和應(yīng)用程序共享模塊三個部分組成。事務(wù)管理模塊通過窗口消息和視音頻處理模塊以及應(yīng)用程序共享模塊相連。事務(wù)管理模塊與會議服務(wù)中心通過網(wǎng)絡(luò)服務(wù)相連，進(jìn)行狀態(tài)、控制信息的交互，并根據(jù)其交互結(jié)果發(fā)送窗口控制消息給視音頻處理模塊和應(yīng)用程序共享模塊，來控制視頻、音頻和應(yīng)用程序共享數(shù)據(jù)采集、編碼壓縮、組播、接收、解碼解壓縮和回放；視音頻處理模塊與本地的媒體設(shè)備相連，從中讀取視頻、音頻，根據(jù)事務(wù)管理模塊的指令選用適當(dāng)?shù)木幋a器和QoS控制參數(shù)把數(shù)據(jù)組播到本網(wǎng)段的MCU或者單播到集中式MCU，同時調(diào)用QoS控制器從本網(wǎng)段的MCU或者集中式MCU接收視頻、音頻數(shù)據(jù)，根據(jù)事務(wù)管理模塊的指令選用適當(dāng)?shù)慕獯a器來播放視頻、音頻；應(yīng)用程序共享模塊和顯卡以及內(nèi)存相連，根據(jù)事務(wù)管理模塊的指令選用適當(dāng)?shù)木幋a器和QoS控制參數(shù)把應(yīng)用程序共享數(shù)據(jù)組播到本網(wǎng)段的MCU或者單播到集中式MCU，同時調(diào)用QoS控制器從本網(wǎng)段的MCU或者集中式MCU接收應(yīng)用程序共享數(shù)據(jù)，根據(jù)事務(wù)管理模塊的指令選用適當(dāng)?shù)慕獯a器來播放應(yīng)用程序共享數(shù)據(jù)。
本發(fā)明封裝應(yīng)用程序共享模塊為一個Microsoft DirectShow Filter形式的MPEG-4編碼解碼器，并支持組播和單播方式發(fā)送和接收數(shù)據(jù)。
視頻、音頻和應(yīng)用程序共享數(shù)據(jù)處理模塊使用的RTP包如圖3所示，對于視頻、音頻和應(yīng)用程序共享，使用不同的AM_MEDIA_TYPE來標(biāo)記其格式，使用DirectShow技術(shù)統(tǒng)一調(diào)用視頻、音頻和應(yīng)用程序共享各自的Directshow Filter，其視頻、音頻和應(yīng)用程序共享數(shù)據(jù)緩沖區(qū)中轉(zhuǎn)流程如圖4所示。會議服務(wù)中心工作機(jī)制會議服務(wù)中心是整個系統(tǒng)的控制中心，由客戶端控制模塊、多點控制單元控制模塊和信息統(tǒng)計模塊三個部分組成，其工作機(jī)制如圖5所示。會議服務(wù)中心通過網(wǎng)絡(luò)服務(wù)調(diào)用與所有的多媒體客戶端、所有的多點控制單元相連，從而獲得整個系統(tǒng)最全面最完整的信息，并且提供接口供外部的日志分析、監(jiān)控和診斷模塊。它和客戶端通過網(wǎng)絡(luò)服務(wù)調(diào)用相連，控制客戶端的權(quán)限，確定多媒體客戶端的視頻、音頻和屏幕數(shù)據(jù)的采集參數(shù)，建議采用的編碼壓縮，解碼解壓縮參數(shù)，指導(dǎo)使用組播還是單播來收發(fā)數(shù)據(jù)。它和多點控制單元通過網(wǎng)絡(luò)服務(wù)調(diào)用相連，控制多點控制單元是否收發(fā)視頻、音頻和屏幕數(shù)據(jù)，確定從哪個網(wǎng)絡(luò)套接字收發(fā)視頻、音頻和屏幕數(shù)據(jù)的RTP/RTCP包，確定是否需要啟動視頻轉(zhuǎn)換引擎，設(shè)置視頻轉(zhuǎn)換引擎的編碼器和比特率參數(shù)。多點控制單元工作機(jī)制多點控制單元是系統(tǒng)全部視頻、音頻和屏幕數(shù)據(jù)的交換中心，由多點控制器和多點處理器兩部分組成，其系統(tǒng)結(jié)構(gòu)如圖6所示。多點控制器通過網(wǎng)絡(luò)服務(wù)調(diào)用與會議服務(wù)中心相連，接收會議服務(wù)中心的指令來控制多點處理器，多點處理器通過窗口消息和多點控制器相連，把收到的RTP/RTCP網(wǎng)絡(luò)狀態(tài)信息反饋給多點控制器。
多點控制器由多點交互控制模塊和服務(wù)質(zhì)量參數(shù)控制模塊組成。多點交互控制模塊通過窗口消息與多點處理器相連，控制視頻、音頻和應(yīng)用程序共享的收發(fā)權(quán)限，它還通過網(wǎng)絡(luò)服務(wù)調(diào)用與會議中心相連，得到與客戶端以及其他多點控制單元的連接狀態(tài)信息。服務(wù)質(zhì)量參數(shù)控制模塊和多點交互控制模塊通過窗口消息相連，根據(jù)多點交互控制模塊提供的當(dāng)前多點控制單元在網(wǎng)絡(luò)拓?fù)渲械慕巧臀恢眯畔⒖刂泼襟w流的服務(wù)質(zhì)量參數(shù)，將此參數(shù)通過窗口消息傳遞給多點處理器。
多點處理器由轉(zhuǎn)發(fā)器和視頻轉(zhuǎn)換編碼引擎兩個部分組成。轉(zhuǎn)發(fā)器通過窗口消息和視頻轉(zhuǎn)換編碼引擎相連，負(fù)責(zé)接收和轉(zhuǎn)發(fā)數(shù)據(jù)包，而不管數(shù)據(jù)包里面的數(shù)據(jù)類型、數(shù)據(jù)大小和數(shù)據(jù)內(nèi)容。視頻轉(zhuǎn)換編碼引擎負(fù)責(zé)分別和多點交互控制模塊以及服務(wù)質(zhì)量參數(shù)控制模塊通過窗口消息相連，根據(jù)獲得的多媒體客戶端的網(wǎng)絡(luò)狀況、是否支持組播和單播和設(shè)備的處理能力這些信息，把原來的使用某種編碼器采用某個比特率編碼壓縮的視頻、音頻和屏幕數(shù)據(jù)轉(zhuǎn)換為使用另外一種編碼器采用另外一個比特率編碼壓縮的視頻、音頻和屏幕數(shù)據(jù)。轉(zhuǎn)發(fā)器既轉(zhuǎn)發(fā)沒有經(jīng)過視頻轉(zhuǎn)換編碼引擎處理過的視頻、音頻和屏幕數(shù)據(jù)，也轉(zhuǎn)發(fā)經(jīng)過視頻轉(zhuǎn)換編碼引擎處理過的視頻、音頻和屏幕數(shù)據(jù)。
轉(zhuǎn)發(fā)器采用三種不同的轉(zhuǎn)發(fā)方式(1)單播<->單播轉(zhuǎn)發(fā)；(2)單播<->組播轉(zhuǎn)發(fā)；(3)組播<->組播轉(zhuǎn)發(fā)。其3種不同的工作機(jī)制如圖7所示，每個轉(zhuǎn)發(fā)器通過調(diào)用會議服務(wù)中心的網(wǎng)絡(luò)服務(wù)來動態(tài)創(chuàng)建多個活動的會議室，每個會議室有1個組播地址和4個網(wǎng)絡(luò)套接字(2個組播網(wǎng)絡(luò)套接字和2個單播轉(zhuǎn)發(fā)網(wǎng)絡(luò)套接字)。
視頻轉(zhuǎn)換編碼引擎的工作機(jī)制如圖8所示，它參考了MPEG-7轉(zhuǎn)換編碼提示的效用伸縮描述模式、運動提示描述模式、難度提示描述模式和重要性提示屬性。首先使用MPEG-7轉(zhuǎn)換編碼提示參數(shù)配置工具設(shè)置轉(zhuǎn)換編碼參數(shù)；其次把原始碼率的視頻流數(shù)據(jù)通過相應(yīng)的解碼器解碼得到未壓縮過的視頻流數(shù)據(jù)；然后調(diào)用自適應(yīng)的MPEG-4編碼器使用質(zhì)量可擴(kuò)展的分層編碼算法重新編碼，得到重編碼碼率的視頻流。
視頻轉(zhuǎn)換編碼引擎包含一個MPEG-7轉(zhuǎn)換編碼提示參數(shù)配置工具，它從已有的視頻文件中抽取出來的運動提示參數(shù)、難度提示參數(shù)和重要性提示參數(shù)，通過調(diào)用會議服務(wù)中心的網(wǎng)絡(luò)服務(wù)，自動地調(diào)整或者手動配置參數(shù)。視頻轉(zhuǎn)換編碼引擎根據(jù)參數(shù)配置工具生成的MPEG-7轉(zhuǎn)換編碼提示來對多媒體內(nèi)容進(jìn)行相應(yīng)的處理。
視頻轉(zhuǎn)換編碼引擎使用分層可擴(kuò)展性編碼技術(shù)來支持9.6kbps到768kbps范圍的不同帶寬，滿足不同網(wǎng)絡(luò)、不同設(shè)備、不同處理器、不同操作系統(tǒng)的個性化的多媒體訪問需求。本發(fā)明采用質(zhì)量可擴(kuò)展性分層編碼，其工作機(jī)制如圖9所示，對原始視頻進(jìn)行一次很粗的量化形成基本層碼流，然后對原始視頻和基本層視頻的差再進(jìn)行一次量化，生成增強(qiáng)層碼流，如果有多個增強(qiáng)層碼流則重復(fù)上面的過程。發(fā)送端通過網(wǎng)絡(luò)把基本層碼流和多個增強(qiáng)層碼流發(fā)送出去；接收端根據(jù)自己的網(wǎng)絡(luò)帶寬和處理器能力選擇接收相應(yīng)的基本層碼流和多個增強(qiáng)層碼流，然后通過分層編碼解碼器重構(gòu)原始視頻數(shù)據(jù)。本發(fā)明實現(xiàn)了三層碼流第一層是使用二進(jìn)制視頻編碼來產(chǎn)生9.6kbps的基本層碼流，滿足使用“通用分組無線業(yè)務(wù)GPRS”網(wǎng)絡(luò)的手持設(shè)備用戶； 第二層是增強(qiáng)層1，使用MPEG-4編碼器得到128kbps的視頻流，滿足使用無線局域網(wǎng)的手持設(shè)備用戶和帶寬比較窄的計算機(jī)用戶；第三層是增強(qiáng)層2，使用MPEG-4編碼器得到768kbps的視頻流，提供最高的視頻質(zhì)量，滿足擁有最高帶寬和最高處理能力的用戶。
權(quán)利要求
1.一種遠(yuǎn)程教學(xué)多模式實時多媒體交互系統(tǒng)，其特征在于由多媒體客戶端，會議服務(wù)中心和多點控制單元組成，會議服務(wù)中心分別和多媒體客戶端和多點控制單元通過網(wǎng)絡(luò)服務(wù)調(diào)用相連，多媒體客戶端和多點控制單元通過實時傳輸RTP/實時控制RTCP協(xié)議相連，會議服務(wù)中心控制客戶端和多點控制單元的用戶權(quán)限，客戶端接收會議服務(wù)中心的指令控制本地的視頻、音頻和其他教學(xué)數(shù)據(jù)的發(fā)送和接收，多點控制單元接收會議服務(wù)中心的指令控制視頻、音頻和其他教學(xué)數(shù)據(jù)的轉(zhuǎn)發(fā)，客戶端在得到會議服務(wù)中心的授權(quán)后，向多點控制單元發(fā)送本地的視頻、音頻和其他教學(xué)數(shù)據(jù)，并從多點控制單元接收其他客戶端的視頻、音頻和其他教學(xué)數(shù)據(jù)；多點控制單元根據(jù)會議服務(wù)中心提供的信息啟動視頻、音頻和其他教學(xué)數(shù)據(jù)轉(zhuǎn)發(fā)模塊和視頻轉(zhuǎn)換編碼引擎。
2.如權(quán)利要求1所說的遠(yuǎn)程教學(xué)多模式實時多媒體交互系統(tǒng)，其特征在于多媒體客戶端由事務(wù)管理模塊，視音頻處理模塊和應(yīng)用程序共享模塊三個部分組成，事務(wù)管理模塊與會議服務(wù)中心通過網(wǎng)絡(luò)服務(wù)相連，進(jìn)行狀態(tài)、控制信息的交互，并根據(jù)其交互結(jié)果發(fā)送窗口控制信息給視音頻處理模塊和應(yīng)用程序共享模塊。
3.如權(quán)利要求1所說的遠(yuǎn)程教學(xué)多模式實時多媒體交互系統(tǒng)，其特征在于會議服務(wù)中心由客戶端控制模塊、多點控制單元控制模塊和信息統(tǒng)計模塊三個部分組成，通過網(wǎng)絡(luò)服務(wù)調(diào)用與所有的多媒體客戶端及多點控制單元相連。
4.如權(quán)利要求1所說的遠(yuǎn)程教學(xué)多模式實時多媒體交互系統(tǒng)，其特征在于多點控制單元采用分布式和集中式相結(jié)合的混合模型，由多點控制器MC和多點處理器MP兩部分組成，多點控制器通過網(wǎng)絡(luò)服務(wù)調(diào)用與會議服務(wù)中心相連，接收會議服務(wù)中心的指令來控制多點處理器，多點處理器通過窗口消息和多點控制器相連，把收到的RTP/RTCP網(wǎng)絡(luò)狀態(tài)信息反饋給多點控制器。
5.如權(quán)利要求4所說的遠(yuǎn)程教學(xué)多模式實時多媒體交互系統(tǒng)，其特征在于多點控制器MC由多點交互控制模塊和服務(wù)質(zhì)量參數(shù)控制模塊組成，多點交互控制模塊通過窗口消息與多點處理器相連，控制視頻、音頻和應(yīng)用程序共享的收發(fā)權(quán)限，通過網(wǎng)絡(luò)服務(wù)調(diào)用與會議中心相連，生成當(dāng)前多點控制單元與其他客戶端和多點控制單元的連接狀態(tài)信息，服務(wù)質(zhì)量參數(shù)控制模塊和多點交互控制模塊通過窗口消息相連，根據(jù)多點交互控制模塊提供的當(dāng)前多點控制單元在網(wǎng)絡(luò)拓?fù)渲械慕巧臀恢眯畔⒖刂泼襟w流的服務(wù)質(zhì)量參數(shù)，將此參數(shù)通過窗口消息傳遞給多點處理器，多點處理器由轉(zhuǎn)發(fā)器和視頻轉(zhuǎn)換編碼引擎兩個部分組成，轉(zhuǎn)發(fā)器通過窗口消息和視頻轉(zhuǎn)換編碼引擎相連，負(fù)責(zé)接收和轉(zhuǎn)發(fā)數(shù)據(jù)包，視頻轉(zhuǎn)換編碼引擎和多點交互控制模塊及服務(wù)質(zhì)量參數(shù)控制模塊通過窗口消息相連。
6.如權(quán)利要求5所說的遠(yuǎn)程教學(xué)多模式實時多媒體交互系統(tǒng)，其特征在于視頻轉(zhuǎn)換編碼引擎使用MPEG-7轉(zhuǎn)換編碼提示參數(shù)配置工具設(shè)置轉(zhuǎn)換編碼參數(shù)，把原始碼率的視頻流數(shù)據(jù)通過相應(yīng)的解碼器解碼得到未壓縮過的視頻流數(shù)據(jù)，然后調(diào)用自適應(yīng)的MPEG-4編碼器使用質(zhì)量可擴(kuò)展的分層編碼算法重新編碼，得到重編碼碼率的視頻流。
全文摘要
一種遠(yuǎn)程教學(xué)多模式實時多媒體交互系統(tǒng)，由多媒體客戶端、會議服務(wù)中心和多點控制單元組成。多媒體客戶端在得到會議服務(wù)中心的授權(quán)后，向多點控制單元發(fā)送本地的視頻、音頻和應(yīng)用程序共享數(shù)據(jù)，并從多點控制單元接收其他客戶端的視頻、音頻和應(yīng)用程序共享數(shù)據(jù)；會議服務(wù)中心控制客戶端和多點控制單元的用戶權(quán)限，協(xié)調(diào)多個客戶端和多個多點控制單元；多點控制單元根據(jù)會議服務(wù)中心提供的信息啟動視頻、音頻和應(yīng)用程序共享數(shù)據(jù)轉(zhuǎn)發(fā)模塊和視頻轉(zhuǎn)換編碼引擎。本發(fā)明能通過遠(yuǎn)程教學(xué)現(xiàn)場的多媒體錄制和網(wǎng)絡(luò)傳輸，實現(xiàn)遠(yuǎn)程教學(xué)全部現(xiàn)場的直播和師生間的多模式實時多媒體交互。
文檔編號H04L12/16GK1474540SQ0311679
公開日2004年2月11日 申請日期2003年5月8日 優(yōu)先權(quán)日2003年5月8日
發(fā)明者申瑞民, 謝波, 王加俊 申請人:上海交通大學(xué)