專利名稱：基于ip網(wǎng)的多媒體實(shí)時(shí)授課系統(tǒng)的制作方法
一、所屬領(lǐng)域本發(fā)明屬于計(jì)算機(jī)設(shè)計(jì)與應(yīng)用技術(shù)領(lǐng)域，涉及計(jì)算機(jī)軟件、信息傳遞技術(shù)、多媒體技術(shù)以及網(wǎng)絡(luò)教育/遠(yuǎn)程教育。特別涉及一種基于IP網(wǎng)的多媒體實(shí)時(shí)授課系統(tǒng)在上述專利1中，發(fā)明人提出了一套在分組交換網(wǎng)下開展多媒體視頻會(huì)議的方法，該套方法主要有以下特點(diǎn)1)支持群組交互模式下多媒體數(shù)據(jù)的發(fā)送、接收；2)多媒體數(shù)據(jù)采用RTP(Real-time Transport Protocol)協(xié)議進(jìn)行傳輸；3)采用RSVP(Resource reSer Vation Protocol)協(xié)議對(duì)交互過(guò)程中的視音頻質(zhì)量進(jìn)行控制；4)數(shù)據(jù)傳輸支持單播(unicast)、組播(multicast)、廣播(broadcast)三種模式；5)交互過(guò)程可以保存為本地媒體文件；6)采用目錄管理機(jī)制對(duì)會(huì)議成員進(jìn)行管理。
7)采用軟硬件相結(jié)合的實(shí)現(xiàn)策略。
在專利2中，發(fā)明人提出了一套在視頻會(huì)議系統(tǒng)中創(chuàng)建呼叫的過(guò)程，該過(guò)程主要描述了呼叫雙方的認(rèn)證、授權(quán)、能力協(xié)商，此外還定義了呼叫消息所攜帶數(shù)據(jù)的內(nèi)容與格式。目前，視頻會(huì)議系統(tǒng)一般都采用類似的呼叫機(jī)制。
在專利3中，發(fā)明人提出了一套在分組交換網(wǎng)下開展多媒體視頻會(huì)議的方法，并實(shí)現(xiàn)了該系統(tǒng)。此套方法與系統(tǒng)主要有以下特點(diǎn)1)支持多個(gè)分組間基于RTP協(xié)議的組播數(shù)據(jù)發(fā)送、接收；2)采用目錄管理機(jī)制對(duì)會(huì)議成員進(jìn)行管理；3)通過(guò)創(chuàng)建虛擬現(xiàn)實(shí)環(huán)境，實(shí)現(xiàn)分組間的用戶相互感知，并能通過(guò)虛擬對(duì)象進(jìn)行交互；
4)采用目錄管理機(jī)制對(duì)會(huì)議成員進(jìn)行管理；5)交互過(guò)程可以保存為本地媒體文件；6)采用軟硬件相結(jié)合的實(shí)現(xiàn)策略。
根據(jù)上述查新，現(xiàn)有系統(tǒng)在通信方面存在以下四方面的問(wèn)題1.不能支持組播數(shù)據(jù)的跨網(wǎng)段傳輸，網(wǎng)絡(luò)帶寬資源利用率較低，進(jìn)而導(dǎo)致系統(tǒng)所能支持的端結(jié)點(diǎn)數(shù)目以及分布范圍都存在很大局限性。
2.大多數(shù)同步實(shí)時(shí)授課系統(tǒng)直接采用了視頻會(huì)議系統(tǒng)中的多點(diǎn)群組交互機(jī)制，這種交互機(jī)制不適合于實(shí)時(shí)授課。采用這種交互機(jī)制，不僅增加了上層管理的復(fù)雜程度，同時(shí)也造成不必要的系統(tǒng)資源開銷，特別是網(wǎng)絡(luò)帶寬資源的開銷。
3.缺乏自適應(yīng)的QoS控制機(jī)制，主要表現(xiàn)在一、QoS控制機(jī)制無(wú)法適應(yīng)網(wǎng)絡(luò)狀態(tài)的動(dòng)態(tài)性。二、QoS控制機(jī)制對(duì)分布環(huán)境異構(gòu)性的適應(yīng)能力較差。
4.缺乏課件自動(dòng)生成機(jī)制，只能將教學(xué)現(xiàn)場(chǎng)保存為媒體文件，無(wú)法生成教案與教學(xué)現(xiàn)場(chǎng)同步的課件。
2.組播數(shù)據(jù)跨網(wǎng)段傳輸機(jī)制研究目的解決媒體數(shù)據(jù)的跨網(wǎng)段(子網(wǎng))高效傳輸問(wèn)題，以及視頻、音頻融合問(wèn)題。
研究背景在交互式多媒體同步實(shí)時(shí)授課中，當(dāng)結(jié)點(diǎn)數(shù)多于兩個(gè)時(shí)，需要引入稱為多點(diǎn)控制單元(Multipoint Control Unit，MCU)的實(shí)體(Entity)。它的功能主要包括兩點(diǎn)①支持各結(jié)點(diǎn)的視頻、音頻數(shù)據(jù)的跨網(wǎng)段傳輸并進(jìn)行有效控制；②對(duì)交互過(guò)程中的視頻、音頻數(shù)據(jù)進(jìn)行融合處理。
目前，MCU大多采用集中式，由專門的MCU硬件實(shí)現(xiàn)，成本高，擴(kuò)展性差。
本發(fā)明的解決策略在RealClass系統(tǒng)的設(shè)計(jì)中，本發(fā)明提出并實(shí)現(xiàn)了一種基于軟件的分布式MCU機(jī)制，即在每個(gè)獨(dú)立的網(wǎng)段，設(shè)置一個(gè)MCU，從而形成一個(gè)級(jí)聯(lián)的樹型MCU。采用單播和組播相結(jié)合的數(shù)據(jù)發(fā)送策略，即各MCU之間采用單播數(shù)據(jù)發(fā)送，各個(gè)網(wǎng)段內(nèi)部采用組播數(shù)據(jù)發(fā)送，這樣不僅可以大大節(jié)省網(wǎng)絡(luò)帶寬，而且還實(shí)現(xiàn)了組播數(shù)據(jù)的跨網(wǎng)段傳輸和視頻、音頻數(shù)據(jù)的融合，有效地提高了系統(tǒng)的可擴(kuò)展性。
3.視音頻融合機(jī)制研究目的研究解決授課端和聽課端視頻、音頻融合的問(wèn)題，將兩路或多路視頻、音頻數(shù)據(jù)合并成一路數(shù)據(jù)，使得融合后的視頻具有“畫中畫”的效果，對(duì)于音頻，則具有“混音”效果。
問(wèn)題背景在實(shí)時(shí)教學(xué)系統(tǒng)中，視頻、音頻融合是十分需要的。因?yàn)槁犝n端需要感受到一個(gè)“真實(shí)”的教學(xué)環(huán)境，因此需要把授課端及正在和授課端進(jìn)行交互的“焦點(diǎn)”聽課端的視頻、音頻數(shù)據(jù)進(jìn)行融合，這樣不僅可以大大減少數(shù)據(jù)量和網(wǎng)絡(luò)帶寬的占用，而且還可以為異地聽課端提供一個(gè)更加形象、逼真的教學(xué)視聽環(huán)境。
目前，有關(guān)視頻、音頻融合的基本原理大致雷同，本系統(tǒng)的特點(diǎn)是采用軟件實(shí)現(xiàn)，支持兩路或四路視頻融合，和MCU有機(jī)集成，無(wú)需附加軟硬件。
4.動(dòng)態(tài)自適應(yīng)QoS控制機(jī)制研究目的在沒有傳輸質(zhì)量保障的IP網(wǎng)上，研究解決如何保障實(shí)時(shí)教學(xué)過(guò)程的多媒體數(shù)據(jù)傳輸質(zhì)量的問(wèn)題，即如何解決傳輸過(guò)程中延遲、抖動(dòng)、丟包等問(wèn)題。
問(wèn)題背景現(xiàn)有TCP/IP協(xié)議采用的是盡力而為(best-effort)的服務(wù)機(jī)制，該機(jī)制雖能較好地滿足諸如WWW、Email、FTP等Internet的非實(shí)時(shí)應(yīng)用，但它不適合于諸如網(wǎng)絡(luò)實(shí)時(shí)教學(xué)等的實(shí)時(shí)多媒體應(yīng)用。因此，要實(shí)現(xiàn)基于IP網(wǎng)的交互式同步實(shí)時(shí)授課，必須在現(xiàn)有TCP/IP傳輸機(jī)制的基礎(chǔ)上增加服務(wù)質(zhì)量(QoS，Quality of Service)控制機(jī)制。
目前，國(guó)際上的一些標(biāo)準(zhǔn)化組織，如IETF等已提出了基于IP網(wǎng)實(shí)現(xiàn)QoS控制機(jī)制的相關(guān)協(xié)議和模型，如RTP/RTCP協(xié)議、IntServ/RSVP模型、DiffServ模型及MPLS模型等。這些協(xié)議和模型為QoS控制機(jī)制的深層研究提供了較好的基礎(chǔ)，但在實(shí)際應(yīng)用中都存在一定的局限性。主要表現(xiàn)為(1)無(wú)法適應(yīng)網(wǎng)絡(luò)狀態(tài)的動(dòng)態(tài)性，現(xiàn)有QoS控制機(jī)制無(wú)法根據(jù)可用帶寬、丟包率等網(wǎng)絡(luò)狀態(tài)參數(shù)的動(dòng)態(tài)變化而動(dòng)態(tài)調(diào)整控制策略，即不具備自適應(yīng)能力。
(2)對(duì)分布環(huán)境異構(gòu)性的適應(yīng)能力較差。分布環(huán)境的異構(gòu)性主要表現(xiàn)在分布的各個(gè)結(jié)點(diǎn)其軟硬件體系結(jié)構(gòu)和數(shù)據(jù)發(fā)送方式可能存在差異。前者表現(xiàn)為結(jié)點(diǎn)可能具有不同的接入速率、主機(jī)性能，甚至不同的操作系統(tǒng)；后者則表現(xiàn)為結(jié)點(diǎn)可能采用組播或單播發(fā)送方式?，F(xiàn)有QoS控制機(jī)制基本上不具備適應(yīng)上述分布異構(gòu)環(huán)境，可擴(kuò)展性較差。
(3)目前QoS控制機(jī)制僅局限于從網(wǎng)絡(luò)角度提出解決策略。這種單一策略的控制機(jī)制在網(wǎng)絡(luò)負(fù)載較重時(shí)，提供的服務(wù)質(zhì)量明顯下降。
本發(fā)明提出了一種基于分層結(jié)構(gòu)的動(dòng)態(tài)自適應(yīng)QoS分布控制模型。其主要設(shè)計(jì)思想為一方面，借鑒DiffServ模型中基于端結(jié)點(diǎn)的分布控制思想，并在端結(jié)點(diǎn)引入動(dòng)態(tài)自適應(yīng)的流控機(jī)制，使得本模型不僅具有可擴(kuò)展性，而且還能根據(jù)網(wǎng)絡(luò)狀態(tài)自動(dòng)調(diào)整控制策略。另一方面，采用多角度解決策略，將與QoS控制相關(guān)的網(wǎng)絡(luò)技術(shù)、視頻編碼技術(shù)以及FEC(ForwardError Correction)容錯(cuò)技術(shù)等進(jìn)行有機(jī)集成，從而使得本模型在帶寬受限的情況下也能為媒體流傳輸提供合適的服務(wù)質(zhì)量。
5.多媒體教學(xué)現(xiàn)場(chǎng)同步錄制技術(shù)研究目的同步實(shí)時(shí)錄制教學(xué)現(xiàn)場(chǎng)及教案內(nèi)容，生成流媒體課件，供學(xué)生課后點(diǎn)播學(xué)習(xí)。
問(wèn)題背景能夠在實(shí)時(shí)教學(xué)過(guò)程中，一邊進(jìn)行實(shí)時(shí)授課，一邊自動(dòng)進(jìn)行同步課件錄制與生成，是一件十分有意義的工作。不僅能夠快速簡(jiǎn)捷地生成課件資源，減少課件制作的重復(fù)工作，而且為學(xué)生課后自主點(diǎn)播學(xué)習(xí)提供了機(jī)會(huì)。
目前，這方面工作存在的問(wèn)題是數(shù)據(jù)量太大，生成的課件無(wú)法進(jìn)行后期修改和維護(hù)，模式單一。
本發(fā)明的解決方法根據(jù)教學(xué)實(shí)際，本發(fā)明提出了兩種解決思路一種是實(shí)時(shí)采集教案內(nèi)容、教學(xué)現(xiàn)場(chǎng)的視頻、音頻數(shù)據(jù)，并壓縮生成流媒體(如rm或MPEG-IV等格式)文件，供課后點(diǎn)播；二是將教學(xué)內(nèi)容轉(zhuǎn)換成超文本(HTML文檔)，并和實(shí)時(shí)錄制視頻、音頻同步集成，形成“HTML+流媒體”格式的課件。這兩種解決方案各有特點(diǎn)，可以視實(shí)際情況選擇使用，主要區(qū)別在于是否對(duì)授課端計(jì)算機(jī)屏幕上的教案部分實(shí)現(xiàn)流式視頻編碼。
本發(fā)明通過(guò)教學(xué)現(xiàn)場(chǎng)的多媒體錄制和網(wǎng)絡(luò)傳輸，實(shí)現(xiàn)教學(xué)現(xiàn)場(chǎng)的直播，并通過(guò)師生多媒體多模式交互、教師自然板書授課、教學(xué)內(nèi)容檢索、應(yīng)用程序共享、課件同步瀏覽、電子白板、課件實(shí)時(shí)錄制、課堂管理等功能，解決傳統(tǒng)課堂教學(xué)在時(shí)間和空間上的制約問(wèn)題，大大擴(kuò)展了教學(xué)規(guī)模，能夠?qū)崿F(xiàn)名師授課及教育資源的共享。
圖2、本發(fā)明的實(shí)時(shí)授課系統(tǒng)RealClass的授課端工作機(jī)制示意圖；圖3、本發(fā)明的實(shí)時(shí)授課系統(tǒng)RealClass的聽課端工作機(jī)制示意圖；圖4、本發(fā)明的實(shí)時(shí)授課系統(tǒng)RealClass的課堂服務(wù)中心工作機(jī)制示意圖；圖5、本發(fā)明的實(shí)時(shí)授課系統(tǒng)RealClass的MCU實(shí)現(xiàn)框架示意圖；圖6、RealClass系統(tǒng)中端口使用規(guī)定；圖7、MCU實(shí)現(xiàn)的分布式MCU的工作機(jī)制示意圖；圖8、視頻數(shù)據(jù)融合的工作機(jī)制示意圖；圖9、融合后的視頻效果示意圖；

圖10、本發(fā)明的音頻數(shù)據(jù)融合的工作機(jī)制示意圖；圖11、基于分層結(jié)構(gòu)的動(dòng)態(tài)自適應(yīng)QoS控制模型示意圖；圖12、本發(fā)明的RealScreen系統(tǒng)的工作機(jī)制示意圖；圖13、本發(fā)明的HTML-Recorder工具的工作機(jī)制示意圖；圖14、HTML-Recorder工具生成的課件形式示意圖；圖15、授課端用戶界面；圖16、聽課端用戶界面；圖17、課堂服務(wù)中心的用戶界面。
其中授課端，是指教師通過(guò)網(wǎng)絡(luò)為聽課端提供授課現(xiàn)場(chǎng)的實(shí)時(shí)視頻、音頻及電子教案，并通過(guò)電子白板、應(yīng)用程序共享以及文本Chat等工具與聽課端進(jìn)行交互，此外授課教師還可對(duì)整個(gè)教學(xué)過(guò)程進(jìn)行控制的授課平臺(tái)。
授課端由一實(shí)現(xiàn)與課堂服務(wù)中心進(jìn)行狀態(tài)、控制信息的交互，并能根據(jù)交互結(jié)果對(duì)底層的視頻、音頻數(shù)據(jù)采集、傳輸、發(fā)送、回放進(jìn)行的事務(wù)管理模塊，底層的視頻、音頻數(shù)據(jù)處理是由Avmeeting控件實(shí)現(xiàn)；Avmeeting控件從本地的媒體設(shè)備中讀取視頻、音頻數(shù)據(jù)，并通過(guò)QoS數(shù)據(jù)發(fā)送控件發(fā)送到本網(wǎng)段，即授課端網(wǎng)段的MCU；同時(shí)調(diào)用QoS數(shù)據(jù)接收模塊從本網(wǎng)段MCU讀取焦點(diǎn)聽課端的視頻、音頻數(shù)據(jù)，并將此數(shù)據(jù)與授課端的媒體數(shù)據(jù)在本地進(jìn)行回放。
聽課端是指學(xué)生通過(guò)網(wǎng)絡(luò)接收授課端的視頻、音頻及電子教案信息，當(dāng)聽課端獲得交互權(quán)限后，還可與授課端進(jìn)行視頻、音頻或其它方式的交互，聽課端與聽課端之間在授課教師許可的情況下也可通過(guò)分組方式進(jìn)行交互的聽課平臺(tái)。
聽課端由一實(shí)現(xiàn)與課堂服務(wù)中心進(jìn)行狀態(tài)、控制信息的交互，并能根據(jù)交互結(jié)果對(duì)底層的視頻、音頻數(shù)據(jù)采集、傳輸、發(fā)送、回放進(jìn)行的事務(wù)管理模塊，底層的視頻、音頻數(shù)據(jù)處理同樣是由Avmeeting控件實(shí)現(xiàn)；Avmeeting控件從本地的媒體設(shè)備中讀取視頻、音頻數(shù)據(jù)，并通過(guò)QoS數(shù)據(jù)發(fā)送控件發(fā)送到授課端網(wǎng)段的MCU；同時(shí)調(diào)用QoS數(shù)據(jù)接收模塊從本網(wǎng)段MCU讀取授課端的視頻、音頻數(shù)據(jù)，對(duì)于非焦點(diǎn)聽課端，讀取的是授課端和焦點(diǎn)聽課端融合后的數(shù)據(jù)，并將此數(shù)據(jù)與本地的媒體數(shù)據(jù)在本地進(jìn)行回放。
課堂服務(wù)中心是指管理員用于對(duì)授課系統(tǒng)進(jìn)行監(jiān)控的控制臺(tái)，并充當(dāng)視頻會(huì)議系統(tǒng)中的GateKeeper；其通過(guò)與授課端、聽課端、MCU的狀態(tài)和控制消息交互，實(shí)時(shí)獲取RealClass系統(tǒng)的狀態(tài)，并對(duì)RealClass系統(tǒng)各個(gè)端結(jié)點(diǎn)的工作進(jìn)行控制。
多點(diǎn)控制單元(Multipoint Control Unit，MCU)是完成系統(tǒng)中視頻、音頻數(shù)據(jù)的路由、轉(zhuǎn)發(fā)以及處理，系統(tǒng)采用了分布式MCU機(jī)制，即在系統(tǒng)所分布的每個(gè)網(wǎng)段中都存在一個(gè)MCU結(jié)點(diǎn)。5.2子系統(tǒng)設(shè)計(jì)以下對(duì)RealClass系統(tǒng)中的各個(gè)子系統(tǒng)(包括授課端子系統(tǒng)、聽課端子系統(tǒng)、課堂服務(wù)中心子系統(tǒng)及MCU子系統(tǒng))的工作機(jī)制進(jìn)行說(shuō)明，對(duì)于各個(gè)子系統(tǒng)的詳細(xì)設(shè)計(jì)說(shuō)明參看相應(yīng)的詳細(xì)設(shè)計(jì)方案。5.2.1授課端工作機(jī)制授課端的工作機(jī)制圖2所示，其中授課端事務(wù)管理模塊主要實(shí)現(xiàn)與課堂服務(wù)中心進(jìn)行狀態(tài)、控制信息的交互，并能根據(jù)交互結(jié)果對(duì)底層的視頻、音頻數(shù)據(jù)采集、傳輸、發(fā)送、回放進(jìn)行。底層的視頻、音頻數(shù)據(jù)處理是由Avmeeting控件實(shí)現(xiàn)的。Avmeeting控件從本地的媒體設(shè)備中讀取視頻、音頻數(shù)據(jù)，通過(guò)QoS數(shù)據(jù)發(fā)送控件發(fā)送到本網(wǎng)段(授課端網(wǎng)段)的MCU；同時(shí)調(diào)用QoS數(shù)據(jù)接收模塊從本網(wǎng)段MCU讀取焦點(diǎn)聽課端的視頻、音頻數(shù)據(jù)，并將此數(shù)據(jù)與授課端的媒體數(shù)據(jù)在本地進(jìn)行回放。5.2.2聽課端工作機(jī)制聽課端的工作機(jī)制圖3所示，其中聽課端事務(wù)管理模塊主要實(shí)現(xiàn)與課堂服務(wù)中心進(jìn)行狀態(tài)、控制信息的交互，并能根據(jù)交互結(jié)果對(duì)底層的視頻、音頻數(shù)據(jù)采集、傳輸、發(fā)送、回放進(jìn)行。底層的視頻、音頻數(shù)據(jù)處理同樣是由Avmeeting控件實(shí)現(xiàn)的。Avmeeting控件從本地的媒體設(shè)備中讀取視頻、音頻數(shù)據(jù)，并通過(guò)QoS數(shù)據(jù)發(fā)送控件發(fā)送到授課端網(wǎng)段的MCU；同時(shí)調(diào)用QoS數(shù)據(jù)接收模塊從本網(wǎng)段MCU讀取授課端的視頻、音頻數(shù)據(jù)(對(duì)于非焦點(diǎn)聽課端，讀取的是授課端和焦點(diǎn)聽課端融合后的數(shù)據(jù))，并將此數(shù)據(jù)與本地的媒體數(shù)據(jù)在本地進(jìn)行回放。5.2.3課堂服務(wù)中心工作機(jī)制課堂服務(wù)中心工作機(jī)制如圖4所示。其通過(guò)與授課端、聽課端、MCU的狀態(tài)和控制消息交互，實(shí)時(shí)獲取RealClass系統(tǒng)的狀態(tài)，并對(duì)RealClass系統(tǒng)各個(gè)端結(jié)點(diǎn)的工作進(jìn)行控制。5.2.4 MCU工作機(jī)制MCU可分為多點(diǎn)控制器MC和多點(diǎn)處理器MP兩部分，其實(shí)現(xiàn)框架如圖5所示。
MC包含多點(diǎn)交互控制和QoS參數(shù)確定兩個(gè)模塊。多點(diǎn)交互控制模塊的主要功能是通過(guò)對(duì)MP的操作實(shí)現(xiàn)對(duì)遠(yuǎn)程教學(xué)過(guò)程中的授課端和聽課端的視頻、音頻交互控制，此外，它還根據(jù)與課堂服務(wù)中心交互的命令與狀態(tài)信息生成當(dāng)前MCU與其它端結(jié)點(diǎn)(授課端、聽課端、其它MCU)連接的狀態(tài)信息。QoS參數(shù)確定模塊根據(jù)此狀態(tài)生成當(dāng)前MCU的各個(gè)輸出媒體流的QoS參數(shù)，此參數(shù)將傳遞給MP中的QoS控制機(jī)制，作為其為每個(gè)輸出媒體流分配網(wǎng)絡(luò)帶寬的依據(jù)。
MP可分為QoS控制機(jī)制和視頻、音頻數(shù)據(jù)處理兩個(gè)模塊。其中視頻、音頻數(shù)據(jù)處理模塊是MP的核心模塊，由MC中的多點(diǎn)交互控制模塊驅(qū)動(dòng)。視頻、音頻數(shù)據(jù)處理模塊獲取QoS控制機(jī)制整形后的數(shù)據(jù)，對(duì)其進(jìn)行數(shù)據(jù)融合和轉(zhuǎn)發(fā)等處理，并將處理后的數(shù)據(jù)傳送到QoS控制機(jī)制進(jìn)行發(fā)送。MP的QoS控制機(jī)制根據(jù)MC傳遞來(lái)的QoS參數(shù)以及當(dāng)前的網(wǎng)絡(luò)狀態(tài)進(jìn)行QoS控制，主要包括對(duì)視頻、音頻數(shù)據(jù)處理模塊處理后的多媒體數(shù)據(jù)進(jìn)行帶寬分配和發(fā)送，以及對(duì)由其它端結(jié)點(diǎn)發(fā)送來(lái)的多媒體數(shù)據(jù)進(jìn)行整形。5.2.5各個(gè)模塊間的接口由MCU實(shí)現(xiàn)框架圖，MCU的內(nèi)部接口包括以下幾個(gè)部分■MC中的QoS參數(shù)確定模塊與多點(diǎn)交互控制模塊之間的接口MC中的QoS參數(shù)確定模塊與多點(diǎn)交互控制模塊之間的接口是多點(diǎn)交互控制模塊根據(jù)由課堂服務(wù)中心發(fā)送來(lái)的全局MCU狀態(tài)、本網(wǎng)段端結(jié)點(diǎn)狀態(tài)生成的全局MCU狀態(tài)列表和本網(wǎng)段端結(jié)點(diǎn)狀態(tài)列表。
■MC中的QoS參數(shù)確定模塊與MP中的QoS控制機(jī)制之間的接口MC中的QoS參數(shù)確定模塊與MP中的QoS控制機(jī)制之間的接口是QoS參數(shù)確定模塊根據(jù)全局MCU狀態(tài)列表和本網(wǎng)段端結(jié)點(diǎn)狀態(tài)列表生成的各個(gè)輸出媒體流的QoS參數(shù)，即媒體流的帶寬許可范圍。
■MC中的多點(diǎn)交互控制模塊與MP中的視音頻數(shù)據(jù)處理模塊之間的接口MC中的多點(diǎn)交互控制模塊與MP中的視音頻數(shù)據(jù)處理模塊之間的接口是由MC生成的或轉(zhuǎn)發(fā)課堂服務(wù)中心的視音頻數(shù)據(jù)融合命令、視音頻數(shù)據(jù)轉(zhuǎn)發(fā)命令。
■MP中的QoS控制機(jī)制與視音頻數(shù)據(jù)處理模塊之間的接口MP中的QoS控制機(jī)制與視音頻數(shù)據(jù)處理模塊之間的接口包括經(jīng)QoS控制機(jī)制整形后傳輸?shù)揭曇纛l數(shù)據(jù)處理模塊的數(shù)據(jù)，以及經(jīng)視音頻數(shù)據(jù)處理模塊的處理后傳輸?shù)絈oS控制機(jī)制的數(shù)據(jù)。
由MCU與RealClass系統(tǒng)中的其他端結(jié)點(diǎn)的交互關(guān)系，MCU的外部接口包括以下幾個(gè)部分■MC中的多點(diǎn)交互控制模塊與課堂服務(wù)中心之間的接口MC中的多點(diǎn)交互控制模塊與課堂服務(wù)中心之間的接口主要是兩者之間交互的命令和狀態(tài)，包括(1)由MCU向課堂服務(wù)中心發(fā)送的命令和狀態(tài)，主要有MCU登錄命令、MCU退出命令、端結(jié)點(diǎn)視音頻控制命令。
(2)由課堂服務(wù)中心向MCU發(fā)送的命令和狀態(tài)，主要有全局MCU狀態(tài)、本網(wǎng)段端結(jié)點(diǎn)狀態(tài)、視音頻數(shù)據(jù)融合命令、視音頻數(shù)據(jù)轉(zhuǎn)發(fā)命令。
■MP中的QoS控制機(jī)制與授課端和聽課端的接口MP中的QoS控制機(jī)制與授課端、聽課端、其它MCU的接口主要指他們之間視音頻數(shù)據(jù)收發(fā)端口的規(guī)定，對(duì)端口合理的規(guī)定，可以大大簡(jiǎn)化交互的控制邏輯。
在RealClass系統(tǒng)中，規(guī)定授課端向2001端口發(fā)送視頻數(shù)據(jù)，向2000端口發(fā)送音頻數(shù)據(jù)，從4001端口接收視頻數(shù)據(jù)，從4000端口接收音頻數(shù)據(jù)；聽課端向3001端口發(fā)送視頻數(shù)據(jù)，向3000端口發(fā)送音頻數(shù)據(jù)，從4001端口接收視頻數(shù)據(jù)，從4000端口接收音頻數(shù)據(jù)；MCU從2000～2001端口獲取讀取授課端視音頻數(shù)據(jù)，從3000～3001端口獲取讀取聽課端視音頻數(shù)據(jù)，處理后向4000～4001端口發(fā)送視音頻數(shù)據(jù)。如圖6示?！鯩P中的QoS控制機(jī)制與其他MCU中的QoS控制機(jī)制之間的接口MP中的QoS控制機(jī)制與其他MCU中的QoS控制機(jī)制之間的接口即MP之間的接口。在RealClass系統(tǒng)中，規(guī)定MP之間進(jìn)行視音頻數(shù)據(jù)交互時(shí)，視頻數(shù)據(jù)使用5001端口，音頻頻數(shù)據(jù)使用5000端口。如圖6示。5.3主要關(guān)鍵技術(shù)5.3.1組播數(shù)據(jù)跨網(wǎng)段傳輸機(jī)制由于IP網(wǎng)一般不支持組播數(shù)據(jù)的跨網(wǎng)段發(fā)送，在本系統(tǒng)中，本發(fā)明基于分布式MCU實(shí)現(xiàn)了組播數(shù)據(jù)的跨網(wǎng)段，其原理如圖7所示。主要思想是采用級(jí)聯(lián)的MCU對(duì)組播數(shù)據(jù)進(jìn)行轉(zhuǎn)發(fā)。具體工作機(jī)制如下I.授課端將本地視頻、音頻數(shù)據(jù)單播發(fā)送到授課端MCU，并接收經(jīng)授課端MCU組播發(fā)送的數(shù)據(jù)，此數(shù)據(jù)是授課端視頻、音頻與焦點(diǎn)聽課端視頻、音頻融合后的數(shù)據(jù)。
II.授課端MCU將接收到的授課端視頻、音頻數(shù)據(jù)與焦點(diǎn)聽課端視頻、音頻數(shù)據(jù)融合后，單播發(fā)送到各個(gè)非授課端MCU上，并組播到本地的授課端與各個(gè)聽課端。
III.非授課端MCU將來(lái)自授課端MCU的視頻、音頻數(shù)據(jù)組播到本地各個(gè)聽課端。
IV.焦點(diǎn)聽課端將本地視頻、音頻數(shù)據(jù)單播發(fā)送到授課端MCU。
上述機(jī)制使得同步實(shí)時(shí)授課系統(tǒng)的負(fù)載不再受限于聽課端的結(jié)點(diǎn)數(shù)目，而僅受限于聽課端所分布的網(wǎng)段數(shù)目，從而有效地提高了系統(tǒng)的可擴(kuò)展性。
在交互過(guò)程中，本發(fā)明提出了一種適合實(shí)時(shí)教學(xué)的多媒體群組交互模式——鏡頭焦點(diǎn)交互模式，其含義為在同一時(shí)刻，允許一個(gè)稱為“焦點(diǎn)”的聽課端結(jié)點(diǎn)與教師進(jìn)行交互，并將兩者的多媒體數(shù)據(jù)經(jīng)MCU融合后發(fā)送到其余各個(gè)結(jié)點(diǎn)，從而實(shí)現(xiàn)實(shí)時(shí)同步教學(xué)過(guò)程的傳輸。在這一過(guò)程中，學(xué)生可以隨時(shí)向教師提出交互請(qǐng)求，教師可根據(jù)需要隨時(shí)切換焦點(diǎn)。采用這種鏡頭焦點(diǎn)交互模式，不僅簡(jiǎn)化了實(shí)時(shí)授課系統(tǒng)的上層管理，而且還避免了不必要的帶寬資源開銷。5.3.2視頻、音頻數(shù)據(jù)融合技術(shù)本發(fā)明的解決方法■視頻融合當(dāng)MCU中的MP接收到兩路視頻數(shù)據(jù)后，對(duì)其進(jìn)行解碼，解碼后的數(shù)據(jù)為CIF格式或BMP格式，若解碼后為BMP格式，則首先將其轉(zhuǎn)化為CIF格式。對(duì)于兩路CIF格式的數(shù)據(jù)，首先將其中一路視頻幀轉(zhuǎn)化成一路QCIF格式，然后再和另一路視頻幀進(jìn)行融合，根據(jù)視頻的原編碼算法，再對(duì)融合后的視頻幀進(jìn)行編碼。視頻融合的工作機(jī)制如圖8所示。融合后的視頻效果如圖9所示。
■音頻融合當(dāng)MP接收到兩路音頻數(shù)據(jù)后，對(duì)其進(jìn)行解碼，解碼后的數(shù)據(jù)為線性的音頻數(shù)據(jù)，然后將兩路線性的音頻數(shù)據(jù)進(jìn)行代數(shù)迭加，進(jìn)而根據(jù)音頻的原編碼算法，再對(duì)迭加后的音頻數(shù)據(jù)進(jìn)行編碼。音頻融合的工作機(jī)制如圖10所示。5.3.3動(dòng)態(tài)自適應(yīng)QoS控制機(jī)制本QoS控制模型的實(shí)現(xiàn)要點(diǎn)為■基于端結(jié)點(diǎn)的分布控制機(jī)制本模型引入了具有自適應(yīng)能力的流控機(jī)制，它能根據(jù)當(dāng)前網(wǎng)絡(luò)狀態(tài)為視頻數(shù)據(jù)流動(dòng)態(tài)分配網(wǎng)絡(luò)帶寬，同時(shí)對(duì)每個(gè)視頻數(shù)據(jù)包能否進(jìn)入網(wǎng)絡(luò)進(jìn)行準(zhǔn)入判斷。網(wǎng)絡(luò)狀態(tài)主要包括可用帶寬、傳輸延遲以及丟包率。該機(jī)制所依據(jù)的網(wǎng)絡(luò)狀態(tài)是端結(jié)點(diǎn)間的整體狀態(tài)，這充分掩蓋了內(nèi)部結(jié)點(diǎn)的異構(gòu)性，使得該模型能較好地適用于異構(gòu)的分布環(huán)境。
■基于分層結(jié)構(gòu)的多角度解決策略和以往不同的是本發(fā)明對(duì)QoS問(wèn)題的解決采用的是多角度、多層次的解決策略。把QoS控制模型分為QoS控制層、RTP層以及FEC層三個(gè)層次，如圖11所示，并將網(wǎng)絡(luò)傳輸、視頻編碼以及FEC容錯(cuò)這三個(gè)QoS的具體控制措施有機(jī)分布到這三個(gè)層次之中。
QoS控制層主要實(shí)現(xiàn)多媒體數(shù)據(jù)傳輸?shù)臏?zhǔn)入控制、流量控制和區(qū)分服務(wù)。主要措施為對(duì)音頻數(shù)據(jù)流采用固定帶寬分配策略；對(duì)于視頻數(shù)據(jù)流，則采用動(dòng)態(tài)自適應(yīng)的帶寬分配策略，在此基礎(chǔ)上，根據(jù)每個(gè)視頻數(shù)據(jù)包的編碼特征確定其是否可以進(jìn)入網(wǎng)絡(luò)，即是否發(fā)送到RTP層。
RTP層主要實(shí)現(xiàn)多媒體數(shù)據(jù)包的實(shí)時(shí)、有序傳輸，并通過(guò)RTCP包的交互動(dòng)態(tài)獲取當(dāng)前數(shù)據(jù)傳輸?shù)臅r(shí)延、抖動(dòng)、丟包率等網(wǎng)絡(luò)狀態(tài)參數(shù)，這些參數(shù)不僅是QoS控制層進(jìn)行帶寬分配的依據(jù)，也是FEC層實(shí)施動(dòng)態(tài)FEC機(jī)制的主要依據(jù)。
FEC層主要功能是為上層提供一條透明的可靠傳輸通路，避免因網(wǎng)絡(luò)傳輸丟包導(dǎo)致的重傳。本層還引入了反饋機(jī)制，即根據(jù)當(dāng)前的丟包率，動(dòng)態(tài)控制FEC數(shù)據(jù)包的發(fā)送。
上述三個(gè)層次之間有明確的接口，每一層通過(guò)其接口向上層提供透明的服務(wù)。在發(fā)送端，媒體數(shù)據(jù)由應(yīng)用程序經(jīng)QoS控制層、RTP層以及FEC層逐層分解并添加包頭信息后發(fā)送到網(wǎng)絡(luò)系統(tǒng)；在接收端，媒體數(shù)據(jù)由網(wǎng)絡(luò)系統(tǒng)經(jīng)FEC層、RTP層以及QoS控制層逐層還原后返回到應(yīng)用程序。
■QoS控制層QoS控制層的主要功能是對(duì)輸出媒體流進(jìn)行流量限制。根據(jù)多媒體應(yīng)用對(duì)視音頻數(shù)據(jù)QoS需求特點(diǎn)，本模型中，采用音頻數(shù)據(jù)優(yōu)先的策略，基于帶寬預(yù)留思想為音頻數(shù)據(jù)流分配固定帶寬；對(duì)于視頻數(shù)據(jù)，則采用動(dòng)態(tài)自適應(yīng)的帶寬分配機(jī)制，并在此基礎(chǔ)上，引入基于視頻編碼特征的信包調(diào)度模塊，使得當(dāng)網(wǎng)絡(luò)負(fù)載較重時(shí)，只發(fā)送對(duì)QoS影響較大的媒體數(shù)據(jù)。以下對(duì)視頻數(shù)據(jù)的帶寬分配機(jī)制與信包調(diào)度機(jī)制進(jìn)行說(shuō)明，并給出調(diào)度算法。
視頻數(shù)據(jù)的帶寬分配采用了“線性增長(zhǎng)成倍衰減”的策略，此策略為若當(dāng)前的數(shù)據(jù)包丟失率小于某個(gè)閾值，則線性增加分配帶寬值；若當(dāng)前的數(shù)據(jù)包丟失率大于某個(gè)閾值，則將當(dāng)前帶寬值乘上衰減比例因子，作為新的分配帶寬值。基于上述策略的帶寬分配機(jī)制既能充分利用帶寬資源，又能有效地降低丟包率。
視頻數(shù)據(jù)的信包調(diào)度由令牌管理模塊和數(shù)據(jù)包發(fā)送判定模塊協(xié)同完成。令牌管理模塊的工作機(jī)制是基于“漏桶算法”[2]，其主要作用是對(duì)媒體數(shù)據(jù)發(fā)送速率進(jìn)行限制，使得發(fā)送速率符合帶寬分配模塊所確定的速率。該子模塊以帶寬分配模塊所確定的速率生成令牌，如令牌池中令牌已滿，則令牌停止生成；當(dāng)數(shù)據(jù)包發(fā)送判定子模塊確定要發(fā)送一個(gè)數(shù)據(jù)包時(shí)，首先通知該子模塊減去數(shù)據(jù)包大小的令牌數(shù)。數(shù)據(jù)包發(fā)送判定子模塊根據(jù)當(dāng)前令牌池中的令牌數(shù)以及當(dāng)前視頻數(shù)據(jù)包的編碼特征判定是否將數(shù)據(jù)包發(fā)送到網(wǎng)絡(luò)。根據(jù)H.261、H.263、MPEGI、MPEG II等視頻編碼的特性，視頻編碼幀可以分為I幀(幀內(nèi)編碼)、P幀(幀間編碼)以及B幀(雙向預(yù)測(cè))[4，5]?？紤]到I幀、P幀、B幀解碼過(guò)程中的相互依賴關(guān)系，傳輸視頻數(shù)據(jù)必須遵循以下原則(1)在傳輸過(guò)程中，I幀優(yōu)先級(jí)最高，P幀優(yōu)先級(jí)次之，B幀優(yōu)先級(jí)最低；(2)傳輸P幀的前提是必須傳輸與之關(guān)聯(lián)的I幀或P幀；(3)傳輸B幀的前提是必須傳輸與之前后相鄰的I幀或P幀。
基于上述三個(gè)規(guī)則，提出如下調(diào)度算法對(duì)視頻數(shù)據(jù)包的發(fā)送進(jìn)行判定，此算法的主要思想是在帶寬受限的情況下，盡可能多地發(fā)送優(yōu)先級(jí)高的數(shù)據(jù)包。調(diào)度算法描述如下case 數(shù)據(jù)包幀類型 ofI幀 if B幀隊(duì)列非空 and當(dāng)前令牌數(shù)＞(當(dāng)前數(shù)據(jù)包大小+B幀隊(duì)列大小)then發(fā)送B幀數(shù)據(jù)包和當(dāng)前數(shù)據(jù)包并將令牌數(shù)減去此次發(fā)送數(shù)據(jù)包大小之和elseif 當(dāng)前令牌數(shù)＞ 當(dāng)前數(shù)據(jù)包大小 then發(fā)送當(dāng)前數(shù)據(jù)包并將令牌數(shù)減去當(dāng)前數(shù)據(jù)包大?。磺蹇誃幀隊(duì)列；P幀 if B幀隊(duì)列非空 and當(dāng)前令牌數(shù)＞ (當(dāng)前數(shù)據(jù)包大小+B幀隊(duì)列大小+平均關(guān)鍵幀大小) then發(fā)送B幀數(shù)據(jù)包和當(dāng)前數(shù)據(jù)包并將令牌數(shù)減去此次發(fā)送數(shù)據(jù)包大小之和；elseif 此幀關(guān)聯(lián)的I幀已發(fā)送 and當(dāng)前令牌數(shù)＞ (當(dāng)前數(shù)據(jù)包大小+平均關(guān)鍵幀大小) then發(fā)送當(dāng)前數(shù)據(jù)包并將令牌數(shù)減去當(dāng)前數(shù)據(jù)包大??；清空B幀隊(duì)列；B幀 if 此幀的前一個(gè)I幀或P幀已發(fā)送 then將此幀放入隊(duì)列；end.
其中，平均關(guān)鍵幀大小可通過(guò)對(duì)多個(gè)關(guān)鍵幀的大小統(tǒng)計(jì)獲得，B幀隊(duì)列大小指當(dāng)前隊(duì)列中所有B幀大小之和。
若在信包調(diào)度過(guò)程中不考慮數(shù)據(jù)包的編碼特性，則在接收端接收到數(shù)據(jù)后，很可能因?yàn)槠湎嚓P(guān)的I幀數(shù)據(jù)或P幀數(shù)據(jù)沒有發(fā)送而無(wú)法解碼，成為無(wú)用數(shù)據(jù)，這使得信道的實(shí)際利用率大大降低。本算法保證了在數(shù)據(jù)包不丟失的情況下，發(fā)送到對(duì)方的編碼數(shù)據(jù)都可被正確解碼，且解碼后的數(shù)據(jù)具有最優(yōu)的表現(xiàn)質(zhì)量。
■3.2FEC層FEC層的主要功能是基于FEC容錯(cuò)技術(shù)為上層提供一條的“較可靠”的傳輸通道，F(xiàn)EC層雖無(wú)法提供完全可靠的數(shù)據(jù)傳輸，但能有效地降低丟包率。其工作機(jī)理是在發(fā)送端把k個(gè)原始數(shù)據(jù)包編碼生成n(n＞k)個(gè)數(shù)據(jù)包，使得n中的任何k個(gè)數(shù)據(jù)包都能夠恢復(fù)出原始數(shù)據(jù)包，這樣在接收端只要接收到任意m(m＞k-1)個(gè)數(shù)據(jù)包，就可以恢復(fù)原始的k個(gè)數(shù)據(jù)包，即允許傳輸過(guò)程最多丟失n-k個(gè)數(shù)據(jù)包[3，6]。相對(duì)于目前網(wǎng)絡(luò)傳輸中常用的ARQ(AutomaticRepeat Request)控制機(jī)制，F(xiàn)EC機(jī)制主要有以下優(yōu)點(diǎn)(1)FEC機(jī)制是由數(shù)據(jù)發(fā)送端實(shí)現(xiàn)的，不需要與數(shù)據(jù)接收端進(jìn)行交互，實(shí)現(xiàn)機(jī)制較ARQ簡(jiǎn)單；(2)適用于組播或廣播模式的數(shù)據(jù)發(fā)送，在這種一對(duì)多的發(fā)送模式下，性能不會(huì)隨著接收方的數(shù)目增加而下降，即具有較好的可擴(kuò)展性[3]。
FEC機(jī)制的主要缺點(diǎn)就是在網(wǎng)絡(luò)丟包率比較低的情況下，仍然生成固定數(shù)目的冗余數(shù)據(jù)包，這些數(shù)據(jù)包不僅占用了一定網(wǎng)絡(luò)帶寬，而且也增大了傳輸延遲[3]。
本模型的FEC層將FEC機(jī)制和反饋機(jī)制結(jié)合起來(lái)，實(shí)現(xiàn)了動(dòng)態(tài)自適應(yīng)的FEC機(jī)制。該機(jī)制不僅能有效地降低數(shù)據(jù)傳輸過(guò)程中的丟包率，而且在丟包率較低的情況下能有效減少冗余數(shù)據(jù)占用的帶寬。其主要機(jī)理為(1)根據(jù)媒體流丟包率的許可范圍，確定n、k值；(2)采用公式①確定實(shí)際發(fā)送的數(shù)據(jù)包數(shù)m(k≤m≤n)，此數(shù)值應(yīng)保證在當(dāng)前丟包率情況下，接收方仍能以較高的概率恢復(fù)編碼前的k個(gè)數(shù)據(jù)包；(3)編碼器順序?qū)個(gè)數(shù)據(jù)包編碼成n個(gè)數(shù)據(jù)包；(4)隨機(jī)選擇m個(gè)數(shù)據(jù)包發(fā)送。
在動(dòng)態(tài)FEC機(jī)制中，m的確定是其中的關(guān)鍵。設(shè)當(dāng)前采用<n，k>編碼，當(dāng)前丟包率為r，允許丟包率為R(R＜r)，m應(yīng)滿足下述公式Σi=0m-kCmi(1-r)m-iri>(1-R)k----(1)]]>其中，上式的左邊表示當(dāng)前丟包率為r時(shí)，接收端接收到m中的k個(gè)以上(包括k個(gè))數(shù)據(jù)包的概率，即能還原出k個(gè)數(shù)據(jù)包的概率；上式的右邊表示在允許丟包率為R時(shí)，接收端正確接收到k個(gè)連續(xù)數(shù)據(jù)包的概率，顯然，只有滿足上述不等式關(guān)系時(shí)，才有必要進(jìn)行FEC編碼。采用枚舉法，逐個(gè)選取m值(k≤m≤n)代入上式測(cè)試，最后選取能使上式成立的最小m值。當(dāng)r＜R或r＞＞R時(shí)，可能不存在使上述公式成立的m值，則當(dāng)前沒有必要進(jìn)行FEC編碼，F(xiàn)EC層直接將RTP數(shù)據(jù)包發(fā)送到網(wǎng)絡(luò)系統(tǒng)。因而，上述公式不僅用于計(jì)算FEC編碼傳輸中應(yīng)實(shí)際發(fā)送的數(shù)據(jù)包數(shù)，而且也可用于判斷是否對(duì)RTP數(shù)據(jù)包進(jìn)行FEC編碼。5.3.4多媒體教學(xué)現(xiàn)場(chǎng)同步錄制技術(shù)■流媒體課件實(shí)時(shí)錄制工具——RealScreenRealScreen工具采用的是技術(shù)路線一，它不僅可以實(shí)現(xiàn)實(shí)時(shí)教學(xué)的流媒體課件錄制，而且還可以實(shí)現(xiàn)教學(xué)現(xiàn)場(chǎng)的直播，RealScreen由授課端、服務(wù)器端以及聽課端三個(gè)部分組成。其中授課端主要實(shí)現(xiàn)了教學(xué)現(xiàn)場(chǎng)與教案內(nèi)容的錄制與編碼；服務(wù)器端主要實(shí)現(xiàn)流媒體課件的發(fā)布與點(diǎn)播服務(wù)，聽課端實(shí)現(xiàn)課件的回放。RealScreen的工作原理如圖12所示。
在授課端，RealScreen通過(guò)定時(shí)截取屏幕或窗口獲得當(dāng)前教案內(nèi)容的內(nèi)存BMP映像，同時(shí)將當(dāng)前視頻捕獲設(shè)備采集到的視頻幀數(shù)據(jù)轉(zhuǎn)化成內(nèi)存BMP格式，然后將兩部分BMP數(shù)據(jù)在位圖基礎(chǔ)上進(jìn)行融合，并將融合后的數(shù)據(jù)發(fā)送到流媒體壓縮引擎上；RealScreen同時(shí)還將音頻設(shè)備采集到的音頻數(shù)據(jù)也發(fā)送到該引擎。壓縮引擎將接收到的融合數(shù)據(jù)作為視頻數(shù)據(jù)進(jìn)行實(shí)時(shí)編碼，同時(shí)將接收到的音頻數(shù)據(jù)也進(jìn)行實(shí)時(shí)編碼，并將編碼后數(shù)據(jù)一起發(fā)送到流媒體服務(wù)器。此外，流媒體壓縮引擎還可將編碼數(shù)據(jù)以RM文件形式在本地進(jìn)行保存。在服務(wù)器端，流媒體服務(wù)器將接收到的數(shù)據(jù)以RM文件形式進(jìn)行保存，同時(shí)根據(jù)聽課端的請(qǐng)求，采用RTSP/RTP協(xié)議將流媒體數(shù)據(jù)傳輸?shù)铰犝n端。在聽課端，用戶采用RealPlayer將接收到的編碼數(shù)據(jù)進(jìn)行解碼、回放。
RealScreen將授課教案和視頻、音頻進(jìn)行有機(jī)融合，這使得RealScreen不僅可以支持任何形式的教案，自動(dòng)、同步、實(shí)時(shí)地生成流媒體課件，而且還可以實(shí)現(xiàn)教學(xué)現(xiàn)場(chǎng)直播和按需點(diǎn)播的同步進(jìn)行。(如圖12所示)這種方式的缺點(diǎn)是數(shù)據(jù)量較大，對(duì)課件的后期改進(jìn)比較困難。
■基于“HTML+流媒體”的實(shí)時(shí)課件錄制工具——HTML-RecorderHTML-Recorder工具采用技術(shù)路線二，能夠較好地解決了RealScreen工具存在的數(shù)據(jù)量大、帶寬占用多、后期修改困難等問(wèn)題，其工作原理如圖13示。
HTML-Recorder工具可以和RealClass系統(tǒng)配合運(yùn)行，是一個(gè)后臺(tái)程序。它一方面實(shí)時(shí)地采集教師的視頻、音頻數(shù)據(jù)并生成ASF流媒體文件，另一方面它將教師對(duì)教案的操作實(shí)時(shí)記錄在時(shí)間戳日志中，包括教案換頁(yè)、顯示每個(gè)條目的時(shí)間戳等。當(dāng)運(yùn)行結(jié)束時(shí)，HTML-Recorder自動(dòng)將時(shí)間戳寫入ASF文件；并將PowerPoint格式的教案轉(zhuǎn)化為一系列HTML網(wǎng)頁(yè)及相關(guān)媒體文件；最后，將攜帶時(shí)間戳的ASF文件與HTML格式的教師教案按照固定的框架(Frame)進(jìn)行封裝，從而生成教學(xué)課件。界面形式如圖14示。
與RealScreen工具相比，HTML-Recorder工具生成的課件在傳輸時(shí)只占用相對(duì)較小的帶寬，并具有更好視頻、音頻質(zhì)量，而且生成的課件可以進(jìn)行后期修改，但缺點(diǎn)是目前課件的格式只支持Powerpoint格式。
RealScreen工具和HTML-Recorder工具的有機(jī)結(jié)合，可以提供完善的課件錄制功能。5.3.5界面設(shè)計(jì)界面是系統(tǒng)功能和特點(diǎn)的集中反映，為了真正實(shí)現(xiàn)交互式同步實(shí)時(shí)授課的效果，需要將授課端現(xiàn)場(chǎng)、課件內(nèi)容及其它必要的輔助功能以多窗口的形式展現(xiàn)在教師或?qū)W生的面前。
■授課端用戶界面授課端用戶界面如圖15示。包括授課端視頻顯示區(qū)、聽課端視頻顯示區(qū)、課件內(nèi)容瀏覽區(qū)、功能按鈕區(qū)、聽課端狀態(tài)顯示區(qū)等5部分。其中聽課端視頻顯示區(qū)可以由教師任意切換到任一聽課端。
■聽課端用戶界面聽課端用戶界面如圖16示。包括聽課端視頻顯示區(qū)、授課端視頻顯示區(qū)、課件瀏覽區(qū)、功能按鈕區(qū)、授課端狀態(tài)顯示區(qū)等5部分，其中，課件瀏覽區(qū)和授課端顯示區(qū)這兩部分與授課端保持一致。
■課堂服務(wù)中心的用戶界面課堂服務(wù)中心的用戶界面如圖17示。包括聽課端視頻顯示區(qū)、授課端視頻顯示區(qū)、授課端狀態(tài)顯示區(qū)、聽課端狀態(tài)顯示區(qū)、功能按鈕區(qū)以及MCU狀態(tài)信息顯示區(qū)等6部分。其中，聽課端視頻顯示區(qū)可以任意切換到任何一個(gè)聽課點(diǎn)上。
本發(fā)明與現(xiàn)有技術(shù)相比，所產(chǎn)生的效果是1.聽課端個(gè)數(shù)可同時(shí)支持20個(gè)以上教室的同步實(shí)時(shí)授課，并可同時(shí)支持4個(gè)以上不同子網(wǎng)之間的視音頻交互。
2.課件格式支持HTML/XML文檔、Word文檔、Powerpoint、MPEG4、RM、RAM、VRML等格式的課件，并能方便地?cái)U(kuò)充新的格式。
3.課件質(zhì)量以640×480窗口或800×600全屏方式清晰顯示課件內(nèi)容。
4.視頻交互遵循H.261標(biāo)準(zhǔn)實(shí)現(xiàn)視頻數(shù)據(jù)實(shí)時(shí)采集和回放、融合，視頻質(zhì)量由QoS控制機(jī)制保證。
5.語(yǔ)音交互遵循G.711標(biāo)準(zhǔn)實(shí)現(xiàn)音頻數(shù)據(jù)實(shí)時(shí)采集和回放、融合。
6.視音頻同步唇音同步誤差≤0.5秒。
7.系統(tǒng)延時(shí)系統(tǒng)的影像、聲音及課件內(nèi)容在Internet/校園網(wǎng)上傳輸時(shí)延小于2秒。
8.應(yīng)用程序共享遵循T.120協(xié)議，支持各種Windows應(yīng)用程序共享。
9.電子白板遵循T.120協(xié)議。
權(quán)利要求
1.一種基于IP網(wǎng)的多媒體實(shí)時(shí)授課系統(tǒng)RealClass，其特征在于它包括，授課端、聽課端、課堂服務(wù)中心以及多點(diǎn)控制單元(Multipoint Control Unit，MCU)四個(gè)部分組成；其中授課端是指教師通過(guò)網(wǎng)絡(luò)為聽課端提供授課現(xiàn)場(chǎng)的實(shí)時(shí)視頻、音頻及電子教案，并通過(guò)電子白板、應(yīng)用程序共享以及文本Chat等工具與聽課端進(jìn)行交互，此外授課教師還可對(duì)整個(gè)教學(xué)過(guò)程進(jìn)行控制的授課平臺(tái)；授課端由一實(shí)現(xiàn)與課堂服務(wù)中心進(jìn)行狀態(tài)、控制信息的交互，并能根據(jù)交互結(jié)果對(duì)底層的視頻、音頻數(shù)據(jù)采集、傳輸、發(fā)送、回放進(jìn)行的事務(wù)管理模塊，底層的視頻、音頻數(shù)據(jù)處理是由Avmeeting控件實(shí)現(xiàn)；Avmeeting控件從本地的媒體設(shè)備中讀取視頻、音頻數(shù)據(jù)，并通過(guò)QoS數(shù)據(jù)發(fā)送控件發(fā)送到本網(wǎng)段，即授課端網(wǎng)段的MCU；同時(shí)調(diào)用QoS數(shù)據(jù)接收模塊從本網(wǎng)段MCU讀取焦點(diǎn)聽課端的視頻、音頻數(shù)據(jù)，并將此數(shù)據(jù)與授課端的媒體數(shù)據(jù)在本地進(jìn)行回放；聽課端是指學(xué)生通過(guò)網(wǎng)絡(luò)接收授課端的視頻、音頻及電子教案信息，當(dāng)聽課端獲得交互權(quán)限后，還可與授課端進(jìn)行視頻、音頻或其它方式的交互，聽課端與聽課端之間在授課教師許可的情況下也可通過(guò)分組方式進(jìn)行交互的聽課平臺(tái)；聽課端由一實(shí)現(xiàn)與課堂服務(wù)中心進(jìn)行狀態(tài)、控制信息的交互，并能根據(jù)交互結(jié)果對(duì)底層的視頻、音頻數(shù)據(jù)采集、傳輸、發(fā)送、回放進(jìn)行的事務(wù)管理模塊，底層的視頻、音頻數(shù)據(jù)處理同樣是由Avmeeting控件實(shí)現(xiàn)；Avmeeting控件從本地的媒體設(shè)備中讀取視頻、音頻數(shù)據(jù)，并通過(guò)QoS數(shù)據(jù)發(fā)送控件發(fā)送到授課端網(wǎng)段的MCU；同時(shí)調(diào)用QoS數(shù)據(jù)接收模塊從本網(wǎng)段MCU讀取授課端的視頻、音頻數(shù)據(jù)，對(duì)于非焦點(diǎn)聽課端，讀取的是授課端和焦點(diǎn)聽課端融合后的數(shù)據(jù)，并將此數(shù)據(jù)與本地的媒體數(shù)據(jù)在本地進(jìn)行回放；課堂服務(wù)中心是指管理員用于對(duì)授課系統(tǒng)進(jìn)行監(jiān)控的控制臺(tái)，并充當(dāng)視頻會(huì)議系統(tǒng)中的GateKeeper；其通過(guò)與授課端、聽課端、MCU的狀態(tài)和控制消息交互，實(shí)時(shí)獲取RealClass系統(tǒng)的狀態(tài)，并對(duì)RealClass系統(tǒng)各個(gè)端結(jié)點(diǎn)的工作進(jìn)行控制；多點(diǎn)控制單元(Multipoint Control Unit，MCU)是完成系統(tǒng)中視頻、音頻數(shù)據(jù)的路由、轉(zhuǎn)發(fā)以及處理，系統(tǒng)采用了分布式MCU機(jī)制，即在系統(tǒng)所分布的每個(gè)網(wǎng)段中都存在一個(gè)MCU結(jié)點(diǎn)多點(diǎn)控制單元(Multipoint Control Unit，MCU)可分為多點(diǎn)控制器MC和多點(diǎn)處理器MP兩部分；多點(diǎn)控制器MC包含多點(diǎn)交互控制和QoS參數(shù)確定兩個(gè)模塊；多點(diǎn)交互控制模塊的通過(guò)對(duì)多點(diǎn)處理器MP的操作實(shí)現(xiàn)對(duì)遠(yuǎn)程教學(xué)過(guò)程中的授課端和聽課端的視頻、音頻交互控制，此外，它還根據(jù)與課堂服務(wù)中心交互的命令與狀態(tài)信息生成當(dāng)前MCU與其它端結(jié)點(diǎn)，即授課端、聽課端、其它MCU連接的狀態(tài)信息；QoS參數(shù)確定模塊根據(jù)此狀態(tài)生成當(dāng)前MCU的各個(gè)輸出媒體流的QoS參數(shù)，此參數(shù)將傳遞給多點(diǎn)處理器MP中的QoS控制機(jī)制，作為其為每個(gè)輸出媒體流分配網(wǎng)絡(luò)帶寬的依據(jù)；MP可分為QoS控制機(jī)制和視頻、音頻數(shù)據(jù)處理兩個(gè)模塊；其中視頻、音頻數(shù)據(jù)處理模塊是MP的核心模塊，由MC中的多點(diǎn)交互控制模塊驅(qū)動(dòng)，視頻、音頻數(shù)據(jù)處理模塊獲取QoS控制機(jī)制整形后的數(shù)據(jù)，對(duì)其進(jìn)行數(shù)據(jù)融合和轉(zhuǎn)發(fā)等處理，并將處理后的數(shù)據(jù)傳送到QoS控制機(jī)制進(jìn)行發(fā)送；MP的QoS控制機(jī)制根據(jù)MC傳遞來(lái)的QoS參數(shù)以及當(dāng)前的網(wǎng)絡(luò)狀態(tài)進(jìn)行QoS控制，包括對(duì)視頻、音頻數(shù)據(jù)處理模塊處理后的多媒體數(shù)據(jù)進(jìn)行帶寬分配和發(fā)送，以及對(duì)由其它端結(jié)點(diǎn)發(fā)送來(lái)的多媒體數(shù)據(jù)進(jìn)行整形。
2.根據(jù)權(quán)利要求1所述的基于IP網(wǎng)的多媒體實(shí)時(shí)授課系統(tǒng)RealClass，其特征在于所述的QoS控制機(jī)制是一種基于分層結(jié)構(gòu)的動(dòng)態(tài)自適應(yīng)QoS分布控制模型，該模型一方面采用基于端結(jié)點(diǎn)的分布控制，并在端結(jié)點(diǎn)引入動(dòng)態(tài)自適應(yīng)的流控機(jī)制，使得本模型不僅具有較強(qiáng)的可擴(kuò)展性，而且還能根據(jù)網(wǎng)絡(luò)狀態(tài)自動(dòng)調(diào)整控制策略；另一方面，采用多角度解決策略，將與QoS控制相關(guān)的網(wǎng)絡(luò)技術(shù)、視頻編碼技術(shù)以及FEC(Forward Error Correction)容錯(cuò)技術(shù)基于分層結(jié)構(gòu)進(jìn)行有機(jī)集成，從而使得QoS模型在帶寬受限的情況下也能為媒體流傳輸提供較好的服務(wù)質(zhì)量；對(duì)QoS問(wèn)題的解決采用的是多角度、多層次的解決策略；把QoS控制模型分為QoS控制層、RTP層以及FEC層三個(gè)層次，并將網(wǎng)絡(luò)傳輸、視頻編碼以及FEC容錯(cuò)這三個(gè)QoS的具體控制措施有機(jī)分布到這三個(gè)層次之中；QoS控制層主要實(shí)現(xiàn)多媒體數(shù)據(jù)傳輸?shù)臏?zhǔn)入控制、流量控制和區(qū)分服務(wù)；主要措施為對(duì)音頻數(shù)據(jù)流采用固定帶寬分配策略；對(duì)于視頻數(shù)據(jù)流，則采用動(dòng)態(tài)自適應(yīng)的帶寬分配策略；在此基礎(chǔ)上，根據(jù)H.261、H.263、MPEG I、MPEG II等視頻編碼的特性，視頻編碼幀可以分為設(shè)計(jì)了一個(gè)選擇發(fā)送視頻幀的算法，本算法保證了在數(shù)據(jù)包不丟失的情況下，發(fā)送到對(duì)方的編碼數(shù)據(jù)都可被正確解碼，且解碼后的數(shù)據(jù)具有最優(yōu)的表現(xiàn)質(zhì)量；RTP層主要實(shí)現(xiàn)多媒體數(shù)據(jù)包的實(shí)時(shí)、有序傳輸，并通過(guò)RTCP包的交互動(dòng)態(tài)獲取當(dāng)前數(shù)據(jù)傳輸?shù)臅r(shí)延、抖動(dòng)、丟包率等網(wǎng)絡(luò)狀態(tài)參數(shù)，這些參數(shù)不僅是QoS控制層進(jìn)行帶寬分配的依據(jù)，也是FEC層實(shí)施動(dòng)態(tài)FEC機(jī)制的主要依據(jù)；FEC層主要功能是為上層提供一條透明的可靠傳輸通路，避免因網(wǎng)絡(luò)傳輸丟包導(dǎo)致的重傳；本層還引入了反饋機(jī)制，即根據(jù)當(dāng)前的丟包率，動(dòng)態(tài)控制FEC數(shù)據(jù)包的發(fā)送。
3.根據(jù)權(quán)利要求1所述的基于IP網(wǎng)的多媒體實(shí)時(shí)授課系統(tǒng)RealClass，其特征在于所述的多點(diǎn)控制單元MCU是一種基于分布式MCU的組播數(shù)據(jù)的跨網(wǎng)段傳輸機(jī)制；MCU分布在每個(gè)網(wǎng)段中；在各網(wǎng)段內(nèi)部，MCU向同網(wǎng)段的各個(gè)結(jié)點(diǎn)以組播方式發(fā)送數(shù)據(jù)；在各網(wǎng)段之間，授課端MCU向其它各個(gè)網(wǎng)段MCU以單播方式發(fā)送數(shù)據(jù)；此外，授課端與焦點(diǎn)聽課端的數(shù)據(jù)則單播發(fā)送到授課端MCU；該機(jī)制實(shí)現(xiàn)了廣域網(wǎng)上視音頻數(shù)據(jù)的組播傳輸，有效提高了網(wǎng)絡(luò)帶寬利用率，使得系統(tǒng)具有較好的可擴(kuò)展性。
4.根據(jù)權(quán)利要求1所述的基于IP網(wǎng)的多媒體實(shí)時(shí)授課系統(tǒng)RealClass，其特征在于所述的視頻、音頻數(shù)據(jù)采用兩種課件同步錄制機(jī)制一種是實(shí)時(shí)錄制工具RealScreen，即實(shí)時(shí)采集教案內(nèi)容、教學(xué)現(xiàn)場(chǎng)的視頻、音頻數(shù)據(jù)，并壓縮生成流媒體(如rm或MPEG-IV等格式)文件，供課后點(diǎn)播；二是HTML-Recorder，即將教學(xué)內(nèi)容轉(zhuǎn)換成超文本(HTML文檔)，并和實(shí)時(shí)錄制視頻、音頻同步集成，形成“HTML+流媒體”格式的課件；實(shí)時(shí)錄制工具RealScreen采用了第一種技術(shù)路線在授課端，RealScreen通過(guò)定時(shí)截取屏幕或窗口獲得當(dāng)前教案內(nèi)容的內(nèi)存BMP映像，同時(shí)將當(dāng)前視頻捕獲設(shè)備采集到的視頻幀數(shù)據(jù)轉(zhuǎn)化成內(nèi)存BMP格式，然后將兩部分BMP數(shù)據(jù)在位圖基礎(chǔ)上進(jìn)行融合，并將融合后的數(shù)據(jù)發(fā)送到流媒體壓縮引擎上；RealScreen同時(shí)還將音頻設(shè)備采集到的音頻數(shù)據(jù)也發(fā)送到該引擎；壓縮引擎將接收到的融合數(shù)據(jù)作為視頻數(shù)據(jù)進(jìn)行實(shí)時(shí)編碼，同時(shí)將接收到的音頻數(shù)據(jù)也進(jìn)行實(shí)時(shí)編碼，并將編碼后數(shù)據(jù)一起發(fā)送到流媒體服務(wù)器；此外，流媒體壓縮引擎還可將編碼數(shù)據(jù)以RM文件形式在本地進(jìn)行保存；HTML-Recorder工具采用技術(shù)路線二，HTML-Recorder工具可以和RealClass系統(tǒng)配合運(yùn)行，是一個(gè)后臺(tái)程序；它一方面實(shí)時(shí)地采集教師的視頻、音頻數(shù)據(jù)并生成ASF流媒體文件，另一方面它將教師對(duì)教案的操作實(shí)時(shí)記錄在時(shí)間戳日志中，包括教案換頁(yè)、顯示每個(gè)條目的時(shí)間戳等；當(dāng)運(yùn)行結(jié)束時(shí)，HTML-Recorder自動(dòng)將時(shí)間戳寫入ASF文件；并將PowerPoint格式的教案轉(zhuǎn)化為一系列HTML網(wǎng)頁(yè)及相關(guān)媒體文件；最后，將攜帶時(shí)間戳的ASF文件與HTML格式的教師教案按照固定的框架(Frame)進(jìn)行封裝，從而生成教學(xué)課件。
全文摘要
本發(fā)明公開了一種基于IP網(wǎng)的多媒體實(shí)時(shí)授課系統(tǒng)，其由授課端、聽課端、課堂服務(wù)中心以及多點(diǎn)控制單元(Multipoint Control Unit，MCU)四個(gè)部分組成；它通過(guò)教學(xué)現(xiàn)場(chǎng)的多媒體錄制和網(wǎng)絡(luò)傳輸，實(shí)現(xiàn)教學(xué)現(xiàn)場(chǎng)的直播，并通過(guò)師生多媒體多模式交互、教師自然板書授課、教學(xué)內(nèi)容檢索、應(yīng)用程序共享、課件同步瀏覽、電子白板、課件實(shí)時(shí)錄制、課堂管理等功能，解決傳統(tǒng)課堂教學(xué)在時(shí)間和空間上的制約問(wèn)題，大大擴(kuò)展了教學(xué)規(guī)模，實(shí)現(xiàn)名師授課及教育資源的共享。
文檔編號(hào)G06F15/16GK1400541SQ0213937
公開日2003年3月5日 申請(qǐng)日期2002年8月20日 優(yōu)先權(quán)日2002年8月20日
發(fā)明者鄭慶華, 劉均, 李洋 申請(qǐng)人:西安交通大學(xué)