專利名稱:一種利用smil技術(shù)與移動流媒體技術(shù)的移動多點監(jiān)視技術(shù)的制作方法
技術(shù)領(lǐng)域:
本發(fā)明采用移動流媒體技術(shù)實現(xiàn)移動多點監(jiān)視,具體涉及視/音頻編解碼技術(shù)、移動流媒體技術(shù)及SMIL技術(shù)。
背景技術(shù):
移動流媒體技術(shù)移動流媒體技術(shù)就是把連續(xù)的影像和聲音信息經(jīng)過壓縮處理后放到網(wǎng)絡(luò)服務(wù)器上,讓移動終端用戶能夠一邊下載一邊觀看、收聽,而不需要等到整個多媒體文件下載完成就可以即時觀看的技術(shù)。實際上移動流媒體技術(shù)是網(wǎng)絡(luò)音視頻技術(shù)和移動通訊技術(shù)發(fā)展到一定階段的產(chǎn)物,它是融合很多網(wǎng)絡(luò)技術(shù)之后所產(chǎn)生的技術(shù),它會涉及到流媒體數(shù)據(jù)的采集、壓縮、存儲、傳輸以及網(wǎng)絡(luò)通信等多項技術(shù)。
支持的網(wǎng)絡(luò)傳輸協(xié)議為實時流化協(xié)議(RTSP)、實時傳輸協(xié)議(RTP)和實時傳輸控制協(xié)議(RTCP)。支持的視頻編碼算法H.263、MPEG4和H.264;支持的音頻編碼算法AMR、AAC等。
1、視/音頻編解碼技術(shù)目前國際上常用的視頻編碼算法有H.263、MPEG4和H.264。其中H.264與其它現(xiàn)有的視頻編碼標準相比,具有如下優(yōu)勢低碼流(Low Bit Rate)和MPEG2和MPEG4 ASP等壓縮技術(shù)相比,在同等圖像質(zhì)量下,采用H.264技術(shù)壓縮后的數(shù)據(jù)量只有MPEG2的1/8,MPEG4的1/3。
高質(zhì)量的圖象H.264能提供連續(xù)、流暢的高質(zhì)量圖象(DVD質(zhì)量)。
容錯能力強H.264提供了解決在不穩(wěn)定網(wǎng)絡(luò)環(huán)境下容易發(fā)生的丟包等錯誤的必要工具。
網(wǎng)絡(luò)適應(yīng)性強H.264提供了網(wǎng)絡(luò)適應(yīng)層(Network Adaptation Layer),使得H.264的文件能容易地在不同網(wǎng)絡(luò)上傳輸(例如互聯(lián)網(wǎng),CDMA,GPRS,WCDMA,CDMA2000等)。
2、SMIL技術(shù)SMIL是同步多媒體集成語言,它是一套已經(jīng)規(guī)定好的而且非常簡單的標記。它用來規(guī)定多媒體片斷(這里多媒體包括的范圍有聲音文件、視頻文件、動畫、圖片、文字等)在什么時候、在什么地方、以什么樣的方式播放。采用SMIL可以方便地描述各種媒體之間的時間同步關(guān)系和空間編排關(guān)系,是Internet上用于集成多媒體節(jié)目,尤其是流媒體的主要語言工具,它可以實現(xiàn)視頻/音頻、導(dǎo)航區(qū)的標題與電子講稿三者的同步。
具有如下優(yōu)點避免使用統(tǒng)一的包容文件格式、同時播放在不同地方(服務(wù)器上)的多媒體片斷、對整個演示進行布局、多語言選擇支持、多帶寬選擇支持。
3、視頻監(jiān)視視頻監(jiān)視系統(tǒng)是運用先進的數(shù)字視頻、計算機網(wǎng)絡(luò)通訊技術(shù)、多媒體技術(shù)、壓縮技術(shù),實現(xiàn)圖像、聲音的遠程監(jiān)視。按照采集的信號的不同可以分為模擬信號監(jiān)視和數(shù)字信號監(jiān)視。
隨著移動技術(shù)的發(fā)展及3G時代的到來,通過無線環(huán)境進行移動監(jiān)視已經(jīng)成為一種趨勢。由于移動環(huán)境自身的特殊性,對編碼效率、網(wǎng)絡(luò)自適應(yīng)等提出新的要求,同時還需要實現(xiàn)分屏顯示技術(shù)。目前H.264壓縮效率更高,在低碼率環(huán)境以及網(wǎng)絡(luò)容錯等方面有許多優(yōu)勢,因此移動監(jiān)視采用H.264視頻編碼算法;為了實現(xiàn)移動終端的遙用性,考慮利用SMIL的分屏控制技術(shù),任何支持SMIL的播放器都能實現(xiàn)遠端多點顯示。
目前現(xiàn)有的方法是各采集終端采集信號并對信號進行視/音頻編碼壓縮,然后將壓縮碼流傳輸?shù)奖O(jiān)視中心,在監(jiān)視中心上通過分屏技術(shù)顯示在終端上。
現(xiàn)有方法的缺點是1、操作人員只能在監(jiān)視中心進行監(jiān)視,無法做到任何時間、任何地點的訪問,不能對一些突發(fā)事件做出快速反應(yīng)。
2、在監(jiān)控中心需要配置專用的媒體接收、處理服務(wù)器,接收采集終端的數(shù)據(jù)并將數(shù)據(jù)進行顯示。
3、需要實現(xiàn)分屏顯示技術(shù),顯示軟件是專用的,缺乏通用性和靈活性。
4、一般采用的編解碼技術(shù)不適應(yīng)移動終端和無線環(huán)境的傳輸。
發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種利用SMIL技術(shù)與移動流媒體技術(shù)的移動多點監(jiān)視技術(shù),可以解決監(jiān)視地點的束縛,任何人在任何時間、任何地點都能通過移動終端進行多點監(jiān)視。
本發(fā)明的技術(shù)方案是一種利用SMIL技術(shù)與移動流媒體技術(shù)的移動多點監(jiān)視技術(shù),其特征在于在SMIL腳本中發(fā)起到流媒體服務(wù)器的多個直播連接,實現(xiàn)在單一屏幕上的多畫面顯示;根據(jù)移動終端的監(jiān)視需求,管理平臺動態(tài)生成SMIL腳本,終端下載此腳本,并根據(jù)SMIL腳本中的描述,發(fā)起多個到流媒體服務(wù)器的直播請求,從而實現(xiàn)移動多點監(jiān)視。
如上所述的移動多點監(jiān)視技術(shù),其特征在于①各采集端采集信號,并進行編碼,視頻采用H.264編碼算法;然后將編碼后的碼流打包成RTP包發(fā)送到流媒體服務(wù)器;②各采集終端將采集、直播信息發(fā)布到綜合管理平臺;③移動終端訪問綜合管理平臺,選擇需要監(jiān)視的地點,并對顯示畫面提出需求;④綜合管理平臺根據(jù)移動終端的需求動態(tài)生成SMIL腳本,該腳本包含了到流媒體服務(wù)器的直播請求,并將SMIL腳本傳給移動終端;⑤移動終端播放SMIL腳本,在移動終端上發(fā)起到流媒體服務(wù)器的直播請求,實現(xiàn)移動多點監(jiān)視。
如上所述的移動多點監(jiān)視技術(shù),其特征在于采集步驟如下
①、采集設(shè)備向流媒體服務(wù)器發(fā)起注冊(包含用戶名和密碼);②、流媒體服務(wù)器對采集設(shè)備進行接入管理,并將結(jié)果返回給采集終端;③、采集設(shè)備分析注冊的響應(yīng);若成功,則向流媒體服務(wù)器發(fā)送會話描述文件(SDP信息),其中描述了編碼算法、流媒體服務(wù)器接收RTP包端口等信息;④、流媒體服務(wù)器根據(jù)SDP信息中的端口信息打開接收端口,并向綜合管理平臺通報在線采集設(shè)備信息;⑤、流媒體服務(wù)器向采集設(shè)備發(fā)送操作結(jié)果;⑥、采集設(shè)備分析結(jié)果,若成功,則啟動采集、編碼、打包過程,向流媒體服務(wù)發(fā)送RTP包;移動終端發(fā)起播放步驟如下①、移動終端登陸綜合管理平臺;②、從綜合管理平臺上選擇在線采集設(shè)備,可以同時選擇多個(這樣就實現(xiàn)了多點),并對每個在線采集設(shè)備指定顯示區(qū)域;③、綜合管理平臺根據(jù)移動終端選定的信息動態(tài)生成SMIL腳本;④、移動終端從綜合管理平臺上下載SMIL腳本;⑤、移動終端啟動支持SMIL腳本的播放器進行播放,播放器根據(jù)SMIL腳本中的Src信息向流媒體服務(wù)器發(fā)起直播請求,接收RTP包,解碼并在指定的區(qū)域進行顯示。
本發(fā)明的原理是SMIL技術(shù)能夠?qū)崿F(xiàn)多畫面顯示技術(shù),在SMIL腳本中發(fā)起到流媒體服務(wù)器的多個直播連接,實現(xiàn)在單一屏幕上的多畫面顯示。在SMIL腳本中可以指定顯示畫面數(shù)以及各畫面的相對位置。當播放SMIL腳本時,播放器首先按照腳本中的畫面數(shù)以及位置參數(shù)分割畫面,然后根據(jù)顯示內(nèi)容屬性采用不同方法依次顯示。顯示的內(nèi)容可以是視頻、音頻,也可以是FLASH和文本;顯示的內(nèi)容可以來源于本地文件,也可以來源于流媒體服務(wù)器。
SMIL腳本中的內(nèi)容可以來源于流媒體服務(wù)器,通過在SMIL腳本中發(fā)起到流媒體服務(wù)器的直播請求,從而利用SMIL技術(shù)和移動流媒體技術(shù)實現(xiàn)了移動多點監(jiān)視。
本發(fā)明根據(jù)無線網(wǎng)絡(luò)自身特性,采用了最先進的H.264視頻編碼算法,利用SMIL可以方便描述各鐘媒體之間時間同步關(guān)系和空間編排關(guān)系的特點,借助于移動流媒體服務(wù)器技術(shù),實現(xiàn)了移動多點監(jiān)視。
本發(fā)明的優(yōu)點是1、解決了監(jiān)視地點的束縛,任何人在任何時間、任何地點都能通過移動終端進行多點監(jiān)視。
2、不需要專用媒體接收、處理服務(wù)器,可以共用和借用已有的通用流媒體服務(wù)器,從而降低成本。
3、在移動終端上不需要設(shè)計專用分屏顯示軟件,任何支持SMIL腳本的顯示軟件都可以。
4、視頻編碼采用H.264編碼算法,在無線以及低碼率環(huán)境下能獲得滿意的視頻質(zhì)量。
圖1,是本發(fā)明實施例的系統(tǒng)框架圖。
圖2,是本發(fā)明實施例的采集終端與流媒體服務(wù)器、綜合管理平臺交互圖。
圖3,是本發(fā)明實施例的移動終端與流媒體服務(wù)器、綜合管理平臺交互圖。
具體實施例方式
下面結(jié)合附圖詳細描述本發(fā)明的實施例。
系統(tǒng)框架如圖1所示整個系統(tǒng)有四部分組成采集設(shè)備(101,102等)采集信號,對信號進行編碼。將編碼后的碼流打成RTP包發(fā)送到流媒體服務(wù)器。
流媒體服務(wù)器(110)實現(xiàn)RTSP、RTP、RTCP協(xié)議;接收采集設(shè)備(101,102等)送的RTP包;接收移動終端(130,131等)的直播請求。
綜合管理平臺(120)采集終端的接入管理;采集終端信息統(tǒng)計;SMIL文件的生成;移動終端(130,131等)支持SMIL文件播放;支持RTSP、RTP、RTCP協(xié)議;支持常見視/音頻解碼算法。
采集過程如圖2所示1、采集設(shè)備(201)向流媒體服務(wù)器(210)發(fā)起注冊(包含用戶名和密碼)。
2、流媒體服務(wù)器(210)對采集設(shè)備(201)進行接入管理,并將結(jié)果返回給采集終端。
3、采集設(shè)備(201)分析注冊的響應(yīng);若成功,則向流媒體服務(wù)器(210)發(fā)送會話描述文件(SDP信息),其中描述了編碼算法、流媒體服務(wù)器接收RTP包端口等信息。
4、流媒體服務(wù)器(210)根據(jù)SDP信息中的端口信息打開接收端口,并向綜合管理平臺(220)通報在線采集設(shè)備(201)信息。
5、流媒體服務(wù)器(210)向采集設(shè)備(201)發(fā)送操作結(jié)果。
6、采集設(shè)備(201)分析結(jié)果,若成功,則啟動采集、編碼、打包過程,向流媒體服務(wù)(210)發(fā)送RTP包。
移動終端(301)發(fā)起播放過程如圖3所示1、移動終端(301)登陸綜合管理平臺(320)。
2、從綜合管理平臺(320)上選擇在線采集設(shè)備,可以同時選擇多個(這樣就實現(xiàn)了多點),并對每個在線采集設(shè)備指定顯示區(qū)域。
3、綜合管理平臺(320)根據(jù)移動終端(301)選定的信息動態(tài)生成SMIL腳本。
4、移動終端(301)從綜合管理平臺(320)上下載SMIL腳本。
5、移動終端(301)啟動支持SMIL腳本的播放器進行播放,播放器根據(jù)SMIL腳本中的src信息向流媒體服務(wù)器發(fā)起直播請求,接收RTP包,解碼并在指定的區(qū)域進行顯示,達到多點監(jiān)視的目的。
會話描述文件內(nèi)容如表1所示表1v=0o=-143397144 2257390873 IN IP4 192.168.3.185s=EESc=IN IP4 192.168.3.2t=00m=vi deo 5566 RTP/AVP 96b=AS500a=rtpmap96 H264/90000a=fmtp96 profile-level-id=674200;sprop-parameter-sets=ZOIAFZZmFiZCAAADAAIAAAMAMwg=,aM48gA==;packetization-mode=1a=x-envivio-verid0001516B其中重點信息如下1、o=-143397144 2257390873 IN IP4 192.168.3.185標明采集終端的IP地址為192.168.3.185。
2、c=IN IP4 192.168.3.2指定了流媒體服務(wù)器的IP地址為192.168.3.2。
3、m=video 5566 RTP/AVP 96標明流媒體服務(wù)器接收采集終端發(fā)送的RTP包的端口5566。
4、a=rtpmap96 H264/90000標明了RTP包的格式。
5、sprop-parameter-sets=ZOIAFZZmFiZCAAADAAIAAAMAMwg=,aM48gA==;標明了H.264編碼參數(shù)信息。
SMIL腳本示例如表2所示表2<smil>
<head>
<layout>
<root-layout height=″480″width=″640″background-color=″black″/>
<region id=″region_01″left=″0″top=″0″height=″144″width=″176″/>
<region id=″region_02″left=″353″top=″289″height=″144″width=″176″/>
</layout>
</head>
<body>
<par>
<video src=″rtsp//192.168.3.2/capl.sdp″region=″region_01″/>
<video src=″rtsp//192.168.3.2/cap2.sdp″region=″region_02″/>
</par>
</body>
</smil>
其中重點信息解釋如下1、<root-layout height=″480″width=″640″background-color=″black″/>,<root-layout>定義了播放器主窗口的大小。
2、<region id=″region_01″left=″0″top=″0″height=″144″width=″176″/>指定的第一個顯示區(qū)域的id、位置及尺寸。
3、<region id=″region_02″left=″353″top=″289″height=″144″width=″176″/>指定的第二個顯示區(qū)域的id、位置及尺寸。
4、<video src=″rtsp//192.168.3.2/cap1.sdp″region=″region_01″/>指定發(fā)起直播連接的URL地址信息,并將直播結(jié)果在第一個區(qū)域進行顯示。
5、<video src=″rtsp//192.168.3.2/cap2.sdp″region=″region_02″/>指定發(fā)起直播連接的URL地址信息,并將直播結(jié)果在第二個區(qū)域進行顯示。
在以上描述中,采集設(shè)備可以將打成的RTP包發(fā)送到不同的流媒體服務(wù)器,同時,移動終端也可以在同一SMIL腳本中發(fā)起對不同流媒體服務(wù)器的直播請求,這樣可以大大增加移動終端與流媒體服務(wù)器的靈活性。
權(quán)利要求
1.一種利用SMIL技術(shù)與移動流媒體技術(shù)的移動多點監(jiān)視技術(shù),其特征在于在SMIL腳本中發(fā)起到流媒體服務(wù)器的多個直播連接,實現(xiàn)在單一屏幕上的多畫面顯示;根據(jù)移動終端的監(jiān)視需求,綜合管理平臺動態(tài)生成SMIL腳本,終端下載此腳本,并根據(jù)SMIL腳本中的描述,發(fā)起多個到流媒體服務(wù)器的直播請求,從而實現(xiàn)移動多點監(jiān)視。
2.如權(quán)利要求1所述的移動多點監(jiān)視技術(shù),其特征在于①各采集端采集信號,并進行編碼,視頻采用H.264編碼算法;然后將編碼后的碼流打包成RTP包發(fā)送到流媒體服務(wù)器;②各采集終端將采集、直播信息發(fā)布到綜合管理平臺;③移動終端訪問綜合管理平臺,選擇需要監(jiān)視的地點,并對顯示畫面提出需求;④綜合管理平臺根據(jù)移動終端的需求動態(tài)生成SMIL腳本,該腳本包含了到流媒體服務(wù)器的直播請求,并將SMIL腳本傳給移動終端;⑤移動終端播放SMIL腳本,在移動終端上發(fā)起到流媒體服務(wù)器的直播請求,實現(xiàn)移動多點監(jiān)視。
3.如權(quán)利要求2所述的移動多點監(jiān)視技術(shù),其特征在于采集步驟如下①、采集設(shè)備向流媒體服務(wù)器發(fā)起注冊,包含用戶名和密碼;②、流媒體服務(wù)器對采集設(shè)備進行接入管理,并將結(jié)果返回給采集終端;③、采集設(shè)備分析注冊的響應(yīng);若成功,則向流媒體服務(wù)器發(fā)送會話描述文件-SDP信息,其中描述了編碼算法、流媒體服務(wù)器接收RTP包端口信息;④、流媒體服務(wù)器根據(jù)SDP信息中的端口信息打開接收端口,并向綜合管理平臺通報在線采集設(shè)備信息;⑤、流媒體服務(wù)器向采集設(shè)備發(fā)送操作結(jié)果;⑥、采集設(shè)備分析結(jié)果,若成功,則啟動采集、編碼、打包過程,向流媒體服務(wù)發(fā)送RTP包;移動終端發(fā)起播放步驟如下①、移動終端登陸綜合管理平臺;②、從綜合管理平臺上選擇在線采集設(shè)備,可以同時選擇多個,并對每個在線采集設(shè)備指定顯示區(qū)域;③、綜合管理平臺根據(jù)移動終端選定的信息動態(tài)生成SMIL腳本;④、移動終端從綜合管理平臺上下載SMIL腳本;⑤、移動終端啟動支持SMIL腳本的播放器進行播放,播放器根據(jù)SMIL腳本中的Src信息向流媒體服務(wù)器發(fā)起直播請求,接收RTP包,解碼并在指定的區(qū)域進行顯示。
全文摘要
一種利用SMIL技術(shù)與移動流媒體技術(shù)的移動多點監(jiān)視技術(shù),在SMIL腳本中發(fā)起到流媒體服務(wù)器的多個直播連接,實現(xiàn)在單一屏幕上的多畫面顯示;根據(jù)移動終端的監(jiān)視需求,管理平臺動態(tài)生成SMIL腳本,移動終端下載此腳本,并根據(jù)SMIL腳本中的描述,發(fā)起多個到流媒體服務(wù)器的直播請求,從而實現(xiàn)移動多點監(jiān)視。本發(fā)明根據(jù)無線網(wǎng)絡(luò)自身特性,采用了最先進的H.264視頻編碼算法,利用SMIL可以方便描述各鐘媒體之間時間同步關(guān)系和空間編排關(guān)系的特點,借助于移動流媒體服務(wù)器技術(shù),實現(xiàn)了移動多點監(jiān)視。
文檔編號H04L29/00GK1812571SQ20061001816
公開日2006年8月2日 申請日期2006年1月16日 優(yōu)先權(quán)日2006年1月16日
發(fā)明者黃治華 申請人:北京北方烽火科技有限公司