專利名稱：一種支持多源流媒體的同步播放控制方法
所屬領(lǐng)域本發(fā)明屬于計(jì)算機(jī)設(shè)計(jì)與應(yīng)用技術(shù)領(lǐng)域，涉及計(jì)算機(jī)軟件、多媒體技術(shù)以及視音頻處理技術(shù)，特別涉及一種支持多源流媒體的同步播放控制方法。
背景技術(shù)：
多媒體技術(shù)的飛速發(fā)展促使人們對復(fù)雜媒體呈現(xiàn)需求的不斷提高，并已逐漸成為人們獲取和傳遞信息、進(jìn)行網(wǎng)絡(luò)化自主學(xué)習(xí)的最有效手段。因此，各操作系統(tǒng)一直都力求能夠?qū)Χ嗝襟w達(dá)到完美的支持。
多源流媒體是一種支持兩路或者兩路以上流媒體數(shù)據(jù)同步播放并以特定方式(如“畫中畫”、多窗口)進(jìn)行表現(xiàn)的復(fù)雜媒體類型。它進(jìn)一步提高了媒體的表現(xiàn)能力和信息含量，受到當(dāng)前人們的普遍關(guān)注。
申請人經(jīng)過查新，檢索到與本發(fā)明相關(guān)專利1個(gè)，國內(nèi)文獻(xiàn)4篇，國外相關(guān)文獻(xiàn)4篇(一)相關(guān)專利1個(gè)1.專利名稱基于UPNP協(xié)議的LINUX操作系統(tǒng)下的媒體播放器專利申請人海信集團(tuán)有限公司(二)國內(nèi)相關(guān)文獻(xiàn)3篇1.標(biāo)題H.323同步控制實(shí)現(xiàn)研究，通信學(xué)報(bào).2004，25(5).-67-742.標(biāo)題多媒體同步系統(tǒng)的緩沖區(qū)補(bǔ)償技術(shù)刊名計(jì)算機(jī)學(xué)報(bào).2003，26(4).-484-4903.標(biāo)題一種新的媒體內(nèi)同步控制算法刊名計(jì)算機(jī)研究與發(fā)展.2002，39(12).-1675-16804.標(biāo)題延時(shí)估計(jì)和實(shí)時(shí)數(shù)據(jù)的同步控制刊名通信學(xué)報(bào).1999，20(2).-46-52(三)國外相關(guān)文獻(xiàn)4篇1.TitleA synchronization and flow control scheme for interactivemultimedia-on demand(MOD)systemsAuthor(s)Chung-Ming Huang；Chian Wang；Hsu-Yang KungSourceProceedings Seventh International Conference on Parallel andDistributed Systems(Cat.No.PR00568)39-46，20002.TitleA performance comparison of single-stream and multi-streamapproaches to live media synchronizationAuthor(s)Tasaka，S.；Ishibashi，Y.
SourceIEICE Transactions on Communications vol.E81-B，no.111988-97，11 19983.TitleA synchronization scheme for distributed multimedia informationsystemsAuthor(s)Lu，GJ.；Pung，H.K.；Chua，T.S.
Editor(s)Ng，C.S.；Yeo，T.S.；Yeo，S.P.
SourceCommunications on the Move.Singapore.ICCS/ISITA′92(Cat.No.92TH0479-6)1-5 vol.1，19924.TitleA fast，multi-platform open source SMIL playerConferenceACM Multimedia 2004-proceedings of the 12th ACM
International Conference on MultimediaPublisherAssociation for Computing Machinery對上述文獻(xiàn)分析如下在專利1中，發(fā)明人提出了一種基于UPNP協(xié)議的LINUX操作系統(tǒng)下的媒體播放器，其應(yīng)用程序模塊主要包括有內(nèi)容傳輸子系統(tǒng)、格式解碼子系統(tǒng)，以及音視頻傳輸服務(wù)模塊、連接管理服務(wù)模塊和播放器控制服務(wù)模塊，其特征在于在應(yīng)用程序模塊中設(shè)置有UPNP協(xié)議棧。該發(fā)明所提到的基于UPnP協(xié)議的媒體播放器，主要實(shí)現(xiàn)了網(wǎng)絡(luò)中媒體播放器自動(dòng)發(fā)現(xiàn)和互操作的功能，提供用戶間共享使用網(wǎng)絡(luò)資源的功能。
國內(nèi)文獻(xiàn)[1]中，提出并實(shí)現(xiàn)了一種H.323多媒體通信系統(tǒng)音視頻同步控制算法，算法以正常語音播放為基準(zhǔn)，利用H.263碼流語法信息，通過調(diào)整視頻播放幀率實(shí)現(xiàn)媒體間同步，不增加通信冗余度。
國內(nèi)文獻(xiàn)[2]中，主要針對時(shí)延抖動(dòng)這一影響多媒體信息連續(xù)播放質(zhì)量的重要因素，通過在播放端設(shè)置緩沖區(qū)以抵消時(shí)延抖動(dòng)，從而保證媒體內(nèi)及媒體間的同步。
國內(nèi)文獻(xiàn)[3]中，提出的媒體同步播放方案，是基于發(fā)送方的媒體同步控制，根據(jù)緩沖區(qū)的占用情況來檢測失步，并將其反饋給發(fā)送方，發(fā)送方利用給出的控制函數(shù)對發(fā)送幀率進(jìn)行調(diào)整，來保持接收方媒體的同步播放。
國內(nèi)文獻(xiàn)[4]中，提出的同步控制算法，針對常見分組網(wǎng)缺乏QoS業(yè)務(wù)的特點(diǎn)，借助于RTP的數(shù)據(jù)傳輸機(jī)制，通過對報(bào)文延時(shí)及延時(shí)抖動(dòng)的估計(jì)，來調(diào)節(jié)和維持實(shí)時(shí)媒體數(shù)據(jù)的同步。
國外文獻(xiàn)[1]中，主要論述了媒體點(diǎn)播系統(tǒng)對VCR交互的響應(yīng)方式。針對分布式多媒體環(huán)境下的媒體交互，提出了一些同步控制方法，但這些方法很不具體。
國外文獻(xiàn)[2]中，論述了視音頻之間的單流與多流傳輸問題。由于視頻流和音頻流的分開傳輸，導(dǎo)致在傳輸過程中產(chǎn)生的唇音不同步的問題，論文提出施行動(dòng)態(tài)分流傳輸控制可以改善同步質(zhì)量。
國外文獻(xiàn)[3]中，論述了流內(nèi)同步及流間同步問題及用戶交互對多流呈現(xiàn)的影響；提出流內(nèi)的同步主要依靠媒體和呈現(xiàn)媒體之間的時(shí)間關(guān)系，對流間的同步是根據(jù)媒體的同步屬性來建立和維護(hù)它們之間的同步。
國外文獻(xiàn)[4]中，論述了一種以新的SMIL引擎為核心的、跨平臺(tái)的媒體播放器。該播放器未對SMIL文件中多路媒體進(jìn)行同步控制，也未對多個(gè)視頻窗口進(jìn)行融合。
從國內(nèi)、外數(shù)據(jù)庫檢索和文獻(xiàn)分析看，主要是對單路媒體流的流內(nèi)同步討論較多，關(guān)于多源流媒體的同步控制方法與多路媒體數(shù)據(jù)融合方法并未涉及。對流內(nèi)同步方法主要有兩種，一是調(diào)整播放端緩沖區(qū)的大小，保證媒體間的同步；基于傳輸協(xié)議，來調(diào)節(jié)和維護(hù)媒體數(shù)據(jù)的同步。

發(fā)明內(nèi)容
為了克服上述現(xiàn)有技術(shù)存在的缺陷或不足，本發(fā)明提供支持多源流媒體的同步播放控制方法，可將來自媒體服務(wù)器或媒體文件的多路時(shí)序相關(guān)的異構(gòu)媒體進(jìn)行同步控制，并在多路視頻融合后進(jìn)行播放。
本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的流媒體同步播放控制，采用流媒體同步播放控制裝置實(shí)現(xiàn)，該裝置包括分離器、解碼器組、多源流媒體同步模塊、多源視頻流融合模塊、OSD模塊以及音頻濾鏡；分離器接收來自多個(gè)本地媒體文件或網(wǎng)上多路流媒體中的媒體數(shù)據(jù)，并實(shí)時(shí)地將每路媒體流中的視音頻數(shù)據(jù)進(jìn)行分離，分離后的數(shù)據(jù)各自進(jìn)入相應(yīng)隊(duì)列；解碼器組從隊(duì)列中接收到視音頻數(shù)據(jù)，根據(jù)其所采用的多媒體編碼算法，調(diào)用相應(yīng)的解碼器，以多進(jìn)程方式并行地完成多路視音頻數(shù)據(jù)的解碼，并將解碼后媒體數(shù)據(jù)送至多源流媒體同步模塊；多源流媒體同步模塊接收到多路媒體流數(shù)據(jù)后，采用多粒度分層同步控制機(jī)制對媒體對象之間以及媒體對象內(nèi)的多路媒體流進(jìn)行同步控制；同步后的多路視頻與多路音頻數(shù)據(jù)分別送至多源視頻流融合模塊與音頻濾鏡；多源視頻融合模塊采用基于圖像融合的視頻融合算法將多路同步視頻融合為一路視頻，以避免多個(gè)視頻窗口重疊顯示；融合過程中，該模塊還能實(shí)現(xiàn)主次媒體對象視頻的切換，并重新進(jìn)行融合；OSD模塊接收到融合后的視頻數(shù)據(jù)后，將音量大小、當(dāng)前播放時(shí)間或字幕信息疊加到視頻上，并進(jìn)行輸出；最終實(shí)現(xiàn)多路視頻流的同步播放控制；音頻濾鏡到融合后的音頻數(shù)據(jù)后，進(jìn)行格式轉(zhuǎn)變，如增益，重采樣，并進(jìn)行線性疊加，最終實(shí)現(xiàn)多路音頻流的同步播放控制。
在多源流媒體同步模塊，采用了一種多粒度分層同步控制機(jī)制，是將同步問題分解為媒體層、流層和對象層的三個(gè)層次；在流層，根據(jù)音頻、視頻、字幕的優(yōu)先級(jí)順序，首先，基于呈現(xiàn)時(shí)間戳PTS實(shí)現(xiàn)視音頻的同步，其次，基于參考點(diǎn)RP實(shí)現(xiàn)字幕與視頻的同步，流層媒體數(shù)據(jù)的同步解決了媒體對象內(nèi)的同步；在流層同步的基礎(chǔ)上，在對象層，采用多進(jìn)程間的管道通信機(jī)制實(shí)現(xiàn)了媒體對象間的同步。
在多源視頻融合模塊，采用基于圖像融合的視頻融合算法；該算法是將多個(gè)視頻窗口在一個(gè)虛擬背景中的進(jìn)行圖像融合首先，對同步后的多路視頻流中的視頻幀進(jìn)行色度空間的轉(zhuǎn)換，將YUV格式統(tǒng)一轉(zhuǎn)化為RGB(RedGreen Blue)格式，其次，根據(jù)用戶選擇確定主從視頻；第三，根據(jù)主從關(guān)系對視頻幀大小進(jìn)行映射變換，并確定在虛擬背景上位置；第四，在虛擬背景上進(jìn)行像素級(jí)的融合，生成“畫中畫”效果的融合視頻。
采用本發(fā)明，可以實(shí)現(xiàn)一種支持多源流媒體的播放器，該播放器支持各種媒體流及本地媒體文件的播放；并能支持它們之間組合形成的異構(gòu)多源媒體同步播放。該播放器可廣泛應(yīng)用于網(wǎng)上課件點(diǎn)播、多場景監(jiān)控、多錄像回放、多視頻點(diǎn)播等領(lǐng)域。


圖1為本發(fā)明體系結(jié)構(gòu)及數(shù)據(jù)流示意圖；圖2為本發(fā)明多源流媒體播放過程中同步問題的描述示意圖；圖3為本發(fā)明多粒度分層同步參考模型示意圖；圖4為本發(fā)明媒體對象間同步模型示意圖；圖5為本發(fā)明多源視頻流圖像分屏融合的原理示意圖；圖6為本發(fā)明圖像大小的映射變化過程示意圖；圖7為本發(fā)明分頻融合區(qū)域示意圖；圖8為本發(fā)明象素級(jí)“畫中畫”視頻融合過程示意圖；圖9為本發(fā)明多源視頻流融合效果。
具體實(shí)施例方式
下面結(jié)合附圖對本發(fā)明作進(jìn)一步的詳細(xì)描述。
同步播放控制機(jī)制的組成與工作機(jī)理參照圖1所示，流媒體同步播放控制裝置包括分離器、解碼器組、多源流媒體同步模塊、多源視頻流融合模塊、OSD模塊以及音頻濾鏡。
分離器用于接收來自多個(gè)本地媒體文件或網(wǎng)上多路流媒體中的媒體數(shù)據(jù)，并對其進(jìn)行格式識(shí)別、分離。媒體文件開頭部分有一段數(shù)據(jù)可用于識(shí)別媒體格式，這部分?jǐn)?shù)據(jù)包括文件類型，包含的數(shù)據(jù)流數(shù)量，數(shù)據(jù)流類型，數(shù)據(jù)流的編碼算法，根據(jù)這些信息，可將媒體分離為單獨(dú)的視頻流、音頻流及字幕流；分離后的數(shù)據(jù)各自進(jìn)入相應(yīng)隊(duì)列。
解碼器組從隊(duì)列中接收到視音頻數(shù)據(jù)，根據(jù)其所采用的多媒體編碼算法，調(diào)用相應(yīng)的解碼器，以多進(jìn)程方式并行地完成多路視音頻數(shù)據(jù)的解碼，視頻數(shù)據(jù)被解碼成BMP或YUV格式的圖像幀，音頻數(shù)據(jù)被解碼成線性格式；解碼后媒體數(shù)據(jù)被送至多源流媒體同步模塊。
多源流媒體同步模塊接收到多路媒體流據(jù)后，采用多粒度分層同步控制機(jī)制對媒體對象之間以及媒體對象內(nèi)的多路媒體流進(jìn)行同步控制；在媒體對象內(nèi)(流層)，根據(jù)音頻、視頻、字幕的優(yōu)先級(jí)順序，首先，基于PTS實(shí)現(xiàn)視音頻的同步，其次，基于RP實(shí)現(xiàn)字幕與視頻的同步；在流層同步的基礎(chǔ)上，在對象層，采用多進(jìn)程間的管道通信機(jī)制實(shí)現(xiàn)了媒體對象間的同步。同步后的多路視頻與多路音頻數(shù)據(jù)分別送至多源視頻流融合模塊與音頻濾鏡。
多源視頻流融合模塊采用圖像融合技術(shù)實(shí)現(xiàn)將多路同步視頻融合為一路視頻，以避免多個(gè)視頻窗口重疊顯示；融合過程中，該模塊還能實(shí)現(xiàn)主次媒體對象視頻的切換，并重新進(jìn)行融合。OSD模塊接收到融合后的視頻數(shù)據(jù)后，將音量大小、當(dāng)前播放時(shí)間或字幕信息疊加到視頻上，并進(jìn)行輸出；最終實(shí)現(xiàn)多路視頻流的同步播放控制。
音頻濾鏡到融合后的音頻數(shù)據(jù)后，將其轉(zhuǎn)化為適合輸入的格式，并進(jìn)行線性疊加，最終實(shí)現(xiàn)多路音頻流的同步播放控制。
關(guān)鍵技術(shù)多粒度分層的多源流媒體同步控制方法(1)多源流媒體同步問題描述參照圖2所示，多源流媒體同步問題，圖2中有媒體對象1與2兩個(gè)媒體對象，每個(gè)媒體對象包含視頻流、音頻流、字幕流。其中ta是指一個(gè)媒體流內(nèi)部媒體數(shù)據(jù)包的時(shí)態(tài)關(guān)系；tb與tc是指一個(gè)媒體對象內(nèi)部的不同媒體流之間的時(shí)態(tài)關(guān)系，這里分別是媒體對象1中視頻與音頻、視頻與字幕的時(shí)態(tài)關(guān)系。根據(jù)在同步過程中對時(shí)序要求的嚴(yán)格程度，還可以將流間同步再一步細(xì)分為動(dòng)態(tài)同步和靜態(tài)同步兩種。tb所描述的音、視頻唇音同步是一種動(dòng)態(tài)同步過程，它要求音視頻在播放過程中的任何時(shí)刻保持同步；tc所描述的字幕和視頻的的同步則是一個(gè)靜態(tài)同步過程，對于特定的一屏字幕，它對應(yīng)了一段顯示時(shí)間區(qū)間，只要保證在區(qū)間點(diǎn)時(shí)刻(或稱為參考點(diǎn))與視頻流的同步即可，而對這段時(shí)間區(qū)間內(nèi)的任何時(shí)刻，并沒有同步操作。
如果媒體對象內(nèi)是嚴(yán)格同步的，則有ta＝1/fps，tb＝0，tc＝0其中，fps為視頻幀速率。
兩個(gè)或者兩個(gè)以上媒體對象之間的同步關(guān)系，用tM描述，圖2中tM表示媒體對象1與媒體對象2中音頻數(shù)據(jù)之間的時(shí)序關(guān)系，同樣，如果媒體對象間是嚴(yán)格同步的，則有tM＝0在多源流媒體播放過程中，流內(nèi)同步的同步粒度最小，它是解決媒體對象內(nèi)同步的基礎(chǔ)和前提，媒體對象間的同步則是在媒體對象內(nèi)同步的基礎(chǔ)上多個(gè)媒體對象間的時(shí)序關(guān)系，它的同步粒度最大。一般情況下，ta依賴于媒體文件本身或流媒體傳輸?shù)慕Y(jié)果，而且基本上已經(jīng)能滿足多源流媒體同步需求，所以，在本發(fā)明的研究重點(diǎn)是通過一系列有效的同步機(jī)制，使tb、tc和tM的值最小。
(2)多粒度分層同步參考模型針對多源流媒體播放中的各種同步問題，提出了面向多源流媒體播放的多粒度分層同步參考模型。
參照圖3所示，在分層同步模型中，我們將不同的同步需求分為三層媒體層、流層和對象層，在模型圖中右側(cè)給出的是每層對應(yīng)的同步操作對象。
媒體層其目的是實(shí)現(xiàn)流內(nèi)各個(gè)媒體單元的同步，媒體單元包括視頻幀、音頻采樣以及字幕段。目前，該層的同步機(jī)制主要是在多媒體數(shù)據(jù)在網(wǎng)絡(luò)傳輸過程中，通過在發(fā)送端或本地接收端設(shè)置相應(yīng)的緩沖區(qū)、改變發(fā)送端發(fā)送速率并采取ARQ反饋機(jī)制實(shí)現(xiàn)的，該過程發(fā)生在媒體數(shù)據(jù)網(wǎng)絡(luò)傳輸階段，不屬于本發(fā)明范疇之內(nèi)，因此，對媒體層的同步不進(jìn)行說明。對于流層和同步層，其同步過程是透明的。ta是該層的同步狀態(tài)描述參數(shù)。
流層其目的是實(shí)現(xiàn)了媒體流之間同步。媒體流包括視頻流、音頻流、字幕流，根據(jù)音頻、視頻、字幕的優(yōu)先級(jí)，我們采用了基于時(shí)間戳的流間同步機(jī)制。這里，對于音頻、視頻，時(shí)間戳是媒體數(shù)據(jù)的PTS，表示一個(gè)數(shù)據(jù)包期望被呈現(xiàn)的靜態(tài)時(shí)間標(biāo)記，對于字幕，時(shí)間戳是是字幕的RP，即字幕期望被顯示、隱藏的靜態(tài)時(shí)間標(biāo)記。tb和tc是該層的同步狀態(tài)描述參數(shù)，分別描述視音頻之間以及視頻與屏幕之間的同步。
對象層其目的是實(shí)現(xiàn)媒體對象間的同步。我們通過運(yùn)用管道實(shí)現(xiàn)多個(gè)媒體對象進(jìn)程間的通訊功能，提出了基于管道通信的媒體對象間同步機(jī)制。tM是該層同步狀態(tài)描述參數(shù)。
其中，媒體層的同步是實(shí)現(xiàn)流層同步的基礎(chǔ)，而流層的同步又是實(shí)現(xiàn)對象層同步的前提。在上述的三層同步模型中可以看到，在每一同步層內(nèi)，我們通過相應(yīng)的同步機(jī)制，解決了該層同步操作對象的同步問題。
(3)同步基準(zhǔn)的建立由于各同步層的同步粒度差異較大，具體來說，流層的同步粒度小，對象層的同步粒度大，因此，各同步層中的同步基準(zhǔn)也具有差異性。
■流層的同步基準(zhǔn)流層同步的主要操作對象是視頻流、音頻流以及字幕流等，要確定流層的同步基準(zhǔn)，其實(shí)就是根據(jù)媒體對象內(nèi)部上述三種流的優(yōu)先級(jí)關(guān)系而確定主媒體流。
由于人耳對聲音停頓、重復(fù)或播放速率的調(diào)整較為敏感，因此通常將音頻流作為主媒體流，而將視頻流及其它媒體流作為從媒體流，通過調(diào)整播放時(shí)間實(shí)現(xiàn)流層的流間同步。
視音頻的同步是一種動(dòng)態(tài)同步過程，對同步的性能要求比較高，而字幕流的同步是一種靜態(tài)同步的過程，對同步的性能要求并不是很高。根據(jù)上述分析可以確定三種主要媒體流具有“音頻＞視頻＞字幕”的優(yōu)先級(jí)關(guān)系。所以，音頻流是流層的同步基準(zhǔn)。特別地，如果流層處理的媒體對象沒有音頻流，根據(jù)優(yōu)先級(jí)，可以確定視頻流為同步基準(zhǔn)。
■對象層的同步基準(zhǔn)對象層的同步情況分為兩類一、無需同步，即組成多源流媒體播放中的多個(gè)媒體對象之間，幾乎沒有依賴性，不用進(jìn)行同步處理，閾值空間的值為無限大。如多個(gè)無關(guān)的媒體對象的多源流播放。二、精確同步，即組成多源流媒體播放中的多個(gè)媒體對象之間，同步要求較高，同步閾值空間較小。如一場體育比賽中在多個(gè)不同角度拍攝到的賽場視頻的全景回放過程，其同步閾值需設(shè)置在1s以下。
根據(jù)上述分析，我們提出了能夠唯一描述媒體對象的7元向量模型MO＝<ID，Ts，Weight，ThRank，MRL，F(xiàn)usion，Info>
其中，MOMedia Object，是指媒體對象；ID唯一標(biāo)識(shí)該媒體對象的一個(gè)正整數(shù)；TsTimeStamp，記錄該媒體對象的播放位置，由流層的接口提供，一般為該媒體對象中的主媒體流的PTS值；Weight權(quán)重，是一個(gè)正整數(shù)，標(biāo)記該媒體對象同步性能要求的高低，規(guī)定其值越小同步要求就越高，默認(rèn)主媒體對象的權(quán)重值為1；ThRankThreshold Rank，閾值等級(jí)，是一相對值，表示該媒體對象和主媒體對象之間同步性能要求的高低。根據(jù)實(shí)際應(yīng)用需要，我們確定如下閾值等級(jí)列表

MRL指該媒體對象的資源路徑，它可以是本地路徑或者網(wǎng)絡(luò)流路徑；
Fusion視頻融合的標(biāo)識(shí)位，值為Major、Minor或None；Info用于描述該媒體對象的一些附加信息。
如果對象層要處理N個(gè)媒體對象間的同步問題，我們用向量M＝(MO0，MO1，...MON)，來記錄對象層同步元素集。
在M中，我們把權(quán)重值最小的媒體對象定義為對象層的同步基準(zhǔn)。
(4)媒體對象內(nèi)同步媒體對象內(nèi)同步包括視音頻的同步與字幕、視頻的同步。
■基于PTS的視音頻同步基于PTS的視音頻同步的主要思想為音頻按照正常速度播放，視頻幀控制程序根據(jù)同步狀態(tài)檢測程序的輸出結(jié)果對視頻幀進(jìn)行正常播放或丟幀處理，在每播完一視頻幀后，A/V PTS校正程序?qū)σ纛l延時(shí)做相應(yīng)處理并將結(jié)果反饋到同步狀態(tài)檢測程序，從而完成對當(dāng)前不同步情況的修正。
設(shè)audio_delay音頻延時(shí)，是同步狀態(tài)檢測程序判斷當(dāng)前同步狀態(tài)的重要依據(jù)，初始值為0；timer當(dāng)前視頻的播放位置，初始值為0；playsize聲卡Buffer中可以填入數(shù)據(jù)的空間大??；o_bps一秒鐘未壓縮音頻字節(jié)數(shù)；fpsframe per second，視頻幀速率；Th音、視頻同步閾值空間，取值100ms；v_pts當(dāng)前視頻PTS；a_pts當(dāng)前音頻PTS；
T1自當(dāng)前音頻pts到當(dāng)前讀取的音頻數(shù)據(jù)的播放延時(shí)；T2音頻流的輸入緩沖區(qū)存放的音頻數(shù)據(jù)的播放延時(shí)；T3解壓后尚未送進(jìn)聲卡的音頻數(shù)據(jù)的播放延時(shí)；T4聲卡中尚未播放的音頻數(shù)據(jù)的播放延時(shí)；AV_delay由A/V PTS校正程序計(jì)算出來的當(dāng)前正在播放的音、視頻間存在的實(shí)際延時(shí)，通過修正跨度因子S，對audio_delay進(jìn)行修正；S修正跨度因子，在算法實(shí)現(xiàn)中，取值為0.1。如果我們得到AV_delay值為1s，則A/V PTS校正程序經(jīng)過多次完成對該AV_delay的全部修正，這樣就避免了因修正值過大對視頻播放產(chǎn)生明顯的“抖動(dòng)”現(xiàn)象。
基于PTS的音、視頻同步算法Step1開始，初始化audio_delay＝0，timer＝0；Step2若文件播放完畢，轉(zhuǎn)Step13，否則，獲得聲卡Buffer中可以填入數(shù)據(jù)的空間大小playsize，繼續(xù)；Step3解壓縮playzise大小的音頻數(shù)據(jù)并送入聲卡播放；Step4修改audio_delay的值；audio_delay＝audio_delay+playsize/o_bpsStep5讀取一幀未解碼的視頻幀數(shù)據(jù)，修改audio_delay和timer的值；timer＝timer+1/fpsaudio_delay＝audio_delay-1/fpsStep6同步狀態(tài)檢測程序計(jì)算audio_delay-T4值，如果該值大于音、視頻同步閾值空間Th值，則出現(xiàn)了不同步現(xiàn)象，轉(zhuǎn)Step12，否則，繼續(xù)；
Step7視頻幀控制程序解壓該視頻幀，sleep(1/fps-上面操作所用時(shí)間)，顯示；*********A/V PTS校正程序?qū)udio_delay值進(jìn)行修正******Step8獲取a_pts和v_pts值，并修改a_pts為當(dāng)前正在播放音頻的時(shí)刻；a_pts＝a_pts+T1-T2-T3-T4Step9計(jì)算AV_delay值；AV_delay＝a_pts-v_ptsStep10修正audio_delay值；audio_delay＝audio_delay+AV_delay*S***********A/V PTS校正程序修正結(jié)束**************Step11返回Step2；Step12視頻幀控制程序不解壓此視頻幀，做丟棄處理，返回Step2；Step13結(jié)束。
■基于“參考點(diǎn)”的字幕、視頻同步字幕的顯示與隱藏需要與視頻幀的PTS保持同步，每一個(gè)“參考點(diǎn)”其實(shí)都對應(yīng)著一個(gè)視頻PTS，當(dāng)視頻PTS到達(dá)的時(shí)候，字幕顯示控制程序就可以確定是否當(dāng)前的字幕內(nèi)容是否需要顯示或者隱藏。由此可知，只要保證第一個(gè)參考點(diǎn)與視頻的PTS保持同步，其他參考點(diǎn)都相對于第一個(gè)參考點(diǎn)的固定延時(shí)而保持了同步，因?yàn)槊慷巫帜粌?nèi)容的的顯示時(shí)間都是確定的。這樣，就很簡單的實(shí)現(xiàn)了字幕與視頻的同步。
(5)對象層同步對象層同步需要確定同步交互信息格式和維護(hù)各種基礎(chǔ)同步信息。
■同步交互信息格式我們確定對象層同步交互信息格式如下SyncMsg＝ID+Ts+Weight+ThRank+Action+Param在上式中，共有6部分?jǐn)?shù)據(jù)組成，其中前4部分?jǐn)?shù)據(jù)與媒體對象模型中信息一致，后兩部分?jǐn)?shù)據(jù)說明如下Action表示該消息的接收媒體對象進(jìn)程所需要采取的動(dòng)作，即主媒體對象進(jìn)程給從媒體對象進(jìn)程的執(zhí)行命令；Param一般是執(zhí)行Action命令時(shí)所需要附加信息。
其中Action和Param相對應(yīng)的值如下表所示

■基礎(chǔ)同步信息為了實(shí)現(xiàn)多源媒體的同步，系統(tǒng)需要建立并維護(hù)以下同步信息數(shù)據(jù)①媒體對象鏈表PlayTree記錄當(dāng)前正在播放的多個(gè)媒體對象的基本信息，是一個(gè)動(dòng)態(tài)鏈表。
②閾值等級(jí)矩陣TRM(Threshold Rank Matrix)
TRM＝(ThR21，ThR31，...ThRN1)T它是一個(gè)N-1維的向量，記錄所有從媒體對象與主媒體對象間的閾值等級(jí)。
③同步偏離矩陣SSM(Synchronization Skew Matrix)理論上，N個(gè)媒體對象間的同步關(guān)系是一個(gè)二維的關(guān)系，即N×N的矩陣SSM1 其中ssij(i，j＝0，1，...，N)是第i個(gè)媒體對象和第j個(gè)媒體對象間的同步偏離值(Tsi-Tsj)。
由于SSM1是一個(gè)反對稱陣，而我們只要知道其中上半部分或下半部分的數(shù)據(jù)，就完全可以進(jìn)行媒體對象的同步處理，所以我們可以將SSM1簡化為下式上三角矩陣SSM2 實(shí)際上，根據(jù)對象層同步基準(zhǔn)的確立過程可以知道，在媒體對象間同步中，從媒體對象間的同步可以不作關(guān)心，關(guān)鍵是處理好主媒體對象和從媒體對象之間的同步關(guān)系，由此，我們還可以將SSM2簡化下式同步偏離矩陣SSMSSM＝(ss21，ss31，...，ssN1)
它也是一個(gè)N-1維的向量，由此我們得到了在媒體對象間同步過程中非常重要的同步偏離矩陣SSM。并且，通過這種方式，我們將對象層較為復(fù)雜的二維同步問題簡化為一維同步問題。
■媒體對象間同步模型有了對象層能同步元素集M，同步交互信息格式SyncMsg，以及基礎(chǔ)同步信息PlayTree、TRM、SSM，對象層同步的基本思想首先，根據(jù)M獲得PlayTree，并構(gòu)建TRM和SSM；其次，以SyncMsg為基礎(chǔ)進(jìn)行進(jìn)程間通信交互各媒體對象進(jìn)程的同步信息，更新PlayTree、SSM并進(jìn)行動(dòng)態(tài)維護(hù)；最后，同步偏離程序根據(jù)PlayTree、TRM、SSM信息檢測當(dāng)前的不同步狀態(tài)，并進(jìn)行同步處理主媒體對象按照正常速度播放，從媒體對象的播放可能要做跳過或暫停操作(接收主媒體對象命令信息)，由此完成媒體對象間同步。
由此可見，媒體對象間同步相比于音視頻的同步，需要處理的對象多，粒度大，動(dòng)態(tài)性強(qiáng)。
參照圖4所示，我們對于基于管道通信的媒體對象間同步過程說明如下(1)多源流媒體播放程序開始，根據(jù)輸入媒體的相關(guān)信息，確定主媒體對象，初始化Ts、Weight、ThRank等參數(shù)，創(chuàng)建PlayTree，啟動(dòng)主媒體對象播放進(jìn)程并按常速播放，同時(shí)啟動(dòng)各從媒體對象播放進(jìn)程。
(2)由PlayTree生成閾值等級(jí)矩陣TRM。
(3)通過進(jìn)程間的管道通信，主媒體對象播放進(jìn)程所獲得的所有從媒體對象的狀態(tài)信息，及時(shí)更新PlayTree中Ts參數(shù)值，完成對PlayTree的動(dòng)態(tài)維護(hù)。
(4)完成三項(xiàng)功能I保持和主媒體對象進(jìn)程的管道通信，將從媒體對象自身的狀態(tài)信息及時(shí)反饋給主媒體對象進(jìn)程；II接受主媒體對象進(jìn)程的命令信息，執(zhí)行同步操作；III接收用戶對從媒體對象的VCR控制信息。
(5)根據(jù)PlayTree生成并動(dòng)態(tài)維護(hù)同步偏離矩陣SSM。
(6)同步檢測程序通過比較SSM和TRM中對應(yīng)位的值，即如果發(fā)現(xiàn)其中的一個(gè)從媒體對象的SSj1值超過了其相應(yīng)的Thj1值，產(chǎn)生不同步信息。
(7)將不同步信息通知主媒體對象進(jìn)程，主媒體對象進(jìn)程采用管道通信向不同步的從媒體對象進(jìn)程發(fā)送命令信息SyncMsg，完成同步操作。
(8)用戶對主媒體對象進(jìn)行VCR控制。
(9)用戶對從媒體對象進(jìn)行VCR控制。
對于該同步模型，需要說明以下幾點(diǎn)√步驟(3)～(7)構(gòu)成一個(gè)閉環(huán)過程，它是實(shí)現(xiàn)媒體對象間同步的核心環(huán)路。
√在該同步模型中，還有一個(gè)Clock模塊，它不是系統(tǒng)參考時(shí)間SCR(System Clock Reference)，而是由TRM中最小值和SCR共同得到的一個(gè)時(shí)鐘參數(shù)，是該同步模型的“全局時(shí)鐘”，由此“統(tǒng)一領(lǐng)導(dǎo)”同步情況的檢測和糾正。
√如果同步檢測程序檢測結(jié)果有多個(gè)不同步信息，系統(tǒng)將首先處理其ThRank值較低(優(yōu)先級(jí)較高)的不同步情況。如果媒體對象的ThRank值為-1，同步檢測程序?qū)⒑雎詫Υ嗣襟w對象的同步處理。
√主媒體對象和從媒體對象的用戶VCR控制的實(shí)現(xiàn)稍有不同。對于主媒體對象，直接將VCR控制信息通知從媒體對象進(jìn)程并采取相應(yīng)VCR操作；對于從媒體對象，首先將該信息發(fā)送至主媒體對象進(jìn)程，并由主媒體對象進(jìn)程將信息發(fā)送到其他從媒體對象進(jìn)程。
√在進(jìn)行Seek操作和VCR操作的時(shí)候，都有一個(gè)全局同步的過程，此操作由主媒體對象進(jìn)程實(shí)現(xiàn)。
這樣，我們已經(jīng)完整的提出了面向多源流媒體播放的同步解決方案，多源流媒體的同步問題得到了解決。
基于圖像融合的視頻融合機(jī)制多源視頻流融合的目的就是使前景在選定融合中心點(diǎn)或區(qū)域?qū)崿F(xiàn)前景與背景的覆蓋(Overlay)，并在邊界處做一些流暢和平滑過渡處理。
首先，我們對背景和前景進(jìn)行預(yù)處理，為進(jìn)行象素級(jí)融合打好基礎(chǔ)，然后，在背景中選取要融合的中心位置或區(qū)域，最后應(yīng)用融合算法達(dá)到我們的融合要求，完成融合過程。
參照圖5所示，預(yù)處理完成了對不同格式的圖像進(jìn)行色度空間的轉(zhuǎn)換、圖像維數(shù)的標(biāo)準(zhǔn)化、圖像大小的映射變換等工作。融合位置的選擇確定了前景和背景的相對位置。融合算法完成了圖像的象素級(jí)融合。以上步驟完成了圖像融合的基本功能，在此基礎(chǔ)上實(shí)現(xiàn)多源流視頻的融合，但是，多源流視頻的融合過程較之兩個(gè)圖像的融合過程更具復(fù)雜性，所以，需要將上述流程進(jìn)行擴(kuò)展(圖5中虛框所示)。
多源流視頻分頻融合所處理的是多個(gè)前景在一個(gè)虛擬背景中的圖像融合過程，這些前景都互不覆蓋，因此在視頻解碼器輸出形成視頻幀之后我們還需要完成主次前景的選擇過程，復(fù)雜的融合位置的定位過程等，而且，對于不同視頻輸出設(shè)備對色度空間的支持情況各異，我們需要對融合輸出做適當(dāng)“后處理”，以便于靈活適應(yīng)，如為了實(shí)現(xiàn)前景到背景的平滑過渡，在圖像的漸變區(qū)域內(nèi)，融合后的每個(gè)象素既包括了來自背景的信息，又存在前景的信息。
■多源流視頻融合算法設(shè)在多源流的播放過程中獲得視頻幀序列Fi，i∈[1，N]，解碼后為圖像文件序列Bi，i∈[1，N]S1.開始接收圖像文件序列Bi，作為圖像融合的輸入，多源流視頻分頻流融合開始。
S2.生成虛擬背景根據(jù)最后視頻輸出設(shè)備分辨率大小(設(shè)為U×V)，生成圖像融合的虛擬背景bgB(background Bitmap)，格式為RGB24，每個(gè)象素填充值0xFFFFFF(黑色)。如何媒體文件播放結(jié)束，轉(zhuǎn)S12，否則繼續(xù)。
S3.確定主次前景根據(jù)接收到的Bi，選取其中的一個(gè)圖像文件Bj，j∈[1，N]作為圖像融合的主前景MajorFB(Major Frontground Bitmap)，其余的都作為圖像融合次前景MinorFBk，k∈[1，N-1](Minor Frontground Bitmap)。
根據(jù)能夠唯一標(biāo)識(shí)媒體對象的7元向量模型，在這個(gè)模型中有一個(gè)Fusion域，它是視頻融合的標(biāo)識(shí)位，值可以為Major、Minor或None，各值的意義如下
Major標(biāo)識(shí)媒體對象為視頻融合中的主前景；Minor標(biāo)識(shí)媒體對象為視頻融合中的次前景；None標(biāo)識(shí)媒體對象不進(jìn)行視頻融合。
一般情況下，系統(tǒng)默認(rèn)主媒體對象的Fusion值為Major，從媒體對象的Fusion值為Minor，媒體對象的Fusion值接受用戶的修改。這樣，就確定了一個(gè)主前景MajorFB，N-1個(gè)次前景MinorFBk，k∈[1，N-1]。
如果所有媒體對象的Fusion值為None，則不進(jìn)行視頻融合，采用多窗口方式顯示，轉(zhuǎn)S12。
S4.色度空間的轉(zhuǎn)換由于確定的MajorFB和MinorFBk，k∈[1，N-1]可能采用了不同的色度空間，格式不一致，因此需要將上述圖像進(jìn)行色度空間(圖像格式)的轉(zhuǎn)換，為了便于進(jìn)一步的圖像融合處理，通過下式將所有的圖像轉(zhuǎn)換到RGB空間上來，其轉(zhuǎn)換結(jié)果都為RGB24的無壓縮BMP位圖文件格式。
RGB=1.00001.1401.000-0.390-0.5801.0002.0300YUV]]>S5.圖像維數(shù)的標(biāo)準(zhǔn)化將MajorFB和MinorFBk，k∈[1，N-1]的分辨率標(biāo)準(zhǔn)化為U×V，為MajorFB、MinorFBk，k∈[1，N-1]和bgB進(jìn)行象素級(jí)的融合奠定基礎(chǔ)。
S6.圖像大小的映射變換進(jìn)行融合前，需要對MajorFB和MinorFBk，k∈[1，N-1]進(jìn)行圖像大小的轉(zhuǎn)換，這是一個(gè)象素映射變換的過程，其變換函數(shù)記為f。我們對該過程進(jìn)行簡單敘述，一般圖像的寬與高之比為4∶3，不失一般性，假設(shè)我們需要將原始的圖像MajorFB和MinorFBk，k∈[1，N-1](U×V)縮小為原來的1/z，縮小后圖像MajorFB和MinorFBk，k∈[1，N-1]的維數(shù)為m×n，正整數(shù)z稱為圖像縮放倍率。不妨設(shè)U＝zm+1，V＝zn+r故，對MajorFB和MinorFBk，k∈[1，N-1]可采用丟棄部分邊緣象素(圖中1×r區(qū)域)，正比縮小的方法轉(zhuǎn)換圖像大小，其中對原圖象素每z×z方陣象素區(qū)中取一點(diǎn)作為MajorFBz和MinorFBkz，k∈[1，N-1]的象素，即存在以下的象素映射關(guān)系MajorFBz＝f(z，MajorFB)MinorFBkz＝f(z，MinorFBk)，k∈[1，N-1]參照圖6所示其轉(zhuǎn)換過程這樣，就確定了前景MajorFBz或MinorFBkz，k∈[1，N-1]在虛擬背景bgB中的融合區(qū)域m×n。
參照圖7所示S7.融合位置的計(jì)算根據(jù)U、V和圖像縮放倍率z分別對主次前景的大小進(jìn)行了變換，并且由此得到了變換后主次前景在背景中的融合區(qū)域Qm×n。但我們還需確定MajorFBz和MinorFBkz，k∈[1，N-1]的第一個(gè)象素在bgB中的位置PP(x，y)和Pk(xk，yk)之后，才能完全確定各前景在背景中的融合位置。
在多源視頻流的融合過程中，我們采用“畫中畫”形式，Pk(xk，yk)之間使用簡單的線性關(guān)系表示，即Pk+1(xk+1，yk+1)＝Pk(xk，yk+n)如果MajorFBz不存在，即S3中所有媒體的Fusion值都為Minor，則將MinorFBkz在bgB“平均布局”。
S8.象素級(jí)“畫中畫”視頻融合假設(shè)融合后的輸出為 ，在已有bgB、MajorFBz和MinorFBkz，k∈[1，N-1]、P、Q的基礎(chǔ)上，給出視頻融合的過程。
參照圖8所示視頻融合的過程把融合過程記為F。 是通過象素級(jí)圖像融合過程F將bgB和MajorFBz和MinorFBkz，k∈[1，N-1]進(jìn)行N次融合的結(jié)果。
設(shè)bgB、MajorFBz和MinorFBkz，k∈[1，N-1]都是線性地址保存，即bgB＝byte
MajorFBz，MinorFBkz＝byte
，k∈[1，N-1]以MinorFBkz，k∈[1，N-1]和bgB的融合過程為例，融合過程F可以用以下算法描述***********************多源視頻流融合算法********************001 for I＝0 to N-1 do//連續(xù)執(zhí)行N次融合過程002for J＝0 to m-1 do //替換Q中的第J+1行象素003for K＝0 to n-1 do //替換Q中的第J+1行、第K+1列所對應(yīng)的象素004begin005 bgB{[(xI+1)*n+yI+1-1]*3}＝MinorFB(I+1)z[(J*n+K)*3]；//替換象素中的R分量006 bgB{[(xI+1-1)*n+yI+1-1]*3+1}＝MinorFB(I+1)z[(J*n+K)*3+1]；//替換象素中的G分量
007 bgB{[(xI+1-1)*n+yI+1-1]*3+2}＝MinorFB(I+1)z[(J*n+K)*3+2]；//替換象素中的B分量008 end.
*************************************************************到此，通過F完成了多源視頻流“畫中畫”象素級(jí)融合。
S9.后處理根據(jù)不同的視頻輸出設(shè)備支持的色度空間的差異，對 進(jìn)行類似S4的色度空間轉(zhuǎn)換和類似S5的圖像大小縮放處理。
S10.視頻輸出通過Video Out將在一個(gè)視頻窗口中以“畫中畫”方式呈現(xiàn)給用戶。
S11.用戶窗口控制在多源視頻的播放過程中，接受用戶窗口操作(如將主前景全屏，切換主前景和次前景等)，程序修改媒體對象的Fusion域的值，返回S2，系統(tǒng)重新啟動(dòng)新的多源視頻流融合過程。
參照圖9所示視頻融合后的效果圖。
■窗口控制策略由于視頻窗口比較小，細(xì)節(jié)信息無法看清，為此引入了窗口控制策略，實(shí)現(xiàn)主次前景媒體對象視頻的靈活切換。
策略融合后的視頻窗口 是一個(gè)U×V維的窗口，其中每一個(gè)象素都對應(yīng)著視頻窗口中的一個(gè)坐標(biāo)p(u，v)，如圖8所示，根據(jù)bgB、MajorFBz和MinorFBkz，k∈[1，N-1]，我們可以判斷點(diǎn)p(u，v)是在當(dāng)前的主前景媒體對象MajorFBz，還是在次前景媒體對象MinorFBkz，k∈[1，N-1]區(qū)域內(nèi)，進(jìn)而通過修改相應(yīng)媒體對象的Fusion域的值，重新啟動(dòng)多源流視頻融合算法，完成主次前景媒體對象視頻的切換功能。
定義消息evFusion，用戶在次前景窗口中雙擊時(shí)產(chǎn)生，當(dāng)多源視頻窗口接收到該消息后，程序修改當(dāng)前主前景媒體對象的Fusion值為Minor，而修改次前景媒體對象的Fusion值為Major。
權(quán)利要求
1.一種支持多源流媒體的同步播放控制方法，其特征在于采用流媒體同步播放控制裝置實(shí)現(xiàn)，該裝置包括分離器、解碼器組、多源流媒體同步模塊、多源視頻流融合模塊、OSD模塊以及音頻濾鏡；分離器接收來自多個(gè)本地媒體文件或網(wǎng)上多路流媒體中的媒體數(shù)據(jù)，并實(shí)時(shí)地將每路媒體流中的視音頻數(shù)據(jù)進(jìn)行分離，分離后的數(shù)據(jù)各自進(jìn)入相應(yīng)隊(duì)列；解碼器組從隊(duì)列中接收到視音頻數(shù)據(jù)，根據(jù)所采用的多媒體編碼算法，調(diào)用相應(yīng)的解碼器，以多進(jìn)程方式并行地完成多路視音頻數(shù)據(jù)的解碼，并將解碼后媒體數(shù)據(jù)送至多源流媒體同步模塊；多源流媒體同步模塊接收到多路媒體流數(shù)據(jù)后，采用多粒度分層同步控制方法對媒體對象之間以及媒體對象內(nèi)的多路媒體流進(jìn)行同步控制；同步后的多路視頻與多路音頻數(shù)據(jù)分別送至多源視頻流融合模塊與音頻濾鏡；多源視頻融合模塊采用基于圖像融合的視頻融合算法將多路同步視頻融合為一路視頻；融合過程中，該模塊還能實(shí)現(xiàn)主次媒體對象視頻的切換，并重新進(jìn)行融合；OSD模塊接收到融合后的視頻數(shù)據(jù)后，將音量大小、當(dāng)前播放時(shí)間或字幕信息疊加到視頻上，并進(jìn)行輸出；最終實(shí)現(xiàn)多路視頻流的同步播放控制；音頻濾鏡到融合后的音頻數(shù)據(jù)后，進(jìn)行格式轉(zhuǎn)變，重采樣，并進(jìn)行線性疊加，最終實(shí)現(xiàn)多路音頻流的同步播放控制。
2.根據(jù)權(quán)利要求1所述的一種支持多源流媒體的同步播放控制方法，其特征在于，在多源流媒體同步模塊采用的一種多粒度分層同步控制方法，是將同步問題分解為媒體層、流層和對象層的三個(gè)層次；在流層，根據(jù)音頻、視頻、字幕的優(yōu)先級(jí)順序，首先，基于呈現(xiàn)時(shí)間戳PTS實(shí)現(xiàn)視音頻的同步，其次，基于參考點(diǎn)RP實(shí)現(xiàn)字幕與視頻的同步，流層媒體數(shù)據(jù)的同步解決了媒體對象內(nèi)的同步；在流層同步的基礎(chǔ)上，在對象層，采用多進(jìn)程間的管道通信機(jī)制實(shí)現(xiàn)媒體對象間的同步。
3.根據(jù)權(quán)利要求1所述的一種支持多源流媒體的同步播放控制方法，其特征在于在多源視頻融合模塊采用的基于圖像融合的視頻融合算法法是將多個(gè)視頻窗口在一個(gè)虛擬背景中進(jìn)行圖像融合首先，對同步后的多路視頻流中的視頻幀進(jìn)行色度空間的轉(zhuǎn)換，將YUV格式統(tǒng)一轉(zhuǎn)化為RGB格式即Red Green Blue格式，其次，根據(jù)用戶選擇確定主從視頻；第三，根據(jù)主從關(guān)系對視頻幀大小進(jìn)行映射變換，并確定在虛擬背景上的位置；第四，在虛擬背景上進(jìn)行像素級(jí)的融合，生成“畫中畫”效果的融合視頻。
全文摘要
本發(fā)明公開了一種支持多源流媒體的同步播放控制方法，實(shí)現(xiàn)該方法的裝置包括分離器、解碼器組、多源流媒體同步、多源視頻流融合、OSD以及音頻濾鏡；分離器將多個(gè)本地媒體文件或多路流媒體中的視音頻數(shù)據(jù)進(jìn)行分離；解碼器組調(diào)用相應(yīng)解碼器，解碼后數(shù)據(jù)被送至多源流媒體同步模塊；同步模塊采用多粒度分層同步控制機(jī)制對媒體對象之間以及媒體對象內(nèi)的多路媒體流進(jìn)行同步控制；多路視頻由多源視頻融合模塊融合為一路視頻；OSD模塊將融合后的數(shù)據(jù)與音量大小、當(dāng)前播放時(shí)間或字幕信息疊加后進(jìn)行視頻輸出；多路音頻由音頻濾鏡進(jìn)行格式轉(zhuǎn)換、線性疊加后進(jìn)行音頻輸出。該播放器可廣泛應(yīng)用于網(wǎng)上課件點(diǎn)播、多場景監(jiān)控、多錄像回放、多視頻點(diǎn)播等領(lǐng)域。
文檔編號(hào)H04N21/43GK1767601SQ20051009621
公開日2006年5月3日 申請日期2005年10月21日 優(yōu)先權(quán)日2005年10月21日
發(fā)明者鄭慶華, 劉均, 張之明, 江丕峻, 王晨旭, 彭挺, 陳洪, 楊冬, 林杰, 伍洋, 張帆, 呂偉梅, 姜山, 丁凱 申請人:西安交通大學(xué)