專利名稱：視頻合成方法及視頻合成系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻會(huì)議技術(shù)，特別涉及視頻會(huì)議的視頻合成的方法。
技術(shù)背景
當(dāng)前，市面上使用的視頻會(huì)議系統(tǒng)是比較簡(jiǎn)單的系統(tǒng)，在每個(gè)會(huì)場(chǎng)安裝一套 視頻會(huì)議終端，接上電視機(jī)、攝像頭、麥克風(fēng)等附件，再接入相應(yīng)的寬帶網(wǎng)絡(luò)如IP， ISDN, E1/T1等，即可實(shí)現(xiàn)視頻、音頻、數(shù)據(jù)的實(shí)時(shí)傳送，這樣的系統(tǒng)在局域網(wǎng)或點(diǎn)對(duì) 點(diǎn)的視頻通信應(yīng)用非常廣泛。
而隨著用戶溝通的范圍不斷擴(kuò)大，企業(yè)內(nèi)各分公司之間的溝通愈發(fā)頻繁，這種 系統(tǒng)越來(lái)越難以承受用戶的個(gè)性化要求，并且呈現(xiàn)出了越來(lái)越明顯的弱點(diǎn)，主要表現(xiàn)在 如下用戶基本只局限于局域網(wǎng)內(nèi)或者在廣域網(wǎng)上只能局限兩人之間的視頻對(duì)話，難以 滿足廣域網(wǎng)內(nèi)多方通話的要求，多方視頻會(huì)議要求的帶寬越來(lái)越多，用戶使用費(fèi)用不 斷攀升隨著占用的帶寬越來(lái)越多，視頻的流暢度大受影響，大部分情況下只能看一路視 頻，受網(wǎng)絡(luò)的局限非常大。
針對(duì)上述問(wèn)題，目前有技術(shù)是通過(guò)話音數(shù)據(jù)與視頻數(shù)據(jù)分離的方法來(lái)減少網(wǎng)絡(luò) 帶寬的影響，利用公共交換電話網(wǎng)傳輸聲音信號(hào)，利用互聯(lián)網(wǎng)傳輸視頻信號(hào)；另有技術(shù) 是通過(guò)對(duì)各路待傳送的圖像信號(hào)的傳送特征信息的限定，使經(jīng)過(guò)編碼處理后的各路待傳 送的圖像信號(hào)具有不同的帶寬，以實(shí)現(xiàn)對(duì)帶寬的控制。這都需要用戶增加不同的終端設(shè) 備，當(dāng)要傳送多路視頻信號(hào)的時(shí)候，也不能明顯減少傳輸過(guò)程中占用的帶寬，對(duì)于目前 市大部分都是使用簡(jiǎn)單視頻會(huì)議用戶的終端，無(wú)法實(shí)現(xiàn)在現(xiàn)有終端以及網(wǎng)絡(luò)條件下都能 查看到彼此的視頻。發(fā)明內(nèi)容
本發(fā)明提供一種視頻合成方法及視頻合成系統(tǒng)，實(shí)現(xiàn)了利用現(xiàn)有的用戶終端設(shè) 備，在有限的帶寬資源的情況下能夠使用戶看到彼此的視頻，減少在廣域網(wǎng)內(nèi)進(jìn)行多方 視頻會(huì)議時(shí)帶寬限制的影響。
本發(fā)明提供一種視頻合成方法，包括步驟用戶終端與服務(wù)端的管理服務(wù)器建 立通信，根據(jù)負(fù)載均衡原則選擇視頻服務(wù)器并指定合成服務(wù)器，所述視頻服務(wù)器接收用 戶視頻，將所述用戶視頻匯總到所述合成服務(wù)器，根據(jù)用戶設(shè)置的參數(shù)合成所述用戶視 頻，將回傳到視頻服務(wù)器，將所述轉(zhuǎn)發(fā)給用戶終端。
本發(fā)明還提供一種視頻合成系統(tǒng)，包括管理服務(wù)器，視頻服務(wù)器，合成服務(wù) 器，通信模塊；所述管理服務(wù)器，用于接收用戶終端信息，計(jì)算會(huì)議資源，選擇視頻服務(wù)器并指定 合成服務(wù)器，管理服務(wù)端的服務(wù)器之間的通信；所述視頻合成服務(wù)器，用于合成匯總的用戶視頻； 所述視頻服務(wù)器，用于接收用戶視頻以及轉(zhuǎn)發(fā)合成后的視頻；所述通信模塊，包括廣域網(wǎng)單元，用于用戶終端與服務(wù)端之間的通信；局域網(wǎng)單 元，用于服務(wù)端的各服務(wù)器之間的通信。
本發(fā)明通過(guò)將用戶視頻在服務(wù)端進(jìn)行合成，再將合成視頻轉(zhuǎn)發(fā)給用戶，合成的 視頻為一路可以包括所有用戶視頻的組合視頻，傳輸時(shí)只占一路視頻的帶寬，另外，由 于合成過(guò)程是在服務(wù)端進(jìn)行，不會(huì)增加用戶終端設(shè)備，使得用戶利用現(xiàn)有終端以及有 限的網(wǎng)絡(luò)帶寬，即可實(shí)現(xiàn)在廣域網(wǎng)內(nèi)多個(gè)用戶進(jìn)行視頻會(huì)議時(shí)能夠同時(shí)查看彼此的視 頻，，解決了廣域網(wǎng)內(nèi)進(jìn)行視頻會(huì)議時(shí)的帶寬瓶頸問(wèn)題。


圖1為本發(fā)明視頻合成方法的流程圖； 圖2是本發(fā)明視頻合成系統(tǒng)的結(jié)構(gòu)示意圖。
具體實(shí)施方式
以下將通過(guò)具體的實(shí)施例來(lái)詳解本發(fā)明視頻合成方法的實(shí)施過(guò)程。
圖1為本發(fā)明視頻合成方法的流程圖。
如圖1所示，該方法包括步驟S101，用戶終端與服務(wù)端的管理服務(wù)器建立通信；具體地，要進(jìn)行視頻會(huì)議前，由用戶終端與服務(wù)端的管理服務(wù)器建立連接，管理 服務(wù)器接受用戶的服務(wù)請(qǐng)求、接收關(guān)于視頻會(huì)議各種準(zhǔn)備信息，同時(shí)計(jì)算視頻會(huì)議的資 源。
S102,根據(jù)負(fù)載均衡原則選擇視頻服務(wù)器并指定合成服務(wù)器；負(fù)載均衡原則是指服務(wù)端的管理服務(wù)器根據(jù)服務(wù)端的各視頻服務(wù)器的狀態(tài)將用戶的 請(qǐng)求依據(jù)一定的原則分配到視頻服務(wù)器中；在本發(fā)明方法中，管理服務(wù)器根據(jù)當(dāng)前的視頻服務(wù)器資源情況以及視頻會(huì)議的資源 量，以下面負(fù)載均衡原則，選擇視頻服務(wù)器來(lái)分配視頻會(huì)議資源并指定合成服務(wù)器；作為一個(gè)實(shí)施例，可以是以下具體原則的一條或者多條，根據(jù)實(shí)施本專利的使用者 的具體情況而定，具體原則為1.合成服務(wù)器由管理服務(wù)器根據(jù)各視頻服務(wù)器的負(fù)載情況決定，以負(fù)載最少的視 頻服務(wù)器作為合成服務(wù)器；2.若一個(gè)視頻服務(wù)器能滿足視頻會(huì)議的資源要求，則使用一個(gè)視頻服務(wù)器來(lái)提供 會(huì)議服務(wù)，該視頻服務(wù)器同時(shí)作為合成服務(wù)器；3.若有多個(gè)能滿足視頻會(huì)議的資源要求的視頻服務(wù)器時(shí)，則由可用資源最大的視 頻服務(wù)器來(lái)提供服務(wù)；4.若需要多個(gè)視頻服務(wù)器才能滿足視頻會(huì)議的資源要求，則以使用最少數(shù)量原則 建立視頻服務(wù)器群組來(lái)提供服務(wù)，且以其中負(fù)載最少的視頻服務(wù)器作為合成服務(wù)器；5.若有多個(gè)符合使用最少數(shù)量原則的視頻服務(wù)器群組時(shí)，由可用資源最大的群組 來(lái)提供服務(wù)，且以其中負(fù)載最少的視頻服務(wù)器作為合成服務(wù)器。
為更加清晰上述原則，以下舉一詳例服務(wù)端有視頻服務(wù)器A、B、C，每臺(tái)視頻服務(wù)器最多可以接30路用戶召開(kāi)視頻會(huì)議；假設(shè)目前其可用資源分別為12路、8路、5路；若要接一個(gè)有10路用戶的視頻會(huì)議，根據(jù)原則1、2，則服務(wù)器A同時(shí)作為視頻服務(wù) 器與合成服務(wù)器；若要接一個(gè)有6路用戶的視頻會(huì)議，根據(jù)原則1、3，則服務(wù)器A同時(shí)作為視頻服務(wù) 器與合成服務(wù)器；若要接一個(gè)有15路用戶的視頻會(huì)議，根據(jù)原則1、4、5，則服務(wù)器A、B作為視頻服 務(wù)器群組，其中服務(wù)器B作為合成服務(wù)器。
S103,視頻服務(wù)器接收用戶視頻；具體地，用戶終端與分配到資源的相應(yīng)的視頻服務(wù)器建立連接，視頻服務(wù)器作為實(shí) 際處理視頻會(huì)議請(qǐng)求的服務(wù)器接收用戶終端上傳的用戶視頻。
S104,將用戶視頻匯總到合成服務(wù)器； 具體地，包括以下步驟管理服務(wù)器分配組播端口，然后管理服務(wù)器將分配的組播端口通知合成服務(wù)器與 視頻服務(wù)器，合成服務(wù)器與視頻服務(wù)器通過(guò)組播端口建立組播，視頻服務(wù)器將接收到的 用戶視頻匯總到合成服務(wù)器，在視頻會(huì)議結(jié)束后合成服務(wù)器通知管理服務(wù)器釋放組播端
S105,根據(jù)用戶設(shè)置參數(shù)合成視頻；合成是以改變視頻質(zhì)量來(lái)實(shí)現(xiàn)視頻總數(shù)據(jù)量的壓縮，根據(jù)接收合成視頻的用戶設(shè)置 其他用戶視頻在屏幕中的窗口的大小和視頻質(zhì)量對(duì)用戶視頻進(jìn)行壓縮或拉伸，視頻質(zhì)量 好于合成后的質(zhì)量，則對(duì)視頻進(jìn)行壓縮，降低視頻分辨率與流量，視頻質(zhì)量差于合成后 的質(zhì)量，則對(duì)視頻進(jìn)行拉伸，提高分辨率，作為一個(gè)實(shí)施例，合成后的合成視頻可以為 一路720P的高清視頻；下面以四路視頻合成一個(gè)720P高清視頻為例；有A、B、C、D四路視頻，分辨率分別為720P、360P、180P、90P,匯總到合成服務(wù)器進(jìn)行合成，假設(shè)4個(gè)視頻合成后大小均占1/4屏幕，合成后每個(gè)用戶視頻的分辨率分 別為337.5P、337.5P、337.5P、337.5P,所以視頻A、B進(jìn)行壓縮，C、D進(jìn)行拉伸。
通過(guò)設(shè)置，用戶可以根據(jù)自身需要，選擇任何數(shù)量的用戶視頻進(jìn)行合成以及設(shè) 定合成視頻中的任何一個(gè)用戶視頻的窗口大小、質(zhì)量，從而降低用戶視頻因?yàn)楹铣珊笳?體質(zhì)量變差而造成的觀看效果上的影響。
S106，將合成后的合成視頻回傳到視頻服務(wù)器；具體地，通過(guò)上述S104步驟中所建立的組播端口，合成服務(wù)器將合成視頻回傳到視 頻服務(wù)器。
S107,視頻服務(wù)器將合成視頻轉(zhuǎn)發(fā)給用戶終端；轉(zhuǎn)發(fā)給用戶的合成視頻是根據(jù)其設(shè)置的參數(shù)進(jìn)行合成的合成視頻，作為一個(gè)實(shí)施 例，視頻中可以包括其他所有的用戶視頻的合成視頻而沒(méi)有自己的視頻。
上述實(shí)施例中，根據(jù)本發(fā)明的方法，由服務(wù)端接收用戶視頻，并將各路用戶視 頻匯總到合成服務(wù)器，然后根據(jù)用戶設(shè)置的參數(shù)合成一路視頻，再將合成視頻轉(zhuǎn)發(fā)給用 戶，使用戶在傳輸一路的視頻的帶寬網(wǎng)絡(luò)條件下都可以看到其他用戶的視頻，解決了在 多方視頻會(huì)議中帶寬限制的問(wèn)題。
針對(duì)上述的視頻合成的方法，本發(fā)明提供相應(yīng)的視頻合成系統(tǒng)實(shí)施例。
如圖2所示，該系統(tǒng)包括管理服務(wù)器，視頻服務(wù)器，合成服務(wù)器，通信模 塊。
管理服務(wù)器，用于與用戶終端與建立通信，接收用戶終端的各種視頻會(huì)議準(zhǔn)備 信息、指令數(shù)據(jù)，計(jì)算會(huì)議資源，選擇視頻服務(wù)器分配資源并指定合成服務(wù)器，管理服 務(wù)端的服務(wù)器之間的視頻傳輸及其他數(shù)據(jù)傳輸。
視頻服務(wù)器，用于接收用戶視頻，并將用戶視頻匯總到合成服務(wù)器，接收合成 后的合成視頻，再將合成視頻轉(zhuǎn)發(fā)給用戶。
合成服務(wù)器，用于接收匯總的各路用戶視頻，并根據(jù)用戶設(shè)置的參數(shù)合成視 頻，將合成視頻回傳給相應(yīng)的視頻服務(wù)器。
通信模塊，包括廣域網(wǎng)單元，局域網(wǎng)單元；作為一個(gè)實(shí)施例，廣域網(wǎng)單元包 括IP、ISDN、E1/T1等寬帶網(wǎng)絡(luò)，用于用戶終端與服務(wù)端之間的通信；局域網(wǎng)單元包括 路由器、防火墻組成的局域網(wǎng)絡(luò)，用于服務(wù)端的各服務(wù)器之間的通信。
以上所述的本發(fā)明實(shí)施方式，并不構(gòu)成對(duì)本發(fā)明保護(hù)范圍的限定。任何在本發(fā) 明的精神和原則之內(nèi)所作的修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明的權(quán)利要求保 護(hù)范圍之內(nèi)。
權(quán)利要求
1.一種視頻合成方法，其特征在于，包括步驟用戶終端與服務(wù)端的管理服務(wù)器建 立通信，根據(jù)負(fù)載均衡原則選擇視頻服務(wù)器并指定合成服務(wù)器，所述視頻服務(wù)器接收用 戶視頻，將所述用戶視頻匯總到所述合成服務(wù)器，根據(jù)用戶設(shè)置的參數(shù)合成所述用戶視 頻，將合成后的合成視頻回傳到視頻服務(wù)器，將所述合成視頻轉(zhuǎn)發(fā)給用戶終端。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述負(fù)載均衡原則包括以負(fù)載最少 的視頻服務(wù)器作為合成服務(wù)器。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述負(fù)載均衡原則包括若一個(gè)視頻 服務(wù)器能滿足視頻會(huì)議資源要求，則使用一個(gè)視頻服務(wù)器來(lái)提供服務(wù)，該視頻服務(wù)器同 時(shí)作為合成服務(wù)器。
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述負(fù)載均衡原則還包括若有多個(gè) 所述能滿足視頻會(huì)議資源要求的視頻服務(wù)器時(shí)，則由可用資源最大的視頻服務(wù)器來(lái)提供 服務(wù)。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述負(fù)載均衡原則包括若需要多個(gè) 視頻服務(wù)器才能滿足視頻會(huì)議資源要求，則以使用最少數(shù)量原則建立視頻服務(wù)器群組來(lái) 提供服務(wù)，且以其中負(fù)載最少的視頻服務(wù)器作為合成服務(wù)器。
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述負(fù)載均衡原則還包括若有多個(gè) 符合所述使用最少數(shù)量原則的視頻服務(wù)器群組時(shí)，由可用資源最大的群組來(lái)提供會(huì)議服 務(wù)，且以其中負(fù)載最少的視頻服務(wù)器作為合成服務(wù)器。
7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述視頻匯總到所述合成服務(wù)器 步驟具體包括步驟管理服務(wù)器分配組播端口，將所述組播端口通知合成服務(wù)器與視頻 服務(wù)器，合成服務(wù)器與視頻服務(wù)器以所述組播端口建立組播，將視頻服務(wù)器接收到的用 戶視頻匯總到合成服務(wù)器。
8.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)用戶設(shè)置的參數(shù)合成所述用戶 視頻步驟中；所述參數(shù)包括用戶視頻在屏幕中的窗口大小與用戶視頻的質(zhì)量。
9.一種視頻合成系統(tǒng)，包括管理服務(wù)器，視頻服務(wù)器，合成服務(wù)器，通信模塊；所述管理服務(wù)器，用于接收用戶終端信息，計(jì)算并分配視頻會(huì)議資源，選擇視頻服務(wù)器并指定合成服務(wù)器，管理服務(wù)端的各服務(wù)器之間的通信；所述視頻合成服務(wù)器，用于合成用戶視頻；所述視頻服務(wù)器，用于接收用戶視頻以及轉(zhuǎn)發(fā)合成后的合成視頻。
10.根據(jù)權(quán)利要求9所述的系統(tǒng)，其特征在于，所述通信模塊，包括廣域網(wǎng)單元與 局域網(wǎng)單元；所述廣域網(wǎng)單元，用于用戶終端與服務(wù)端之間的通信；所述局域網(wǎng)單元，用于服務(wù)端的各服務(wù)器之間的通信。
全文摘要
本發(fā)明公開(kāi)一種視頻合成方法及視頻合成系統(tǒng)，其中，視頻合成的方法包括步驟用戶終端與服務(wù)端的管理服務(wù)器建立通信，根據(jù)負(fù)載均衡原則選擇視頻服務(wù)器并指定合成服務(wù)器，所述視頻服務(wù)器接收用戶視頻，將所述用戶視頻匯總到所述合成服務(wù)器，根據(jù)用戶設(shè)置的參數(shù)合成所述用戶視頻，將合成后的合成視頻回傳到視頻服務(wù)器，將所述合成視頻轉(zhuǎn)發(fā)給用戶終端。本發(fā)明還公開(kāi)一種視頻合成系統(tǒng)，包括管理服務(wù)器，視頻服務(wù)器，合成服務(wù)器，通信模塊。本發(fā)明將用戶視頻在服務(wù)端進(jìn)行合成后再轉(zhuǎn)發(fā)給用戶，實(shí)現(xiàn)了用戶利用現(xiàn)有終端以及有限的網(wǎng)絡(luò)帶寬就能看到彼此的視頻。
文檔編號(hào)H04N5/265GK102025973SQ20101059391
公開(kāi)日2011年4月20日 申請(qǐng)日期2010年12月17日 優(yōu)先權(quán)日2010年12月17日
發(fā)明者周建有, 鄭偉鈿 申請(qǐng)人:廣東威創(chuàng)視訊科技股份有限公司