一種基于互聯(lián)網(wǎng)的安全視頻會議系統(tǒng)及方法
【專利摘要】一種基于互聯(lián)網(wǎng)的安全視頻會議系統(tǒng)及方法，該系統(tǒng)包括視頻發(fā)送設(shè)備終端、服務(wù)器和視頻接收設(shè)備終端，視頻發(fā)送設(shè)備終端采集音頻數(shù)據(jù)、視頻數(shù)據(jù)和文字數(shù)據(jù)，將音頻數(shù)據(jù)轉(zhuǎn)換為WAV格式的音頻數(shù)據(jù)，將視頻數(shù)據(jù)轉(zhuǎn)換為YUV格式的視頻數(shù)據(jù)，并進行編碼加密后，封裝傳輸至服務(wù)器，將文字數(shù)據(jù)直接通過Socket套接字協(xié)議傳輸至服務(wù)器；服務(wù)器存儲音頻數(shù)據(jù)、視頻數(shù)據(jù)和文字數(shù)據(jù)，同時將其傳輸至視頻接收設(shè)備終端進行播放；視頻接收設(shè)備終端對音頻數(shù)據(jù)和視頻數(shù)據(jù)進行同步解封，并進行解碼解密，將解碼解密后的音頻數(shù)據(jù)和視頻數(shù)據(jù)進行同步播放，同時對文字數(shù)據(jù)進行顯示。
【專利說明】一種基于互聯(lián)網(wǎng)的安全視頻會議系統(tǒng)及方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于多媒體技術(shù)的安全性應(yīng)用領(lǐng)域，具體涉及一種基于互聯(lián)網(wǎng)的安全視頻 會議系統(tǒng)及方法。
【背景技術(shù)】
[0002] 隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，多媒體技術(shù)特別是視頻技術(shù)在現(xiàn)實生活中的應(yīng)用日 漸廣泛。伴隨著數(shù)字技術(shù)的進步，20世紀末歐洲多個國家開始對數(shù)字電視技術(shù)進行研宄，隨 著數(shù)字電視技術(shù)的高速發(fā)展以及因特網(wǎng)在全球范圍內(nèi)的廣泛普及，各類數(shù)字視頻壓縮編碼 標準也應(yīng)運而生。1993年，MPEG-4標準，這一具有低碼率、高質(zhì)量的音視頻壓縮編碼方案的 出臺，進一步的推進了網(wǎng)絡(luò)視頻技術(shù)的發(fā)展。2003年，H. 264這一由ITU-T的視頻編碼專家 組VCEG和MPEG的聯(lián)合視頻組發(fā)布數(shù)字視頻編碼標準，以其同等帶寬下更高的圖像質(zhì)量這 一優(yōu)良特性又一次推動了高清電視的發(fā)展。
[0003] 伴隨著多媒體技術(shù)與網(wǎng)絡(luò)技術(shù)的融合，高清網(wǎng)絡(luò)視頻技術(shù)應(yīng)時而生，2009年開始， Dropcam公司于著手研發(fā)基于IP攝像頭的相關(guān)產(chǎn)品，隨后，多個版本應(yīng)用陸續(xù)發(fā)布。這些應(yīng) 用不僅具有即插即用，配置簡單的特點，而且具有云端的活動識別系統(tǒng)，云端活動識別系統(tǒng) 的工作原理是以運動為基礎(chǔ)的條件下記錄和整理時間，然后向目標系統(tǒng)發(fā)送自定義的更新 或提示信息。Canary以傳統(tǒng)的IP攝像頭為基礎(chǔ)上增加了視頻加密功能，應(yīng)用領(lǐng)域主要集中 于家居安防管理，該產(chǎn)品的一大亮點是帶夜攝功能的廣角攝像頭及各類傳感器，傳感器的 應(yīng)用使能時刻與主人的移動終端能時刻與系統(tǒng)相關(guān)聯(lián)。近幾年，國內(nèi)的幾家知名互聯(lián)網(wǎng)公 司，如小米，百度等也陸續(xù)發(fā)布了屬于自己公司的攝像頭產(chǎn)品概念模型，但無論如何，這些 概念模型都是以Dropcam視頻攝像頭設(shè)計樣式及功能為基礎(chǔ)設(shè)計開發(fā)的?，F(xiàn)如今，Canary 和Dropcam是國外市場最受歡迎的兩款產(chǎn)品，然而這兩款產(chǎn)品也都只是單純面向個人的IP 攝像頭技術(shù)產(chǎn)品，難以在國內(nèi)進行規(guī)模性推廣。
[0004] 在我國，視頻會議系統(tǒng)主要應(yīng)用于政府、金融等企業(yè)級領(lǐng)域，小規(guī)模應(yīng)用環(huán)境的技 術(shù)發(fā)展卻很緩慢。這種現(xiàn)象的形成主要有三個原因：一是國內(nèi)的視頻通訊已經(jīng)被QQ等即時 通訊軟件占領(lǐng)市場，視頻會議系統(tǒng)缺少互動與社區(qū)的概念，功能相對簡單、片面；一是傳統(tǒng) 的視頻會議系統(tǒng)要以昂貴的硬件成本作為技術(shù)支撐，然而日常生活中最理想的硬件成本只 有PC機與攝像頭，所以除非有迫切的需要，現(xiàn)有的視頻會議系統(tǒng)想要打入市場，在家庭及 個人領(lǐng)域得到普及是很難的；此外，現(xiàn)有的視頻會議系統(tǒng)在安全性方面具有諸多隱患，而提 高系統(tǒng)的安全性的有效途徑是以犧牲提高傳輸帶寬為代價，從而達到提高加密復(fù)雜性的目 標，而據(jù)2011第四季度全球網(wǎng)絡(luò)平均連接速度統(tǒng)計結(jié)果顯示，我國大陸的平均連接速度在 全球的排名僅為第90名，以犧牲帶寬為代價進而提升系統(tǒng)安全性的方案在我國現(xiàn)有的網(wǎng) 絡(luò)環(huán)境下根本行不通，因此構(gòu)建能夠提供一個面向大眾的社區(qū)性安全視頻會議的系統(tǒng)對我 國視頻會議系統(tǒng)的發(fā)展和推廣具有重要意義。
【發(fā)明內(nèi)容】
[0005] 針對現(xiàn)有技術(shù)的不足，本發(fā)明提出一種基于互聯(lián)網(wǎng)的安全視頻會議系統(tǒng)及方法。
[0006] 本發(fā)明技術(shù)方案如下：一種基于互聯(lián)網(wǎng)的安全視頻會議系統(tǒng)，包括視頻發(fā)送設(shè)備 終端、服務(wù)器和視頻接收設(shè)備終端；
[0007] 所述的視頻發(fā)送設(shè)備終端，用于采集音頻數(shù)據(jù)、視頻數(shù)據(jù)和文字數(shù)據(jù)，將音頻數(shù)據(jù) 轉(zhuǎn)換為WAV格式的音頻數(shù)據(jù)，將視頻數(shù)據(jù)轉(zhuǎn)換為YUV格式的視頻數(shù)據(jù)，并進行編碼加密后， 封裝傳輸至服務(wù)器，將文字數(shù)據(jù)直接通過Socket套接字協(xié)議傳輸至服務(wù)器；
[0008] 所述的視頻發(fā)送設(shè)備終端為移動客戶端、Web客戶端或PC客戶端；
[0009] 所述的視頻發(fā)送設(shè)備終端，設(shè)有采集層、編碼加密層和封裝同步層；
[0010] 所述的采集層，用于采集音頻數(shù)據(jù)、視頻數(shù)據(jù)和文字數(shù)據(jù)，將音頻數(shù)據(jù)轉(zhuǎn)換為WAV 格式的音頻數(shù)據(jù)，將視頻數(shù)據(jù)轉(zhuǎn)換為YUV格式的視頻數(shù)據(jù)，將WAV格式的音頻數(shù)據(jù)和YUV格 式的視頻數(shù)據(jù)傳輸至編碼加密層，將文字數(shù)據(jù)直接通過Socket套接字傳輸至服務(wù)器；
[0011] 所述的編碼加密層，用于將WAV格式的音頻數(shù)據(jù)進行編碼加密，得到ACC格式的音 頻數(shù)據(jù)，將YUV格式的視頻數(shù)據(jù)進行編碼加密，得到H. 264碼流格式的視頻數(shù)據(jù)，將ACC格 式的音頻數(shù)據(jù)和H. 264碼流格式的視頻數(shù)據(jù)傳輸至封裝同步層；
[0012] 所述的WAV格式的音頻數(shù)據(jù)在進行編碼的過程中對量化后幅值進行加密，得到 ACC格式的音頻數(shù)據(jù)。
[0013] 所述的YUV格式的視頻數(shù)據(jù)在進行編碼的過程中，針對I幀視頻數(shù)據(jù)，對I幀幀內(nèi) 預(yù)測后的預(yù)測模式進行加密；針對量化后的DC系數(shù)加密；針對p幀視頻數(shù)據(jù)，對運動補償 后的運動矢量加密；得到H. 264碼流格式的視頻數(shù)據(jù)。
[0014] 所述的封裝同步層，用于以音頻數(shù)據(jù)為基準，將ACC格式的音頻數(shù)據(jù)和H. 264碼流 格式的視頻數(shù)據(jù)封裝成滿足RTP協(xié)議的編碼加密的音視頻數(shù)據(jù)，通過互聯(lián)網(wǎng)傳輸至視頻接 收設(shè)備終端；再將封裝后的編碼加密的音視頻數(shù)據(jù)采用Matroska格式封裝成Matroska格 式的音視頻數(shù)據(jù)，傳輸至服務(wù)器；
[0015] 所述的服務(wù)器，用于存儲音頻數(shù)據(jù)、視頻數(shù)據(jù)和文字數(shù)據(jù)，同時將其傳輸至視頻接 收設(shè)備終端進行播放；
[0016] 所述的服務(wù)器包括：Web服務(wù)器、文件服務(wù)器、RTSP服務(wù)器和NoSQL服務(wù)器；
[0017] 所述的Web服務(wù)器，用于控制和定位Matroska格式的音視頻數(shù)據(jù)及文字數(shù)據(jù)的存 儲位置；
[0018] 所述的文件服務(wù)器，用于存儲Matroska格式的音視頻數(shù)據(jù)；
[0019] 所述的RTSP服務(wù)器，用于利用RTSP協(xié)議控制Matroska格式的音視頻數(shù)據(jù)的播 放；
[0020] 所述的NoSQL務(wù)器，用于存儲文字數(shù)據(jù)；
[0021] 所述的視頻接收設(shè)備終端，用于對音頻數(shù)據(jù)和視頻數(shù)據(jù)進行同步解封，并進行解 碼解密，將解碼解密后的音頻數(shù)據(jù)和視頻數(shù)據(jù)進行同步播放，同時對文字數(shù)據(jù)進行顯示；
[0022] 所述的視頻接收設(shè)備終端，設(shè)有同步層、解碼解密層和播放層；
[0023] 所述的同步層，用于根據(jù)RTP協(xié)議中的同步信息對音視頻數(shù)據(jù)進行同步解封，得 到解封后的ACC格式的音頻數(shù)據(jù)和H. 264碼流格式的視頻數(shù)據(jù)，發(fā)送至解碼解密層；
[0024] 所述的解碼解密層，用于將ACC格式的音頻數(shù)據(jù)進行解碼解密，得到WAV格式的音 頻數(shù)據(jù)，將H. 264碼流格式的視頻數(shù)據(jù)進行解碼解密，得到Y(jié)UV格式的視頻數(shù)據(jù)，將WAV格 式的音頻數(shù)據(jù)和YUV格式的視頻數(shù)據(jù)傳輸至播放層；
[0025] 所述的播放層，用于將解碼解密后的YUV格式的視頻數(shù)據(jù)和WAV格式的音頻數(shù)據(jù) 進行實時播放，同時對文字數(shù)據(jù)進行顯示；
[0026] 采用基于互聯(lián)網(wǎng)的安全視頻會議系統(tǒng)進行視頻會議的方法，包括以下步驟：
[0027] 步驟1:視頻發(fā)送設(shè)備終端采集音頻數(shù)據(jù)、視頻數(shù)據(jù)和文字數(shù)據(jù)；
[0028] 步驟2:視頻發(fā)送設(shè)備終端將音頻數(shù)據(jù)轉(zhuǎn)換為WAV格式的音頻數(shù)據(jù)，將視頻數(shù)據(jù)轉(zhuǎn) 換為YUV格式的視頻數(shù)據(jù)，將WAV格式的音頻數(shù)據(jù)和YUV格式的視頻數(shù)據(jù)，將文字數(shù)據(jù)直接 傳輸至服務(wù)器；
[0029] 步驟3:視頻發(fā)送設(shè)備終端將WAV格式的音頻數(shù)據(jù)進行編碼加密，得到ACC格式的 音頻數(shù)據(jù)，將YUV格式的視頻數(shù)據(jù)進行編碼加密，得到H. 264碼流格式的視頻數(shù)據(jù)；
[0030] 步驟4:視頻發(fā)送設(shè)備終端以音頻數(shù)據(jù)為基準，將ACC格式的音頻數(shù)據(jù)和H. 264碼 流格式的視頻數(shù)據(jù)封裝成滿足RTP協(xié)議的音視頻數(shù)據(jù)，通過互聯(lián)網(wǎng)傳輸至視頻接收設(shè)備終 端；
[0031] 步驟5:視頻發(fā)送設(shè)備終端將編碼加密的音視頻數(shù)據(jù)采用Matroska格式封裝成 Matroska格式的音視頻數(shù)據(jù)，傳輸至服務(wù)器；
[0032] 步驟6:服務(wù)器存儲Matroska格式的音視頻數(shù)據(jù)和文字數(shù)據(jù)，利用RTSP協(xié)議控制 Matroska格式的音視頻數(shù)據(jù)的播放；
[0033] 步驟7:視頻接收設(shè)備終端根據(jù)RTP協(xié)議中的同步信息對音視頻數(shù)據(jù)進行同步解 封，得到解封后的ACC格式的音頻數(shù)據(jù)和H. 264碼流格式的視頻數(shù)據(jù)；
[0034] 步驟8:視頻接收設(shè)備終端將ACC格式的音頻數(shù)據(jù)進行解碼解密，得到WAV格式的 音頻數(shù)據(jù)，將H. 264碼流格式的視頻數(shù)據(jù)進行解碼解密，得到Y(jié)UV格式的視頻數(shù)據(jù)；
[0035] 步驟9:視頻接收設(shè)備終端將解碼解密后的YUV格式的視頻數(shù)據(jù)和WAV格式的音 頻數(shù)據(jù)進行實時播放，同時對文字數(shù)據(jù)進行展現(xiàn)。
[0036] 本發(fā)明的有益效果：
[0037] 本發(fā)明提供了一種基于互聯(lián)網(wǎng)的安全視頻會議系統(tǒng)，其硬件成本低，對網(wǎng)絡(luò)帶寬 要求低，突破了以往局域網(wǎng)通信的限制：本發(fā)明除了在最基本的音視頻通信基礎(chǔ)上提供了 演示文稿，文件分享，實施文字聊天的功能，更有效的支持網(wǎng)絡(luò)會議，另外搭建了會議重放 的功能，提供了一套完整的視頻會議系統(tǒng)；本發(fā)明提供了一種安全的會議保障機制，在對碼 流影響較小的前提下保證了數(shù)據(jù)的安全性，也為網(wǎng)絡(luò)傳輸視頻數(shù)據(jù)提供可能。
【專利附圖】
【附圖說明】
[0038] 圖1為本發(fā)明【具體實施方式】中基于互聯(lián)網(wǎng)的安全視頻會議系統(tǒng)的結(jié)構(gòu)框圖；
[0039] 圖2為本發(fā)明【具體實施方式】中利用基于互聯(lián)網(wǎng)的安全視頻會議系統(tǒng)進行視頻會 議的方法的流程圖；
[0040] 圖3為本發(fā)明【具體實施方式】中YUV格式的視頻數(shù)據(jù)在利用H. 264編碼器進行編碼 的過程中進行加密的示意圖。
【具體實施方式】
[0041] 下面結(jié)合附圖對本發(fā)明【具體實施方式】加以詳細的說明。
[0042] 一種基于互聯(lián)網(wǎng)的安全視頻會議系統(tǒng)，如圖1所示，包括視頻發(fā)送設(shè)備終端、服務(wù) 器和視頻接收設(shè)備終端。
[0043] 視頻發(fā)送設(shè)備終端，用于采集音頻數(shù)據(jù)、視頻數(shù)據(jù)和文字數(shù)據(jù)，將音頻數(shù)據(jù)轉(zhuǎn)換為 WAV格式的音頻數(shù)據(jù)，將視頻數(shù)據(jù)轉(zhuǎn)換為YUV格式的視頻數(shù)據(jù)，并進行編碼加密后，封裝傳 輸至服務(wù)器，將文字數(shù)據(jù)直接通過Socket套接字協(xié)議傳輸至服務(wù)器。
[0044] 視頻發(fā)送設(shè)備終端為移動客戶端、Web客戶端或PC客戶端。
[0045] 本實施方式中，選用PC客戶端作為視頻發(fā)送設(shè)備終端。
[0046] 視頻發(fā)送設(shè)備終端，設(shè)有采集層、編碼加密層和封裝同步層。
[0047] 采集層，用于采集音頻數(shù)據(jù)、視頻數(shù)據(jù)和文字數(shù)據(jù)，將音頻數(shù)據(jù)轉(zhuǎn)換為WAV格式的 音頻數(shù)據(jù)，將視頻數(shù)據(jù)轉(zhuǎn)換為YUV格式的視頻數(shù)據(jù)，將WAV格式的音頻數(shù)據(jù)和YUV格式的視 頻數(shù)據(jù)傳輸至編碼加密層，將文字數(shù)據(jù)直接通過Socket套接字傳輸至服務(wù)器。
[0048] 本實施方式中，視頻數(shù)據(jù)包括攝像頭視頻輸入的視頻畫面、分享屏幕的屏幕錄像 和播放的分享文檔三個部分，音頻數(shù)據(jù)包括麥克風(fēng)音頻輸入和本地音頻兩個部分。該系統(tǒng) 提供文字聊天及會議評論等文字數(shù)的同步傳輸。
[0049] 攝像頭視頻輸入的視頻畫面的采集在Windows系統(tǒng)環(huán)境下是基于微軟的 DirectShow開發(fā)工具實現(xiàn)的；在Linux或Unix系統(tǒng)環(huán)境下是基于Video4Linux2(簡稱 V4L2)視頻設(shè)備API實現(xiàn)的。
[0050] 視頻采集工作獲取的是RGB顏色空間的圖像數(shù)據(jù)，本系統(tǒng)在編碼層使用滿足 H. 264編碼標準的編碼程序，該編碼程序的輸入數(shù)據(jù)要求是YUV顏色空間視頻數(shù)據(jù)，所以采 集層需要將DirectShow和V4L2采集到的RGB視頻文件轉(zhuǎn)換為YUV格式的視頻數(shù)據(jù)。
[0051] 分享屏幕的屏幕錄像采集是基于系統(tǒng)與繪圖程序信息交換機圖像設(shè)備接口GDI 實現(xiàn)轉(zhuǎn)換為YUV格式的視頻數(shù)據(jù)的。
[0052] 播放的分享文檔的格式轉(zhuǎn)換以VisualStudio開發(fā)工具的一個組件包VST0為基 礎(chǔ)，基于VST0實現(xiàn)演示文稿的格式轉(zhuǎn)換，結(jié)合LibreOffice的轉(zhuǎn)換機制跨平臺轉(zhuǎn)換，獲取輸 出的MicrosoftBitMap文件，然后基于VST0實現(xiàn)播放的分享文檔轉(zhuǎn)換為YUV格式的視頻 數(shù)據(jù)。
[0053] 音頻數(shù)據(jù)的采集在Windows環(huán)境下是通過DirectSound采集WAV格式數(shù)據(jù)，在 Linux或Unix系統(tǒng)環(huán)境下使用JACK2專業(yè)級聲音服務(wù)技術(shù)提供本地聲音及麥克風(fēng)錄制聲音 的米集。
[0054] 編碼加密層，用于將WAV格式的音頻數(shù)據(jù)進行編碼加密，得到ACC格式的音頻數(shù) 據(jù)，將YUV格式的視頻數(shù)據(jù)進行編碼加密，得到H. 264碼流格式的視頻數(shù)據(jù)，將ACC格式的 音頻數(shù)據(jù)和H. 264碼流格式的視頻數(shù)據(jù)傳輸至封裝同步層。
[0055] WAV格式的音頻數(shù)據(jù)在進行編碼的過程中對量化后幅值進行加密，得到ACC格式 的音頻數(shù)據(jù)。
[0056] 本實施方式中，WAV格式的音頻數(shù)據(jù)利用libfaac開源工具進行編碼，在進行編碼 的過程中對量化后幅值進行加密，具體過程如下：
[0057] 根據(jù)附加加密的初始密鑰xa(lG(〇，1)和yaG(3. 571448,4)，生成當(dāng)前量化幅 值加密的第z個一級加密密鑰kaz= (xazX108)mod53,其中，z彡 0,xa(z+1)=yaxaz(l-xaz); 對量化后的幅值L進行二進制變換得到h位二進制序列bhbH. . .bpbh為最高一位比特 值為1的位，若全為0則h= 2 ;選擇加密高r位的WAV格式的音頻數(shù)據(jù)并添加t位的 比特值，其中t=xac;m〇d3,xa。為當(dāng)前一級加密密鑰kaz;迭代計算出后續(xù)r位一級加密 密鑰，根據(jù)一級加密密鑰dK,奇偶性對bhbH. . .bh_rt進行加密得到比特序 列b'hb'h+.l'h+h，繼續(xù)迭代計算出后續(xù)t-1位一級加密密鑰作為t-1位加密密鑰 慫6..C1，根據(jù)t_l位加密密鑰慫C..G1奇偶性得到比特序列b' ^i，則最終密文 幅值比特串為b'tb'w.b'山'hb，w.b，h+1_rbh_rbh_r_1...b1，其中，b，t=l，將最 終密文幅值比特串轉(zhuǎn)化為十進制即為最終的密文幅值L'。
[0058]YUV格式的視頻數(shù)據(jù)在進行編碼的過程中，針對I幀視頻數(shù)據(jù)，對I幀幀內(nèi)預(yù)測后 的預(yù)測模式進行加密；針對量化后的DC系數(shù)加密；針對p幀視頻數(shù)據(jù)，對運動補償后的運 動矢量加密；得到H. 264碼流格式的視頻數(shù)據(jù)。
[0059] 本實施方式中，YUV格式的視頻數(shù)據(jù)利用H. 264編碼器進行編碼，在進行編碼的過 程中，針對I幀視頻數(shù)據(jù)，對I幀幀內(nèi)預(yù)測后的預(yù)測模式進行加密；針對量化后的DC系數(shù)加 密；針對P幀視頻數(shù)據(jù)，對運動補償后的運動矢量加密；具體如圖3所示：
[0060] 針對I幀視頻數(shù)據(jù)，對I幀幀內(nèi)預(yù)測后的預(yù)測模式進行加密，即在選定幀內(nèi)預(yù)測模 式并進行幀內(nèi)預(yù)測之后，使用預(yù)測模式進行加密：根據(jù)預(yù)測模式加密的初始密鑰^^^ (0， 1)和^￡(3.571448,4)，生成生成預(yù)測模式的第1個密鑰1^=〇^\108)111 〇(1255，其中， i彡 0,xs(i+1)=ysxsi(l-xsi)，通過預(yù)測模式11^= (nSi+k^+mSiJmodg對I幀視頻數(shù)據(jù)進 行加密，其中，11^代表加密后的密文預(yù)測模式，nsi代表當(dāng)前明文預(yù)測模式，msg代表上一 個加密后的密文預(yù)測模式；
[0061] 針對量化后的DC系數(shù)加密，即在整型DCT系數(shù)量化之后，熵編碼之前，進行DC系 數(shù)加密：根據(jù)DC系數(shù)加密的初始密鑰Xp(lG(〇，1)和ypG(3. 571448,4)，生成DC系數(shù)加 密混純系統(tǒng)當(dāng)前偽隨機序列值kpj= (xpjX108)mod255,其中，j彡0，xpU+1)=ypxpi(l-xpj)， 通過DC系數(shù)mpj=(npj+kpj+mpjJmoc^SS對量化后的DC系數(shù)加密，其中，mpj代表當(dāng)前加密 后的DC系數(shù)，即」代表當(dāng)前子宏塊的明文DC系數(shù)，mpm代表上一個加密后的DC系數(shù)；
[0062] 針對p幀視頻數(shù)據(jù)，對運動補償后的運動矢量加密，即在視頻數(shù)據(jù)進行運 動估計之后，對運動矢量進行加密：根據(jù)運動矢量加密的初始密鑰xv(ie(0，1)和 ^￡(3.571448,4)，生成運動矢量加密混沌系統(tǒng)的當(dāng)前密鑰值、=〇^，10 8)111〇(117，其 中，q彡0，xv((1+1)=yvxv(1(l-xv(1)，通過運動矢量加密密鑰vf(Wq+lM+v^modn對p幀視 頻數(shù)據(jù)進行加密，其中Vq代表當(dāng)前運動矢量加密的橫坐標或縱坐標，Wq代表運動矢量橫坐 標或縱坐標的明文值，代表上一個運動矢量加密的橫坐標或縱坐標。
[0063] 封裝同步層，用于以音頻數(shù)據(jù)為基準，將ACC格式的音頻數(shù)據(jù)和H. 264碼流格式的 視頻數(shù)據(jù)封裝成滿足RTP協(xié)議的編碼加密的音視頻數(shù)據(jù)，通過互聯(lián)網(wǎng)傳輸至視頻接收設(shè)備 終端；再將封裝后的編碼加密的音視頻數(shù)據(jù)采用Matroska格式封裝成Matroska格式的音 視頻數(shù)據(jù)，傳輸至服務(wù)器。
[0064] 本實施方式中，使用jrtplib打包傳輸?shù)膔tp數(shù)據(jù)中含有SR包，SR包中包含了同 步播放需要的源端SS_RTPTime與SS_NTPTime這兩則數(shù)據(jù)，接收端接受到任一數(shù)據(jù)包對數(shù) 據(jù)源中數(shù)據(jù)順序檢索即可獲取ACC格式的音頻數(shù)據(jù)和H. 264碼流格式的視頻數(shù)據(jù)，ACC格 式的音頻數(shù)據(jù)和H. 264碼流格式的視頻數(shù)據(jù)的RTP時間盡管不同，但可以通過NTP時間映 射到同一個時間軸上，從而實現(xiàn)同步。
[0065] 服務(wù)器，用于存儲音頻數(shù)據(jù)、視頻數(shù)據(jù)和文字數(shù)據(jù)，同時將其傳輸至視頻接收設(shè)備 終端進行播放。
[0066] 服務(wù)器包括：Web服務(wù)器、文件服務(wù)器、RTSP服務(wù)器和NoSQL服務(wù)器。
[0067] Web服務(wù)器，用于控制和定位Matroska格式的音視頻數(shù)據(jù)及文字數(shù)據(jù)的存儲位 置。
[0068] 本實施方式中，Web服務(wù)器為客戶端的提供通信服務(wù)及數(shù)據(jù)存儲數(shù)據(jù)流控制支持， 所有的用戶請求及系統(tǒng)自動控制均通過Web服務(wù)器攔截處理，另外Web服務(wù)器提供身份驗 證與內(nèi)容管理機制，用戶的注冊、登錄、查看信息、請求會議等動作也是通過Web服務(wù)器統(tǒng) 一管理處理。視頻發(fā)送設(shè)備終端發(fā)送（接受的數(shù)據(jù)也是來源于發(fā)送數(shù)據(jù)）的音視頻數(shù)據(jù)傳 輸都需要經(jīng)過Web服務(wù)器，服務(wù)器接受到具體的數(shù)據(jù)內(nèi)容時根據(jù)服務(wù)器配置選擇是否將數(shù) 據(jù)映像存儲單獨存儲，如果單獨存儲則直接與文件服務(wù)器或NoSQL服務(wù)器進行10操作直接 進行數(shù)據(jù)備份。而用戶發(fā)起會議，參加會議，退出會議，實時分享等主要業(yè)務(wù)內(nèi)容均是首先 將請求信息發(fā)送給Web服務(wù)器，Web服務(wù)器首先根據(jù)數(shù)據(jù)庫中數(shù)據(jù)映射判斷當(dāng)前用戶是否 有相應(yīng)權(quán)限，如果不滿足直接給用戶反饋禁止信息，滿足則針對具體業(yè)務(wù)做流程控制及數(shù) 據(jù)支持。
[0069] 文件服務(wù)器，用于存儲Matroska格式的音視頻數(shù)據(jù)。
[0070] 本實施方式中，文件服務(wù)器還搭建了流媒體服務(wù)接口以支持會議的下載及在線回 放功能。
[0071] RTSP服務(wù)器，用于利用RTSP協(xié)議控制Matroska格式的音視頻數(shù)據(jù)的播放。
[0072] 本實施方式中，RTSP協(xié)議基于TCP完成RTSP請求報文和響應(yīng)報文的傳輸，當(dāng)RTSP 服務(wù)器收到客戶端的視頻請求時，RTSP在線程池中獲取一個空閑線程用于建立一個新的 RTSP會話，新線程負責(zé)建立一個RTP連接系統(tǒng)和RTP傳輸抽象的動作抽象用于發(fā)送RTP報 文。一個RTSP會話中RTP連接是獨立的，多個RTP連接可以共享一個RTSP會話。
[0073] NoSQL務(wù)器，用于存儲文字數(shù)據(jù)。
[0074] 視頻接收設(shè)備終端，用于對音頻數(shù)據(jù)和視頻數(shù)據(jù)進行同步解封，并進行解碼解密， 將解碼解密后的音頻數(shù)據(jù)和視頻數(shù)據(jù)進行同步播放，同時對文字數(shù)據(jù)進行顯示。
[0075] 視頻接收設(shè)備終端，設(shè)有同步層、解碼解密層和播放層。
[0076] 同步層，用于根據(jù)RTP協(xié)議中的同步信息對音視頻數(shù)據(jù)進行同步解封，得到解封 后的ACC格式的音頻數(shù)據(jù)和H. 264碼流格式的視頻數(shù)據(jù)，發(fā)送至解碼解密層。
[0077] 解碼解密層，用于將ACC格式的音頻數(shù)據(jù)進行解碼解密，得到WAV格式的音頻數(shù) 據(jù)，將H. 264碼流格式的視頻數(shù)據(jù)進行解碼解密，得到Y(jié)UV格式的視頻數(shù)據(jù)，將WAV格式的 音頻數(shù)據(jù)和YUV格式的視頻數(shù)據(jù)傳輸至播放層。
[0078] 播放層，用于將解碼解密后的YUV格式的視頻數(shù)據(jù)和WAV格式的音頻數(shù)據(jù)進行實 時播放，同時對文字數(shù)據(jù)進行顯示。
[0079] 采用基于互聯(lián)網(wǎng)的安全視頻會議系統(tǒng)進行視頻會議的方法，如圖2所示，包括以 下步驟：
[0080] 步驟1:視頻發(fā)送設(shè)備終端采集音頻數(shù)據(jù)、視頻數(shù)據(jù)和文字數(shù)據(jù)。
[0081] 步驟2:視頻發(fā)送設(shè)備終端將音頻數(shù)據(jù)轉(zhuǎn)換為WAV格式的音頻數(shù)據(jù)，將視頻數(shù)據(jù)轉(zhuǎn) 換為YUV格式的視頻數(shù)據(jù)，將WAV格式的音頻數(shù)據(jù)和YUV格式的視頻數(shù)據(jù)，將文字數(shù)據(jù)直接 傳輸至服務(wù)器。
[0082] 步驟3:視頻發(fā)送設(shè)備終端將WAV格式的音頻數(shù)據(jù)進行編碼加密，得到ACC格式的 音頻數(shù)據(jù)，將YUV格式的視頻數(shù)據(jù)進行編碼加密，得到H. 264碼流格式的視頻數(shù)據(jù)。
[0083] 步驟4:視頻發(fā)送設(shè)備終端以音頻數(shù)據(jù)為基準，將ACC格式的音頻數(shù)據(jù)和H. 264碼 流格式的視頻數(shù)據(jù)封裝成滿足RTP協(xié)議的音視頻數(shù)據(jù)，通過互聯(lián)網(wǎng)傳輸至視頻接收設(shè)備終 端。
[0084] 步驟5:視頻發(fā)送設(shè)備終端將編碼加密的音視頻數(shù)據(jù)采用Matroska格式封裝成 Matroska格式的音視頻數(shù)據(jù)，傳輸至服務(wù)器。
[0085] 步驟6:服務(wù)器存儲Matroska格式的音視頻數(shù)據(jù)和文字數(shù)據(jù)，利用RTSP協(xié)議控制 Matroska格式的音視頻數(shù)據(jù)的播放。
[0086] 步驟7:視頻接收設(shè)備終端根據(jù)RTP協(xié)議中的同步信息對音視頻數(shù)據(jù)進行同步解 封，得到解封后的ACC格式的音頻數(shù)據(jù)和H. 264碼流格式的視頻數(shù)據(jù)。
[0087] 步驟8:視頻接收設(shè)備終端將ACC格式的音頻數(shù)據(jù)進行解碼解密，得到WAV格式的 音頻數(shù)據(jù)，將H. 264碼流格式的視頻數(shù)據(jù)進行解碼解密，得到Y(jié)UV格式的視頻數(shù)據(jù)。
[0088] 步驟9:視頻接收設(shè)備終端將解碼解密后的YUV格式的視頻數(shù)據(jù)和WAV格式的音 頻數(shù)據(jù)進行實時播放，同時對文字數(shù)據(jù)進行展現(xiàn)。
【權(quán)利要求】
1. 一種基于互聯(lián)網(wǎng)的安全視頻會議系統(tǒng)，其特征在于，包括視頻發(fā)送設(shè)備終端、服務(wù)器 和視頻接收設(shè)備終J而； 所述的視頻發(fā)送設(shè)備終端，用于采集音頻數(shù)據(jù)、視頻數(shù)據(jù)和文字數(shù)據(jù)，將音頻數(shù)據(jù)轉(zhuǎn)換 為WAV格式的音頻數(shù)據(jù)，將視頻數(shù)據(jù)轉(zhuǎn)換為YUV格式的視頻數(shù)據(jù)，并進行編碼加密后，封裝 傳輸至服務(wù)器，將文字數(shù)據(jù)直接通過Socket套接字協(xié)議傳輸至服務(wù)器； 所述的服務(wù)器，用于存儲音頻數(shù)據(jù)、視頻數(shù)據(jù)和文字數(shù)據(jù)，同時將其傳輸至視頻接收設(shè) 備終端進行播放； 所述的視頻接收設(shè)備終端，用于對音頻數(shù)據(jù)和視頻數(shù)據(jù)進行同步解封，并進行解碼解 密，將解碼解密后的音頻數(shù)據(jù)和視頻數(shù)據(jù)進行同步播放，同時對文字數(shù)據(jù)進行顯示。
2. 根據(jù)權(quán)利要求1所述的基于互聯(lián)網(wǎng)的安全視頻會議系統(tǒng)，其特征在于，所述的視頻 發(fā)送設(shè)備終端為移動客戶端、Web客戶端或PC客戶端。
3. 根據(jù)權(quán)利要求1所述的基于互聯(lián)網(wǎng)的安全視頻會議系統(tǒng)，其特征在于，所述的視頻 發(fā)送設(shè)備終端，設(shè)有采集層、編碼加密層和封裝同步層； 所述的采集層，用于采集音頻數(shù)據(jù)、視頻數(shù)據(jù)和文字數(shù)據(jù)，將音頻數(shù)據(jù)轉(zhuǎn)換為WAV格式 的音頻數(shù)據(jù)，將視頻數(shù)據(jù)轉(zhuǎn)換為YUV格式的視頻數(shù)據(jù)，將WAV格式的音頻數(shù)據(jù)和YUV格式的 視頻數(shù)據(jù)傳輸至編碼加密層，將文字數(shù)據(jù)直接通過Socket套接字協(xié)議傳輸至服務(wù)器； 所述的編碼加密層，用于將WAV格式的音頻數(shù)據(jù)進行編碼加密，得到ACC格式的音頻數(shù) 據(jù)，將YUV格式的視頻數(shù)據(jù)進行編碼加密，得到H. 264碼流格式的視頻數(shù)據(jù)，將ACC格式的 音頻數(shù)據(jù)和H. 264碼流格式的視頻數(shù)據(jù)傳輸至封裝同步層； 所述的封裝同步層，用于以音頻數(shù)據(jù)為基準，將ACC格式的音頻數(shù)據(jù)和H. 264碼流格式 的視頻數(shù)據(jù)封裝成滿足RTP協(xié)議的編碼加密的音視頻數(shù)據(jù)，通過互聯(lián)網(wǎng)傳輸至視頻接收設(shè) 備終端；再將封裝后的編碼加密的音視頻數(shù)據(jù)采用Matroska格式封裝成Matroska格式的 音視頻數(shù)據(jù)，傳輸至服務(wù)器。
4. 根據(jù)權(quán)利要求1所述的基于互聯(lián)網(wǎng)的安全視頻會議系統(tǒng)，其特征在于，所述的服務(wù) 器包括：Web服務(wù)器、文件服務(wù)器、RTSP服務(wù)器和NoSQL服務(wù)器； 所述的Web服務(wù)器，用于控制和定位Matroska格式的音視頻數(shù)據(jù)及文字數(shù)據(jù)的存儲位 置； 所述的文件服務(wù)器，用于存儲Matroska格式的音視頻數(shù)據(jù)； 所述的RTSP服務(wù)器，用于利用RTSP協(xié)議控制Matroska格式的音視頻數(shù)據(jù)的播放； 所述的NoSQL務(wù)器，用于存儲文字數(shù)據(jù)。
5. 根據(jù)根據(jù)權(quán)利要求1所述的基于互聯(lián)網(wǎng)的安全視頻會議系統(tǒng)，其特征在于，所述的 視頻接收設(shè)備終端，設(shè)有同步層、解碼解密層和播放層； 所述的同步層，用于根據(jù)RTP協(xié)議中的同步信息對音視頻數(shù)據(jù)進行同步解封，得到解 封后的ACC格式的音頻數(shù)據(jù)和H. 264碼流格式的視頻數(shù)據(jù)，發(fā)送至解碼解密層； 所述的解碼解密層，用于將ACC格式的音頻數(shù)據(jù)進行解碼解密，得到WAV格式的音頻數(shù) 據(jù)，將H. 264碼流格式的視頻數(shù)據(jù)進行解碼解密，得到Y(jié)UV格式的視頻數(shù)據(jù)，將WAV格式的 音頻數(shù)據(jù)和YUV格式的視頻數(shù)據(jù)傳輸至播放層； 所述的播放層，用于將解碼解密后的YUV格式的視頻數(shù)據(jù)和WAV格式的音頻數(shù)據(jù)進行 實時播放，同時對文字數(shù)據(jù)進行顯示。
6. 根據(jù)權(quán)利要求1所述的基于互聯(lián)網(wǎng)的安全視頻會議系統(tǒng)，其特征在于，所述的WAV格 式的音頻數(shù)據(jù)在進行編碼的過程中對量化后幅值進行加密，得到ACC格式的音頻數(shù)據(jù)。
7. 根據(jù)權(quán)利要求1所述的基于互聯(lián)網(wǎng)的安全視頻會議系統(tǒng)，其特征在于，所述的YUV格 式的視頻數(shù)據(jù)在進行編碼的過程中，針對I幀視頻數(shù)據(jù)，對I幀幀內(nèi)預(yù)測后的預(yù)測模式進行 加密；針對量化后的DC系數(shù)加密；針對p幀視頻數(shù)據(jù)，對運動補償后的運動矢量加密；得到 H. 264碼流格式的視頻數(shù)據(jù)。
8. 采用權(quán)利要求1所述的基于互聯(lián)網(wǎng)的安全視頻會議系統(tǒng)進行視頻會議的方法，其特 征在于，包括以下步驟： 步驟1 :視頻發(fā)送設(shè)備終端采集音頻數(shù)據(jù)、視頻數(shù)據(jù)和文字數(shù)據(jù)； 步驟2 :視頻發(fā)送設(shè)備終端將音頻數(shù)據(jù)轉(zhuǎn)換為WAV格式的音頻數(shù)據(jù)，將視頻數(shù)據(jù)轉(zhuǎn)換為 YUV格式的視頻數(shù)據(jù)，將WAV格式的音頻數(shù)據(jù)和YUV格式的視頻數(shù)據(jù)，將文字數(shù)據(jù)直接傳輸 至服務(wù)器； 步驟3 :視頻發(fā)送設(shè)備終端將WAV格式的音頻數(shù)據(jù)進行編碼加密，得到ACC格式的音頻 數(shù)據(jù)，將YUV格式的視頻數(shù)據(jù)進行編碼加密，得到H. 264碼流格式的視頻數(shù)據(jù)； 步驟4 :視頻發(fā)送設(shè)備終端以音頻數(shù)據(jù)為基準，將ACC格式的音頻數(shù)據(jù)和H. 264碼流格 式的視頻數(shù)據(jù)封裝成滿足RTP協(xié)議的音視頻數(shù)據(jù)，通過互聯(lián)網(wǎng)傳輸至視頻接收設(shè)備終端； 步驟5 :視頻發(fā)送設(shè)備終端將編碼加密的音視頻數(shù)據(jù)采用Matroska格式封裝成 Matroska格式的音視頻數(shù)據(jù)，傳輸至服務(wù)器； 步驟6 :服務(wù)器存儲Matroska格式的音視頻數(shù)據(jù)和文字數(shù)據(jù)，利用RTSP協(xié)議控制 Matroska格式的音視頻數(shù)據(jù)的播放； 步驟7 :視頻接收設(shè)備終端根據(jù)RTP協(xié)議中的同步信息對音視頻數(shù)據(jù)進行同步解封，得 到解封后的ACC格式的音頻數(shù)據(jù)和H. 264碼流格式的視頻數(shù)據(jù)； 步驟8 :視頻接收設(shè)備終端將ACC格式的音頻數(shù)據(jù)進行解碼解密，得到WAV格式的音頻 數(shù)據(jù)，將H. 264碼流格式的視頻數(shù)據(jù)進行解碼解密，得到Y(jié)UV格式的視頻數(shù)據(jù)； 步驟9 :視頻接收設(shè)備終端將解碼解密后的YUV格式的視頻數(shù)據(jù)和WAV格式的音頻數(shù) 據(jù)進行實時播放，同時對文字數(shù)據(jù)進行展現(xiàn)。
【文檔編號】H04N7/15GK104506793SQ201510024771
【公開日】2015年4月8日 申請日期:2015年1月16日 優(yōu)先權(quán)日:2015年1月16日
【發(fā)明者】朱志良, 郭繼東, 于海, 張偉, 趙玉麗 申請人:東北大學(xué)