面向大場(chǎng)景的全景視頻監(jiān)控的方法及裝置制造方法
【專利摘要】本發(fā)明提供一種面向大場(chǎng)景的全景視頻監(jiān)控的方法及裝置。所述裝置包括前端視頻采集編碼設(shè)備和數(shù)據(jù)傳輸設(shè)備，大場(chǎng)景監(jiān)控系統(tǒng)包括數(shù)據(jù)接收、視頻解碼、視頻處理和輸出編碼等軟硬件，所述方法完成視頻數(shù)據(jù)接收、視頻解碼、視頻配準(zhǔn)、GPU實(shí)時(shí)拼接和色彩融合。拼接融合得到的全景監(jiān)控圖像序列通過HDMI/DVI連續(xù)輸出到顯示設(shè)備進(jìn)行顯示，同時(shí)支持對(duì)全景監(jiān)控圖像實(shí)時(shí)編碼，并通過網(wǎng)絡(luò)進(jìn)行傳輸和存儲(chǔ)。所述方法及裝置能夠保證全景視頻的拼接效果和拼接質(zhì)量，提高視頻拼接的效率，達(dá)到實(shí)時(shí)性的需求，得到的全景視頻更為自然、真實(shí)。在實(shí)際應(yīng)用中，既能很好的保證后續(xù)全景視頻拼接的要求，又能簡(jiǎn)化現(xiàn)場(chǎng)設(shè)備的安裝布置，可實(shí)施性強(qiáng)。
【專利說明】面向大場(chǎng)景的全景視頻監(jiān)控的方法及裝置

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及視頻監(jiān)控【技術(shù)領(lǐng)域】，特別是涉及一種面向大場(chǎng)景全景視頻監(jiān)控的方法 及裝置。

【背景技術(shù)】
[0002] 近些年隨著社會(huì)形勢(shì)的發(fā)展，視頻監(jiān)控的意義不明而喻，應(yīng)用越來越廣泛，且繁衍 出各種具有特殊功能和針對(duì)不同應(yīng)用場(chǎng)景的監(jiān)控裝置和系統(tǒng)。然而，適用于當(dāng)下有迫切監(jiān) 控需求的大場(chǎng)景實(shí)時(shí)視頻監(jiān)控卻較為少見。如大型的廣場(chǎng)、大型的活動(dòng)現(xiàn)場(chǎng)、十字路口等， 安防工作人員不僅要清楚的看到某個(gè)角落的細(xì)節(jié)，而且還需一目了然地掌控大場(chǎng)景的整體 態(tài)勢(shì)和活動(dòng)主體的主要軌跡。針對(duì)大場(chǎng)景的應(yīng)用場(chǎng)景，若采用傳統(tǒng)的多攝像頭監(jiān)控系統(tǒng)，雖 能看清重要特定區(qū)域的細(xì)節(jié)，但缺乏連續(xù)性，且由于單個(gè)攝像頭有效視域的限制而無法掌 控整體的全局態(tài)勢(shì)；若采用全景監(jiān)控?cái)z像機(jī)或魚眼攝像機(jī)，雖有超寬的視域可掌握整體的 態(tài)勢(shì)，卻存在無法查看細(xì)節(jié)、變形嚴(yán)重和不具實(shí)時(shí)性的缺點(diǎn)。
[0003] 現(xiàn)有技術(shù)中的高清全景視頻拼接方法，由于高清視頻源本身包含大數(shù)據(jù)量，且基 于在線的實(shí)時(shí)拼接，存在拼接效率低的問題，不能達(dá)到視頻監(jiān)控的實(shí)時(shí)要求。為此，有人設(shè) 計(jì)了一種實(shí)時(shí)高速高清全景視頻的拼接方法，即首先獲取滿足拼接條件的多路實(shí)時(shí)視頻圖 像，然后經(jīng)過視頻圖像拼接、選取投影面，建立單個(gè)視頻與全景投影面的坐標(biāo)映射關(guān)系，最 后直接使用坐標(biāo)映射關(guān)系來實(shí)現(xiàn)幾路視頻實(shí)時(shí)拼接得到全景視頻。該方法在實(shí)際應(yīng)用過 程中存在一定的局限性，如：正式拼接前需反復(fù)判斷任意兩路視頻是否滿足拼接條件，如果 不滿足需進(jìn)一步調(diào)節(jié)前端攝像頭的采集姿態(tài)；通過計(jì)算一次拼接投影參數(shù)并不能保證精準(zhǔn) 性；缺少拼接視頻間的同步，不能防止運(yùn)動(dòng)目標(biāo)在拼接區(qū)域出現(xiàn)雙影和憑空消失的情形； 最后的曝光融合重點(diǎn)針對(duì)重疊區(qū)域的亮度調(diào)整，不能確保最終全景拼接畫面色彩歸一化。 鑒于此，本發(fā)明有針對(duì)性的對(duì)其進(jìn)行改進(jìn)和擴(kuò)展。


【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的在于針對(duì)現(xiàn)有技術(shù)的不足，提出了一種面向大場(chǎng)景全景視頻監(jiān)控的 裝置和系統(tǒng)。主要解決的技術(shù)問題為：
[0005] 1.提高全景視頻拼接投影映射關(guān)系的精準(zhǔn)性。通過計(jì)算一次拼接投影參數(shù)并不能 確保其精準(zhǔn)性，特別是針對(duì)場(chǎng)景較為簡(jiǎn)單或者較為復(fù)雜的情形，特征點(diǎn)不足或者特征點(diǎn)過 于混雜均會(huì)影響到圖像間的精確配準(zhǔn)。
[0006] 2.同步多路視頻內(nèi)容，提高監(jiān)控的真實(shí)性和合理性。前端視頻采集設(shè)備在采集編 碼時(shí)可能存在時(shí)鐘不同步的情況，并且采集到的視頻數(shù)據(jù)大多是經(jīng)過IP網(wǎng)絡(luò)進(jìn)行傳輸，接 收端接收到的數(shù)據(jù)不乏存有亂序的情況，如果就此基礎(chǔ)上做拼接會(huì)出現(xiàn)各種異常，特別是 在重疊區(qū)域處。
[0007] 3.提高全景視頻拼接的效率，滿足監(jiān)控的實(shí)時(shí)性需求。目前監(jiān)控對(duì)視頻源的要求 越發(fā)趨于高清，高清視頻源本身包含大數(shù)據(jù)量，進(jìn)而也加大了拼接投影的計(jì)算量，故采用一 般的處理手段存在拼接效率低的問題，不能達(dá)到視頻監(jiān)控的實(shí)時(shí)要求。
[0008] 本發(fā)明的技術(shù)方案為：
[0009] 本發(fā)明包括一套大場(chǎng)景監(jiān)控裝置及系統(tǒng)。大場(chǎng)景監(jiān)控裝置包括前端視頻采集編碼 設(shè)備和數(shù)據(jù)傳輸設(shè)備，大場(chǎng)景監(jiān)控系統(tǒng)包括數(shù)據(jù)接收、視頻解碼、視頻處理和輸出編碼等軟 硬件。
[0010] 本發(fā)明通過前端視頻采集裝置同時(shí)獲取3-4個(gè)視頻，這些視頻對(duì)高達(dá)180°范圍 的場(chǎng)景區(qū)域?qū)崿F(xiàn)無縫隙覆蓋，每個(gè)視頻經(jīng)過編碼后分別加入統(tǒng)一的時(shí)間同步信號(hào)，經(jīng)發(fā)送 模塊傳輸?shù)酱髨?chǎng)景監(jiān)控系統(tǒng)。大場(chǎng)景監(jiān)控系統(tǒng)完成視頻數(shù)據(jù)接收、視頻解碼、視頻配準(zhǔn)、GPU 實(shí)時(shí)拼接和色彩融合，拼接融合得到的全景監(jiān)控圖像序列通過HDMI/DVI連續(xù)輸出到顯示 設(shè)備進(jìn)行顯示，同時(shí)支持對(duì)全景監(jiān)控圖像實(shí)時(shí)編碼，并通過網(wǎng)絡(luò)進(jìn)行傳輸和存儲(chǔ)。
[0011] 本發(fā)明的有益技術(shù)效果為：
[0012] 本發(fā)明提出一種面向大場(chǎng)景的全景視頻監(jiān)控的裝置和系統(tǒng)，實(shí)現(xiàn)大范圍實(shí)時(shí)全景 視頻監(jiān)控，所輸出的全景畫面為一個(gè)經(jīng)過視頻拼接和色彩融合的獨(dú)立畫面。與一般的全景 視頻拼接裝置，以及全景監(jiān)控像機(jī)和魚眼監(jiān)控像機(jī)不同，本發(fā)明可以提供25fps以上幀率 的流暢全景監(jiān)控畫面以及最高達(dá)7680 * 1080的超高清視頻分辨率。
[0013] 本發(fā)明所提供的面向大場(chǎng)景監(jiān)控裝置，既能很好的保證后續(xù)全景視頻拼接的要 求，又能簡(jiǎn)化現(xiàn)場(chǎng)設(shè)備的安裝布置，可實(shí)施性強(qiáng)。
[0014] 本發(fā)明所提供的大場(chǎng)景監(jiān)控系統(tǒng)，其視頻配準(zhǔn)實(shí)現(xiàn)視頻拼接參數(shù)的自動(dòng)計(jì)算和存 儲(chǔ)，用于確定最佳的視頻自動(dòng)配準(zhǔn)參數(shù)，再結(jié)合人機(jī)交互的手動(dòng)參數(shù)配置，保證最終全景視 頻的拼接效果和拼接質(zhì)量；其使用GPU高速并行處理特性，提高了視頻拼接的效率，輸出幀 率達(dá)到實(shí)時(shí)性的需求；其時(shí)間同步處理和色彩融合處理，使幾路視頻經(jīng)過拼接得到的全景 視頻更為自然、真實(shí)，恰如一個(gè)攝像機(jī)拍攝出來的一樣。

【專利附圖】

【附圖說明】
[0015] 圖1是本發(fā)明面向大場(chǎng)景全景視頻監(jiān)控的裝置及系統(tǒng)的整體結(jié)構(gòu)圖
[0016] 圖2是本發(fā)明中視頻采集設(shè)備固定的刻度盤示意圖
[0017] 圖3是本發(fā)明中視頻采集設(shè)備有效視域示意圖
[0018] 圖4是面向大場(chǎng)景的全景視頻監(jiān)控方法流程圖

【具體實(shí)施方式】
[0019] 為詳細(xì)說明本發(fā)明的技術(shù)方案，以下結(jié)合具體的實(shí)施方式并配合附圖詳細(xì)說明。
[0020] 本發(fā)明所提出的面向大場(chǎng)景的全景視頻監(jiān)控方案的系統(tǒng)總體結(jié)構(gòu)可參見圖1。監(jiān) 控方案包含大場(chǎng)景監(jiān)控裝置和大場(chǎng)景監(jiān)控系統(tǒng)。
[0021] 所述大場(chǎng)景監(jiān)控裝置，包括前端視頻采集模塊、視頻編碼模塊和數(shù)據(jù)發(fā)送模塊。
[0022] 所述前端視頻采集模塊，是封裝在一個(gè)透明球形玻璃罩內(nèi)的視頻采集設(shè)備，由一 個(gè)水平刻度和四個(gè)具體的攝像機(jī)組成。用于獲取前端監(jiān)控區(qū)域的原始視頻序列，并將其 傳輸給視頻編碼模塊分別進(jìn)行視頻編碼。水平刻度盤標(biāo)注了攝像機(jī)設(shè)備放置的位置角度 信息，參見圖2所示。固定各攝像機(jī)的扇形擺放角度，分別為22. 5°、67. 5°、112. 5°和 157. 5°，沿每個(gè)刻度線方向固定一個(gè)攝像機(jī)，一個(gè)刻度盤上固定4個(gè)視頻攝像機(jī)。視頻采 集設(shè)備中的攝像機(jī)按照一定角度水平扇形排列，使得各相機(jī)成像平面的法線交于同一個(gè)中 心點(diǎn)且在同一平面內(nèi)。攝像機(jī)有效視域參見圖3所示，單個(gè)攝像機(jī)的有效視域?yàn)?5°，相鄰 攝像機(jī)間視域重疊10°。
[0023] 所述視頻編碼模塊，用于對(duì)各路視頻采集結(jié)果分別進(jìn)行編碼。將視頻采集設(shè)備中 每個(gè)子成像設(shè)備輸出的視頻幀進(jìn)行H. 264編碼，分別得到一路H. 264格式碼流。
[0024] 所述數(shù)據(jù)發(fā)送模塊，包括時(shí)鐘模塊和發(fā)送模塊。時(shí)鐘模塊用于多路視頻間的時(shí)間 同步，輸出的時(shí)間信號(hào)以時(shí)間戳的形式加入到每個(gè)視頻碼流中。數(shù)據(jù)發(fā)送模塊根據(jù)時(shí)間信 號(hào)先后順序依次發(fā)送視頻幀。
[0025] 其中，視頻采集模塊中各子成像設(shè)備與視頻編碼模塊連接，視頻編碼模塊與數(shù)據(jù) 發(fā)送模塊連接。
[0026] 所述大場(chǎng)景監(jiān)控系統(tǒng)，包括數(shù)據(jù)接收模塊、視頻解碼模塊、視頻配準(zhǔn)模塊、數(shù)據(jù)庫 模塊、GPU實(shí)時(shí)拼接融合模塊和輸出編碼模塊。
[0027] 所述數(shù)據(jù)接收模塊，用于接收每路視頻的IP碼流，并根據(jù)碼流中的時(shí)間同步信號(hào) 依次提交視頻幀，以保持同路視頻內(nèi)容的時(shí)間連續(xù)和多路視頻間的空間同步。
[0028] 所述視頻解碼模塊，用于將多路H. 264碼流分別解碼為視頻幀序列，便于多路視 頻間的逐幀拼接處理。
[0029] 所述視頻配準(zhǔn)模塊，為離線處理模塊，包括自動(dòng)配準(zhǔn)模塊和參數(shù)調(diào)整模塊。自動(dòng)配 準(zhǔn)模塊實(shí)現(xiàn)視頻拼接參數(shù)的自動(dòng)計(jì)算和存儲(chǔ)，主要用于確定最佳的視頻自動(dòng)配準(zhǔn)參數(shù)。一 旦確定了最佳拼接效果的參數(shù)，便不再需要執(zhí)行視頻配準(zhǔn)模塊，因前端視頻采集設(shè)備姿態(tài) 已固定；參數(shù)調(diào)整模塊用于手動(dòng)調(diào)節(jié)視頻的拼接參數(shù)，對(duì)自動(dòng)配準(zhǔn)參數(shù)進(jìn)行優(yōu)化。通過自 動(dòng)配準(zhǔn)和手動(dòng)調(diào)整相結(jié)合的方式計(jì)算得到的最終拼接參數(shù)，包括拼接單應(yīng)矩陣和拼接邊緣 Mask圖像。計(jì)算得到的拼接參數(shù)存儲(chǔ)在本地?cái)?shù)據(jù)庫文件中，供實(shí)時(shí)拼接模塊調(diào)取使用。其 中，自動(dòng)配準(zhǔn)過程采用sift特征點(diǎn)匹配同名點(diǎn)，使用RANSC算法剔除誤匹配點(diǎn)并計(jì)算得到 3 * 3單應(yīng)矩陣。手動(dòng)調(diào)整是指對(duì)單應(yīng)矩陣中的9個(gè)元素分別進(jìn)行調(diào)整，實(shí)現(xiàn)圖像左右、上 下平移、縮放、旋轉(zhuǎn)。
[0030] 所述數(shù)據(jù)庫模塊，采用數(shù)據(jù)庫的方式保存各視頻的配準(zhǔn)拼接參數(shù)。視頻配準(zhǔn)模塊 可以將各視頻的配準(zhǔn)拼接參數(shù)寫入數(shù)據(jù)庫中，參數(shù)配置模塊可以對(duì)數(shù)據(jù)庫中的各視頻配準(zhǔn) 參數(shù)進(jìn)行讀取和修改。數(shù)據(jù)庫中的各視頻配準(zhǔn)拼接參數(shù)輸入GPU拼接模塊，實(shí)現(xiàn)全景視頻 的拼接。
[0031] GPU實(shí)時(shí)拼接融合模塊，采用硬件并行加速設(shè)計(jì)，實(shí)現(xiàn)對(duì)視頻逐幀實(shí)時(shí)拼接。該模 塊從視頻解碼模塊獲取實(shí)時(shí)視頻幀，從視頻拼接數(shù)據(jù)庫獲取拼接參數(shù)，利用GPU進(jìn)行圖像 映射和邊緣融合，輸出拼接后的整幅圖像。其中，色彩融合采用三層金字塔分解模型，實(shí)現(xiàn) 拼接線融合處理。
[0032] 輸出編碼模塊，包括實(shí)時(shí)顯示模塊和編碼傳輸模塊。實(shí)時(shí)顯示模塊實(shí)現(xiàn)將拼接所 得的全景監(jiān)控圖像通過HDMI/DVI連續(xù)輸出顯示，并實(shí)現(xiàn)用戶交互控制。編碼傳輸模塊實(shí)現(xiàn) 拼接后全景監(jiān)控圖像的H. 264編碼和網(wǎng)絡(luò)傳輸，以便遠(yuǎn)程客戶端的用戶掌握實(shí)時(shí)的監(jiān)控畫 面。
[0033] 其中，數(shù)據(jù)接收模塊與視頻解碼模塊連接，視頻解碼模塊分別與視頻配準(zhǔn)模塊和 GPU實(shí)時(shí)拼接融合模塊連接。視頻配準(zhǔn)模塊與參數(shù)配置模塊均通過連接數(shù)據(jù)庫模塊最終與 GPU實(shí)時(shí)拼接融合模塊相連接。GPU實(shí)時(shí)拼接融合模塊作為輸入分別與實(shí)時(shí)顯示模塊和編 碼輸出模塊連接。
[0034] 本發(fā)明還提出了一種相應(yīng)的面向大場(chǎng)景的全景視頻監(jiān)控方法，參見圖4所示，包 括如下具體處理步驟：
[0035] 步驟1，視頻采集
[0036] 原始視頻數(shù)據(jù)的采集要通過Vide〇4LinuX2來實(shí)現(xiàn)，該驅(qū)動(dòng)提供了圖片格式設(shè)置， 幀緩存區(qū)申請(qǐng)，內(nèi)存映射等多種操作視頻設(shè)備的接口函數(shù)。當(dāng)采集過程開始后，驅(qū)動(dòng)不停的 將視頻數(shù)據(jù)寫入已經(jīng)分配的緩存區(qū)中，當(dāng)一個(gè)緩沖的數(shù)據(jù)就緒之后，驅(qū)動(dòng)便將其放入輸出 隊(duì)列中，等待應(yīng)用程序的處理。讀取數(shù)據(jù)時(shí)，驅(qū)動(dòng)首先將一個(gè)緩存區(qū)出列，應(yīng)用程序通過該 緩存區(qū)的序號(hào)值獲取相應(yīng)的緩存區(qū)在用戶空間中的長(zhǎng)度及偏移地址，從而達(dá)到訪問數(shù)據(jù)的 目的，當(dāng)處理完成之后，該緩存區(qū)會(huì)被重新放入采集隊(duì)列中。采集模塊的輸出為YUV420視 頻幀。
[0037] 步驟2,編碼與發(fā)送
[0038] 使用H. 264編碼器，對(duì)步驟1采集得到的原始視頻數(shù)據(jù)進(jìn)行編碼。H. 264編碼器中 的編碼檔次選?。篐. 264編碼器采用基本檔次，參考幀數(shù)量選擇1，選擇CQP碼率控制方式， 且量化參數(shù)QP = 26,選擇DIA宏塊搜索模式，運(yùn)動(dòng)估計(jì)的搜索范圍設(shè)定為8像素，亞像素插 值LEVEL = 1，幀間編碼時(shí)，選擇PI6xI6宏塊劃分模式。根據(jù)編碼器方案設(shè)計(jì)時(shí)所選的參數(shù) 值，對(duì)H. 264參數(shù)選項(xiàng)進(jìn)行配置，以YUV420格式視頻幀作為編碼器的輸入，NALU作為編碼 器的輸出。
[0039] 編碼得到ES視頻流，經(jīng)過PES打包器之后，被轉(zhuǎn)換成PES包，再次經(jīng)過PS打包后， 通過RTP協(xié)議進(jìn)行傳輸。系統(tǒng)時(shí)鐘定期向遠(yuǎn)程基準(zhǔn)時(shí)鐘進(jìn)行同步，并作為唯一的時(shí)鐘信息 (同步時(shí)間戳）嵌入視頻流中用于視頻解碼及多個(gè)視頻流之間的時(shí)間同步。其中，在PES頭 信息中嵌入顯示時(shí)間標(biāo)簽PTS (Presentation Time Stamp)和解碼時(shí)間標(biāo)簽DTS (Decoding Time Stamp)，在PS頭信息中嵌入系統(tǒng)時(shí)鐘基準(zhǔn)SCR (System Clock Reference)。
[0040] 步驟3，解碼與同步
[0041] 對(duì)步驟2中發(fā)送的PS流進(jìn)行逐層解析，最后得到ES流及同步時(shí)間戳。使用ffmpeg 解碼器對(duì)ES流進(jìn)行解碼，得到Y(jié)UV420格式視頻幀。建立視頻緩沖池，對(duì)每一路視頻流緩 沖25幀，將YUV420格式視頻幀和該幀對(duì)應(yīng)的同步時(shí)間戳一并存入緩沖中。提交視頻時(shí)，分 別讀取每一路視頻的當(dāng)前同步時(shí)間戳，以第一路視頻的同步時(shí)間戳0\)為基準(zhǔn)，Tji = 2， 3…）為第i路視頻的同步時(shí)間戳，視頻幀的提交規(guī)則定義如下：
[0042] 1)取第一路視頻的當(dāng)前YUV420視頻幀并提交；
[0043] 2)For i = 2,3...
[0044] 如果Ti-Ti > 20ms，則讀取第i路視頻上一個(gè)YUV420視頻幀提交；
[0045] 如果-20ms彡MTi-Ti彡20ms，則讀取第i路視頻當(dāng)前YUV420視頻幀提交；
[0046] 否則，讀取第i路視頻下一個(gè)YUV420視頻幀提交；
[0047] 3)第一路視頻讀取位置下移一幀，重復(fù)1)，2)操作。
[0048] 步驟4,自動(dòng)配準(zhǔn)
[0049] 拼接參數(shù)及拼接線計(jì)算從步驟3獲取視頻幀后，采用Sift特征匹配的方式進(jìn)行圖 像自動(dòng)配準(zhǔn)。計(jì)算所得的每一個(gè)Sift特征點(diǎn)即為一個(gè)4X (4X4)維的描述符，同時(shí)將向量 歸一化，對(duì)光照更具有魯棒性。采用基于歐式距離的最近鄰向量匹配法，對(duì)于低分辨率圖像 中的特征點(diǎn)，利用K-D樹搜索法在參考圖像中找到與低分辨率圖像特征點(diǎn)歐式距離最近的 前兩個(gè)特征點(diǎn)。設(shè)最近距離為屯，次近距離為d2，閾值為w如果

【權(quán)利要求】
1. 一種面向大場(chǎng)景的全景視頻監(jiān)控的方法，其特征在于，所述方法包含以下步驟： 步驟1，視頻采集； 步驟2,對(duì)步驟1采集得到的原始視頻數(shù)據(jù)進(jìn)行編碼，分別對(duì)編碼后的視頻流合入時(shí)間 同步信號(hào)，通過網(wǎng)絡(luò)發(fā)送； 步驟3,接收視頻數(shù)據(jù)，將編碼的視頻幀進(jìn)行實(shí)時(shí)解碼； 步驟4,將待拼接的監(jiān)控視頻按照左右相鄰順序進(jìn)行配準(zhǔn)，計(jì)算得到其自動(dòng)配準(zhǔn)參數(shù)并 保持到數(shù)據(jù)庫中； 步驟5,手動(dòng)調(diào)節(jié)拼接參數(shù)，優(yōu)化自動(dòng)配準(zhǔn)的參數(shù)，并用優(yōu)化結(jié)果更新步驟4中的數(shù)據(jù) 庫； 步驟6,讀取視頻拼接數(shù)據(jù)庫中的配準(zhǔn)參數(shù)，對(duì)待拼接的監(jiān)控視頻進(jìn)行拼接； 步驟7,將拼接標(biāo)準(zhǔn)化為大小兩種碼流進(jìn)行輸出； 其中，所述步驟3中將編碼的視頻幀進(jìn)行實(shí)時(shí)解碼的步驟包括：對(duì)步驟2中發(fā)送的PS 流進(jìn)行逐層解析，最后得到ES流及同步時(shí)間戳；使用ffmpeg解碼器對(duì)ES流進(jìn)行解碼，得到 YUV420格式視頻幀；建立視頻緩沖池，對(duì)每一路視頻流緩沖25幀，將YUV420格式視頻幀和 該幀對(duì)應(yīng)的同步時(shí)間戳一并存入緩沖中，提交視頻時(shí)，分別讀取每一路視頻的當(dāng)前同步時(shí) 間戳，以第一路視頻的同步時(shí)間戳0\)為基準(zhǔn)，Tji = 2,3···)為第i路視頻的同步時(shí)間 戳，視頻幀的提交規(guī)則定義如下： 1) 取第一路視頻的當(dāng)前YUV420視頻幀并提交； 2. For i = 2, 3...如果Ti-Ti > 20ms，則讀取第i路視頻上一個(gè)YUV420視頻幀提交； 如果-20ms彡MTi-Ti彡20ms，則讀取第i路視頻當(dāng)前YUV420視頻幀提交；否則，讀取第i 路視頻下一個(gè)YUV420視頻幀提交； 3) 第一路視頻讀取位置下移一幀，重復(fù)1)，2)操作。
2. 根據(jù)權(quán)利要求1所述的面向大場(chǎng)景的全景視頻監(jiān)控的方法，其特征在于，所述步驟2 中編碼并分別對(duì)編碼后的視頻流合入時(shí)間同步信號(hào)的步驟包括： 編碼得到ES視頻流，經(jīng)過PES打包器之后，被轉(zhuǎn)換成PES包，再次經(jīng)過PS打包后，通過 RTP協(xié)議進(jìn)行傳輸； 系統(tǒng)時(shí)鐘定期向遠(yuǎn)程基準(zhǔn)時(shí)鐘進(jìn)行同步，并作為唯一的時(shí)鐘信息（同步時(shí)間戳）嵌入 視頻流中用于視頻解碼及多個(gè)視頻流之間的時(shí)間同步； 其中，在PES頭信息中嵌入顯示時(shí)間標(biāo)簽和解碼時(shí)間標(biāo)簽，在PS頭信息中嵌入系統(tǒng)時(shí) 鐘基準(zhǔn)。
3. 根據(jù)權(quán)利要求1或2所述的面向大場(chǎng)景的全景視頻監(jiān)控的方法，其特征在于，所述步 驟4中將待拼接的監(jiān)控視頻按照左右相鄰順序進(jìn)行配準(zhǔn)，計(jì)算得到其自動(dòng)配準(zhǔn)參數(shù)的步驟 包括拼接參數(shù)計(jì)算，具體步驟為： 從步驟3獲取視頻幀后，采用Sift特征匹配的方式進(jìn)行圖像自動(dòng)配準(zhǔn)，采用基于歐式 距離的最近鄰向量匹配法，對(duì)于低分辨率圖像中的特征點(diǎn)，利用K-D樹搜索法在參考圖像 中找到與低分辨率圖像特征點(diǎn)歐式距離最近的前兩個(gè)特征點(diǎn)，設(shè)最近距離為屯，次近距離 為d2，閾值為w如果
，則該對(duì)特征點(diǎn)為候選特征點(diǎn)，否則予以剔除； 得到參考圖像與待配準(zhǔn)圖像之間的特征點(diǎn)對(duì)以后，需要估算出兩幅圖像之間的透視系 數(shù)，進(jìn)而對(duì)待配準(zhǔn)圖像利用插值算法進(jìn)行重采樣，實(shí)現(xiàn)圖像之間的配準(zhǔn)，設(shè)（Ul，Vl，l)，（u 2， v2，l)為特征點(diǎn)對(duì)的齊次坐標(biāo)，根據(jù)透視矩陣Η可得：
4. 根據(jù)權(quán)利要求3所述的面向大場(chǎng)景的全景視頻監(jiān)控的方法，其特征在于，還包括采 用基于經(jīng)典隨機(jī)抽樣一致性算法進(jìn)行候選特征點(diǎn)對(duì)的進(jìn)一步篩選： 首先，從候選特征點(diǎn)對(duì)中隨機(jī)抽取3個(gè)特征點(diǎn)對(duì)建立方程組，求解出Η的6個(gè)參數(shù)； 計(jì)算特征點(diǎn)經(jīng)過Η轉(zhuǎn)換后與候選特征點(diǎn)的距離，若距離小于設(shè)定閾值，則為內(nèi)點(diǎn)，否則 為外點(diǎn)，予以剔除，同時(shí)統(tǒng)計(jì)內(nèi)點(diǎn)個(gè)數(shù)； 接下來再次取3個(gè)特征點(diǎn)對(duì)，重復(fù)上述步驟，經(jīng)過若干次以后，選取包含內(nèi)點(diǎn)最多的一 個(gè)點(diǎn)對(duì)集最后，利用最小二乘法對(duì)該點(diǎn)對(duì)集求解仿射矩陣Η。
5. 根據(jù)權(quán)利要求1或2所述的面向大場(chǎng)景的全景視頻監(jiān)控的方法，其特征在于，所述步 驟5中優(yōu)化自動(dòng)配準(zhǔn)的參數(shù)的步驟包括； 對(duì)步驟4計(jì)算得到的單應(yīng)矩陣Η，通過對(duì)Η中的元素hu進(jìn)行修改，實(shí)現(xiàn)圖像平移、縮放 和旋轉(zhuǎn)；修改后的單應(yīng)矩陣H'替換步驟4得到的原始單應(yīng)矩陣H。
6. 根據(jù)權(quán)利要求1所述的面向大場(chǎng)景的全景視頻監(jiān)控的方法，其特征在于，所述步驟6 中對(duì)待拼接的監(jiān)控視頻進(jìn)行拼接的步驟包括： 通過CUDA，先將每幀圖像分為16 * 16大小的塊進(jìn)行雙線性插值映射； 將該視頻對(duì)應(yīng)的 Mask 圖，Maskframe 進(jìn)行映射，Maskframe/ = Warp (HfMe，Maskframe)，截取 單幀有效視頻內(nèi)容：Γ pan。-franie = Mask' franie and Ip__franie，其中Ipan。-frame表示單幀圖像映 射到全景圖中的內(nèi)容，I fMre，分別為單幀圖像以及該圖像對(duì)應(yīng)的單應(yīng)矩陣； 計(jì)算圖像重疊區(qū)域0\，?；，Tt，Th)，其中?\，?；表示水平方向重疊區(qū)域的左右邊界，T t， Tb表示垂直方向重疊區(qū)域的下上邊界； 在重疊區(qū)域內(nèi)執(zhí)行三層金字塔分解并還原，實(shí)現(xiàn)拼接線融合。
7. -種面向大場(chǎng)景的全景視頻監(jiān)控的裝置，包括大場(chǎng)景監(jiān)控裝置和大場(chǎng)景監(jiān)控系統(tǒng)， 其特征在于： 所述大場(chǎng)景監(jiān)控裝置包括前端視頻采集模塊、視頻編碼模塊和數(shù)據(jù)發(fā)送模塊，其中所 述數(shù)據(jù)發(fā)送模塊包括時(shí)鐘模塊和發(fā)送模塊，時(shí)鐘模塊用于多路視頻間的時(shí)間同步，輸出的 時(shí)間信號(hào)以時(shí)間戳的形式加入到每個(gè)視頻碼流中，數(shù)據(jù)發(fā)送模塊根據(jù)時(shí)間信號(hào)先后順序依 次發(fā)送視頻幀； 所述大場(chǎng)景監(jiān)控系統(tǒng)包括數(shù)據(jù)接收模塊、視頻解碼模塊、視頻配準(zhǔn)模塊、數(shù)據(jù)庫模塊、 GPU實(shí)時(shí)拼接融合模塊和輸出編碼模塊，其中GPU實(shí)時(shí)拼接融合模塊采用硬件并行加速設(shè) 計(jì)實(shí)現(xiàn)對(duì)視頻逐巾貞實(shí)時(shí)拼接； 其中，視頻采集模塊中各子成像設(shè)備與視頻編碼模塊連接，視頻編碼模塊與數(shù)據(jù)發(fā)送 模塊連接；數(shù)據(jù)接收模塊與視頻解碼模塊連接，視頻解碼模塊分別與視頻配準(zhǔn)模塊和GPU 實(shí)時(shí)拼接融合模塊連接；視頻配準(zhǔn)模塊與參數(shù)配置模塊均通過連接數(shù)據(jù)庫模塊最終與GPU 實(shí)時(shí)拼接融合模塊相連接；GPU實(shí)時(shí)拼接融合模塊作為輸入分別與實(shí)時(shí)顯示模塊和編碼輸 出模塊連接。
8. 根據(jù)權(quán)利要求7所述的面向大場(chǎng)景的全景視頻監(jiān)控的裝置，其特征在于，所述前端 視頻采集模塊，是封裝在一個(gè)透明球形玻璃罩內(nèi)的視頻采集設(shè)備，用于獲取前端監(jiān)控區(qū)域 的原始視頻序列，并將其傳輸給視頻編碼模塊分別進(jìn)行視頻編碼，由一個(gè)水平刻度盤和四 個(gè)具體的攝像機(jī)組成； 其中，所述水平刻度盤標(biāo)注了攝像機(jī)設(shè)備放置的位置角度信息，一個(gè)刻度盤上固定4 個(gè)視頻攝像機(jī)，固定各攝像機(jī)的扇形擺放角度分別為22. 5°、67. 5°、112. 5°和157. 5 ;其 中，四個(gè)攝像機(jī)沿每個(gè)刻度線方向固定一個(gè)，按照一定角度水平扇形排列，使得各相機(jī)成像 平面的法線交于同一個(gè)中心點(diǎn)且在同一平面內(nèi)，單個(gè)攝像機(jī)的有效視域?yàn)?5°，相鄰攝像 機(jī)間視域重疊10°。
9. 根據(jù)權(quán)利要求7所述的面向大場(chǎng)景的全景視頻監(jiān)控的裝置，其特征在于所述視頻配 準(zhǔn)模塊，為離線處理模塊，包括自動(dòng)配準(zhǔn)模塊和參數(shù)調(diào)整模塊： 其中自動(dòng)配準(zhǔn)模塊實(shí)現(xiàn)視頻拼接參數(shù)的自動(dòng)計(jì)算和存儲(chǔ)，用于確定最佳的視頻自動(dòng)配 準(zhǔn)參數(shù)，所述自動(dòng)配準(zhǔn)過程采用sift特征點(diǎn)匹配同名點(diǎn)，使用RANSC算法剔除誤匹配點(diǎn)并 計(jì)算得到3 * 3單應(yīng)矩陣； 參數(shù)調(diào)整模塊用于手動(dòng)調(diào)節(jié)視頻的拼接參數(shù)，對(duì)自動(dòng)配準(zhǔn)參數(shù)進(jìn)行優(yōu)化，所述手動(dòng)調(diào) 整是指對(duì)單應(yīng)矩陣中的9個(gè)元素分別進(jìn)行調(diào)整，實(shí)現(xiàn)圖像左右、上下平移、縮放、旋轉(zhuǎn)； 其中，由于前端視頻采集設(shè)備姿態(tài)已固定，一旦確定了最佳拼接效果的參數(shù)，便不再需 要執(zhí)行視頻配準(zhǔn)；通過自動(dòng)配準(zhǔn)和手動(dòng)調(diào)整相結(jié)合的方式計(jì)算得到的最終拼接參數(shù)，包括 拼接單應(yīng)矩陣和拼接邊緣Mask圖像；計(jì)算得到的拼接參數(shù)存儲(chǔ)在本地?cái)?shù)據(jù)庫文件中，供實(shí) 時(shí)拼接模塊調(diào)取使用。
【文檔編號(hào)】H04N7/18GK104301677SQ201410547110
【公開日】2015年1月21日 申請(qǐng)日期:2014年10月16日 優(yōu)先權(quán)日:2014年10月16日
【發(fā)明者】劉啟芳, 黃美姜, 陶榮偉 申請(qǐng)人:北京十方慧通科技有限公司