一種三維環(huán)境下基于線路特征的視頻空間實時漫游方法
【專利摘要】本發(fā)明涉及一種三維環(huán)境下基于線路特征的視頻空間實時漫游方法，通過設定的漫游路徑，快速搜索漫游位置指定范圍內(nèi)的視頻，對視頻圖像進行拼接或不拼接處理并在三維環(huán)境下實時播放，實現(xiàn)在三維環(huán)境下視頻的空間實時漫游。本發(fā)明可應用于公安刑偵、安保、交通等各行業(yè)，主要應用在三維視頻監(jiān)控、以及基于視頻的大型活動安保、案事件偵破、交通監(jiān)控等領域，應用領域非常廣泛，市場前景非常樂觀。偵、安保、交通等各行業(yè)，主要應用在三維視頻監(jiān)控、以及基于視頻的大型活動安保、案事件偵破、交通監(jiān)控等領域，應用領域非常廣泛，市場前景非常樂觀。
【專利說明】一種三維環(huán)境下基于線路特征的視頻空間實時漫游方法
【技術(shù)領域】
[0001]本發(fā)明涉及一種三維環(huán)境下基于線路特征的視頻空間實時漫游方法，屬于智能視頻監(jiān)控領域。
【背景技術(shù)】
[0002]視頻和圖像是對現(xiàn)實世界客觀、形象的描述，對人類而言，是最直觀而具體的信息表達形式，是一種重要的信息載體。視頻圖像在信息表達中起著非常重要的作用，隨著信息技術(shù)的發(fā)展，有關視頻圖像的研究和應用也迅速發(fā)展起來。但在各種應用中，還存在諸多問題。
[0003]例如，在視頻監(jiān)控應用中，傳統(tǒng)分鏡頭監(jiān)控模式具有畫面相互孤立、缺乏關聯(lián)性的應用局限，難以直觀獲取監(jiān)控區(qū)域的整體安全態(tài)勢。視頻拼接技術(shù)實現(xiàn)將多路視頻畫面拼接為一個視頻畫面，擴大了視野寬度，方便監(jiān)控人員觀察。而在實際的視頻監(jiān)控應用中，除了固定的監(jiān)控區(qū)域，監(jiān)控人員常常還需要關注的是隨著目標移動的線路特征區(qū)域。視頻圖像拼接技術(shù)雖然可以合成寬視角圖像或全景圖像，得到視野更寬闊的圖像和視頻，但是若對大場景內(nèi)所有目標視頻進行處理必然造成拼接效率低下。
[0004]又例如，在公安刑偵案件偵破應用中，為了分析犯罪現(xiàn)場和查找犯罪線索，公安局刑偵部門通常會調(diào)取在案發(fā)地點附近的多個攝像頭相關時段的視頻進行甄別和分析，需要眾多的刑偵人員對不同的視頻記錄前后反復對比觀看，獲取有價值的視頻信息和犯罪線索。然而，這種完全靠人工查找、播放、比對視頻內(nèi)容的方式非常耗時耗力，如何自動搜索案發(fā)地點周邊攝像頭并智能拼接播放，避免多個視頻重復對比觀看是急需解決的技術(shù)問題。
【發(fā)明內(nèi)容】
[0005]為了解決現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種三維環(huán)境下基于線路特征的視頻空間實時漫游方法，能夠根據(jù)設定的漫游路徑，快速搜索漫游位置指定范圍內(nèi)的視頻，對視頻圖像進行拼接或不拼接處理并在三維環(huán)境下實時播放，實現(xiàn)在三維環(huán)境下視頻的空間實時漫游。
[0006]本發(fā)明為解決其技術(shù)問題所采用的技術(shù)方案是:
[0007]本發(fā)明提供了一種三維環(huán)境下基于線路特征的視頻空間實時漫游方法，具體包括以下步驟:
[0008](I)設置漫游路徑，采用三維直角坐標系，用一組三維數(shù)組表示漫游路徑上各點的三維坐標，獲取各攝像頭三維坐標、攝像頭的水平視角和攝像頭的垂直視角，設置初始視頻時刻Tx ；
[0009](2)設置漫游速度V，則三維空間坐標系中3個坐標軸方向的速度分別為Vx，Vy和Vz,開始視頻漫游過程，實時記錄已經(jīng)過的漫游時間Ta ；
[0010](3)根據(jù)以下公式計算經(jīng)過Ta漫游時間后獲取視頻的時間Ty:
[0011]Ty = Tx+Ta....................................(I)[0012](4)設置漫游初始點SQ(XQ，Y0, Ztl)，并設置漫游速度V (Vx，Vy, Vz)，通過速度公式計算Ty時刻漫游到位置S (X，Y，Z):
[0013](5)搜索以當前漫游位置為球心、以預設值R為半徑的球體范圍內(nèi)的所有攝像頭；假定攝像頭視域為一個四棱錐體，利用直線與面的交點計算公式，以各攝像頭的三維坐標、水平視角和垂直視角作為輸入，計算各攝像頭視域四棱錐體與地面的4個交點坐標；每個攝像頭視域的四個點坐標組成地理多邊形，即每個攝像頭視域在地平面上的可見區(qū)；
[0014](6)分別判斷各攝像頭的可見區(qū)是否覆蓋當前漫游位置，若是，則該攝像頭為當前漫游位置的可見攝像頭，可見攝像頭數(shù)量累加I ;否則，丟棄該攝像頭；
[0015](7)判斷可見攝像頭數(shù)量:若可見攝像頭數(shù)量為1，進入步驟(8);若當前位置的可見攝像頭數(shù)量為2個以上，進入步驟(9)進行視頻幀圖像拼接；
[0016](8)獲取Ty時刻該可見攝像頭的視頻幀圖像；為該攝像頭視域可見區(qū)多邊形建立三維網(wǎng)絡模型，計算三維網(wǎng)絡模型中的點對應在二維視頻幀圖像的坐標位置，為三維網(wǎng)格模型附加紋理坐標，進入步驟(10)；
[0017](9)獲取Ty時刻各可見攝像頭的視頻幀圖像，將各可見攝像頭的可見區(qū)進行求交計算，得到重疊區(qū)和非重疊區(qū)，分別將各重疊區(qū)和非重疊區(qū)進行三角化，建立各自的三維網(wǎng)絡模型；
[0018](9a)對于非重疊區(qū)，為每個非重疊區(qū)的三維網(wǎng)絡模型添加紋理坐標；
[0019](9b)對于重疊區(qū)，針對每個重疊區(qū)，確定覆蓋該重疊區(qū)的各視頻幀圖像所對應的可見攝像頭的數(shù)目n，并為該重疊區(qū)的三維網(wǎng)絡模型分別添加紋理坐標，得到η重紋理坐標；確定該重疊區(qū)的重心，并利用點到面的距離公式計算重心到各攝像頭視域在地平面上的可見區(qū)的距離，為重疊區(qū)對應的各攝像頭賦權(quán)值；
[0020](10)對于每個非重疊區(qū)，將三維網(wǎng)格紋理坐標提交繪制引擎進行視頻幀圖像三維顯示；對于每個重疊區(qū)，將各重疊區(qū)的每一組攝像頭的權(quán)值賦給對應的重疊區(qū)紋理透明度值，進行顏色混合，再進行繪制顯示；
[0021](11)重復步驟⑵到步驟(10)，以連續(xù)顯示三維圖像，直到漫游路徑結(jié)束。
[0022]第(4)步所述的速度公式為:
[0023]X = X0+VxXTa..........................................(2)
[0024]Y = Y0+VyXTa.............................................(3)
[0025]Z = Z0+VzXTa.............................................(4)
[0026]第(9b)步中，具體通過以下公式為一個重疊區(qū)的各可見攝像頭賦予權(quán)值:
[0027]Wi = (Ι/Si) / Σ (1/Si)....................................(5)
[0028]其中，Wi為該重疊區(qū)內(nèi)攝像頭i的權(quán)值，Si為該重疊區(qū)的重心到攝像頭i視域在地平面上的可見區(qū)的距離，i e (1，2...η)。
[0029]第(9b)步中，所述的重疊區(qū)的中心的橫縱利用以下方法確定:中心點的橫坐標為重疊區(qū)內(nèi)所有點的橫坐標的平均值，中心點的縱坐標為重疊區(qū)內(nèi)所有點的縱坐標的平均值。
[0030]本發(fā)明基于其技術(shù)方案所具有的有益效果在于:
[0031](I)本發(fā)明將動態(tài)視頻圖像在三維環(huán)境下顯示，使監(jiān)控視頻具有了空間位置感，實現(xiàn)了三維場景與動態(tài)視頻的融合；[0032](2)本發(fā)明能夠?qū)⒍鄠€攝像頭拍攝到的圖像拼接，并經(jīng)過三維建模形成一個完整的視頻圖像，擴大了視野寬度，方便監(jiān)控人員觀察；
[0033](3)本發(fā)明在實時漫游的過程中進行視頻圖像拼接，避免對整個大范圍場景進行視頻拼接，解決了大范圍場景視頻拼接效率較低的問題；
[0034](4)本發(fā)明提供了路徑和時間的設置接口，操作簡單，提供了高效的監(jiān)控方案；
[0035](5)本發(fā)明利用反距離加權(quán)法計算重疊區(qū)內(nèi)各攝像頭的權(quán)值，再利用該權(quán)值進行顏色混合以繪制三維圖像，所得的圖像精確可靠；
[0036](6)本發(fā)明可應用于公安刑偵、安保、交通等各行業(yè)，主要應用在三維視頻監(jiān)控、以及基于視頻的大型活動安保、案事件偵破、交通監(jiān)控等領域，應用領域非常廣泛，市場前景非常樂觀。
【具體實施方式】
[0037]下面結(jié)合實施例對本發(fā)明作進一步說明。
[0038]本發(fā)明提供了一種三維環(huán)境下基于線路特征的視頻空間實時漫游方法，具體包括以下步驟:
[0039](I)設置漫游路徑，采用三維直角坐標系，用一組三維數(shù)組表示漫游路徑上各點的三維坐標，獲取各攝像頭三維坐標、攝像頭的水平視角和攝像頭的垂直視角，設置初始視頻時刻Tx ；
[0040](2)設置漫游速度V，則三維空間坐標系中3個坐標軸方向的速度分別為Vx，Vy和Vz,開始視頻漫游過程，實時記錄已經(jīng)過的漫游時間Ta ；
[0041](3)根據(jù)以下公式計算經(jīng)過Ta漫游時間后獲取視頻的時間Ty:
[0042]Ty = Tx+Ta....................................(I)
[0043](4)設置漫游初始點S。(X0, Y0, Z0)，并設置漫游速度V (Vx, Vy, Vz)，通過速度公式計算Ty時刻漫游到位置S (X，Y，Z):
[0044](5)搜索以當前漫游位置為球心、以預設值R為半徑的球體范圍內(nèi)的所有攝像頭；假定攝像頭視域為一個四棱錐體，利用直線與面的交點計算公式，以各攝像頭的三維坐標、水平視角和垂直視角作為輸入，計算各攝像頭視域四棱錐體與地面的4個交點坐標；每個攝像頭視域的四個點坐標組成地理多邊形，即每個攝像頭視域在地平面上的可見區(qū)；
[0045](6)分別判斷各攝像頭的可見區(qū)是否覆蓋當前漫游位置，若是，則該攝像頭為當前漫游位置的可見攝像頭，可見攝像頭數(shù)量累加I ;否則，丟棄該攝像頭；
[0046](7)判斷可見攝像頭數(shù)量:若可見攝像頭數(shù)量為1，進入步驟(8);若當前位置的可見攝像頭數(shù)量為2個以上，進入步驟(9)進行視頻幀圖像拼接；
[0047](8)獲取Ty時刻該可見攝像頭的視頻幀圖像；為該攝像頭視域可見區(qū)多邊形建立三維網(wǎng)絡模型，計算三維網(wǎng)絡模型中的點對應在二維視頻幀圖像的坐標位置，為三維網(wǎng)格模型附加紋理坐標，進入步驟(10)；
[0048](9)獲取Ty時刻各可見攝像頭的視頻幀圖像，將各可見攝像頭的可見區(qū)進行求交計算，所述的求交計算為多邊形求交計算方法，得到重疊區(qū)和非重疊區(qū)，分別將各重疊區(qū)和非重疊區(qū)進行三角化，建立各自的三維網(wǎng)絡模型；
[0049](9a)對于非重疊區(qū)，為每個非重疊區(qū)的三維網(wǎng)絡模型添加紋理坐標；[0050](9b)對于重疊區(qū)，針對每個重疊區(qū)，確定覆蓋該重疊區(qū)的各視頻幀圖像所對應的可見攝像頭的數(shù)目n，并為該重疊區(qū)的三維網(wǎng)絡模型分別添加紋理坐標，得到η重紋理坐標；確定該重疊區(qū)的重心，并利用點到面的距離公式計算重心到各攝像頭視域在地平面上的可見區(qū)的距離，為重疊區(qū)對應的各攝像頭賦權(quán)值；
[0051](10)對于每個非重疊區(qū)，將三維網(wǎng)格紋理坐標提交繪制引擎進行視頻幀圖像三維顯示；對于每個重疊區(qū)，將各重疊區(qū)的每一組攝像頭的權(quán)值賦給對應的重疊區(qū)紋理透明度值，進行顏色混合，再進行繪制顯示；
[0052](11)重復步驟⑵到步驟(10)，以連續(xù)顯示三維圖像，直到漫游路徑結(jié)束。
[0053]第(4)步所述的速度公式為:
[0054]X = X0+VxXTa.............................................(2)
[0055]Y = Y0+VyXTa.............................................(3)
[0056]Z = Z0+VzXTa.............................................(4)
[0057]第(9b)步中，具體通過以下公式為一個重疊區(qū)的各可見攝像頭賦予權(quán)值:
[0058]Wi = (l/Sj)/ Σ (l/Sj)....................................(5)
[0059]其中，Wi為該重疊區(qū)內(nèi)攝像頭i的權(quán)值，Si為該重疊區(qū)的重心到攝像頭i視域在地平面上的可見區(qū)的距離，i e (1，2...η)。
[0060]所述的重疊區(qū)的中心的橫縱利用以下方法確定:中心點的橫坐標為重疊區(qū)內(nèi)所有點的橫坐標的平均值，中心點的縱坐標為重疊區(qū)內(nèi)所有點的縱坐標的平均值。
【權(quán)利要求】
1.一種三維環(huán)境下基于線路特征的視頻空間實時漫游方法，其特征在于具體包括以下步驟: (1)設置漫游路徑，采用三維直角坐標系，用一組三維數(shù)組表示漫游路徑上各點的三維坐標，獲取各攝像頭三維坐標、攝像頭的水平視角和攝像頭的垂直視角，設置初始視頻時刻Tx; (2)設置漫游速度V，則三維空間坐標系中3個坐標軸方向的速度分別為乂口乂丨和'，開始視頻漫游過程，實時記錄已經(jīng)過的漫游時間Ta ； (3)根據(jù)以下公式計算經(jīng)過Ta漫游時間后獲取視頻的時間Ty: Ty = Tx+Ta....................................(I) (4)設置漫游初始點Stl(Xtl, Y0, Ztl),并設置漫游速度V (Vx，Vy, Vz)，通過速度公式計算Ty時刻漫游到位置S (X，Y，Z): (5)搜索以當前漫游位置為球心、以預設值R為半徑的球體范圍內(nèi)的所有攝像頭；假定攝像頭視域為一個 四棱錐體，利用直線與面的交點計算公式，以各攝像頭的三維坐標、水平視角和垂直視角作為輸入，計算各攝像頭視域四棱錐體與地面的4個交點坐標；每個攝像頭視域的四個點坐標組成地理多邊形，即每個攝像頭視域在地平面上的可見區(qū)； (6)分別判斷各攝像頭的可見區(qū)是否覆蓋當前漫游位置，若是，則該攝像頭為當前漫游位置的可見攝像頭，可見攝像頭數(shù)量累加I ;否則，丟棄該攝像頭； (7)判斷可見攝像頭數(shù)量:若可見攝像頭數(shù)量為1，進入步驟(8);若當前位置的可見攝像頭數(shù)量為2個以上，進入步驟(9)進行視頻幀圖像拼接； (8)獲取Ty時刻該可見攝像頭的視頻幀圖像；為該攝像頭視域可見區(qū)多邊形建立三維網(wǎng)絡模型，計算三維網(wǎng)絡模型中的點對應在二維視頻幀圖像的坐標位置，為三維網(wǎng)格模型附加紋理坐標，進入步驟(10)； (9)獲取Ty時刻各可見攝像頭的視頻幀圖像，將各可見攝像頭的可見區(qū)進行求交計算，得到重疊區(qū)和非重疊區(qū)，分別將各重疊區(qū)和非重疊區(qū)進行三角化，建立各自的三維網(wǎng)絡模型； (9a)對于非重疊區(qū)，為每個非重疊區(qū)的三維網(wǎng)絡模型添加紋理坐標； (9b)對于重疊區(qū)，針對每個重疊區(qū)，確定覆蓋該重疊區(qū)的各視頻幀圖像所對應的可見攝像頭的數(shù)目n，并為該重疊區(qū)的三維網(wǎng)絡模型分別添加紋理坐標，得到η重紋理坐標；確定該重疊區(qū)的重心，并利用點到面的距離公式計算重心到各攝像頭視域在地平面上的可見區(qū)的距離，為重疊區(qū)對應的各攝像頭賦權(quán)值； (10)對于每個非重疊區(qū)，將三維網(wǎng)格紋理坐標提交繪制引擎進行視頻幀圖像三維顯示；對于每個重疊區(qū)，將各重疊區(qū)的每一組攝像頭的權(quán)值賦給對應的重疊區(qū)紋理透明度值，進行顏色混合，再進行繪制顯示； (11)重復步驟(2)到步驟(10)，以連續(xù)顯示三維圖像，直到漫游路徑結(jié)束。
2.根據(jù)權(quán)利要求1所述的視頻空間實時漫游方法，其特征在于:第(4)步所述的速度公式為: X = X0+VxXTa.............................................(2) Y = VVyXTa.............................................(3) Z = Z0+VzXTa.............................................(4)
3.根據(jù)權(quán)利要求1所述的視頻空間實時漫游方法，其特征在于:第(9b)步中，具體通過以下公式為一個重疊區(qū)的各可見攝像頭賦予權(quán)值: Wi = (Ι/Si) / Σ (1/Si).......................................(5) 其中，Wi為該重疊區(qū)內(nèi)攝像頭i的權(quán)值，Si為該重疊區(qū)的重心到攝像頭i視域在地平面上的可見區(qū)的距離，i e (1，2...η)。
4.根據(jù)權(quán)利要求1所述的視頻空間實時漫游方法，其特征在于:第(9b)步中，所述的重疊區(qū)的中心的橫縱利用以下方法確定:中心點的橫坐標為重疊區(qū)內(nèi)所有點的橫坐標的平均值，中心點的縱坐標為重疊區(qū)內(nèi)所有點的縱坐標的平均值。
【文檔編號】H04N13/00GK103986905SQ201410180390
【公開日】2014年8月13日 申請日期:2014年4月30日 優(yōu)先權(quán)日:2014年4月30日
【發(fā)明者】鄭坤, 冉秀桃, 張柱, 答海玲, 劉培, 易云蕾, 張紅萍 申請人:武漢兆圖科技有限公司