專利名稱：雙路監(jiān)控視頻信息融合方法及系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及視頻處理領域，尤其涉及一種雙路監(jiān)控視頻信息融合方法及系統(tǒng)。
背景技術：
ATM機的安全問題一直困擾銀行業(yè)以及ATM制造商，為了加強安全管理，一般采用攝像頭監(jiān)控的方法，在ATM機取款間安裝一個、兩個或者多個攝像頭，監(jiān)控整個用戶操作過程。申請?zhí)枮?00710064819. 4的中國發(fā)明專利申請公開了一種監(jiān)控中多路視頻信息融合處理和顯示方法和系統(tǒng)，其中對運動目標進行主動識別，對多路相關視頻信息進行融合，顯示整體的監(jiān)控信息，可以應用在ATM機取款間的監(jiān)視系統(tǒng)中，負責監(jiān)控、識別用戶。但是ATM機取款間的攝像頭既包括監(jiān)控、識別用戶的攝像頭，也包括監(jiān)控ATM機本身和用戶操作過程的攝像頭。目前，在ATM機取款間安裝雙路攝像頭監(jiān)控用戶操作過程和 ATM機是主流的方式，從左上方和右上方兩個角度可以完整的觀察用戶的操作過程。監(jiān)控用戶面部信息的攝像頭安裝在ATM機上?，F(xiàn)有的雙路監(jiān)控ATM機取款間的攝像頭采集的雙路視頻信息一般直接發(fā)送給存儲器，沒有經(jīng)過有效的分析或融合處理。簡單的記錄兩路圖像而不加分析，一方面沒有提取兩路信息的相關性，忽視了兩路視頻之間的聯(lián)系；另一方面造成冗余信息，浪費存儲空間。 另外，由于每一路攝像頭采集的場景信息往往不能全面反映場景的情況，在回放監(jiān)控錄像的時候，操作人員需要查看兩個攝像頭記錄的全部視頻信息，也降低了用戶的工作效率。

發(fā)明內(nèi)容
本發(fā)明解決的問題是提供一種雙路監(jiān)控視頻信息融合方法及系統(tǒng)，利用兩路視頻信息的相關性，將雙路圖像融合為單路圖像，節(jié)約存儲空間，節(jié)省用戶的操作時間，提高工作效率。為解決上述問題，本發(fā)明提供一種雙路監(jiān)控視頻信息融合方法，包括利用關鍵點分別標定第一路及第二路圖像數(shù)據(jù)，形成第一路圖像標定區(qū)域和第二路圖像標定區(qū)域；所述第一路及第二路圖像數(shù)據(jù)是不同視角下同一監(jiān)控區(qū)域的圖像數(shù)據(jù)；將所述第一路圖像標定區(qū)域和第二路圖像標定區(qū)域分別進行幾何歸一化；選取幾何歸一化后的第一路圖像標定區(qū)域的一部分及第二路圖像標定區(qū)域的一部分進行拼接，得到全景融合圖像；所述第一路圖像標定區(qū)域的一部分及第二路圖像標定區(qū)域的一部分互補?？蛇x的，所述利用關鍵點分別標定第一路及第二路圖像數(shù)據(jù)包括通過所述關鍵點生成新的關鍵點，新生成的關鍵點和原有關鍵點共同形成第一路圖像標定區(qū)域和第二路圖像標定區(qū)域?？蛇x的，通過所述關鍵點生成新的關鍵點利用平行四邊形法則完成?？蛇x的，將所述第一路圖像標定區(qū)域和第二路圖像標定區(qū)域分別進行幾何歸一化包括分別將第一路圖像標定區(qū)域和第二路圖像標定區(qū)域向標準網(wǎng)格做映射，從而得到幾何歸一化后的結果?？蛇x的，分別將第一路圖像標定區(qū)域和第二路圖像標定區(qū)域向標準網(wǎng)格做映射包括分別將第一路圖像標定區(qū)域和第二路圖像標定區(qū)域劃分為多個三角形區(qū)域，向標準網(wǎng)格中的三角形區(qū)域做映射。進一步，本發(fā)明還提供一種雙路監(jiān)控視頻信息融合系統(tǒng)，包括關鍵點標定單元， 適于接收來自終端設備的針對第一路及第二路圖像數(shù)據(jù)的關鍵點標定操作指令，獲取關鍵點并形成第一路圖像標定區(qū)域和第二路圖像標定區(qū)域；所述第一路及第二路圖像數(shù)據(jù)是不同視角下同一監(jiān)控區(qū)域的圖像數(shù)據(jù)；幾何歸一化單元，適于將所述第一路圖像標定區(qū)域和第二路圖像標定區(qū)域分別進行幾何歸一化；雙路全景融合單元，適于選取幾何歸一化后的第一路圖像標定區(qū)域的一部分及第二路圖像標定區(qū)域的一部分進行拼接，得到全景融合圖像；所述第一路圖像標定區(qū)域的一部分及第二路圖像標定區(qū)域的一部分互補?？蛇x的，所述雙路監(jiān)控視頻信息融合系統(tǒng)還包括臨時存儲單元，適于保存第一路和/或第二路圖像標定區(qū)域的幾何歸一化結果，供所述雙路全景融合單元調(diào)用?？蛇x的，所述關鍵點標定單元包括標定指令接收單元，關鍵點生成單元和標定區(qū)域形成單元；所述標定指令接收單元適于從標定指令中獲取關鍵點；所述關鍵點生成單元適于通過獲取的關鍵點生成新的關鍵點；所述標定區(qū)域形成單元適于依次連接所有關鍵點，形成封閉的標定區(qū)域?？蛇x的，所述幾何歸一化單元包括三角形分解單元和映射單元；所述三角形分解單元適于通過連接所述關鍵點生成多個三角形區(qū)域；所述映射單元適于將所述多個三角形區(qū)域向標準網(wǎng)格中的三角形區(qū)域做映射，得到幾何歸一化的第一路圖像標定區(qū)域和第二路圖像標定區(qū)域。進一步，本發(fā)明還提供一種雙路監(jiān)控視頻信息融合系統(tǒng)，包括第一關鍵點標定單元和第二關鍵點標定單元，分別適于接收來自終端設備的針對第一路及第二路圖像數(shù)據(jù)的關鍵點標定操作指令，獲取關鍵點并形成第一路圖像標定區(qū)域和第二路圖像標定區(qū)域；所述第一路及第二路圖像數(shù)據(jù)是不同視角下同一監(jiān)控區(qū)域的圖像數(shù)據(jù)；第一幾何歸一化單元和第二幾何歸一化單元，分別適于將所述第一路圖像標定區(qū)域和第二路圖像標定區(qū)域分別進行幾何歸一化；雙路全景融合單元，適于接收來自所述第一幾何歸一化單元和第二幾何歸一化單元的第一路圖像標定區(qū)域的幾何歸一化結果和第二路圖像標定區(qū)域的幾何歸一化結果，選取所述第一路圖像標定區(qū)域的一部分及第二路圖像標定區(qū)域的一部分進行拼接，得到全景融合圖像；所述第一路圖像標定區(qū)域的一部分及第二路圖像標定區(qū)域的一部分互補?？蛇x的，所述第一關鍵點標定單元和第二關鍵點標定單元還分別包括標定指令接收單元，關鍵點生成單元和標定區(qū)域形成單元；所述標定指令接收單元適于從標定指令中獲取關鍵點；所述關鍵點生成單元適于通過獲取的關鍵點生成新的關鍵點；所述標定區(qū)域形成單元適于依次連接所有關鍵點，形成封閉的標定區(qū)域?？蛇x的，所述第一幾何歸一化單元和第二幾何歸一化單元還分別包括三角形分解單元和映射單元；所述三角形分解單元適于通過連接所述關鍵點生成多個三角形區(qū)域；所述映射單元適于將所述多個三角形區(qū)域向標準網(wǎng)格中的三角形區(qū)域做映射，得到幾何歸一化的第一路圖像標定區(qū)域和第二路圖像標定區(qū)域。
5
與現(xiàn)有技術相比，本發(fā)明具有以下優(yōu)點(1)利用了雙路監(jiān)控視頻信息的互補性， 將雙路圖像數(shù)據(jù)融合為單路圖像數(shù)據(jù)，節(jié)省用戶回放視頻數(shù)據(jù)的操作時間；(2)單路圖像如果需要保存，將節(jié)省50%的存儲空間。


圖1是現(xiàn)有技術中，ATM機雙路攝像頭中左路攝像頭監(jiān)控場景示意圖；圖2是現(xiàn)有技術中，ATM機雙路攝像頭中右路攝像頭監(jiān)控場景示意圖；圖3是本發(fā)明一個實施例中，ATM機雙路圖像融合方法流程圖；圖4是本發(fā)明一個實施例中，目標區(qū)域內(nèi)6點初始標定示意圖；圖5是本發(fā)明一個實施例中，利用平行四邊形法則，生成全部8個標定點的示意圖；圖6是本發(fā)明一個實施例中，第一路圖像數(shù)據(jù)的標定圖形向標準網(wǎng)格映射示意圖；圖7是本發(fā)明一個實施例中，第二路圖像數(shù)據(jù)的標定圖形向標準網(wǎng)格映射示意圖；圖8是本發(fā)明一個實施例中，選取第一路圖像數(shù)據(jù)中部分內(nèi)容示意圖；圖9是本發(fā)明一個實施例中，圖像融合過程及結果示意圖；圖10是本發(fā)明一個實施例中提供的ATM機雙路監(jiān)控視頻信息融合系統(tǒng)示意圖；圖11是本發(fā)明另一個實施例中提供的ATM機雙路監(jiān)控視頻信息融合系統(tǒng)示意圖。
具體實施例方式為使本發(fā)明的上述目的、特征和優(yōu)點能夠更為明顯易懂，下面結合附圖對本發(fā)明的具體實施方式
做詳細的說明。在以下描述中闡述了具體細節(jié)以便于充分理解本發(fā)明。但是本發(fā)明能夠以多種不同于在此描述的其它方式來實施，本領域技術人員可以在不違背本發(fā)明內(nèi)涵的情況下做類似推廣。因此本發(fā)明不受下面公開的具體實施方式
的限制。本發(fā)明面向使用雙路攝像頭的監(jiān)控場景，提出了如下的技術方案，全面的利用了雙路攝像頭采集的雙路視頻(圖像)的相關性，有效的實現(xiàn)了雙路ATM機工作區(qū)場景圖像的全景拼接、融合，即全面的反映了場景信息，也避免了信息冗余?，F(xiàn)有ATM機雙路攝像頭監(jiān)控的場景一般如圖1、2所示，圖1中顯示了左路攝像頭監(jiān)控的場景信息，圖2中顯示了右路攝像頭監(jiān)控的場景信息。左路攝像頭傳輸?shù)膱D像為第一路圖像，右路攝像頭傳輸?shù)膱D像為第二路圖像。為了避免用戶阻擋，兩路攝像機監(jiān)控的場景分別為左路攝像頭從左上方朝向右下方，右路攝像頭從右上方朝向左下方。所以，相應的，兩路圖像都不完整，分別缺少一些信息，需要另一路圖像補充。當用戶操作ATM機時，由于用戶的阻擋，兩路圖像中將分別缺少更多的信息，需要另一路圖像補充。參考圖1，左路攝像頭記錄的圖像內(nèi)容包括ATM機100，ATM機的操作窗口 110，操作窗口 110中包括顯示區(qū)域111、密碼輸入?yún)^(qū)域112、磁卡輸入?yún)^(qū)域113三個部分。其中，顯示區(qū)域111的顯示屏幕被部分遮擋，密碼輸入?yún)^(qū)域112的左半部分被部分遮擋，磁卡輸入?yún)^(qū)域113完整的顯示。參考圖2，右路攝像頭記錄的圖像內(nèi)容包括ATM機100，ATM機的操作窗口 110，操作窗口 110中包括顯示區(qū)域111、密碼輸入?yún)^(qū)域112、磁卡輸入?yún)^(qū)域113三個部分。其中，顯示區(qū)域111的顯示屏幕全部顯示，密碼輸入?yún)^(qū)域112的右半部分被部分遮擋，磁卡輸入?yún)^(qū)域 113被完全遮擋。從上述的兩幅圖中可以發(fā)現(xiàn)，目標區(qū)域，即操作窗口 110的顯示區(qū)域111、密碼輸入?yún)^(qū)域112和磁卡輸入?yún)^(qū)域113通過左路攝像頭和右路攝像頭的圖像內(nèi)容可以完整的顯示出來，即左路攝像頭和右路攝像頭的圖像內(nèi)容具有互補性。為了利用上述雙路圖像的關聯(lián)性，融合生成一路圖像，本發(fā)明提供了一種雙路圖像融合方法，包括如下步驟SOOl 關鍵點標定；S002:幾何歸一化；S003 雙路全景融合。其中，關鍵點標定的目的是選取進行圖像操作的區(qū)域；幾何歸一化是將待融合圖像進行格式化處理。最后進行雙路全景融合即取兩路待融合的歸一化圖像的各一部分進行拼接，得到完整的一路圖像，選擇拼接利用了雙路圖像的互補的特性。本發(fā)明中的關鍵點即用戶標定圖像數(shù)據(jù)的標定點，關鍵點標定的區(qū)域即標定區(qū)域。具體的，在本發(fā)明的一個實施例中，提供了一種ATM機雙路圖像融合方法，如圖3 所示，包括如下步驟SlOl 關鍵點標定第一路圖像；即在第一路圖像的ATM目標區(qū)域內(nèi)標記關鍵點，得到第一路圖像標定區(qū)域；S102 生成第一路圖像所有關鍵點；利用上述手工標記的關鍵點，系統(tǒng)自動生成新的關鍵點，從而得到所有的關鍵點；在本發(fā)明的其他實施例中，也可以直接由用戶標定所有的關鍵點，但是用戶的操作時間和難度較大；S103 第一路圖像幾何歸一化；將第一路圖像標定區(qū)域向標準網(wǎng)格做映射，得到幾何歸一化的第一路圖像標定區(qū)域；S104 關鍵點標定第二路圖像；即在第二路圖像的ATM目標區(qū)域內(nèi)標記關鍵點，得到第二路圖像標定區(qū)域；S105 生成第二路圖像所有關鍵點；利用上述手工標記的關鍵點，系統(tǒng)自動生成新的關鍵點，從而得到所有的關鍵點；S106 第二路圖像幾何歸一化；將關鍵點標記的圖像區(qū)域向標準網(wǎng)格做映射，得到幾何歸一化的第二路圖像標定區(qū)域；S107 雙路全景融合；分別選取幾何歸一化后的第一路圖像標定區(qū)域的一部分與第二路圖像標定區(qū)域的一部分進行全景拼接，得到全景融合圖像。在上述步驟SlOl和步驟S104中，標定點的選取原則是選取待處理區(qū)域(目標區(qū)域)的各個角點。關鍵點標定即在圖片上設置標定點。本實施例中，關鍵點標定第一路圖像的過程為對ATM目標區(qū)域內(nèi)除了側面以外的區(qū)域進行6點初始標定，如圖4所示，分別為標定點401、402、403、404、405和406。其中， 標定點401位于圖中操作窗口 110可見部分的左上角；標定點402位于操作窗口 110右上角，也是磁卡輸入?yún)^(qū)域113的右上角；標定點403位于磁卡輸入?yún)^(qū)域113的右下角；標定點 404位于操作窗口 110的右下角，也是密碼輸入?yún)^(qū)域112的右下角；標定點405位于操作窗口 110左下角，也是密碼輸入?yún)^(qū)域112的左下角；標定點106位于顯示區(qū)域111的左下角， 也是密碼輸入?yún)^(qū)域112的上邊界與標定點401、405的連線的交點。以上述的6個初始標定點為基礎，應用系統(tǒng)按照平行四邊形法則，自動得出四個新的標定點。如圖5所示，標定點3、6連接得到線段504，標定點4、5連接得到線段507。標定點1即圖4中標定點401，以此類推，標定點6即圖4中標定點406。生成新的標定點6'的過程為標定點1與標定點2、標定點2與標定點103相連的線段作為平行四邊形的兩條相鄰邊，成為邊501和邊502。以標定點1為一個端點作平行于邊502的平行線，得到與線段504的交點為新的標定點6'。生成新的標定點5'的過程為標定點6'與標定點3、標定點3與標定點4相連的線段分別作為平行四邊形的兩條相鄰邊，成為邊505和邊506，其中邊505在線段504上。 以標定點6'為一個端點作平行于邊506的平行線，得到與線段507的交點為新的標定點 5'。上述操作過程得到了兩個平行四邊形，平行四邊形511和平行四邊形512，連接兩個平行四邊形的對角線得到的平行四邊形511的中心點為新的標定點7，得到的平行四邊形512的中心點為新的標定點8。在其他實施例中，上述8個所需的標定點也可以完全由用戶手動標定。得到上述標定點后，分別連接兩個平行四邊形中心點和頂點，得到如圖6所示的8 個三角形區(qū)域。包括三角形601、602、603、604、605、606、607、608。第一路圖像幾何歸一化的過程為，將上述8個三角形向標準網(wǎng)格進行線性映射， 如圖6所示，三角形601映射為標準網(wǎng)格的三角形611，三角形602映射為標準網(wǎng)格的三角形612，三角形603映射為標準網(wǎng)格的三角形613，三角形604映射為標準網(wǎng)格的三角形 614，三角形605映射為標準網(wǎng)格的三角形615，三角形606映射為標準網(wǎng)格的三角形616， 三角形607映射為標準網(wǎng)格的三角形617，三角形608映射為標準網(wǎng)格的三角形618。在每一次的映射過程中，假設映射前后的三角形頂點分別為A、B、C和A'、B'、 C'。對于原三角形ABC中任意一點P，P可以表示為原三角形三個頂點的函數(shù)，S卩ρ = X1AiX2BiX3C5P映射為三角形A' B' C'中的點Q，利用上述參數(shù)λ π λ 2，λ 3，映射公式為Q=X1A' +λ2Β' +X3C'。其中，X^XjX3= 1，且入”入2，入3>0，ρ 為初始坐標，q為結果坐標。在其他實施例中，也可以使用其它的幾何歸一化方法，如透視變換法，但它相對比較復雜，通常需要確定8個左右的方程參數(shù)，而三角形映射法簡單方便，只需確定3個參數(shù)即可；另外，以三角形為基本單元進行劃分能夠確保映射的正確性，因為所有三角形都具有 “凸”的優(yōu)點。映射完成之后，得到歸一化的第一路圖像的標定區(qū)域。如圖7所示，按照上述的方法，對來自第二個攝像頭的第二路圖像進行相同的操作，得到的歸一化的第二路圖像的標定區(qū)域。歸一化的第一路圖像和歸一化的第二路圖像都準備完成。在步驟S107中，為了進行雙路全景融合，需要在每一路圖像中選取所需的部分進行拼接。本實施例中，由于第一路圖像和第二路圖像的互補性剛好在圖像二分之一處，即左半部分圖像基本可以從第二路圖像中完整得到，右半部分圖像基本可以從第一路圖像中完整獲得，所以可以采用各取一半的方法選取兩路圖像。如圖8所示，對于左路攝像頭傳輸?shù)牡谝宦穲D像，標定點4和標定點5的連線的中點為點801，以點801為一端點，作平行于邊805的平行線，與邊806相交于點802 ；再以點 802為一端點，作平行于邊807的平行線，與邊808相交于點803。由點801、802和803以及原標定點2、3和4為邊界點組成的斜線覆蓋的區(qū)域804成為第一路圖像的待融合區(qū)。第一路圖像的待融合區(qū)的內(nèi)容通過點802可以對應到歸一化的第一路圖像中，點 801、802和803依次連接得到的線段對應于歸一化的線段811，線段811右邊的虛線覆蓋區(qū)域812為歸一化的第一路圖像的待融合區(qū)。如上所述，第一路圖像的待融合區(qū)體現(xiàn)的內(nèi)容為操作窗口 110的右半部分。對于第二路圖像進行相似的操作，得到第二路圖像的待融合區(qū)、以及歸一化的第二路圖像的待融合區(qū)，其中體現(xiàn)的內(nèi)容是操作窗口 110的左半部分。將上述兩部分的內(nèi)容拼接在一起，得到完成的融合圖像，如圖9所示。其中，第一路圖像的幾何歸一化結果為圖像1111，第二路圖像的幾何歸一化結果為1112。按照上述方法，取圖像1111的右半部分1114和圖像1112的左半部分1113，拼接成為ATM工作區(qū)的雙路全景融合圖像。在融合圖像中，既包括第一路圖像所體現(xiàn)的操作窗口的右半部分，又包括了第二路圖像所體現(xiàn)的操作窗口的左半部分信息，并且排除了第一路圖像中被遮擋的操作窗口的左半部分，和第二路圖像中被遮擋的操作窗口的右半部分。實現(xiàn)了相關信息融合并刪除冗余信息的目的，使用監(jiān)控圖像的用戶可以只觀察一路圖像就能達到過去的監(jiān)控目的，減少了操作時間，提高了工作效率。進一步的，本發(fā)明還提供了一種ATM機雙路監(jiān)控視頻信息融合系統(tǒng)。如圖10所示，該融合系統(tǒng)900包括關鍵點標定單元902，幾何歸一化單元904以及雙路全景融合單元 906。其中，關鍵點標定單元902與ATM機的雙路攝像頭耦接，即分別與第一路攝像頭 911、第二路攝像頭912耦接，適于接收來自攝像頭的圖像數(shù)據(jù)。每隔一定的時間間隔，關鍵點標定單元902接收來自攝像頭911和912的數(shù)據(jù)，其中第一路圖像為左路攝像頭拍攝，第二路圖像為右路攝像頭拍攝。所述的時間間隔為ATM 攝像頭采集頻率的倒數(shù)。當關鍵點標定單元902得到第一路圖像數(shù)據(jù)后，接收用戶手動標定的關鍵點數(shù)據(jù)。本發(fā)明的一個實施例中，關鍵點標定單元902包括標定指令接收單元和標定區(qū)域形成單元；由用戶負責標定所有的8個關鍵點。在本發(fā)明的另一個實施例中，由用戶負責標定6個關鍵點；關鍵點標定單元902包括標定指令接收單元，關鍵點生成單元和標定區(qū)域形成單元；所述標定指令接收單元適于從標定指令中獲取關鍵點；所述關鍵點生成單元適于通過獲取的關鍵點生成新的關鍵點， 按照上述融合方法步驟S102的描述，關鍵點生成單元利用平行四邊形法則，在已有的6個關鍵點的基礎上，進一步生成4個關鍵點，得到所需的8個關鍵點；所述標定區(qū)域形成單元適于依次連接所有關鍵點，形成封閉的標定區(qū)域。由于ATM監(jiān)控攝像頭的位置和角度一般不改變，所以手動標定操作只進行一次。 其標定結果也可以作為之后系統(tǒng)自動標定的模板數(shù)據(jù)重復使用。在上述的ATM監(jiān)控攝像頭的位置改變之后，標定點的位置需要進行修改。幾何歸一化單元904與所述關鍵點生成單元903耦接，接收來自關鍵點生成單元 903的所有關鍵點及其形成的圖像標定區(qū)域，并將所述第一路圖像標定區(qū)域和第二路圖像標定區(qū)域分別進行幾何歸一化。雙路全景融合單元906與幾何歸一化單元904耦接，接收來自幾何歸一化904的幾何歸一化后的第一路圖像標定區(qū)域和第二路圖像標定區(qū)域。雙路全景融合單元906接收用戶的操作，選取幾何歸一化后的第一路圖像標定區(qū)域的一部分及第二路圖像標定區(qū)域的一部分進行拼接，得到全景融合圖像。本發(fā)明一個實施例中，所述幾何歸一化單元包括三角形分解單元和映射單元，所述三角形分解單元適于通過連接所述關鍵點生成多個三角形區(qū)域；所述映射單元適于將所述多個三角形區(qū)域向標準網(wǎng)格中的三角形區(qū)域做映射，得到幾何歸一化的第一路圖像標定區(qū)域和第二路圖像標定區(qū)域。本發(fā)明一個實施例中，該融合系統(tǒng)900還包括臨時存儲單元，幾何歸一化單元904 與臨時存儲單元耦接，將歸一化的第一路圖像信息保存在臨時存儲單元中。雙路全景融合單元906分別與臨時存儲單元和幾何歸一化單元904耦接。當幾何歸一化單元904得到歸一化的第二路圖像信息后，向雙路全景融合單元906發(fā)送歸一化的第二路圖像信息；雙路全景融合單元906從臨時存儲單元獲取歸一化的第一路圖像信息。按照上述的的融合方法中步驟S107的描述，雙路全景融合單元906分別取歸一化的第一路圖像信息的一半和歸一化的第二路圖像信息的一半進行拼接，得到全景融合圖像數(shù)據(jù)。上述的臨時存儲單元在其他實施例中，也可以在幾何歸一化單元904或者雙路全景融合單元906中實現(xiàn)?；蛘撸谧铋_始的關鍵點標定單元902中，實現(xiàn)相似的緩存功能，緩存兩路圖像中的一路。進一步的，為了提高工作效率，本發(fā)明還提供一種ATM機雙路監(jiān)控視頻信息融合系統(tǒng)。系統(tǒng)分別為兩路攝像頭配備了兩套關鍵點標定單元和幾何歸一化單元，減少了第二路圖像操作的等待時間(減少到0)。如圖11所示為本發(fā)明一個實施例中的融合系統(tǒng)示意圖，所述融合系統(tǒng)900包括與攝像頭911連接的關鍵點標定單元和幾何歸一化單元，以及與攝像頭912連接的關鍵點標定單元和幾何歸一化單元。兩套相同的設備同時進行工作，融合系統(tǒng)900的各個單元內(nèi)部也不再需要緩存單元。所述雙路全景融合單元分別與兩個幾何歸一化單元耦接，同時接受歸一化的第一路圖像信息和歸一化的第二路圖像信息，并進行上述的拼接操作，得到全景融合數(shù)據(jù)。用戶得到的信息為融合后的全景信息，該信息既保證了信息的完整性，又排除了信息中的冗余部分，如果需要存儲，將減少50%的存儲量。本發(fā)明提供的雙路融合方法和系統(tǒng)可以推廣到ATM機多路安全監(jiān)控中，使用雙路乃至多路的目的都是為了使單路不能完全反映場景的這種能力的欠缺得到彌補，從而達到全面反映場景信息、不留監(jiān)控漏洞的目的，對ATM監(jiān)控具有安全意義。
本發(fā)明雖然已以具體實施例公開如上，但其并不是用來限定本發(fā)明，任何本領域技術人員在不脫離本發(fā)明的精神和范圍內(nèi)，都可以利用上述揭示的方法和技術內(nèi)容對本發(fā)明技術方案做出可能的變動和修改，因此，凡是未脫離本發(fā)明技術方案的內(nèi)容，依據(jù)本發(fā)明的技術實質(zhì)對以上實施例所作的任何簡單修改、等同變化及修飾，均屬于本發(fā)明技術方案的保護范圍。
權利要求
1.一種雙路監(jiān)控視頻信息融合方法，其特征在于，包括利用關鍵點分別標定第一路及第二路圖像數(shù)據(jù)，形成第一路圖像標定區(qū)域和第二路圖像標定區(qū)域；所述第一路及第二路圖像數(shù)據(jù)是不同視角下同一監(jiān)控區(qū)域的圖像數(shù)據(jù)；將所述第一路圖像標定區(qū)域和第二路圖像標定區(qū)域分別進行幾何歸一化；選取幾何歸一化后的第一路圖像標定區(qū)域的一部分及第二路圖像標定區(qū)域的一部分進行拼接，得到全景融合圖像；所述第一路圖像標定區(qū)域的一部分及第二路圖像標定區(qū)域的一部分互補。
2.如權利要求1所述的雙路監(jiān)控視頻信息融合方法，其特征在于，所述利用關鍵點分別標定第一路及第二路圖像數(shù)據(jù)包括通過所述關鍵點生成新的關鍵點，新生成的關鍵點和原有關鍵點共同形成第一路圖像標定區(qū)域和第二路圖像標定區(qū)域。
3.如權利要求2所述的雙路監(jiān)控視頻信息融合方法，其特征在于，通過所述關鍵點生成新的關鍵點利用平行四邊形法則完成。
4.如權利要求1所述的雙路監(jiān)控視頻信息融合方法，其特征在于，將所述第一路圖像標定區(qū)域和第二路圖像標定區(qū)域分別進行幾何歸一化包括分別將第一路圖像標定區(qū)域和第二路圖像標定區(qū)域向標準網(wǎng)格做映射，從而得到幾何歸一化后的結果。
5.如權利要求4所述的雙路監(jiān)控視頻信息融合方法，其特征在于，分別將第一路圖像標定區(qū)域和第二路圖像標定區(qū)域向標準網(wǎng)格做映射包括分別將第一路圖像標定區(qū)域和第二路圖像標定區(qū)域劃分為多個三角形區(qū)域，向標準網(wǎng)格中的三角形區(qū)域做映射。
6.一種雙路監(jiān)控視頻信息融合系統(tǒng)，其特征在于，包括關鍵點標定單元，適于接收來自終端設備的針對第一路及第二路圖像數(shù)據(jù)的關鍵點標定操作指令，獲取關鍵點并形成第一路圖像標定區(qū)域和第二路圖像標定區(qū)域；所述第一路及第二路圖像數(shù)據(jù)是不同視角下同一監(jiān)控區(qū)域的圖像數(shù)據(jù)；幾何歸一化單元，適于將所述第一路圖像標定區(qū)域和第二路圖像標定區(qū)域分別進行幾何歸一化；雙路全景融合單元，適于選取幾何歸一化后的第一路圖像標定區(qū)域的一部分及第二路圖像標定區(qū)域的一部分進行拼接，得到全景融合圖像；所述第一路圖像標定區(qū)域的一部分及第二路圖像標定區(qū)域的一部分互補。
7.如權利要求6所述的雙路監(jiān)控視頻信息融合系統(tǒng)，其特征在于，還包括臨時存儲單元，適于保存第一路和/或第二路圖像標定區(qū)域的幾何歸一化結果，供所述雙路全景融合單元調(diào)用。
8.如權利要求6所述的雙路監(jiān)控視頻信息融合系統(tǒng)，其特征在于，所述關鍵點標定單元包括標定指令接收單元，關鍵點生成單元和標定區(qū)域形成單元；所述標定指令接收單元適于從標定指令中獲取關鍵點；所述關鍵點生成單元適于通過獲取的關鍵點生成新的關鍵點；所述標定區(qū)域形成單元適于依次連接所有關鍵點，形成封閉的標定區(qū)域。
9.如權利要求6所述的雙路監(jiān)控視頻信息融合系統(tǒng)，其特征在于，所述幾何歸一化單元包括三角形分解單元和映射單元；所述三角形分解單元適于通過連接所述關鍵點生成多個三角形區(qū)域；所述映射單元適于將所述多個三角形區(qū)域向標準網(wǎng)格中的三角形區(qū)域做映射，得到幾何歸一化的第一路圖像標定區(qū)域和第二路圖像標定區(qū)域。
10.一種雙路監(jiān)控視頻信息融合系統(tǒng)，其特征在于，包括第一關鍵點標定單元和第二關鍵點標定單元，分別適于接收來自終端設備的針對第一路及第二路圖像數(shù)據(jù)的關鍵點標定操作指令，獲取關鍵點并形成第一路圖像標定區(qū)域和第二路圖像標定區(qū)域；所述第一路及第二路圖像數(shù)據(jù)是不同視角下同一監(jiān)控區(qū)域的圖像數(shù)據(jù)；第一幾何歸一化單元和第二幾何歸一化單元，分別適于將所述第一路圖像標定區(qū)域和第二路圖像標定區(qū)域分別進行幾何歸一化；雙路全景融合單元，適于接收來自所述第一幾何歸一化單元和第二幾何歸一化單元的第一路圖像標定區(qū)域的幾何歸一化結果和第二路圖像標定區(qū)域的幾何歸一化結果，選取所述第一路圖像標定區(qū)域的一部分及第二路圖像標定區(qū)域的一部分進行拼接，得到全景融合圖像；所述第一路圖像標定區(qū)域的一部分及第二路圖像標定區(qū)域的一部分互補。
11.如權利要求10所述的雙路監(jiān)控視頻信息融合系統(tǒng)，其特征在于，所述第一關鍵點標定單元和第二關鍵點標定單元還分別包括標定指令接收單元，關鍵點生成單元和標定區(qū)域形成單元；所述標定指令接收單元適于從標定指令中獲取關鍵點；所述關鍵點生成單元適于通過獲取的關鍵點生成新的關鍵點；所述標定區(qū)域形成單元適于依次連接所有關鍵點，形成封閉的標定區(qū)域。
12.如權利要求10所述的雙路監(jiān)控視頻信息融合系統(tǒng)，其特征在于，所述第一幾何歸一化單元和第二幾何歸一化單元還分別包括三角形分解單元和映射單元；所述三角形分解單元適于通過連接所述關鍵點生成多個三角形區(qū)域；所述映射單元適于將所述多個三角形區(qū)域向標準網(wǎng)格中的三角形區(qū)域做映射，得到幾何歸一化的第一路圖像標定區(qū)域和第二路圖像標定區(qū)域。
全文摘要
本發(fā)明公開了一種雙路監(jiān)控視頻信息融合方法，包括利用關鍵點分別標定第一路及第二路圖像數(shù)據(jù)，形成第一路圖像標定區(qū)域和第二路圖像標定區(qū)域；所述第一路及第二路圖像數(shù)據(jù)是不同視角下同一監(jiān)控區(qū)域的圖像數(shù)據(jù)；將所述第一路圖像標定區(qū)域和第二路圖像標定區(qū)域分別進行幾何歸一化；選取幾何歸一化后的第一路圖像標定區(qū)域的一部分及第二路圖像標定區(qū)域的一部分進行拼接，得到全景融合圖像；所述第一路圖像標定區(qū)域的一部分及第二路圖像標定區(qū)域的一部分互補。相應地，本發(fā)明還提供一種雙路監(jiān)控視頻信息融合系統(tǒng)，上述方法和系統(tǒng)利用兩路視頻信息的相關性，將雙路圖像融合為單路圖像，節(jié)約存儲空間，節(jié)省用戶的操作時間，提高用戶的工作效率。
文檔編號H04N5/265GK102480600SQ20101055625
公開日2012年5月30日 申請日期2010年11月22日 優(yōu)先權日2010年11月22日
發(fā)明者曾文斌, 王曉平, 趙文忠 申請人:上海銀晨智能識別科技有限公司