監(jiān)視攝像機控制裝置以及圖像監(jiān)視系統(tǒng)的制作方法
【專利摘要】在對多個區(qū)域進行攝像的多個監(jiān)視攝像機中，同一物體被重復(fù)地檢測的情況下，用于根據(jù)各攝像機的各個圖像選擇適當(dāng)?shù)膱D像的監(jiān)視攝像機控制裝置以及圖像監(jiān)視系統(tǒng)中，構(gòu)成為具備：對監(jiān)視區(qū)域內(nèi)進行攝像的多臺攝像機(100～102)；從在多臺攝像機中獲取的圖像中檢測物體的識別部分(104)；和顯示選擇部分(106)，在由多臺攝像機重復(fù)進行攝像的監(jiān)視區(qū)域內(nèi)檢測到物體時，顯示選擇部分從各臺攝像機在識別部分中獲取作為物體的特征量的識別結(jié)果，并根據(jù)識別結(jié)果和識別結(jié)果的優(yōu)先度，對各臺攝像機的圖像設(shè)定與優(yōu)先度相對應(yīng)的優(yōu)先順序。
【專利說明】監(jiān)視攝像機控制裝置以及圖像監(jiān)視系統(tǒng)

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種圖像監(jiān)視系統(tǒng)，其具有從通過攝像機等攝像設(shè)備獲取的圖像中檢測人物或者移動體的識別裝置，能夠?qū)崿F(xiàn)檢測入侵者或者檢測搭載在移動機器人等上的接近者的功能。本發(fā)明尤其涉及一種具有獲取圖像監(jiān)視系統(tǒng)的圖像的功能以及控制圖像顯示的功能的圖像監(jiān)視系統(tǒng)。

【背景技術(shù)】
[0002]已知有具備對通過攝像機等攝像設(shè)備獲取的圖像進行識別處理以檢測出現(xiàn)在監(jiān)視區(qū)域內(nèi)的人物或者車輛等移動物體的功能的圖像監(jiān)視系統(tǒng)。該圖像監(jiān)視系統(tǒng)具有根據(jù)檢測結(jié)果僅對出現(xiàn)了移動物體的圖像進行記錄的功能、在顯示裝置上顯示警告圖標(biāo)的功能以及使蜂鳴器蜂鳴而喚起監(jiān)視人員注意的功能等。為此，有助于減輕在從前必須不間斷地進行確認(rèn)業(yè)務(wù)的監(jiān)視業(yè)務(wù)的負擔(dān)。此外，在發(fā)生了偷盜等犯罪行為或者非法行為時，能夠?qū)⒂涗浽谠搱D像監(jiān)視系統(tǒng)中的圖像應(yīng)用于事后的犯罪搜查等。
[0003]近年來，由于犯罪的多樣化，犯罪數(shù)量的上升和破案率的下降等，商店、金融機構(gòu)和辦公大樓等的防范意識提高，使得圖像監(jiān)視系統(tǒng)的引進進一步得到了發(fā)展。由于圖像記錄裝置的大容量化和網(wǎng)絡(luò)攝像機等的普及，在各種場所設(shè)置了攝像機，使得攝像機的數(shù)量進一步增加。如上所述，由于通過監(jiān)視人員的肉眼從記錄圖像中尋找犯罪行為等的作業(yè)的負擔(dān)非常大，所以需要進一步強化對監(jiān)視業(yè)務(wù)進行支援的功能。
[0004]在此所存在的問題是，由于攝像機的數(shù)量龐大，監(jiān)視人員觀察特定圖像(例如特定人物)的業(yè)務(wù)等變得非常復(fù)雜。若非對監(jiān)視區(qū)域和監(jiān)視攝像機的情況非常熟悉的熟練人員，則很難做到高效并且不會發(fā)生遺漏地觀察圖像。
[0005]作為現(xiàn)有技術(shù)，已知有專利文獻I所公開的監(jiān)視系統(tǒng)，其預(yù)先登錄具有云臺控制功能的攝像機的移動位置，與傳感器的檢測結(jié)果聯(lián)動地使攝像機的云臺旋轉(zhuǎn)到規(guī)定的位置，由此來獲取監(jiān)視區(qū)域的圖像(專利文獻I)。此外，還已知有專利文獻2所公開的監(jiān)視系統(tǒng)，其預(yù)先登錄多臺攝像機的位置關(guān)系，并根據(jù)用戶的指示或者移動物體的移動方向等來切換在監(jiān)視器上顯示的圖像(專利文獻2)。
[0006]在先技術(shù)文獻
[0007]專利文獻
[0008]專利文獻I日本國專利特開2001-275104號公報
[0009]專利文獻2日本國專利特開2011-217320號公報


【發(fā)明內(nèi)容】

[0010]可是，在專利文獻I所公開的監(jiān)視系統(tǒng)中，隨著在系統(tǒng)中運行的攝像機數(shù)量的增加，根據(jù)傳感器檢測進行旋轉(zhuǎn)的攝像機數(shù)量也相應(yīng)增加，所以需要詳細地進行事先設(shè)定和系統(tǒng)內(nèi)部的調(diào)整，導(dǎo)致監(jiān)視人員的負擔(dān)增大。
[0011]此外，在通過監(jiān)視人員一邊操作運臺控制功能一邊使攝像機動作的場合，由于會產(chǎn)生時間延遲等，所以在對入侵者和規(guī)定的人物進行追蹤時，容易產(chǎn)生跟丟的情況。
[0012]為此，作為現(xiàn)有技術(shù)，已經(jīng)開發(fā)出了具有識別功能并能夠自動進行追蹤的系統(tǒng)。例如在專利文獻2所發(fā)明的監(jiān)視系統(tǒng)中，將設(shè)置在監(jiān)視區(qū)域內(nèi)的多臺攝像機設(shè)定為固定攝像機，預(yù)先登錄其位置關(guān)系，以便能夠利用該位置關(guān)系。具體來說是，當(dāng)各臺攝像機的畫面上的移動物體從視角消失后，向監(jiān)視人員提示設(shè)置在其移動方向上的攝像機。此外，在該監(jiān)視系統(tǒng)中，還能夠通過監(jiān)視人員的輸入裝置來指定方向。
[0013]可是，雖然該技術(shù)能夠根據(jù)攝像機的位置關(guān)系來預(yù)測移動物體的移動，并能夠提示此后拍攝到該移動物體的攝像機的圖像。但是，根據(jù)攝像機的設(shè)置情況，有時繼續(xù)顯示原來的圖像可能更為合適。這是因為，由于是根據(jù)作為被拍攝體的移動物體的動作等進行追蹤，所以如果從不適合獲取用于確定被拍攝體的信息的方向進行拍攝(例如在追蹤人物時，從拍攝不到臉部的區(qū)域進行拍攝時，在追蹤車輛時，從拍攝不到車牌和駕駛員的區(qū)域進行拍攝時)，則無法獲取可動物體的重要信息，可能難以作為情況證據(jù)等加以應(yīng)用。
[0014]此外，在攝像機存在重復(fù)的場合，或者監(jiān)視區(qū)域不是走廊等可動區(qū)域受到限制的區(qū)域，而是移動物體的可動區(qū)域具有自由度的例如辦公室和零售店等開放的監(jiān)視區(qū)域等的場合，如果像專利文獻2那樣僅僅在事先登錄攝像機的配置關(guān)系，則難以進行應(yīng)對。這是因為，提示圖像的攝像機的選擇條件可能會變得非常復(fù)雜，而并不僅限于例如移動物體朝視角的右側(cè)移動了，所以提示設(shè)置在右側(cè)的攝像機的圖像那樣單純的結(jié)構(gòu)。
[0015]為此，本發(fā)明的目的在于提供一種監(jiān)視攝像機控制裝置以及圖像監(jiān)視系統(tǒng)，使得在拍攝多個區(qū)域的多臺監(jiān)視攝像機重復(fù)檢測到相同的物體的場合，能夠從各臺攝像機圖像中選擇適當(dāng)?shù)膱D像。
[0016]解決方案
[0017]為了實現(xiàn)上述目的，例如采用權(quán)利要求中所述的結(jié)構(gòu)。以下列舉一例，其特征在于具有多臺攝像機和識別部分，多臺攝像機對監(jiān)視區(qū)域內(nèi)進行攝像，識別部分從通過多臺攝像機獲取的圖像中檢測物體，此外還具有顯示選擇部分，在由多臺攝像機重復(fù)攝像的監(jiān)視區(qū)域內(nèi)檢測到物體時，顯示選擇部分通過識別部分從各臺攝像機獲取作為物體的特征量的識別結(jié)果，并根據(jù)識別結(jié)果和識別結(jié)果的優(yōu)先度，對各臺攝像機的圖像設(shè)定與優(yōu)先度相對應(yīng)的優(yōu)先順序。
[0018]發(fā)明效果
[0019]根據(jù)本發(fā)明，在拍攝多個區(qū)域的多臺監(jiān)視攝像機重復(fù)檢測到相同的物體的場合，能夠從各臺攝像機的圖像中提示有助于識別物體等的信息。

【專利附圖】

【附圖說明】
[0020]圖1是表示本發(fā)明的一實施方式的圖像監(jiān)視系統(tǒng)的方塊圖。
[0021]圖2是本發(fā)明的監(jiān)視區(qū)域和攝像機的設(shè)置圖。
[0022]圖3是表示本發(fā)明的監(jiān)視區(qū)域和攝像機的設(shè)置的俯視圖。
[0023]圖4是本發(fā)明的獲取圖像的輸出例。
[0024]圖5是本發(fā)明的攝像機圖像和監(jiān)視區(qū)域的對應(yīng)圖。
[0025]圖6是本發(fā)明的識別部分的處理流程圖。
[0026]圖7是本發(fā)明的識別結(jié)果的數(shù)據(jù)結(jié)構(gòu)圖。
[0027]圖8是本發(fā)明的攝像機配置信息的數(shù)據(jù)結(jié)構(gòu)圖。
[0028]圖9是表示本發(fā)明的監(jiān)視區(qū)域上的攝像機和移動物體的信息的俯視圖。
[0029]圖10是表示根據(jù)本發(fā)明的識別部分獲取的結(jié)果和攝像機配置信息算出的信息表的圖。
[0030]圖11是表示本發(fā)明的優(yōu)先度設(shè)定單元的圖。
[0031]圖12是表示本發(fā)明的圖像顯示方法的圖。
[0032]圖13是表示本發(fā)明的圖像顯示方法的圖。
[0033]圖14是表示本發(fā)明的圖像顯示的切換方法的圖。
[0034]圖15是表示本發(fā)明的一實施方式的方塊圖。
[0035]圖16是表示本發(fā)明的一實施方式的方塊圖。

【具體實施方式】
[0036]以下參照附圖對本發(fā)明的一實施方式進行詳細的說明。
[0037]圖1是表示本發(fā)明的一實施方式所涉及的監(jiān)視攝像機控制裝置和圖像監(jiān)視系統(tǒng)的方塊圖。在本實施例中，有時將監(jiān)視攝像機控制裝置和圖像監(jiān)視系統(tǒng)簡稱為圖像監(jiān)視系統(tǒng)或者監(jiān)視系統(tǒng)。
[0038]該圖像監(jiān)視系統(tǒng)具有攝像機100?102、圖像獲取部分103、識別部分104、識別結(jié)果105、顯示選擇部分106、攝像機配置信息107、輸入單元108、圖像顯示部分109、顯示單元HO。
[0039]該圖像監(jiān)視系統(tǒng)采用了電子計算機系統(tǒng)。該電子計算機系統(tǒng)的硬件包括CPU、存儲器和I/o等，安裝有能夠執(zhí)行的規(guī)定軟件。由此，能夠?qū)崿F(xiàn)在各圖以方塊形式表示的各個功能部分。
[0040]為了便于對實施方式進行說明，在本實施例中，以設(shè)置三臺攝像機(攝像機100?102)的場合為例進行說明，但并不限定于該結(jié)構(gòu)，也可假設(shè)設(shè)置有2臺以上攝像機的結(jié)構(gòu)。攝像機100?102是包括具有變焦功能的攝像機透鏡和CMOS (Complementary Metal OxideSemiconductor，互補金屬氧化物半導(dǎo)體)以及CO) (Charge Coupled Device，電荷親合元件)等攝像元件(均未圖示)的攝像設(shè)備。該攝像機100?102通過圖像獲取部分103獲取圖像信號，并輸出到后述的識別部分104和圖像顯示部分109。
[0041]攝像機100?102還是載置于云臺上從而能夠進行上下左右旋轉(zhuǎn)的云臺變焦攝像機。雖然在本實施例中未作出說明，但當(dāng)然能夠?qū)z像機100?102的圖像轉(zhuǎn)送到記錄裝置或者顯示裝置，或者進行圖像的記錄，以便監(jiān)視人員在進行肉眼確認(rèn)時使用。
[0042]顯示單元110是液晶顯示裝置或者CRT (Cathode Ray Tube，陽極射線管)顯示裝置等的顯示裝置。也可以用RGBOted-Green-Blue，紅綠藍)監(jiān)視器輸出終端或者通過網(wǎng)絡(luò)進行數(shù)據(jù)輸出的終端、手機或者平板電腦等終端來替代顯示單元110。
[0043]各種參數(shù)的設(shè)定通過用戶接口進行。設(shè)置在圖像獲取部分103、識別部分104和圖像顯示部分109等中的用戶接口包括鼠標(biāo)和鍵盤等輸入裝置(未圖示)，用于接受由用戶輸入的參數(shù)等。為了對本發(fā)明的主要部分進行詳細說明，所以在顯示選擇部分106上只記載了輸入?yún)?shù)等用的輸入單元108。
[0044]以下對本發(fā)明的結(jié)構(gòu)塊進行詳細說明。參照圖2等對本發(fā)明的監(jiān)視系統(tǒng)中的攝像機和移動物體的關(guān)系進行說明。
[0045]圖2表示本實施例的監(jiān)視區(qū)域205和設(shè)置在該區(qū)域的攝像機和移動物體等的關(guān)系。在監(jiān)視區(qū)域205中設(shè)置有攝像機200?202 (與圖1的攝像機100?102相同)，并且存在有物體203。此外，在監(jiān)視區(qū)域205中大都還存在櫥柜等日用品和墻壁、走廊等建筑結(jié)構(gòu)物，在此將其稱為結(jié)構(gòu)物204。在本實施例中，物體203為人物，其正朝著移動方向206的方向移動，臉朝著臉部方向207。
[0046]在此，物體包括可動物體和靜止物體?？蓜游矬w指可以移動和變動的物體。在本實施例中，將可動物體舉例為人物，人物是臉和手腳以及人物整體可以移動和變動的物體。此外，作為可動物體，還可以列舉出車輛、人拿著的包、電腦畫面以及保險箱的門等。例如，電腦的畫面和保險箱的門等是能夠通過人等進行畫面的朝向和畫面顯示的變動的物體、以及能夠進行保險箱門打開等變動的物體。此外，本發(fā)明還能夠應(yīng)用于不進行移動和變動的靜止物體。
[0047]監(jiān)視區(qū)域205的含義與實際空間等相同，預(yù)先將其坐標(biāo)系統(tǒng)定義為(Xw，Yw, Zw)。
[0048]圖3是從上方觀察到的該監(jiān)視區(qū)域205的俯視圖。
[0049]在圖3中新示出了與各臺攝像機相對應(yīng)的攝像區(qū)域300?302 (其含義與視角相同)。其它部分與圖2—樣，在監(jiān)視區(qū)域205內(nèi)存在物體203，其朝著移動方向206移動，并且臉朝著臉部方向207。
[0050]圖4表示由攝像機200?202拍攝到的圖像。攝像機圖像400?402分別表示由攝像機200?202拍攝到的圖像，該等圖像通過圖1的圖像獲取部分103獲取，并且通過圖像顯示部分109顯示在顯示單元110上。根據(jù)各臺攝像機的設(shè)置情況和攝像區(qū)域300?302等，以包括物體203和結(jié)構(gòu)物204的方式進行攝像。根據(jù)與攝像機200?202的位置關(guān)系的不同，拍攝到的物體203和結(jié)構(gòu)物204的樣子、物體203的大小、移動方向206和臉部方向207的樣子也不同。
[0051]在圖2至圖4中示出的表示監(jiān)視區(qū)域205和物體203等的圖像中，物體203朝著攝像機200的方向移動，臉部方向207朝著攝像機201的方向。此外，物體203位于監(jiān)視區(qū)域205的Xw-Yw空間的中心的右下方，攝像機202是離物體203最近的攝像機。
[0052]以下說明計算攝像機與監(jiān)視區(qū)域的對應(yīng)關(guān)系的一計算例。
[0053]并不僅限于本實施例，作為攝像機與監(jiān)視區(qū)域的對應(yīng)關(guān)系(也就是攝像機參數(shù))的計算方法，已知有從簡易的近似求解方法到詳細的求解方法等多種計算方法。該對應(yīng)關(guān)系在獲取圖1所示的攝像機配置信息107時使用。
[0054]圖5表示監(jiān)視區(qū)域和通過攝像機獲取的攝像機圖像上的對應(yīng)點。
[0055]具體來說是，可以如圖5所示，采用獲取監(jiān)視區(qū)域501 (含義與監(jiān)視區(qū)域205、實際空間相同)和通過攝像機500獲取的攝像機圖像502上的對應(yīng)點的方法。攝像機500存在于監(jiān)視區(qū)域501內(nèi)的某一個位置(Xe，Yc, Zc)。
[0056]攝像機圖像502上的任意的攝像機圖像位置504與監(jiān)視區(qū)域501內(nèi)的監(jiān)視區(qū)域位置505的對應(yīng)關(guān)系能夠根據(jù)圖像上的位置和實際空間的實測值求出。作為現(xiàn)有的在獲取該對應(yīng)點后獲取攝像機參數(shù)的方法，可以列舉出“R.Y.Tsai，“A versatile cameracalibrat1n technique for high-accuracy 3D machine vis1n metrology usingoff-the-shelf TV camera and IensesiTEEE Journal of Robotics and Automat1n，Vol.RA-3，N0.4，pp.323-344，1987”等的攝像機校正技術(shù)，在此省略其詳細說明。作為根據(jù)該對應(yīng)點來求出攝像機參數(shù)的方法，已知有通過獲取4點以上的對應(yīng)點就能夠獲取攝像機參數(shù)的方法。
[0057]根據(jù)上述步驟，如圖5所示，能夠求出攝像機500的俯角Θ、在監(jiān)視區(qū)域501內(nèi)的設(shè)置角度Φ以及攝像機的高度He等。
[0058]接著按照順序從圖1所示的識別部分104開始進行說明。在識別部分104中，對在圖像獲取部分103獲取的多個圖像中的任意的圖像執(zhí)行識別處理。
[0059]圖6是說明識別部分104的處理方法的流程圖，示出了本實施例的人物的臉部以及臉部方向的檢測方法。
[0060]已經(jīng)提出有各種檢測人物臉部的方法，例如已知有“Paul.V1la，M.Jones:“Robust Real-Time Face Detect1n，，，Internat1nal Journal of ComputerVis1n (2004)，Volume:57，Issue:2，Publisher:Springer, Pages: 137-154” 等現(xiàn)有技術(shù)。在該等技術(shù)中，從學(xué)習(xí)樣本獲取臉部的圖像特征，并構(gòu)建識別器。通過該識別器來判斷臉部在圖像上的哪個部位。此外，將上述學(xué)習(xí)樣本劃分成正面和側(cè)面等各種局部樣本，然后針對各種局部樣本構(gòu)建識別器，由此也能夠識別臉部方向。以下參照圖6進行說明。
[0061]S60是通過任意的窗口(檢測窗)對整體圖像進行操作的步驟。此后，在某個任意的位置，使用上述識別器輸出表示是否檢測到了臉部的信息(S61)。在沒有檢測到臉部時，將窗口移動到下一個位置并反復(fù)進行相同的處理。在檢測到了臉部時，檢測臉部的朝向(S62) ο將結(jié)果輸出到規(guī)定的存儲器區(qū)域(S63)。在全部圖像內(nèi)反復(fù)進行以上的處理，由此能夠檢測出臉部的位置和臉部的方向。通過檢測臉部的位置，同時還能夠檢測出人物所處的位置。最后，確認(rèn)圖像整體的處理(S64)。
[0062]在以上的說明中，以臉部的檢測為例對識別部分104進行了詳細的說明，而除此以外還存在各種從圖像獲取信息的方法。例如，不檢測臉部，而是將識別器設(shè)置成檢測整個人物的形狀，由此能夠?qū)崿F(xiàn)對人物的檢測，并且同樣能夠檢測出身體的朝向。此外，通過檢測人物在圖像上的位置，自然而然就能夠檢測出人物的大小(在圖像上的面積)。另外，通過求出檢測區(qū)域內(nèi)的在時間上連續(xù)的多個幀(圖像)中移動的位置，能夠進行人物的追蹤處理。
[0063]在檢測對象為車輛時，能夠獲取車牌和駕駛員的臉部等任意的圖像上的信息。
[0064]通過獲取在上述處理中檢測出的位置、在圖5中所述的監(jiān)視區(qū)域501以及攝像機圖像502之間的對應(yīng)關(guān)系，能夠求出監(jiān)視區(qū)域501內(nèi)(在圖2至圖4的監(jiān)視區(qū)域205內(nèi)也一樣)的位置和可動方向(圖2至圖4的移動方向206)、臉部方向(圖2至圖4的臉部方向207)等。通過采用本結(jié)構(gòu)，能夠根據(jù)監(jiān)視區(qū)域501和攝像機圖像502的對應(yīng)關(guān)系，知道在攝像機圖像502內(nèi)朝向右方的人物在監(jiān)視區(qū)域內(nèi)朝向哪一個方向。也就是說，不僅能夠獲取位置，還能夠獲取方向。
[0065]圖7是將在識別部分104中求出的結(jié)果存儲在識別結(jié)果105時的數(shù)據(jù)結(jié)構(gòu)的示例。該數(shù)據(jù)由物體ID(D70)、物體在實際空間中的位置(D71)、在圖像上的面積(D72)、臉部方向(D73)、移動矢量(D74)以及其它的信息(D75)構(gòu)成。
[0066]面積(D72)因拍攝物體的各臺攝像機的不同而不同，所以如面積/攝像機I (D76)、面積/攝像機2 (D77)所示那樣，分別存儲在拍攝到物體的各臺攝像機中。
[0067]此外，移動矢量(D74)具有從當(dāng)前時間點t 一直追溯到過去一定期間的信息，如位置(t) (D79)所示那樣進行存儲，并根據(jù)該等信息來存儲移動方向(D78)。移動方向(D78)能夠根據(jù)位置(t) (D79)的信息的平均值等算出。該等信息也與臉部方向一樣，如圖5所示求出對應(yīng)關(guān)系，由此能夠相對于攝像機圖像上的方向，求出監(jiān)視區(qū)域內(nèi)的移動方向。
[0068]其它信息(D75)也可以通過進行識別部分104的處理來使其包含在數(shù)據(jù)中。
[0069]以下對圖1所示的顯示選擇部分106進行說明。首先對顯示選擇部分106中使用的攝像機配置信息107進行說明。
[0070]作為攝像機配置信息107，存在表示攝像機的位置關(guān)系的信息以及表示與移動物體和攝像機圖像之間關(guān)系的信息。前者可以通過求出上述攝像機與監(jiān)視區(qū)域的對應(yīng)關(guān)系來得到(當(dāng)然也可以通過進行詳細的實測來得到)。后者可以通過攝像機校正來得到。
[0071]圖8表示本實施例的攝像機的位置關(guān)系的信息的示例。
[0072]攝像機的位置關(guān)系由任意分配的攝像機ID(D80)、攝像機的俯角(D81)、攝像機的水平角(D82)、視角(D83)和設(shè)置位置(D84)構(gòu)成。分別存儲有角度和絕對位置。由此，能夠規(guī)定攝像機的朝向和所要拍攝的圖像，并且還能夠掌握與各臺攝像機之間的位置關(guān)系。
[0073]在通過上述攝像機校正技術(shù)求出的場合，能夠獲取圖5所示的監(jiān)視區(qū)域501和攝像機圖像502的透視投影變換的矩陣，根據(jù)實施方式，該信息也可以存儲在攝像機配置信息107中。此外，在攝像機的位置關(guān)系中，由于焦點距離、光軸方向的旋轉(zhuǎn)、攝像元件的大小也有關(guān)聯(lián)，所以能夠?qū)⑵渥鳛樾畔⒆芳印?br> [0074]圖9是表示圖2至圖4所示的實施例中的從上方觀察到的監(jiān)視區(qū)域205的俯視圖。
[0075]與圖2至圖4 一樣，在圖9中也示出了攝像機200?202、物體203、結(jié)構(gòu)物204。在此，假定經(jīng)由識別部分104獲取還包括移動方向206和臉部方向207的數(shù)據(jù)。此外，同樣從攝像機配置信息107獲取了各臺攝像機的位置關(guān)系。
[0076]攝像機200?202以Φ ^?Φ 2的角度設(shè)置在監(jiān)視區(qū)域205的Xw-Yw空間內(nèi)的各個位置上。物體203正朝著移動方向206的方向(角度θν)移動，物體203的臉部方向207以Θ f定義。
[0077]使用該等信息，通過顯示選擇部分106執(zhí)行用于判斷要顯示的圖像的處理。
[0078]圖10表示根據(jù)攝像機配置信息107中的物體203和攝像機位置等求出的信息表的示例。信息表中的攝像機評價項目(D1000)由檢測出的物體與攝像機之間的距離(D1002)、檢測出的物體在攝像機圖像上的面積(D1003)、臉部方向(D1004)、移動方向(D1005)構(gòu)成。評價值(D1001)是各臺攝像機的評價值。具體來說是，攝像機評價值(D1000)根據(jù)在上述識別部分104中求出的物體203的數(shù)據(jù)和攝像機位置等算出，針對各臺攝像機算出并獲取攝像機評價值(D1000)，并將其作為獲取值(D1001)來顯示。
[0079]與攝像機之間的距離(D1002)根據(jù)在臉部檢測和人物檢測中檢測出的在圖像上的位置與監(jiān)視區(qū)域205的關(guān)系來求出。面積(D1003)同樣也根據(jù)檢測出的區(qū)域來求出。作為臉部方向(D1004)，能夠根據(jù)攝像機圖像上的臉部方向求出監(jiān)視區(qū)域205上的臉部方向0f，能夠根據(jù)與攝像機200?202的方向?Φ 2的角度的差分算出。例如，攝像機201(圖10中的攝像機2)的計算式如式I所示。
[0080](式I)
[0081]攝像機2的臉部方向=(<^?Θ f)
[0082]在此，由式I求出的臉部方向越接近180deg，則攝像機的拍攝方向與臉部方向的正對度越高，也就是臉部方向越是朝著攝像機方向。嚴(yán)格來說，還可以相對于攝像機的俯角求出臉部在垂直方向上的角度，而在本實施例中，為了便于說明，只對水平方向進行說明。
[0083]此外，由于移動方向(D1005)也可以通過相同的方法求出，所以在此省略其說明。
[0084]在其它的實施方式中，還能夠?qū)z測物體的特定部位時的檢測方向、例如包等攜帶物品的手持方向、手等部位的拍攝方向等目標(biāo)部位進行定義。在物體為車輛的場合，還可以根據(jù)車牌和駕駛員的臉部等來生成信息表?？梢栽O(shè)置為能夠觀察某一特定行為(事件)的方向。例如，可以列舉出能夠?qū)θ宋锇磯喊粹o的動作進行拍攝的方向和用手拿起商品的動作等。
[0085]該信息表存儲在攝像機配置信息107中。如此，通過同時使用預(yù)先獲取的攝像機配置信息和識別結(jié)果，可以更加詳細地進行圖像的選擇。此外，通過將與攝像機的位置關(guān)系和識別處理的結(jié)果反饋給識別處理，能夠選擇適合于識別處理的攝像機和圖像上的位置，所以能夠進一步提尚識別處理的精度。
[0086]以下參照圖10所示的信息表說明顯示選擇部分106的圖像顯示的切換方法。
[0087]在圖11中示出了在使用從各臺攝像機獲取的通過重復(fù)檢測同一物體而檢測出的圖像信息時對上述攝像機評價項目中的希望優(yōu)先獲取的攝像機評價項目設(shè)定優(yōu)先度的優(yōu)先度設(shè)定畫面1100的示例。該等優(yōu)先度例如通過圖1的輸入單元108來進行設(shè)定?？梢栽诋嬅嫔显O(shè)定各個優(yōu)先度(在本實施例中可以選擇O至5的優(yōu)先度)。O表示不使用信息，5表示能夠最為優(yōu)先地使用該信息。在此，還能夠選擇只使用一個信息進行輸出的圖像，通過求出由數(shù)個信息綜合而成的評價值，能夠生成圖像選擇的基準(zhǔn)。在圖11所示的示例中，將優(yōu)先度設(shè)定為:距離dp = 0，面積sp = I，臉部方向Qfp = 3，移動方向θ vp = I。
[0088]其中，將各臺攝像機的距離定義為d，將面積定義為S，將臉部方向定義為Θ f，將移動方向定義為Θ V，并根據(jù)圖1所示的攝像機配置信息107針對各個值為所有的攝像機設(shè)定優(yōu)先順序。以攝像機I為例，定義攝像機I在所有攝像機中的順序。此時的結(jié)果為距離Dl = 3，面積SI = 1，臉部方向Θ fI = 1，移動方向Θν1 = 3。由于是在攝像機中的順序，所以最小值為1，最大值為攝像機的臺數(shù)。
[0089]根據(jù)各臺攝像機的上述順序以及攝像機評價項目的優(yōu)先度，對各個任意的物體計算各臺攝像機的評價值，其方法如式2所示。評價值的運算在圖1所示的顯示選擇部分106中進行。
[0090]評價值(攝像機I)
[0091]= (Dl*dp+Sl*sp+Θ fl* Θ fp+θ ν?* θ νρ) ⑵
[0092]根據(jù)式2，能夠在顯示選擇部分106中，將評價值最小的攝像機確定為適合于觀察物體203的攝像機。
[0093]例如，針對圖4所示的圖像，根據(jù)圖10和圖11所示的各臺攝像機的攝像機評價項目的信息表和攝像機評價項目的優(yōu)先度進行計算，其結(jié)果，能夠計算出圖4的攝像機圖像401上所示的圖像是最適合觀察物體203的圖像。
[0094]此外，由于針對每個物體計算各臺攝像機的評價值，所以能夠根據(jù)評價值分別定義適合各個移動物體的攝像機的圖像。在存在有多個物體時，可以采用對拍攝尺寸最大的人物進行控制或者僅對在輸入畫面等中選出的人進行本發(fā)明的處理等應(yīng)對方法。
[0095]接著，參照圖12對圖1所示的圖像顯示部分109進行說明。在此，通過顯示選擇部分106算出了從圖像獲取部分103獲取的圖像中的應(yīng)優(yōu)先顯示的攝像機以及從攝像機獲取的圖像。圖12所示的一部分圖像例與圖4所示的示例相同，在攝像機2的圖像中拍攝到的移動人物的臉部方向朝著攝像機方向，該圖像是容易觀察的圖像。
[0096]圖12表示監(jiān)視系統(tǒng)的監(jiān)視畫面的一部分。其中，在小窗區(qū)域1200顯示拍攝監(jiān)視區(qū)域的各臺攝像機的圖像，顯示通過圖像記錄設(shè)備或者矩陣開關(guān)等獲取的圖像。進一步在大窗區(qū)域1201顯示由顯示選擇部分106選出的圖像。該等多畫面輸出的設(shè)定等的詳細情況在此不作說明，而畫面配置可以根據(jù)所使用的攝像機臺數(shù)任意進行設(shè)定。
[0097]通過將檢測到物體的檢測框1202重疊地輸出到大窗區(qū)域1201，還具有能夠引起監(jiān)視人員注意的作用。此外，使用臉部檢測的結(jié)果，還能夠?qū)⒏郊有畔?203輸出到畫面上。
[0098]在圖12所示的畫面例中，還具有控制記錄圖像等的再現(xiàn)控制部分1204，由此還能夠通過再現(xiàn)控制部分1204來再現(xiàn)記錄圖像。通過將圖10所示的信息表和識別結(jié)果105等與記錄圖像一起進行保存，同樣還可以針對記錄圖像，提示容易觀察人物的圖像。并且，可以通過設(shè)定按鈕1205等來設(shè)定優(yōu)先度。
[0099]在圖13所示的畫面例中，示出了通過使用攝像機配置信息107，能夠方便地以視覺方式來理解攝像機與移動物體之間的位置關(guān)系的一例。該畫面根據(jù)通過CG等生成監(jiān)視區(qū)域和攝像機的位置等而獲得的數(shù)據(jù)繪制，在該畫面中，將攝像機圖像1300?1302分別顯示在攝像機位置的附近。各個攝像機圖像能夠根據(jù)其在畫面上的位置，以一定系數(shù)改變大小后進行顯示。
[0100]在畫面上觀察到的物體1303根據(jù)在識別部分104中算出的位置繪制而成。針對該物體1303，不使用通過CG等生成的人物的模型，而是通過提取存在于由顯示選擇部分106算出的攝像機的圖像上的移動人物來生成數(shù)據(jù)，將所生成的數(shù)據(jù)重疊在畫面上，由此能夠同時觀察位置關(guān)系與物體1303的情況。此外，通過同時顯示臉部等附加信息1304，能夠進一步詳細地進行觀察。
[0101]圖14是表示存在有多個物體時的圖。圖14(a)與圖13—樣，示出了攝像機圖像1400a?1402a。此外，在畫面上繪出了物體1403a和物體1404a。
[0102]例如，希望以攝像機2圖像1400a和移動物體1404a為中心觀察該圖像時，能夠根據(jù)用戶的指示轉(zhuǎn)換視點。在用戶通過鼠標(biāo)等輸入裝置指定其希望觀察的攝像機圖像或者在畫面上繪出的移動物體的位置后，如圖14(b)所示，能夠切換為以攝像機I圖像1400b為中心的視點。通過切換視點，雖然移動物體1403b和移動物體1404b的位置發(fā)生了變化，但能夠使最容易進行觀察的圖像重疊。此外，還能夠根據(jù)與視點之間的距離來變更各臺攝像機的圖像的圖像尺寸等。
[0103]如上所述，通過按照圖像的重要度或者關(guān)注度等來改變顯示的大小，以附加重要信息的方式對圖像進行提示，或者以與攝像機配置聯(lián)動的方式對圖像進行提示等，通過上述顯示方式，還能夠以視覺方式識別監(jiān)視區(qū)域內(nèi)的配置關(guān)系。由于能夠同時掌握圖像的重要性和監(jiān)視區(qū)域的對應(yīng)關(guān)系，所以能夠減輕監(jiān)視人員的負擔(dān)，其結(jié)果，能夠提供一種功能更加強大的監(jiān)視系統(tǒng)。此外，根據(jù)優(yōu)先順序，對圖像顯示設(shè)定優(yōu)先順序，由此能夠提示或者記錄適合觀察物體的圖像，并且還能夠再現(xiàn)所記錄的圖像中的希望進行觀察的圖像。
[0104]作為能夠應(yīng)用本發(fā)明的檢測物體，如上所述，可以列舉出人物，通過識別處理進行臉部檢測，能夠從多臺攝像機的圖像中例如選擇并提示拍攝到臉部的圖像。此外，本發(fā)明除了人物以外，還能夠應(yīng)用于車輛、人攜帶的包、電腦的畫面和保險箱的門等。在檢測物體為車輛時，例如在監(jiān)視駕駛員的臉部的場合，在檢測物體為包時，例如在監(jiān)視攜帶包的人物的臉部或者監(jiān)視包本身的場合，能夠確定適合監(jiān)視希望觀察的部分的攝像機的圖像。并且，在監(jiān)視朝向和畫面顯示發(fā)生了變更的電腦的畫面的場合，保險箱的門被打開了的場合等，能夠選擇適合于對發(fā)生了動作和變化的部分進行觀察的攝像機。并且還能夠不間斷地監(jiān)視電腦的畫面，或僅在保險箱的門被打開時監(jiān)視保險箱門。另外，本發(fā)明不僅能夠應(yīng)用于可動物體，并且也能夠應(yīng)用于靜止物體。例如，在監(jiān)視固定設(shè)置的保險箱時，在希望將監(jiān)視區(qū)域從門側(cè)切換到側(cè)面的場合，通過采用本發(fā)明的結(jié)構(gòu)，能夠選擇適合于監(jiān)視側(cè)面的攝像機，并且能夠切換監(jiān)視畫面。
[0105]圖15表示將上述實施例應(yīng)用于圖像數(shù)據(jù)檢索時的結(jié)構(gòu)圖。圖15所示的各種功能塊的大部分與圖1所示的功能塊相同，所以在此只對與本實施例有關(guān)聯(lián)的部分進行說明。
[0106]由圖像獲取部分103獲取的圖像存儲在圖像數(shù)據(jù)1500中。監(jiān)視系統(tǒng)的檢索功能是獲取該圖像數(shù)據(jù)1500數(shù)據(jù)的手段之一。通過輸入單元1502將希望從圖像數(shù)據(jù)1500獲取的圖像的檢索條件輸入到檢索部分1501。檢索條件例如是時間段、作為檢索對象的攝像機、特定的人物等各種條件，在此，檢索部分1501還可以與圖1的識別部分104—樣具有識別功能。通過該識別功能獲取的信息同樣也可以與圖7所示的識別結(jié)果一樣進行獲取。
[0107]在此，所獲取的識別結(jié)果與上述實施例一樣，用于在顯示選擇部分106對各臺所述攝像機的圖像設(shè)定優(yōu)先順序，選擇容易進行觀察的圖像，通過圖像顯示部分109在顯示單元110中進行顯示。
[0108]此外，在將圖像數(shù)據(jù)存儲在圖像數(shù)據(jù)1500中時，也可以設(shè)置成同時存儲識別結(jié)果105。此時，由于識別處理可以不在檢索部分1501進行，所以能夠縮短檢索時間。
[0109]以下根據(jù)上述實施例，參照圖16對用于提高識別性能的實施例進行說明。各種功能塊的一部分由于與圖1所示的功能塊相同，所以在此省略其說明。由圖像獲取部分103獲取的圖像被發(fā)送到多臺攝像機識別部分1600中。在本實施例中，有時對多臺攝像機的圖像同時進行處理，所以與識別部分104加以區(qū)分。由多臺攝像機識別部分1600處理后的結(jié)果被發(fā)送到圖像選擇部分1601。在此，圖像選擇部分1601采用與上述顯示選擇部分106相同的結(jié)構(gòu)。也就是說，用于在獲取識別結(jié)果后，選擇適合于識別處理的圖像。
[0110]由多臺攝像機識別部分1600處理后的識別結(jié)果中，根據(jù)攝像機100?102的設(shè)置狀態(tài)，有些有高性能，還有些則沒有高性能。根據(jù)由多臺攝像機識別部分1600輸出的結(jié)果，在圖像選擇部分1601中，計算與式2所示方法同樣的評價值，輸出適合于識別處理的圖像，通過再次反饋到多臺攝像機識別部分1600，能夠提高識別性能。
[0111]例如，以臉部檢測為例，能夠根據(jù)識別結(jié)果(識別率)確定哪臺攝像機最適合于檢測臉部，此外，在同一個攝像機圖像上，可以算出能夠獲得良好的臉部檢測結(jié)果的區(qū)域和不能獲取良好的臉部檢測結(jié)果的區(qū)域。因此，在本實施例中，通過多臺攝像機識別部分1600，能夠定義出適合于進行識別的攝像機和攝像機圖像內(nèi)的適合于進行識別的區(qū)域，從而能夠?qū)崿F(xiàn)檢測精度更高的監(jiān)視系統(tǒng)。
[0112]此外，在人物的檢測位置的精度方面，在圖4的攝像機圖像400中，縱向的位置精度高，而在攝像機圖像401中，橫向的位置精度高。當(dāng)在監(jiān)視區(qū)域內(nèi)確定跨越多臺攝像機觀察的移動物體的位置時，可以根據(jù)該等信息來選擇輸出結(jié)果。由此，能夠進行高精度的位置檢測。
[0113]符號說明
[0114]100?102攝像機
[0115]103圖像獲取部分
[0116]104識別部分
[0117]105識別結(jié)果
[0118]106顯示選擇部分
[0119]107攝像機配置信息
[0120]108輸入單元
[0121]109圖像顯示部分
[0122]110顯示單元
[0123]200 ?202，500 攝像機
[0124]203，1303，1403，1404 物體
[0125]204結(jié)構(gòu)物
[0126]205，501 監(jiān)視區(qū)域
[0127]206移動方向
[0128]207臉部方向
[0129]300?302攝像區(qū)域
[0130]400 ?402，502，1300 ?1302，1400 ?1402 攝像機圖像
[0131]504攝像機圖像位置
[0132]505監(jiān)視區(qū)域位置
[0133]1100優(yōu)先度設(shè)定畫面
[0134]1200小窗區(qū)域
[0135]1201大窗區(qū)域
[0136]1202 檢測框
[0137]1203，1304 附加信息
[0138]1204再現(xiàn)控制部分
[0139]1205設(shè)定按鈕
[0140]1500圖像數(shù)據(jù)
[0141]1501檢索部分
[0142]1502輸入單元
[0143]1600多臺攝像機識別部分
[0144]1601圖像選擇部分
【權(quán)利要求】
1.一種圖像監(jiān)視系統(tǒng)，其特征在于， 具有多臺攝像機和識別部分， 所述多臺攝像機對監(jiān)視區(qū)域內(nèi)進行攝像， 所述識別部分從通過所述多臺攝像機獲取的圖像中檢測物體， 還具有顯示選擇部分，在由所述多臺攝像機重復(fù)進行攝像的監(jiān)視區(qū)域內(nèi)檢測到物體時，所述顯示選擇部分針對各臺攝像機，通過所述識別部分獲取作為所述物體的特征量的識別結(jié)果，并根據(jù)所述識別結(jié)果和所述識別結(jié)果的優(yōu)先度，對各臺所述攝像機的圖像設(shè)定與所述優(yōu)先度相對應(yīng)的優(yōu)先順序。
2.如權(quán)利要求1所述的圖像監(jiān)視系統(tǒng)，其特征在于， 所述顯示選擇部分根據(jù)所述識別結(jié)果和所述識別結(jié)果的優(yōu)先度，針對各臺所述攝像機計算與所述物體相關(guān)的評價值，并根據(jù)所述評價值，對各臺所述攝像機的圖像設(shè)定優(yōu)先順序。
3.如權(quán)利要求2所述的圖像監(jiān)視系統(tǒng)，其特征在于， 使用所述多臺攝像機中的各臺攝像機的攝像機設(shè)置信息，針對所述多臺攝像機，獲取與所述物體相關(guān)的攝像機配置信息，并且使用所述攝像機配置信息中的至少一個以上的攝像機配置信息來計算所述評價值。
4.如權(quán)利要求3所述的圖像監(jiān)視系統(tǒng)，其特征在于， 所述攝像機設(shè)置信息包括攝像機位置、俯角、水平角、視角、旋轉(zhuǎn)的信息，通過獲取所述多臺攝像機與所述監(jiān)視區(qū)域之間的對應(yīng)關(guān)系來進行計算。
5.如權(quán)利要求1至4中的任一項所述的圖像監(jiān)視系統(tǒng)，其特征在于， 所述識別結(jié)果是所述物體的移動方向、大小、規(guī)定區(qū)域。
6.如權(quán)利要求1至5中的任一項所述的圖像監(jiān)視系統(tǒng)，其特征在于， 使用所述多臺攝像機中的各臺攝像機的攝像機設(shè)置信息，獲取由所述物體與所述多臺攝像機之間的距離、所述物體在所述規(guī)定區(qū)域的方向以及所述移動方向構(gòu)成的攝像機配置信息，并且使用所述攝像機配置信息中的至少一個以上的攝像機配置信息來計算所述評價值。
7.如權(quán)利要求1至6中的任一項所述的圖像監(jiān)視系統(tǒng)，其特征在于， 具有顯示部分，所述顯示部分按照所述優(yōu)先順序來改變各臺所述攝像機的輸出圖像的輸出形態(tài)。
8.如權(quán)利要求7所述的圖像監(jiān)視系統(tǒng)，其特征在于， 輸出到所述顯示部分的所述輸出圖像顯示所述監(jiān)視區(qū)域和所述多臺攝像機的位置，將所述多臺攝像機中的各臺攝像機獲取的所述圖像合成為輸出圖像后進行顯示。
9.如權(quán)利要求7或者8所述的圖像監(jiān)視系統(tǒng)，其特征在于， 輸出到所述顯示部分的所述輸出圖像與作為附加信息的從所述識別結(jié)果獲取的所述移動物體和所述規(guī)定區(qū)域進行合成后輸出。
10.如權(quán)利要求7至9中的任一項所述的圖像監(jiān)視系統(tǒng)，其特征在于， 通過在輸出到所述顯示部分的所述輸出圖像中選擇作為監(jiān)視對象的所述移動物體或者所述圖像，將所述輸出圖像重新構(gòu)造成以所述監(jiān)視對象為中心的配置后進行輸出。
11.如權(quán)利要求1至10中的任一項所述的圖像監(jiān)視系統(tǒng)，其特征在于， 按照所述優(yōu)先順序，將各臺所述攝像機的輸出圖像記錄在記錄介質(zhì)上。
12.如權(quán)利要求1至11中的任一項所述的圖像監(jiān)視系統(tǒng)，其特征在于， 根據(jù)所述識別結(jié)果的精度來選擇在所述識別部分中進行處理的所述多臺攝像機或者所述各臺攝像機的監(jiān)視區(qū)域。
13.—種監(jiān)視攝像機控制裝置，其特征在于，具有識別部分和顯示選擇部分，所述識別部分從通過多臺對監(jiān)視區(qū)域內(nèi)進行攝像的攝像機獲取的圖像中檢測物體， 在由所述多臺攝像機重復(fù)進行攝像的監(jiān)視區(qū)域內(nèi)檢測到物體時，所述顯示選擇部分針對各臺攝像機，通過所述識別部分獲取作為所述物體的特征量的識別結(jié)果，并根據(jù)所述識別結(jié)果和所述識別結(jié)果的優(yōu)先度，對各臺所述攝像機的圖像設(shè)定與所述優(yōu)先度相對應(yīng)的優(yōu)先順序。
【文檔編號】H04N7/18GK104509097SQ201280073508
【公開日】2015年4月8日 申請日期:2012年5月30日 優(yōu)先權(quán)日:2012年5月30日
【發(fā)明者】伊藤誠也, 弓場龍, 李媛 申請人:株式會社日立制作所