專利名稱：圖像處理設備和方法、圖像處理系統(tǒng)和圖像處理程序的制作方法
技術領域：
本發(fā)明涉及用于跟蹤和顯示多個運動物體的圖像處理設備和方法、圖像處理系統(tǒng)
和圖像處理程序。
背景技術：
存在這樣的圖像處理系統(tǒng)，其通過使用監(jiān)視相機等跟蹤運動物體來顯示該運動 物體。JP-A-2006-121261描述了一種技術，該技術基于從GPS(全球定位系統(tǒng))獲得的運 動物體的位置信息和高度信息來計算上面安裝有相機的旋轉體(swivel)的俯仰-搖擺 (pan-tilt)角度信息，并根據旋轉體基座的角度控制相機，以免丟失使用單個相機對運動 物體的足艮蹤。而且，在"Kakushindo—tsuki kasetsugurmo sougosayoimimotozukufujusuu taishou tsuiseki，， (Computer Vision and Image Media第43巻No. SIG4 (CVM 4) ， 2006 年6月)中描述了一種跟蹤多個運動物體的技術。

發(fā)明內容
當多個運動物體被單個相機跟蹤時，可能存在一運動物體取決于該運動物體的運 動而無法再被跟蹤的情況。為了消除這種不便，多個運動物體中的每一個可以被不同的相 機所跟蹤。但是，在此情況下，要想在由各個相機生成的圖像內保持跟蹤所有運動物體之間 的位置關系是相當困難的。 作為在保持跟蹤位置關系的同時跟蹤檢測到的運動物體的技術，一般使用雷達系 統(tǒng)。但是，雷達系統(tǒng)提供較差的視覺信息并因此不適于識別運動物體。 存在另一種技術，該技術通過在跟蹤處理中單獨提取各個運動物體來跟蹤和顯示 多個運動物體。根據該技術，在兩個運動物體相互重疊的情況下，重疊的運動物體被跟蹤為 一個運動物體，并且當兩個運動物體分離時，這兩個運動物體被識別為新生成的運動物體。 因此，難以精確地跟蹤多個運動物體。 在多個運動物體被跟蹤并且所有運動物體被顯示在單個屏幕上的情況下，當運動 物體彼此之間相距很遠時，每個運動物體在屏幕上的顯示大小變得太小而無法被一一識 別。同時，當為每個運動物體提供一窗口以顯示每個運動物體時，在多個運動物體一起相互 靠近的情況下，在多于一個窗口中顯示相同的圖像。因此，變得難以有效地使用顯示屏幕。
因此，希望在對多個運動物體的跟蹤和顯示處理中能夠有效地使用顯示屏幕，同 時使用戶更容易識別出各個運動物體。 根據本發(fā)明的一個實施例，提供了一種圖像處理設備包括完整圖像顯示控制部 分，其執(zhí)行控制以在完整圖像顯示窗口中顯示預定區(qū)域的完整圖像；以及剪切圖像顯示控 制部分，其執(zhí)行控制以放大包括在完整圖像中的多個跟蹤對象并將跟蹤對象顯示在剪切圖 像顯示窗口中。所述剪切圖像顯示控制部分以如下方式執(zhí)行控制在多個跟蹤對象之間的 相對距離等于或小于預定值的情況下，包括多個跟蹤對象的一個剪切圖像被顯示在剪切圖 像顯示窗口中；并且在多個跟蹤對象之間的相對距離大于預定值的情況下，包括相應跟蹤
4對象的兩個剪切圖像被顯示在剪切圖像顯示窗口中。 根據本發(fā)明的另一實施例，提供了一種圖像處理系統(tǒng)，包括圖像發(fā)送設備，其具 有生成圖像數據的相機部分、通過對相機部分生成的圖像數據編碼而生成壓縮圖像數據的 圖像數據處理部分，以及發(fā)送由圖像數據處理部分生成的壓縮圖像數據的數據發(fā)送部分； 以及圖像處理設備，其具有接收壓縮圖像數據的數據接收部分、完整圖像顯示控制部分和 剪切圖像顯示控制部分，所述完整圖像顯示控制部分執(zhí)行控制以在完整圖像顯示窗口中顯 示從通過對在數據接收部分處接收到的壓縮圖像數據進行解碼而獲得的圖像數據生成的 預定區(qū)域的完整圖像，所述剪切圖像顯示控制部分執(zhí)行控制以放大包括在完整圖像中的多 個跟蹤對象并將跟蹤對象顯示在剪切圖像顯示窗口中。所述剪切圖像顯示控制部分以如 下方式執(zhí)行控制在多個跟蹤對象之間的相對距離等于或小于預定值的情況下，包括多個 跟蹤對象的一個剪切圖像被顯示在剪切圖像顯示窗口中；并且在多個跟蹤對象之間的相對 距離大于預定值的情況下，包括相應跟蹤對象的兩個剪切圖像被顯示在剪切圖像顯示窗口 中。 根據本發(fā)明的又一實施例，提供了一種圖像處理方法，包括以下步驟執(zhí)行控制以 在完整圖像顯示窗口中顯示預定區(qū)域的完整圖像；以及執(zhí)行控制以放大包括在所述完整圖 像中的多個跟蹤對象并將所述跟蹤對象顯示在剪切圖像顯示窗口中。在顯示跟蹤對象的步 驟中，所述控制以如下方式被執(zhí)行在多個跟蹤對象之間的相對距離等于或小于預定值的 情況下，包括多個跟蹤對象的一個剪切圖像被顯示在剪切圖像顯示窗口中；并且在多個跟 蹤對象之間的相對距離大于預定值的情況下，包括相應跟蹤對象的兩個剪切圖像被顯示在 剪切圖像顯示窗口中。 根據本發(fā)明的又一實施例，提供了一種圖像處理程序，其致使計算機執(zhí)行以下步 驟執(zhí)行控制以在完整圖像顯示窗口中顯示預定區(qū)域的完整圖像；以及執(zhí)行控制以放大包 括在所述完整圖像中的多個跟蹤對象并將跟蹤對象顯示在剪切圖像顯示窗口中。在顯示跟 蹤對象的步驟中，所述控制以如下方式被執(zhí)行在多個跟蹤對象之間的相對距離等于或小 于預定值的情況下，包括多個跟蹤對象的一個剪切圖像被顯示在剪切圖像顯示窗口中；并 且在多個跟蹤對象之間的相對距離大于預定值的情況下，包括相應跟蹤對象的兩個剪切圖 像被顯示在剪切圖像顯示窗口中。 根據本發(fā)明的實施例，用戶變得能夠獲得通過廣角成像尚未獲得的跟蹤對象的詳 細圖像，同時在完整圖像顯示窗口中保持對跟蹤對象之間的位置關系的跟蹤。根據本發(fā)明 的實施例，在各個跟蹤對象之間的相對距離等于或小于預定閾值的情況下，用戶能夠通過 在一個剪切圖像顯示窗口中顯示所有跟蹤對象來跟蹤多個跟蹤對象。根據本發(fā)明的實施 例，即使在多個跟蹤對象之間的相對距離大于預定值的情況下，通過在剪切圖像顯示窗口 中顯示包括相應跟蹤對象的兩個剪切圖像，用戶變得能夠針對多個跟蹤對象中的每一個保 持對其詳細圖像的跟蹤。 如上所述，根據本發(fā)明的實施例，即使在存在大量跟蹤對象時，用戶也變得能夠根 據顯示在完整圖像顯示窗口中的跟蹤對象之間的位置關系來精確地保持對跟蹤對象的跟蹤。


圖1是示出根據應用了本發(fā)明的實施例的圖像處理系統(tǒng)的視 圖2是示出圖像發(fā)送設備和圖像處理設備的內部配置的視圖；
圖3是示出在為圖像處理設備提供的顯示器上示出的顯示屏幕的示例的視圖；
圖4是用于描述基于運動物體檢測的運動物體跟蹤和顯示處理操作的流程圖；
圖5是示出在為圖像處理設備提供的顯示器上示出的顯示屏幕的示例的視圖；
圖6是示出多個運動物體被剪切出并顯示在為圖像處理設備提供的顯示器上示 出的顯示屏幕上的方式的視圖； 圖7是示出多個運動物體被剪切出并顯示在為圖像處理設備提供的顯示器上示 出的顯示屏幕上的方式的視圖； 圖8是示出多個運動物體被剪切出并顯示在為圖像處理設備提供的顯示器上示 出的顯示屏幕上的方式的視圖； 圖9是示出多個運動物體被剪切出并顯示在為圖像處理設備提供的顯示器上示 出的顯示屏幕上的方式的視圖； 圖10是示出符合1280X 1024像點的SXGA的顯示屏幕的視圖； 圖11是示出一顯示屏幕的示例的視圖，在該顯示屏幕上顯示有利用HD相機成像
的跟蹤對象； 圖12是示出一顯示屏幕的示例的視圖，在該顯示屏幕上顯示有利用HD相機成像 的跟蹤對象； 圖13是示出一顯示屏幕的示例的視圖，在該顯示屏幕上顯示有利用HD相機成像 的跟蹤對象； 圖14是用于描述根據經度和緯度信息的運動物體跟蹤和顯示處理操作的流程 圖； 圖15是示出圖像發(fā)送設備、參考對象和運動物體之間的位置關系的視圖； 圖16是示出由圖像發(fā)送設備所顯示的完整圖像顯示窗口的視圖； 圖17是示出多個生成的圖像中的預定數目個連續(xù)圖像被顯示在完整圖像顯示窗
口中并且正在完整圖像顯示窗口中顯示的圖像中的預定剪切范圍的圖像被顯示在剪切圖
像顯示窗口中的方式的視圖； 圖18是示出根據應用了本發(fā)明的另一實施例的圖像處理系統(tǒng)的配置的視圖；
圖19是示出圖像發(fā)送設備和圖像處理設備的內部配置的視圖；
圖20是示出全景完整圖像的視圖； 圖21是示出為圖像處理系統(tǒng)提供的圖像發(fā)送設備的內部配置的視圖； 圖22是示出在為圖像處理設備提供的顯示器上示出的顯示屏幕的示例的視圖； 圖23是示出在為圖像處理設備提供的顯示器上示出的顯示屏幕的示例的視以及 圖24是示出在為圖像處理設備提供的顯示器上示出的顯示屏幕的示例的視圖。
具體實施例方式
在下文中，將參考附圖來詳細描述本發(fā)明被應用到的具體實施例。
圖1是示出根據應用了本發(fā)明的實施例的圖像處理系統(tǒng)1的視圖。圖像處理系統(tǒng)
1包括經由網絡4(例如LAN(局域網)和因特網)彼此連接的圖像發(fā)送設備2和圖像處理
6設備3。 圖2是示出圖像發(fā)送設備2和圖像處理設備3的內部配置的視圖。圖像發(fā)送設 備2將從成像信號生成的圖像信號經由網絡4發(fā)送到圖像處理設備3。圖像處理設備3對 經由網絡4接收自圖像發(fā)送設備2的圖像信號應用預定的信號處理。然后，圖像處理設備 3使完整圖像和剪切圖像顯示在不同窗口中，其中完整圖像是成像區(qū)域的圖像，剪切圖像是 通過從完整圖像中剪切出包括作為跟蹤對象的運動物體的一區(qū)域而獲得的圖像。
圖像發(fā)送設備2包括相機部分10、圖像數據處理部分11、外部傳感器12和數據發(fā) 送部分13。相機部分10包括成像部分101和成像信號處理部分102。圖像數據處理部分 11包括編碼器(ENC) 103、運動物體和靜止物體檢測部分104和元數據生成部分105。
在相機部分10中，成像部分101具有成像鏡頭(未示出)和由CCD(電荷耦合器 件)或CMOS(互補金屬氧化物半導體)構成的成像元件(未示出)。在成像部分IOI中，成 像元件經由成像鏡頭捕獲預定區(qū)域的圖像以生成成像信號，并將成像信號提供給成像信號 處理部分102。成像信號處理部分102對從成像部分101提供的成像信號應用諸如樣本保 持、增益控制和A/D(模數)轉換之類的處理，以及諸如白平衡調整和伽瑪校正之類的處理。 成像信號處理部分102將通過上述處理生成的圖像數據提供給圖像數據處理部分11中的 編碼器103和運動物體和靜止物體檢測部分104。 編碼器103利用MPEG (運動圖片專家組)_4編碼方法對從成像信號處理部分102 提供的圖像數據應用編碼處理，并將壓縮后的圖像數據提供到數據發(fā)送部分13。
運動物體和靜止物體檢測部分104執(zhí)行從提供自成像信號處理部分102的圖像數 據中檢測運動物體和靜止物體的處理。運動物體和靜止物體檢測部分104將運動物體和靜 止物體的檢測信息提供到元數據生成部分105。 來自外部傳感器12的運動物體的檢測信息也被提供到元數據生成部分105。外部 傳感器12例如由紅外傳感器、溫度傳感器或聲音傳感器構成。外部傳感器12將用于通知 基于紅外線、溫度或聲音檢測到運動物體的信息提供到元數據生成部分105。元數據生成部 分105生成元數據并將元數據提供給數據發(fā)送部分13，元數據包括從運動物體和靜止物體 檢測部分104提供的運動物體和靜止物體的檢測信息以及來自外部傳感器12的檢測信息。
數據發(fā)送部分13將從編碼器103提供的圖像數據根據TCP/IP(傳輸控制協(xié)議/ 因特網協(xié)議)、經由網絡4發(fā)送到圖像處理設備3。數據發(fā)送部分13還將從元數據生成部 分105提供的元數據經由網絡4發(fā)送到圖像處理設備3。 圖像處理設備3包括數據接收部分111、位置信息提取部分112、完整圖像生成部
分113、剪切圖像生成部分114、完整圖像顯示部分115和剪切圖像顯示部分116。 雖然在圖中沒有示出，但是圖像處理設備3包括CPU(中央處理單元)、工作
RAM(隨機訪問存儲器)、存儲根據本發(fā)明的一個實施例的圖像處理程序、數據等的ROM(只
讀存儲器)。通過在CPU上運行圖像處理程序，圖像處理設備3執(zhí)行一系列處理。圖像處理
程序可例如被記錄在記錄介質(例如CD-ROM)中，從而其可以從外部提供。 數據接收部分111從圖像發(fā)送設備2接收圖像數據和元數據。數據接收部分111
將接收到的圖像數據提供給完整圖像生成部分113。而且，數據接收部分111將接收到的圖
像數據和元數據提供給位置信息提取部分112。 位置信息提取部分112指定一圖像幀，在該圖像幀中，根據運動物體和靜止物體
7的檢測信息的元數據，從在數據接收部分111處接收到的圖像數據中檢測出運動物體。圖 像處理設備3還包括操作部分(未示出)，其用于響應于用戶的操作從在完整圖像顯示窗口 中顯示的完整圖像中指定多個跟蹤對象。當響應于用戶操作指定跟蹤對象時，運動物體之 中被定義為跟蹤對象的運動物體被設置。通知該設置的設置信號被提供到位置信息提取部 分112。 位置信息提取部分112對在其中檢測運動物體的圖像幀應用預定的算法處理，以 提取出圖像中作為跟蹤對象的運動物體的位置信息，并將提取出的位置信息提供到剪切圖 像生成部分114。哪些運動物體被設置為跟蹤對象是例如通過用戶的設置操作來指定的。 而且，位置信息提取部分112將在數據接收部分111處接收的圖像數據提供到剪切圖像生 成部分114。 可替換地，可以按如下方式進行配置位置信息提取部分112使用GPS(全球定位 系統(tǒng))從外部取得跟蹤對象的位置信息，并執(zhí)行處理以將跟蹤對象的位置信息轉換成圖像 中的位置信息。 完整圖像生成部分113將從數據接收部分111提供的圖像數據的圖像作為完整圖 像提供給完整圖像顯示部分115。 剪切圖像生成部分114根據從位置信息提取部分112提供的跟蹤對象的位置信息 計算各個跟蹤對象之間的相對距離，并判斷相對距離是否大于預定值，即，預定閾值。相對 距離是根據完整圖像中的跟蹤對象的大小和完整圖像中的各個跟蹤對象之間的距離中的 任意一項或其兩者來計算的。剪切圖像生成部分114隨后基于該判斷指定剪切范圍，并將 該剪切范圍的信息作為視角(angle-of-view)信息提供給完整圖像生成部分113。完整圖 像生成部分113根據提供自剪切圖像生成部分114的視角信息從完整圖像中剪切出剪切范 圍的圖像，并將剪切圖像提供給剪切圖像生成部分114。 在根據由位置信息提取部分112提取出的提取信息計算的各個跟蹤對象之間的 相對距離等于或小于預定閾值的情況下，剪切圖像生成部分114根據位置信息指定一個剪 切范圍，該剪切范圍包括各個跟蹤對象之間的相對距離等于或小于預定閾值的所有跟蹤對 象。剪切圖像生成部分114隨后生成該剪切范圍的圖像，作為剪切圖像。同時，在各個跟蹤 對象之間的相對距離大于預定閾值的情況下，剪切圖像生成部分114根據位置信息指定兩 個剪切范圍，這兩個剪切范圍各自包括的跟蹤對象之間的相對距離遠大于預定閾值。剪切 圖像生成部分114隨后生成指定的剪切范圍的圖像，作為剪切圖像。 剪切圖像生成部分114響應于用戶操作或根據其自己的判斷以任意放大比率對 所生成的(一個或多個)剪切圖像進行放大。而且，剪切圖像生成部分114可以響應于用 戶操作或根據其自己的判斷以任意縮小比率對曾放大的圖像進行縮小。剪切圖像生成部分 114將所生成的(一個或多個)剪切圖像提供到剪切圖像顯示部分116。剪切圖像生成部 分114能夠響應于用戶的設置操作來任意改變剪切圖像的放大比率或縮小比率。另外，(一 個或多個)剪切范圍是根據由位置信息提取部分112提取出的跟蹤對象的位置信息來指定 的，以便完全地包括跟蹤對象。 應該注意，剪切圖像生成部分114能夠通過根據跟蹤對象的位置信息在各個跟蹤 對象之間重復執(zhí)行算法處理來生成三個或更多剪切圖像。 圖像處理設備3包括顯示器，例如LCD (液晶顯示器)。提供給圖像處理設備3的顯示器例如顯示如圖3所示的顯示屏幕21 。在顯示屏幕21上，預定區(qū)域的完整圖像被顯示 在完整圖像顯示窗口 22中。而且，在顯示屏幕21上，從被顯示在完整圖像顯示窗口 22中 的完整圖像中剪切出的(一個或多個)剪切圖像被顯示在剪切圖像顯示窗口 24中。完整 圖像顯示部分115將從完整圖像生成部分113提供的完整圖像顯示在完整圖像顯示窗口22 中。剪切圖像顯示部分116將從剪切圖像生成部分114提供的(一個或多個)剪切圖像顯 示在剪切圖像顯示窗口 24中。 以這種方式，圖像處理設備3包括完整圖像生成部分113和完整圖像顯示部分 115，并執(zhí)行控制以在完整圖像顯示窗口中顯示預定區(qū)域的完整圖像。而且，圖像處理設備 3包括剪切圖像生成部分114和剪切圖像顯示部分116，并執(zhí)行控制以對包括在完整圖像中 的多個跟蹤對象進行放大并將跟蹤對象顯示在剪切圖像顯示窗口中。 應該意識到，從圖像發(fā)送設備2發(fā)送的圖像數據的圖像可以是運動圖像或靜止圖 像。 在圖像是運動圖像的情況下，圖像可以在完整圖像顯示窗口和剪切圖像顯示窗口 中被實時地顯示。 在圖像是靜止圖像的情況下，在剪切圖像顯示窗口中顯示的剪切圖像是與顯示在 完整圖像顯示窗口中的完整圖像同時發(fā)生的圖像。可替換地，可以按如下方式進行配置顯 示在剪切圖像顯示窗口中的剪切圖像可以按任意的設置時間間隔被更新。在此情況下，剪 切圖像顯示部分116響應于用戶的設置操作或根據其自己的判斷每隔任意時間對將顯示 在剪切圖像顯示窗口中的圖像進行更新。 現在將描述圖像處理系統(tǒng)1的運動物體跟蹤和顯示處理的操作示例。圖4是用于 描述基于運動物體檢測的運動物體跟蹤和顯示處理操作的流程圖。 在步驟S1中，位置信息提取部分112通過運動物體檢測處理來開始位置信息提取 處理。 在步驟S2中，位置信息提取部分112根據從元數據生成部分105提供的運動物體 檢測信息的元數據從提供自數據接收部分111的圖像幀中提取出該包括運動物體的圖像 幀中作為跟蹤對象的運動物體的位置信息。 例如，如圖5所示，運動物體和靜止物體檢測部分104在對應于顯示屏幕21的成 像區(qū)域中檢測到運動物體31到33。在此情況下，元數據生成部分105生成用于通知檢測到 運動物體31到33的信息的元數據。位置信息提取部分112使用從數據接收部分111提供 的圖像數據來指定包括運動物體31到33的圖像幀。這里，假設響應于用戶的設置操作，運 動物體31到33都被設置為跟蹤對象。通過該設置的設置信號被提供到位置信息提取部分 112。 在步驟S3中，位置信息提取部分112計算在所指定的圖像幀中與包圍一跟蹤對象 的圖像區(qū)域的左上端相對應的坐標(左上端點)以及與右下端相對應的坐標(右下端點)。 這里，坐標被表示為(x， y)。 在步驟S4中，位置信息提取部分112在過去獲得的并被存儲在設置在圖像處理設 備3中的緩沖器(未示出)中的多個連續(xù)的圖像幀中，對包括一運動物體的圖像的圖像區(qū) 域的左上端點和右下端點的坐標(x， y)執(zhí)行計算處理。這里，左上端點和右下端點可以被 設置為使得完全地包括圖像區(qū)域中的運動物體。位置信息提取部分112隨后使用計算出的過去的圖像幀中的左上端點和右下端點的坐標(x， y)來計算該圖像幀中的各個運動物體
的運動速度。 在步驟S5中，位置信息提取部分112基于在步驟S4中計算出的各個運動物體的 運動速度來計算在從數據接收部分111提供的隨后的圖像幀中包圍每個跟蹤對象的圖像 區(qū)域的左上端點和右下端點的坐標(x，y)的預測值。包圍每個跟蹤對象的圖像區(qū)域因此被指定。 例如，參考圖5，位置信息提取部分112使用顯示屏幕21作為坐標平面來計算包圍 運動物體31的圖像區(qū)域41的左上端點AjXn， Yu)和右下端點B鳥，Y12)。而且，位置信 息提取部分112計算在顯示屏幕21中包圍運動物體32的圖像區(qū)域42的左上端點A2(X21， Y21)和右下端點B2(X22，Y22)以及包圍運動物體33的圖像區(qū)域43的左上端點A3(X31，Y31)和 右下端點B3(X32， Y32)。位置信息提取部分112隨后將計算出的坐標作為運動物體的位置信 息提供給剪切圖像生成部分114。對于圖5所示示例，指定圖像區(qū)域的圖像幀被設置為使得 在坐標屏幕的縱向方向上和橫向方向上與運動物體相接觸。 在步驟S6中，剪切圖像生成部分114使用由位置信息提取部分112計算出的坐 標來計算各個跟蹤對象之間在橫向方向和縱向方向上的相對距離。這里，令顯示屏幕作為 x-y坐標平面，則剪切圖像生成部分114根據指定運動物體的圖像區(qū)域在特定位置上的端 點(左上端點)之間的縱向方向上和橫向方向上的距離以及各個運動物體的大小來計算作 為跟蹤對象的各個運動物體之間的相對距離。應該意識到，各個運動物體之間的相對距離 的計算方法不局限于上述方法并且各種其他方法也是可用的。例如，剪切圖像生成部分114 計算從出現在x-y坐標平面的左側的圖像區(qū)域的左上端點的x坐標到出現在右側的圖像區(qū) 域的右下端點的x坐標之間的距離，作為橫向方向上的相對距離。同樣，剪切圖像生成部分 114計算從出現在x-y坐標平面的上側的圖像區(qū)域的左上端點的y坐標到出現在下側的圖 像區(qū)域的右下端點的y坐標之間的距離，作為縱向方向上的相對距離。
在圖5的示例中，運動物體31和運動物體33之間的相對距離可以被表示為X31和 X12之間的距離，作為在橫向方向上的相對距離，并且被表示為Yn和Y32之間的距離，作為在 縱向方向上的相對距離。應該意識到，相對距離不局限于以上述方式計算出的那些距離。例 如，可以按如下方式進行配置各個運動物體的中心點被指定，并且相對距離由在橫向方向 上中心點之間的距離和在縱向方向上中心點之間的距離來表示。 在步驟S7中，剪切圖像生成部分114判斷在步驟S6中計算出的各個運動物體 之間的在橫向方向和縱向方向中的至少一個方向上的相對距離是否大于預定閾值(預定 值)。更具體而言，剪切圖像生成部分114將各個跟蹤對象之間在橫向方向上的相對距離 與預定閾值像比較，并將各個跟蹤對象之間在縱向方向上的相對距離與預定閾值像比較。 剪切圖像生成部分114隨后判斷是否在橫向方向和縱向方向中的至少一個方向上的相對 距離大于預定閾值。這里，預定閾值例如可以是在坐標平面上包圍各個跟蹤對象的圖像區(qū) 域在橫向方向上的距離的和，或者是包圍各個跟蹤對象的圖像區(qū)域在縱向方向上的距離的 和。在此情況下，剪切圖像生成部分114將各個跟蹤對象之間在橫向方向上的相對距離與 包圍各個跟蹤對象的圖像區(qū)域在橫向方向上的距離的和相比較，并且還將各個跟蹤對象之 間在縱向方向上的相對距離與包圍各個跟蹤對象的圖像區(qū)域在縱向方向上的距離的和相 比較。剪切圖像生成部分114隨后判斷是否在橫向方向和縱向方向中的至少一個方向上的
10相對距離大于相應的和。 在剪切圖像生成部分114在步驟S7中確定各個跟蹤對象之間在橫向方向和縱向方向中的至少一個方向上的相對距離大于預定閾值的情況下，流程前進至步驟S8。在步驟S8中，剪切圖像生成部分114指定各個跟蹤對象的剪切范圍，并將剪切范圍的信息作為視角信息提供給完整圖像生成部分113。完整圖像生成部分113隨后根據從剪切圖像生成部分114提供的視角信息將從完整圖像中剪切出的剪切范圍的圖像提供到剪切圖像生成部分114。剪切圖像生成部分114通過對從完整圖像生成部分113提供的剪切范圍的圖像應用預定處理來生成將被顯示在剪切圖像顯示部分116上的剪切圖像。這里，剪切圖像例如響應于用戶的設置操作而被以任意放大比率放大。剪切圖像生成部分114隨后將所生成的剪切圖像提供到剪切圖像顯示部分116。剪切圖像顯示部分116將從剪切圖像生成部分114提供的剪切圖像顯示在不同的剪切圖像顯示窗口中。 在剪切圖像生成部分114在步驟S7中確定多個運動物體之間的距離至少在橫向方向和縱向方向中的一個方向上等于或小于預定閾值的情況下，流程前進至步驟S9。在步驟S9中，剪切圖像生成部分114生成一剪切圖像并將該生成的剪切圖像提供給剪切圖像顯示部分116，所述剪切圖像包括來自完整圖像的多個運動物體中的所有運動物體。在步驟S9中，剪切圖像生成部分114指定一剪切范圍并將該剪切范圍的信息作為視角信息提供給完整圖像生成部分113，所述剪切范圍包括多個運動物體。完整圖像生成部分113根據提供自剪切圖像生成部分114的視角信息將從完整圖像中剪切出的剪切范圍的圖像提供給剪切圖像生成部分114。剪切圖像生成部分114通過對從完整圖像生成部分113提供的剪切范圍的圖像應用預定信號處理來生成將被顯示在剪切圖像顯示部分116上的剪切圖像。這里，剪切圖像例如響應于用戶的設置操作而被以任意放大比率放大。剪切圖像顯示部分116將從剪切圖像生成部分114提供的剪切圖像顯示在一個剪切圖像顯示窗口中。
剪切圖像生成部分114能夠將在中心位置上的視角設置在最接近完整圖像的左端的位置上的運動物體的視角和最接近完整圖像的右端的位置上的運動物體的視角之間，作為剪切圖像的中心位置。在此情況下，例如，假定由aXb(a和b是任意自然數)個像點構成的圖像范圍是剪切范圍，則在右端的運動物體的中心位置P2(Xp2， Yp2)和在左端的運動物體的中心位置Pl (Xpl， Ypl)之間的距離不得不短于(a， b)。 但是，應該意識到，剪切范圍的中心點不一定是剪切范圍中的P1和P2的中心。為了使得運動物體在剪切圖像中的運動更平滑，優(yōu)選的是測量移動量和運動方向(例如每隔IO幀)，并且逐步確定在接下來的IO幀之前的移動量(例如，在剪切范圍已經被移動了 15個像點或更多的情況下，剪切范圍在每幀中移動20個像點，否則在每幀中移動7個像點)，而不是計算每一幀中剪切范圍的中心位置并移動剪切范圍。 因此，包括P1和P2的剪切圖像的圖像區(qū)域在由aXb個像點構成的視圖的顯示角度方面以步進速度移動。 而且，剪切圖像的圖像區(qū)域的中心部分的運動方向是取決于多個運動物體是在正方向上還是負方向上運動來確定的。在多個運動物體在同一方向(正方向)上運動的情況下，中心位置在同一方向上運動。在多個運動物體在不同方向(負方向)上運動的情況下，中心位置在移動量的絕地值最大的方向上運動。 在圖像處理系統(tǒng)1中，在多個運動物體沒有在同一方向上運動并且各個運動物體最終走出視圖的顯示角度的情況下，新的顯示區(qū)域被增大，如上所述。在此情況下，進一步 準備大小為cXd(c和d是任意自然數)的新的顯示區(qū)域。 例如，在針對包括P1和P2的剪切圖像的大小為aXb個像點的顯示區(qū)域從左向右 移動的情況下，P1和P2之間的距離在P2開始向右移動時超過(a，b)。在此情況下，跟蹤顯 示的中心位置被設置在P1，并且使用P2作為跟蹤顯示的中心位置的大小為cXd個像點的 顯示區(qū)域被新準備。因此，Pl保持顯示在大小為aXb個像點的顯示區(qū)域中，而P2在大小 為cXd個像點的顯示區(qū)域中被跟蹤和顯示。 根據圖像處理系統(tǒng)l，如上所述，即使在運動物體已經移動并且不再在預定圖像區(qū) 域中被跟蹤和顯示時，也可以通過新提供一顯示區(qū)域來連續(xù)跟蹤和顯示該運動物體。
而且，根據圖像處理系統(tǒng)l，運動物體在顯示圖像區(qū)域中的顯示位置是通過針對每 個圖像幀設置將被顯示的圖像區(qū)域的視角的左端和右端來設置的。在這種實例中，針對多 個運動物體，可以基于相鄰運動物體之間像素數目的差異來確定運動物體從左側或右側起 的順序。根據圖像處理系統(tǒng)l，例如，包括在大小為aXb個像點的顯示區(qū)域中的運動物體是 從右側起顯示的，并且沒有在該顯示區(qū)域中的運動物體在大小為cXd個像點的新準備的 顯示區(qū)域中被顯示，并且跟蹤中心的位置針對視圖的每個顯示角度被計算。
現在將描述跟蹤和顯示多個運動物體的示例。在上述圖3中，被顯示在顯示屏幕 21上的完整圖像顯示窗口 22中并被跟蹤的、作為跟蹤對象的運動物體3h、32工和33工在由 箭頭L所指示的同一方向上以基本相同的速度行進。通過重復執(zhí)行上述算法處理，剪切圖 像生成部分114確定各個運動物體31p32^P33工之間的相對距離等于或小于預定閾值。剪 切圖像生成部分114隨后指定剪切范圍2315以將運動物體3h、32工和33工顯示在一個剪切 圖像中。隨后，剪切圖像生成部分114生成該指定剪切范圍23工的剪切圖像，并將生成的剪 切圖像提供給剪切圖像顯示部分116。剪切圖像顯示部分116因此將該剪切圖像顯示在剪 切圖像顯示窗口 24中。在作為跟蹤對象的各個運動物體3"、32工和33工之間的相對距離等 于或小于預定閾值的情況下，用戶能夠將運動物體3h、32i和識別為一組運動物體。
可替換地，多個運動物體可以被剪切出并顯示，例如，如圖6至圖9所示。例如，如 圖6所示的將被顯示在顯示屏幕21上的完整圖像顯示窗口 22中并被跟蹤的、作為跟蹤對 象的運動物體312、322和332在由箭頭1\所指示的同一方向上行進。這里，運動物體312和 運動物體322的行進速度基本相同。因此，剪切圖像生成部分114以左上端點A4(X41， Y41) 和右下端點B4(X42，Y42)來指定包圍運動物體312的圖像區(qū)域。而且，運動物體322由左上端 點A5(X51， Y51)和右下端點B5(X52， Y52)來指定，運動物體332由左上端點A6(X61， Y61)和右下 端點B6(X62， Y62)來指定。剪切圖像生成部分114確定運動物體312和運動物體322之間的 相對距離等于或小于預定閾值。為了將運動物體312和運動物體322顯示在一個剪切圖形 中，剪切圖像生成部分114設置由左上端點W Y101)和右下端點Qi(X膨Y102)所指定的 剪切范圍232。剪切圖像生成部分114隨后生成所設置的剪切范圍232的剪切圖像，并將所 生成的剪切圖像提供給剪切圖像顯示部分116。剪切圖像顯示部分116因此將該剪切范圍 232的剪切圖像顯示在剪切圖像顯示窗口 242中。這里，運動物體312和運動物體322的行 進速度和運動物體332的行進速度是不同的。剪切圖像生成部分114確定，運動物體312和 運動物體322中的至少一個和運動物體332之間的相對距離大于閾值。剪切圖像生成部分 114隨后設置由左上端點P2(X2Q1， Y2Q1)和右下端點Q2(X2。2， Y2。2)所指定的剪切范圍233。
隨后，剪切圖像生成部分114生成包括運動物體332的剪切范圍233的剪切圖像， 并將所生成的剪切圖像提供給剪切圖像顯示部分116。剪切圖像顯示部分116將該剪切范 圍233的剪切圖像顯示在剪切圖像顯示窗口 中。 圖7至圖9示出如下情況的示例在由箭頭1\所指示的同一方向上行進的運動物 體312和運動物體322和在與運動物體312和運動物體322的行進方向相反的方向上(由箭 頭L所指示的方向)行進的運動物體332被顯示在顯示屏幕21上的完整圖像顯示窗口 22 中。 在圖7所示示例中，剪切圖像生成部分114確定運動物體312和運動物體322之間 的相對距離等于或小于預定閾值，并設置由左上端點PJX皿，Y1Q1)和右下端點QJX皿，Y1Q2) 所指定的剪切范圍232，以便將運動物體312和運動物體322顯示在一個剪切圖像中。剪切 圖像生成部分114隨后生成所設置的剪切范圍232的剪切圖像，并將所生成的剪切圖像提 供給剪切圖像顯示部分116。剪切圖像顯示部分116因此將剪切范圍232的剪切圖像顯示在 剪切圖像顯示窗口 242中。而且，剪切圖像生成部分114確定運動物體312和運動物體322 中的至少一個和運動物體332之間的相對距離大于預定閾值。剪切圖像生成部分114隨后 設置由左上端點P2(X2Q1， Y2Q1)和右下端點Q2(X2。2， Y2。2)所指定的剪切范圍233，以便將包括 運動物體332的剪切圖像顯示在不同于剪切圖像顯示窗口 242的剪切圖像顯示窗口中。剪 切圖像生成部分114隨后生成所指定的剪切范圍233的剪切圖像，并將所生成的剪切圖像 提供給剪切圖像顯示部分116。剪切圖像顯示部分116因此將剪切范圍233的剪切圖像顯 示在剪切圖像顯示窗口 中。 而且，如圖8所示，當在由箭頭1\所指示的方向上行進的運動物體312和運動物體 322與在由箭頭T2所指示的方向上行進的運動物體332彼此靠近時，剪切圖像生成部分114 確定運動物體312和運動物體322中的至少一個和運動物體332之間的相對距離等于或小 于預定閾值。剪切圖像顯示部分116隨后將運動物體312、運動物體322和運動物體332顯 示在具有放大顯示區(qū)域的剪切圖像顯示窗口 243中。 假設在由箭頭1\所指示的方向上行進的運動物體312和運動物體322與在由箭頭 T2所指示的方向上行進的運動物體332如圖8所示的那樣彼此靠近，并且隨后如圖9所示 的那樣移動分開。在該實例中，剪切圖像生成部分114確定運動物體312和運動物體322中 的至少一個和運動物體332之間的相對距離大于預定閾值。因此，剪切圖像顯示部分116將 運動物體312和運動物體322顯示在剪切圖像顯示窗口 中，并且還將運動物體332顯示 在剪切圖像顯示窗口 242中。 現在將描述圖像處理系統(tǒng)1的運動物體跟蹤顯示的示例。圖IO示出符合 1280 X 1024像點的SXGA的顯示屏幕51 。顯示屏幕51具有作為完整圖像顯示窗口的完整 圖像顯示區(qū)域501、相機控制面板502、第一詳細圖像顯示區(qū)域503、第二詳細圖像顯示區(qū)域 504和作為剪切圖像顯示窗口的最大顯示區(qū)域505。顯示屏幕51還具有用于所顯示的每個 圖像的操作按鈕506和在其上顯示文件名和時間代碼的顯示部分507，其中操作按鈕506包 括REW (回倒)按鈕、REC (記錄)按鈕、PLAY (播放)按鈕、STOP (停止)按鈕和FF (快進) 按鈕。 完整圖像顯示區(qū)域501是由640X360個像點構成的顯示區(qū)域，并且它是顯示跟 蹤對象的區(qū)域。第一詳細圖像顯示區(qū)域503和第二詳細圖像顯示區(qū)域504兩者都是由
13600X450個像點構成的區(qū)域。最大顯示區(qū)域505是由1250X480個像點構成的區(qū)域。 在多個跟蹤對象被顯示在完整圖像顯示區(qū)域501中的情況下，被確定為各個跟蹤
對象之間的相對距離大于預定閾值的多個跟蹤對象被分割，從而使得多個跟蹤對象被放大
并顯示在第一詳細圖像顯示區(qū)域503和第二詳細圖像顯示區(qū)域504中。 而且，在多個跟蹤對象被顯示在完整圖像顯示區(qū)域501中的情況下，被確定為各
個跟蹤對象之間的相對距離等于或小于預定閾值的多個跟蹤對象被顯示在最大顯示區(qū)域
505中。 相機控制面板502具有用于控制相機部分10的操作按鈕，例如，用于縮放、聚焦、 光圈(鏡頭光圈)、快門、增益、亮度(照度)、白平衡、鏡頭俯仰和搖擺控制的按鈕。
圖11至圖13是示出一顯示屏幕的多個示例，該顯示屏幕顯示運動物體34、35和 36，運動物體34、35和36出現在相機部分10的位置之前約3km處并且被由HD相機所構成 的相機部分10所捕獲，該HD相機具有1920X1080個像點的輸出像素并且視角被設置為10 度。 圖11是示出顯示屏幕51的視圖，顯示屏幕51在完整圖像顯示區(qū)域501中顯示水 平寬度為520米的一區(qū)域，該區(qū)域包括作為跟蹤對象的運動物體34至36，運動物體34至 36分別具有水平寬度50米、10米和30米。在圖11所示示例中，給定水平寬度340米作為 預定閾值。運動物體34至36被完全包括在具有水平寬度340米的圖像區(qū)域中。更具體而 言，在完整圖像顯示區(qū)域501中，指定在最左端位置上的運動物體36的左上端點P6的x坐 標X6Q1和指定在最右端位置上的運動物體34的右下端點Q4的x坐標X4。2之間的距離表示 距離340米或更短。 剪切圖像生成部分114生成具有相同像素大小的剪切圖像(詳細圖像)并將該剪 切圖像提供到剪切圖像顯示部分116，該剪切圖像是從完整圖像顯示區(qū)域501剪切出的一 水平寬度為340米的圖像區(qū)域，以完全包括運動物體34至36。剪切圖像顯示部分116因此 將從剪切圖像生成部分114提供的剪切圖像顯示在最大顯示區(qū)域505中。
存在如下情況在完整圖像顯示區(qū)域501中，沒有運動物體被完全包括在水平寬 度為340米的圖像區(qū)域中。在圖12所示示例中，在從完整圖像顯示區(qū)域501進行剪切時， 運動物體34至36都沒有被完全包括在水平寬度為340米的圖像區(qū)域中。更具體而言，在 完整圖像顯示區(qū)域501中，指定在最左端位置上的運動物體36的左上端點P6的x坐標X肌 和指定在最右端位置上的運動物體34的右下端點Q4的x坐標X4。2之間的距離表示超出340 米的距離。 剪切圖像生成部分114從完整圖像顯示區(qū)域501中指定包括運動物體36的剪切 范圍，并生成針對將被顯示在第一詳細圖像顯示區(qū)域503中的運動物體36的剪切圖像。而 且，剪切圖像生成部分114指定包括運動物體34和35的剪切范圍并生成針對將被顯示在 第二詳細圖像顯示區(qū)域504中的運動物體34和35的剪切圖像。剪切圖像顯示部分116隨 后將包括運動物體36的剪切圖像顯示在第一詳細圖像顯示區(qū)域503中，并且還將包括運動 物體34和35的剪切圖像顯示在第二詳細圖像顯示區(qū)域504中。 而且，在圖13所示示例中，所有運動物體34至36都被完全包括在水平寬度為520 米的區(qū)域內。這里，用戶能夠在顯示詳細圖像時設置由HD相機構成的相機部分10的成像 模式中的數字x2縮放。這里，在完整圖像顯示區(qū)域501中的X6Q1和X4。2之間的距離超過水平寬度260米的情況下，剪切圖像顯示部分116將運動物體36顯示在第一詳細圖像顯示區(qū)
域503中，并且還將運動物體34和35顯示在第二詳細圖像顯示區(qū)域504中。 圖14是用于描述由圖像處理系統(tǒng)1執(zhí)行的根據經度和緯度信息的運動物體跟蹤
和顯示處理操作的流程圖。該根據經度和緯度信息的運動物體跟蹤和顯示處理適合于所捕
獲的圖像是靜止圖像的情況。 在步驟Sll中，位置信息提取部分112開始根據經度和緯度信息的運動物體跟蹤 和顯示處理。 在步驟S12中，位置信息提取部分112根據在從數據接收部分111提供的圖像幀 中的經度和緯度來計算圖像發(fā)送設備2和參考對象X的位置，例如，如圖15所示。圖像發(fā) 送設備2的安裝位置由圖像發(fā)送設備2的中心位置R。(Lon0，Lat0)表示。參考對象X的中 心位置Rx由Rx(LonX， LatX)表示。而且，在步驟S12中，位置信息提取部分112以如下方 式、使用P[dg]和Q[deg]來計算方位角C(P，Q):圖像發(fā)送設備2將視線的原點放在參考對 象X的中心位置Rx(LonX， LatX)。 在步驟S13中，如圖16所示，位置信息提取部分112將像素值和原點C。設置為初 始值，以使得在圖像處理設備3所顯示的完整圖像顯示窗口 61中，落在視圖的水平和垂直 角度的中心。原點C0(0，0)是根據C(P， Q) = C(m/2， n/2)來計算的。 在步驟S14中，位置信息提取部分112計算在圖像發(fā)送設備2到參考對象X的中 心位置Rx的視線和從圖像發(fā)送設備2到運動物體31D的中心位置&的方向之間產生的角 度(9 ，小)。位置信息提取部分112使用圖像發(fā)送設備2的中心位置R。(LonO， Lat0)和運 動物體31D的中心位置& (Lonl，Latl)來計算從圖像發(fā)送設備2到運動物體31D的中心位 置&之間的距離。 在步驟S15中，位置信息提取部分112基于在步驟S14中計算出的圖像發(fā)送設備2 的視線和從圖像發(fā)送設備2到運動物體31D的中心位置RJ勺方向之間產生的角度(e ，小)
和從圖像發(fā)送設備2到運動物體31D的中心位置&之間的距離，來指定包括運動物體31D 的圖像的圖像區(qū)域41D。由位置信息提取部分112所指定的圖像區(qū)域41D并不局限于如圖 15所示那樣的使得該區(qū)域幀與運動物體31D相接觸的情況?？梢园慈缦路绞絹砼渲梦恢?信息提取部分112將圖像范圍41D指定為一小區(qū)域，以使得在例如從圖像發(fā)送設備2到運 動物體31D的距離長的情況下運動物體31D將被顯示得大?？商鎿Q地，可以按如下方式來 配置位置信息提取部分112將圖像區(qū)域41D指定為一大區(qū)域，以使得在例如從圖像發(fā)送設 備2到運動物體31D的距離短的情況下運動物體31D將被顯示得小。 在步驟S16中，位置信息提取部分112執(zhí)行處理以將角坐標轉換為像素坐標，以便
將在步驟S15中計算出的圖像區(qū)域41D的圖像顯示在剪切圖像顯示窗口中。 在步驟S17中，位置信息提取部分112以與步驟S12到步驟S16中相同的方式對
多個運動物體應用計算處理，并指定作為跟蹤對象的運動物體的圖像區(qū)域。 在步驟S18中，位置信息提取部分112在過去獲得的并被存儲在設置在圖像處理
設備3中的緩沖器(未示出)中的多個連續(xù)的圖像幀中，執(zhí)行包括運動物體的圖像的圖像
區(qū)域中的左上端點和右下端點的坐標(x， y)的計算處理。位置信息提取部分112隨后使
用計算出的過去的圖像幀中的左上端點和右下端點的坐標(x， y)來計算圖像幀中的各個
運動物體的運動速度。隨后，位置信息提取部分112計算在從數據接收部分111提供的下
15一圖像幀中、包括運動物體的圖像區(qū)域的左上端點和右下端點的坐標(x， y)的預測值。因
此，位置信息提取部分112指定包括多個預期的運動物體的圖像區(qū)域的左上端點和右下端 點的坐標(x，y)。 在步驟S19中，剪切圖像生成部分114基于由位置信息提取部分112所指定的坐 標值來計算多個運動物體中的各個運動物體之間在縱向方向和橫向方向上的相對距離。
在步驟S20中，剪切圖像生成部分14判斷在步驟S19中計算出的各個運動物體之 間在縱向方向和橫向方向中的至少一個方向上的相對距離是否大于預定閾值。在剪切圖像 生成部分114在步驟S20中確定在縱向方向和橫向方向中的至少一個方向上的相對距離大 于預定閾值的情況下，流程前進至步驟S21。在步驟S21中，剪切圖像生成部分114指定剪 切范圍，以在不同的剪切圖像顯示窗口中顯示各個運動物體。剪切圖像生成部分114隨后 生成指定的剪切范圍的剪切圖像并將生成的剪切圖像提供給剪切圖像顯示部分116。剪切 圖像顯示部分116因此將所指定的剪切范圍的剪切圖像顯示在不同的剪切圖像顯示窗口 中。而且，在剪切圖像生成部分114在步驟S20中確定在縱向方向和橫向方向中的至少一 個方向上的相對距離等于或小于預定閾值的情況下，流程前進至步驟S22。在步驟S22中， 剪切圖像顯示部分116根據從剪切圖像生成部分114提供的剪切范圍的信息，將包括多個 運動物體的剪切圖像顯示在一個剪切圖像顯示窗口中。 根據執(zhí)行上述處理的圖像處理系統(tǒng)1 ，通過在完整圖像顯示窗口和( 一個或多個) 剪切圖像顯示窗口中顯示多個跟蹤對象，可以獲得通過廣角成像尚未獲得的跟蹤對象的詳 細圖像，同時保持對跟蹤對象之間的位置關系的跟蹤。 而且，根據圖像處理系統(tǒng)1，即使在多個跟蹤對象未被顯示在一個剪切圖像顯示窗 口中的情況下，也可以通過指定各個跟蹤對象的剪切范圍而在多個剪切圖像顯示窗口中顯 示多個跟蹤對象。 而且，根據圖像處理系統(tǒng)l，在多個跟蹤對象之間的相對距離等于或小于預定閾值
的情況下，可以通過將所有跟蹤對象顯示在一個剪切圖像顯示窗口中而將多個跟蹤對象作
為一個群組進行跟蹤。因此，即使當存在大量跟蹤對象時，也可以根據被顯示在完整圖像顯
示窗口中的跟蹤對象之間的位置關系來精確地保持對跟蹤對象的跟蹤。 而且，根據圖像處理系統(tǒng)l，例如，即使在多個跟蹤對象彼此交叉并且難以對隱藏
在一運動物體后面的另一給定的運動物體進行成像的情況下，也可以根據運動物體在過去
的圖像幀中的位置來剪切和顯示該隱藏的跟蹤對象。 現在將描述根據本發(fā)明被應用到的另一實施例的圖像處理系統(tǒng)。在根據本發(fā)明的 另一實施例的圖像處理系統(tǒng)中，單個圖像發(fā)送設備上安裝有旋轉基座，該圖像發(fā)送設備利 用一個屏幕、通過接合(join)通過在橫向方向上和縱向方向上進行旋轉而獲得的多個圖 像來生成全景完整圖像?？商鎿Q地，該實施例通過使用多個圖像發(fā)送設備成像連續(xù)的區(qū)域 并接合所生成的圖像來生成全景完整圖像。 在根據本發(fā)明的另一實施例的圖像處理系統(tǒng)中，例如，如圖17所示，在多個所生 成圖像(圖像701p7012、7013、. 、701n—p701n、. 、70r^、70n2、70n3、 、70nn—!和70nn)之 中，預定數目個連續(xù)圖像(例如，圖像701p70l2、70l3、70l4、70l5和7016)被顯示在完整圖像 顯示窗口 702中。而且，在被顯示在完整圖像顯示窗口 702中的圖像中的預定剪切范圍的 圖像被顯示在剪切圖像顯示窗口 703中。
在根據本發(fā)明的另一實施例的圖像處理系統(tǒng)中，如上所述，跟蹤對象在全景完整 圖像中被跟蹤和顯示。利用根據本發(fā)明的另一實施例的圖像處理系統(tǒng)，可以跟蹤和顯示從 利用單個相機部分所捕獲的圖像中消失的運動物體。 圖18是示出根據本發(fā)明被應用到的另一實施例的圖像處理系統(tǒng)200的配置的視 圖。在圖像處理系統(tǒng)200中，與圖像處理系統(tǒng)1相同的組件被標注為相同的標號，并且這里 省略對這些相同組件的詳細描述。如圖18所示，圖像處理系統(tǒng)200包括經由網絡4彼此連 接的圖像發(fā)送設備2A和圖像處理設備3A。 圖19是示出圖像發(fā)送設備2A和圖像處理設備3A的內部配置的視圖。如圖19所 示，除了圖像發(fā)送設備2的配置之外，圖像發(fā)送設備2A還包括旋轉基座15和控制旋轉基座 15的控制部分14。 旋轉基座15上安裝有相機部分IO，并且在控制部分14的控制下在橫向方向和縱 向方向上逐屏旋轉。控制部分14向數據發(fā)送部分13提供旋轉基座15的位置信息。相機 部分10根據由控制部分14控制的旋轉基座15的旋轉操作來逐屏捕獲連續(xù)圖像。在此情 況下，控制部分14根據角度信息、與旋轉基座15的運動相關聯(lián)地控制相機部分10的每個 脈沖的運動距離。 基于相機部分10的旋轉視角的脈沖值和旋轉基座15的運動距離是以如下方式設 置的相機部分10的旋轉視角度的中心落在原點(O，O)。 成像信號處理部分102將圖像的中心位置被捕獲時旋轉基座15的位置信息附加 到由成像部分101所捕獲的圖像的圖像數據。成像信號處理部分102向編碼器103和運動 物體和靜止物體檢測部分104提供已附加了旋轉基座15的位置信息的圖像數據。圖像發(fā) 送設備2A隨后將已附加了旋轉基座15的位置信息的圖像數據發(fā)送到圖像處理設備3A。
雖然圖中未示出，但是圖像處理設備3A包括CPU、工作RAM和存儲了根據本發(fā)明一 實施例的圖像處理程序、數據等的ROM。通過在CPU上運行圖像處理程序，圖像處理設備3A 執(zhí)行一系列處理。 圖像處理設備3A的全景圖像生成部分113A對經由數據接收部分111接收自圖像 發(fā)送設備2A的圖像數據執(zhí)行解碼處理，并使用解碼后的圖像數據來生成全景完整圖像。隨 后，全景圖像生成部分113A將所生成的全景完整圖像提供給全景圖像顯示部分115A和剪 切圖像生成部分114A。全景圖像生成部分113A執(zhí)行接合接收自圖像發(fā)送設備2A的圖像 數據的處理，并通過隨后減少經接合的圖像來生成全景完整圖像?？商鎿Q地，可以按如下 方式配置全景圖像生成部分113A首先執(zhí)行減少接收自圖像發(fā)送設備2A的多個圖像數據 項的處理，然后通過接合多個減少后的圖像數據項來生成全景完整圖像。全景圖像生成部 分113A隨后將所生成的全景完整圖像提供給剪切圖像生成部分114A和全景圖像顯示部分 115A。 位置信息提取部分112通過基于從數據接收部分111提供的圖像數據和作為運動 物體和靜止物體的檢測信息的元數據執(zhí)行預定的算法處理，來提取出圖像中的運動物體的 位置信息?？梢园慈缦路绞脚渲梦恢眯畔⑻崛〔糠?12取入來自外部的運動物體的位置 信息(例如GPS)，并將運動物體的位置信息轉換成圖像中的位置信息。
位置信息提取部分112能夠例如從其經度和緯度已經通過GPS被指定的兩個點、 根據如下算術表達式(1)所表示的Hubeny距離公式來計算兩點之間的距離
D = sqrt ((M*dP) * (M*dP) + (N*cos (P) *dR) * (N*cos (P) *dR)). . . (1) 其中D是兩個點之間的距離(米)，P是兩個點的平均緯度(弧度)，dP是兩個
點之間的諱度差，dR是兩個點之間的經度差，M是子午圈曲率半徑(meridian radius of
curvature) ， N是卯酉圈曲率半徑(primevertical radius of curvature)。 而且，由GPS指定的兩點之間的距離的計算方法可以參考"TotalInverse
Solution for the Geodesic and Great Elliptic", B. R. Bowring， SurveyReview，33，
261(1996年7月)，461-476。 剪切圖像生成部分114A指定包括作為跟蹤對象的運動物體的剪切范圍，并生成 剪切范圍的剪切圖像。剪切圖像生成部分114A隨后將剪切圖像提供到剪切圖像顯示部分 116A。這里，剪切圖像生成部分114A執(zhí)行與上述剪切圖像生成部分114A所執(zhí)行的處理相 同的處理。更具體而言，在相對距離大于預定閾值的情況下，剪切圖像生成部分114A指定 剪切范圍以將各個運動物體顯示在不同的剪切圖像顯示窗口中，并生成剪切范圍的各個圖 像的剪切圖像。隨后，剪切圖像生成部分114A將所指定的各個剪切范圍的剪切圖像提供給 剪切圖像顯示部分116A。而且，在相對距離等于或小于預定閾值的情況下，剪切圖像生成部 分114A指定剪切范圍以將運動物體顯示在一個剪切顯示屏幕上，作為一組運動物體。剪切 圖像生成部分114A隨后生成所指定的剪切范圍的剪切圖像并將所生成的剪切圖像提供給 剪切圖像顯示部分116A。 剪切圖像顯示部分116A因此將從剪切圖像生成部分114A提供的剪切圖像顯示在 剪切圖像顯示窗口中。如剪切圖像顯示部分116，剪切圖像顯示部分116A在相對距離大于 預定閾值的情況下，在不同的剪切圖像顯示窗口中顯示各個運動物體。
例如，如圖20所示，全景圖像生成部分113A生成由角坐標指定的全景完整圖像 704，其中心在(0，0)，并且在橫坐標上擴展-a度(向左)和+ a度(向右)并在縱坐標上 擴展-P度(向上)和+P度(向下)。以這種方式，全景圖像生成部分113A使用角度來 逐脈沖地控制運動距離。剪切圖像生成部分114A指定包括作為跟蹤對象的運動物體32D的 剪切范圍705。這里，剪切圖像生成部分114A以如下方式指定剪切范圍705 :運動物體32D 最接近剪切范圍705的中心。剪切圖像生成部分114A生成剪切范圍705的剪切圖像并將 所生成的剪切圖像提供給剪切圖像顯示部分116A。 可以按如下方式配置圖像處理系統(tǒng)200例如包括如圖21所示的具有n個(n是 等于或大于2的整數)圖像發(fā)送部分2B^2B2、...和2Bn的圖像發(fā)送設備2B，以取代圖像發(fā) 送設備2A。在此情況下，圖像發(fā)送部分2Bp2B2、...和2Bn中的每一個生成連續(xù)區(qū)域的圖 像，并將多個圖像經由數據控制部分17發(fā)送到圖像處理設備3A。圖像處理設備3A從接收 自數據控制部分17的多個連續(xù)圖像生成全景完整圖像。 關于圖21所示的圖像發(fā)送部分2Bp2B2、...禾P2Bn，與圖19所示的圖像發(fā)送設備 2A相同的組件被標注以相同的標號，并且這里對這些相同組件的詳細描述被省略。而且， 基于圖像發(fā)送部分2B^2B2、...和2Bn具有相同配置的假設，下面將單獨描述圖像發(fā)送部分 2B10 圖像發(fā)送部分2B工包括相機部分10、圖像數據處理部分11B、外部傳感器12和緩沖 器部分16。圖像數據處理部分11B包括編碼器103工作為第一編碼器、編碼器1032作為第 二編碼器、運動物體和靜止物體檢測部分104、元數據生成部分105和大小改變部分106。
由成像信號處理部分102生成的圖像幀被與分配給相機部分10的號碼(相機號) 和幀號相關。 編碼器1(^通過利用例如Motion JPEG對從相機部分10以第一分辨率輸出的多 個圖像幀進行編碼來生成第一壓縮圖像數據。 大小改變部分106通過對從相機部分10以第一分辨率輸出的圖像幀應用諸如跳 過(ski卯ing)和內插(interpolation)之類的處理來生成具有低于第一分辨率的第二分 辨率(例如QVGA)的圖像幀。 編碼器1032通過對從大小改變部分106輸出的具有第二分辨率的多個圖像幀應 用編碼處理來生成第二壓縮圖像數據。如編碼器103"編碼器1032也例如利用Motion JPEG 來執(zhí)行壓縮編碼。 來自編碼器103J勺具有第一分辨率的圖像數據、來自編碼器1032的具有第二分辨 率的圖像數據和來自元數據生成部分105的元數據被提供到緩沖器部分16。緩沖器部分 16將所提供的數據暫時存儲在緩沖存儲器中，并將數據隨后提供到數據控制部分17。
數據控制部分17將n項第一分辨率的圖像數據、n項第二分辨率的圖像數據和從 各個圖像發(fā)送部分2Bp2B^...和2Bn提供的元數據放到一文件中，并將該文件發(fā)送到圖像 處理設備3A。 數據接收部分111將接收自圖像發(fā)送部分2B中的數據控制部分17的第一分辨率 的圖像數據和第二分辨率的圖像數據提供給全景圖像生成部分113A。數據接收部分111將 接收自圖像發(fā)送部分2B中的數據控制部分17的第一分辨率的圖像數據和第二分辨率的圖 像數據提供給位置信息提取部分112。 全景圖像生成部分113A對第一分辨率的圖像數據和第二分辨率的圖像數據執(zhí)行 解碼處理。全景圖像生成部分113A將解碼后的第一分辨率的圖像數據提供到剪切圖像生 成部分114A。而且，全景圖像生成部分113A使用解碼后的第二分辨率的圖像數據來生成全 景完整圖像。全景圖像生成部分113A隨后將全景完整圖像的圖像數據提供到全景圖像顯 示部分115A。全景圖像顯示部分115A因此將提供自全景圖像生成部分113A的全景完整圖 像顯示在完整圖像顯示窗口中。 剪切圖像生成部分114A根據由位置信息提取部分112提取出的位置信息、基于第 一分辨率的圖像數據中的各個跟蹤對象之間的相對距離來生成跟蹤對象的剪切圖像。
以這種方式，在從多個相機部分10所生成的圖像數據生成全景完整圖像的情況 下，假定每個所用鏡頭的視角是已知的，則通過從鏡頭數目X鏡頭視角中減去重疊區(qū)域所 獲得的值被定義為全景完整圖像的完整區(qū)域的視角。而且，每個相機部分的視角是通過將 完整區(qū)域的視角除以鏡頭數目而獲得的值。而且，可以從全景完整圖像中每個像素的角度 來計算剪切范圍。 應該注意，圖像處理系統(tǒng)200能夠通過獲得跟蹤對象的位置信息(以下稱為位置 信息Pn)(例如根據GPS)、信標信息、雷達等來跟蹤和顯示跟蹤對象。 在此情況下，圖像處理設備3A從圖像發(fā)送部分2A接收例如附加了旋轉基座15的 位置信息的圖像數據。通過位置信息提取部分112從外部與圖像數據不同步地獲得了位置 信息Pn。 位置信息提取部分112將位置信息Pn轉換成弧度格式，并將已轉換成弧度格式的位置信息Pn提供到剪切圖像生成部分114A。 剪切圖像生成部分114A計算在計算原點0和運動物體的中心位置P之間的距離 時指定的運動物體的中心位置P的經度和緯度坐標(x， y)的方位角，并計算與原點O的方 位角之差。該差值是將被剪切出的視角的中心。剪切圖像生成部分114A搜索近似圖像，并 指定一剪切范圍以將近似圖像與多個鄰近圖像一起顯示。 剪切圖像生成部分114A在每次提供位置信息Pn時計算利用原點0所產生的角 度，并計算與位置信息Pn相對應的位置的坐標。圖像處理設備3A因此能夠連續(xù)地顯示運 動物體。 以這種方式，圖像處理系統(tǒng)200計算兩點之間的距離，即，基于原點0的經度和緯 度信息和位置信息Pn兩者來計算原點到運動物體的距離。因此，在跟蹤對象的大小預先已 知或者可以預測的情況下，圖像處理系統(tǒng)200能夠通過控制相機部分10的縮放操作來放大 和顯示跟蹤對象。 圖像處理系統(tǒng)200能夠顯示例如在圖22到圖24中所示出的顯示屏幕。圖22和 圖23所示的顯示屏幕706顯示視頻，例如足球比賽。全景完整圖像顯示窗口 707滾動顯示 足球場，作為全景完整圖像。剪切圖像生成部分114A根據作為跟蹤對象的邊裁Q和邊裁C^ 的運動來指定剪切范圍。在圖22的示例中，剪切圖像生成部分114A確定邊裁Q和邊裁C2 在橫向方向上的距離等于或小于預定閾值。剪切圖像生成部分114A隨后指定包括邊裁 Q和邊裁C2的剪切范圍708，并生成作為剪切范圍708的放大圖像的剪切圖像。剪切圖像 顯示部分116A因此將包括邊裁Q和邊裁C2的剪切圖像顯示在剪切圖像顯示窗口 709中。
在圖23所示的顯示示例中，剪切圖像生成部分114A確定邊裁Q和邊裁C2之間在 橫向方向上的距離1^大于預定閾值。剪切圖像生成部分114A隨后指定包括邊裁Q的剪切 范圍710和包括邊裁G的剪切范圍711。剪切圖像生成部分114A生成作為剪切范圍710的 放大圖像的剪切圖像和作為剪切范圍711的放大圖像的剪切圖像。剪切圖像顯示部分116A 因此將作為剪切范圍710的放大圖像的剪切圖像和作為剪切范圍711的放大圖像的剪切圖 像分別顯示在剪切圖像顯示窗口 712和剪切圖像顯示窗口 713中。 在圖22和圖23所示的顯示示例中，可以將邊裁Q的位置和邊裁(:2的位置之間的 中心位置設置為在全景完整圖像顯示窗口 707中顯示的完整圖像的顯示視角的中心位置。
在圖像處理系統(tǒng)200使用多個圖像發(fā)送部分2B^2B2、...和2Bn生成的圖像來生 成全景完整圖像的情況下，應該意識到，指定全景完整圖像的中心位置的方法并不局限于 上述使用兩點的中心位置的方法。在此情況下，由各個圖像發(fā)送部分生成的各個圖像幀中 的運動物體的數目被加和。然后，圖像幀中的運動物體的數目的最大數目(模值)被指定， 并且通過將中心位置設置到已捕獲的運動物體的數目與該模值相同的相機部分10，從而顯 示視角被指定。隨后，顯示視角逐步移動時所依據的相機部分10的移動量被計算。成像方 向被設置為例如在具有僅次于模值的次大值的相機部分10的方向上移動。相機部分10的 移動量例如最大是4度/秒(560像素)，通常大約是140像素。每幀的移動量大約是10像 素，最大是40像素。 在圖22和圖23所示的顯示示例中，全景圖像生成部分113A根據邊裁Q的位置 和邊裁G的位置來計算虛擬視角的中心。全景圖像顯示部分115A根據邊裁的在每個畫面 間有所不同的運動來在全景完整圖像顯示窗口 707中滾動顯示全景完整圖像。
20
而且，圖24所示的顯示屏幕720是個人計算機所顯示的顯示屏幕的示例。在顯示 屏幕720中，運動物體的位置信息(高度、距離相機部分10的角度(俯仰和搖擺)、緯度、經 度等等)被顯示在區(qū)域724中。而且，相機部分10的安裝位置的位置信息(緯度、經度、視 線角度、高度等等)被顯示在區(qū)域725中。在監(jiān)視相機檢測到運動物體(:3(例如可疑個人) 的情況下，顯示屏幕720將包括運動物體(:3的剪切范圍722的剪切圖像顯示在剪切圖像顯 示窗口 723中。以這種方式，圖像處理系統(tǒng)200通過在剪切圖像顯示窗口 723中顯示運動 物體而被用作用于監(jiān)視的監(jiān)視系統(tǒng)。在圖24的示例中，圖像可以是運動圖像或靜止圖像。 在圖像是靜止圖像的情況下，在圖像顯示窗口 723中顯示的圖像每隔任意的預設時間被更 新。 如上所述，根據本發(fā)明的實施例的圖像處理系統(tǒng)通過使用完整圖像和( 一個或多 個)剪切圖像來同時跟蹤和顯示多個運動物體。因此，用戶能夠保持跟蹤完整圖像中的多 個跟蹤對象中的各個跟蹤對象之間的位置關系，同時用戶能夠在剪切圖像中詳細地保持跟 蹤跟蹤對象的整體圖片，這在僅僅廣角成像中是無法跟蹤的。 而且，利用根據本發(fā)明的實施例的圖像處理系統(tǒng)，即使在特定跟蹤對象與多個跟 蹤對象的群組之間的距離大于預定閾值的情況下，通過新準備一具有預定視角的顯示區(qū) 域，用戶也將不會丟失對該跟蹤對象的跟蹤。 而且，利用根據本發(fā)明的實施例的圖像處理系統(tǒng)，用戶能夠將相互之間的相對距 離等于或小于預定閾值的多個跟蹤對象作為一個群組來跟蹤。因此，即使當存在大量跟蹤 對象時，也可以對所有跟蹤對象保持跟蹤。 應該意識到，本發(fā)明并不局限于上述實施例，無庸置疑，在本發(fā)明的范圍內可能存 在各種修改。 在上述實施例中，圖像處理設備3包括完整圖像生成部分113和完整圖像顯示部 分115，以控制預定范圍的完整圖像被顯示在完整圖像顯示窗口中。而且，圖像處理設備3 包括剪切圖像生成部分114和剪切圖像顯示部分116，以控制包括在完整圖像中的多個跟 蹤對象被放大和顯示在(一個或多個)剪切圖像顯示窗口中。但是，應該意識到，本發(fā)明并 不局限于上述實施例。例如，圖像生成部分、圖像顯示部分等可以從圖像處理設備的外部提 供，只要上述完整圖像顯示控制處理和剪切圖像顯示控制處理被執(zhí)行即可。
本發(fā)明包含與2008年12月4日遞交到日本特許廳的日本在先專利申請JP 2008-309969所公開的內容相關的主題，該日本在先申請的全部內容通過引用被結合于此。
本領域技術人員應該理解，取決于涉及要求和其他因素，可能發(fā)生各種修改、組 合、子組合和替換，只要它們落在所附權利要求書及其等同物的范圍內即可。
權利要求
一種圖像處理設備，包括完整圖像顯示控制部分，其執(zhí)行控制以在完整圖像顯示窗口中顯示預定區(qū)域的完整圖像；以及剪切圖像顯示控制部分，其執(zhí)行控制以放大包括在所述完整圖像中的多個跟蹤對象并將所述跟蹤對象顯示在剪切圖像顯示窗口中，其中所述剪切圖像顯示控制部分以如下方式執(zhí)行控制在所述多個跟蹤對象之間的相對距離等于或小于預定值的情況下，包括所述多個跟蹤對象的一個剪切圖像被顯示在所述剪切圖像顯示窗口中；并且在所述多個跟蹤對象之間的相對距離大于所述預定值的情況下，包括相應跟蹤對象的兩個剪切圖像被顯示在所述剪切圖像顯示窗口中。
2. 如權利要求l所述的圖像處理設備，還包括操作部分，其響應于用戶的操作，從顯示在所述完整圖像顯示窗口中的完整圖像中指 定所述多個跟蹤對象。
3. 如權利要求l所述的圖像處理設備，其中所述相對距離是基于所述完整圖像中的跟蹤對象的大小和所述完整圖像中的跟 蹤對象之間的距離中的一種或兩者來計算的。
4. 如權利要求2所述的圖像處理設備，其中所述剪切圖像顯示控制部分響應于來自所述操作部分的操作來改變所述剪切圖 像的放大比率。
5. —種圖像處理系統(tǒng)，包括圖像發(fā)送設備，其具有生成圖像數據的相機部分、通過對所述相機部分生成的圖像數 據進行編碼而生成壓縮圖像數據的圖像數據處理部分，以及發(fā)送由所述圖像數據處理部分 生成的所述壓縮圖像數據的數據發(fā)送部分；以及圖像處理設備，其具有接收所述壓縮圖像數據的數據接收部分、完整圖像顯示控制部 分和剪切圖像顯示控制部分，所述完整圖像顯示控制部分執(zhí)行控制以在完整圖像顯示窗口 中顯示從通過對在所述數據接收部分處接收到的所述壓縮圖像數據進行解碼而獲得的圖 像數據生成的預定區(qū)域的完整圖像，所述剪切圖像顯示控制部分執(zhí)行控制以放大包括在所 述完整圖像中的多個跟蹤對象并將所述跟蹤對象顯示在剪切圖像顯示窗口中，其中所述剪切圖像顯示控制部分以如下方式執(zhí)行控制在所述多個跟蹤對象之間的 相對距離等于或小于預定值的情況下，包括所述多個跟蹤對象的一個剪切圖像被顯示在所 述剪切圖像顯示窗口中；并且在所述多個跟蹤對象之間的相對距離大于所述預定值的情況 下，包括相應跟蹤對象的兩個剪切圖像被顯示在所述剪切圖像顯示窗口中。
6. 如權利要求5所述的圖像處理系統(tǒng)，其中所述圖像發(fā)送設備還包括旋轉基座，在所述旋轉基座上安裝有相機部分并且所述旋轉基座執(zhí)行旋轉操作；所述相機部分根據所述旋轉基座的旋轉操作來生成連續(xù)區(qū)域的多個圖像數據項；并且 所述完整圖像顯示控制部分以如下方式執(zhí)行控制從所述連續(xù)區(qū)域的多個圖像數據項生成的全景完整圖像被顯示在所述完整圖像顯示窗口中。
7. 如權利要求5所述的圖像處理系統(tǒng)， 其中所述圖像發(fā)送設備有多個；多個圖像發(fā)送設備中的每個圖像發(fā)送設備中的相機部分生成連續(xù)區(qū)域的多個圖像數 據項；并且所述完整圖像顯示控制部分以如下方式執(zhí)行控制從所述連續(xù)區(qū)域的多個圖像數據項生成的全景完整圖像被顯示在所述完整圖像顯示窗口中。
8. —種圖像處理方法，包括以下步驟執(zhí)行控制以在完整圖像顯示窗口中顯示預定區(qū)域的完整圖像；以及執(zhí)行控制以放大包括在所述完整圖像中的多個跟蹤對象并將所述跟蹤對象顯示在剪 切圖像顯示窗口中，其中，在顯示所述跟蹤對象的步驟中，所述控制以如下方式被執(zhí)行在所述多個跟蹤對 象之間的相對距離等于或小于預定值的情況下，包括所述多個跟蹤對象的一個剪切圖像被 顯示在所述剪切圖像顯示窗口中；并且在所述多個跟蹤對象之間的相對距離大于所述預定 值的情況下，包括相應跟蹤對象的兩個剪切圖像被顯示在所述剪切圖像顯示窗口中。
9. 一種圖像處理程序，其致使計算機執(zhí)行以下步驟 執(zhí)行控制以在完整圖像顯示窗口中顯示預定區(qū)域的完整圖像；以及執(zhí)行控制以放大包括在所述完整圖像中的多個跟蹤對象并將所述跟蹤對象顯示在剪 切圖像顯示窗口中，其中，在顯示所述跟蹤對象的步驟中，所述控制以如下方式被執(zhí)行在所述多個跟蹤對 象之間的相對距離等于或小于預定值的情況下，包括所述多個跟蹤對象的一個剪切圖像被 顯示在所述剪切圖像顯示窗口中；并且在所述多個跟蹤對象之間的相對距離大于所述預定 值的情況下，包括相應跟蹤對象的兩個剪切圖像被顯示在所述剪切圖像顯示窗口中。
全文摘要
本發(fā)明提供了圖像處理設備和方法、圖像處理系統(tǒng)和圖像處理程序。圖像處理設備包括完整圖像顯示控制部分，其執(zhí)行控制以在完整圖像顯示窗口中顯示預定區(qū)域的完整圖像；以及剪切圖像顯示控制部分，其執(zhí)行控制以放大包括在完整圖像中的多個跟蹤對象并將跟蹤對象顯示在剪切圖像顯示窗口中。所述剪切圖像顯示控制部分以如下方式執(zhí)行控制在多個跟蹤對象之間的相對距離等于或小于預定值的情況下，包括多個跟蹤對象的一個剪切圖像被顯示在剪切圖像顯示窗口中；并且在多個跟蹤對象之間的相對距離大于預定值的情況下，包括各個跟蹤對象的兩個剪切圖像被顯示在剪切圖像顯示窗口中。
文檔編號H04N1/387GK101753999SQ200910252950
公開日2010年6月23日 申請日期2009年12月4日 優(yōu)先權日2008年12月4日
發(fā)明者氏鄉(xiāng)隆信, 稻熊律夫 申請人:索尼株式會社