專利名稱：圖像處理裝置、圖像處理方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理裝置、圖像處理方法和程序，并且更具體地，涉及被配置以執(zhí)行實時精確跟蹤的圖像處理裝置、圖像處理方法和程序。

背景技術(shù)：
例如，提出圖像處理裝置，作為被配置來從輸入圖像識別登記的模型圖像的圖像處理裝置，在該圖像處理裝置中以預(yù)定的比率降低輸入的圖像的分辨率，產(chǎn)生由具有兩個或更多不同分辨率的圖像組成的多分辨率圖像，并且在這些多分辨率圖像的每個分辨率的圖像中的特征點的特征量、和模型圖像的特征量之間進行比較，由此根據(jù)作為一對具有相似特征量的特征點的候選對應(yīng)特征點對，估計模型圖像的輸入圖像中的位置和姿態(tài)(例如，下面參考專利文獻1日本專利公開No.2006-065399)。


發(fā)明內(nèi)容
然而，因為上述相關(guān)技術(shù)的圖像處理裝置產(chǎn)生多分辨率圖像，并且在所有分辨率的圖像中的特征量之間進行比較，所以執(zhí)行用于估計輸入圖像中的模型圖像的位置和姿態(tài)的處理花費比較長的時間。另外，例如因為上述相關(guān)技術(shù)的圖像處理裝置在數(shù)據(jù)庫中登記的大量模型圖像的特征量之間進行比較，所以隨著數(shù)據(jù)庫中的數(shù)據(jù)量增大，執(zhí)行處理花費的時間更長。因此，相關(guān)技術(shù)的圖像處理裝置難以根據(jù)由該圖像處理裝置估計的位置和姿態(tài)，實時跟蹤輸入圖像中的模型圖像。
因此，本發(fā)明處理與相關(guān)技術(shù)的方法和裝置相關(guān)聯(lián)的上面識別的以及其它問題，并且通過提供一種被配置來提供模型圖像的精確實時跟蹤的圖像處理裝置、圖像處理方法和程序，解決所處理的問題。
在執(zhí)行本發(fā)明的實施例中，提供一種圖像處理裝置，用于從拍攝圖像識別對應(yīng)于預(yù)先登記的登記圖像的物體，包括 圖像拍攝器，配置其以拍攝被攝體的圖像，從而獲得被攝體的拍攝圖像； 識別器，配置其以從拍攝圖像識別對應(yīng)于登記圖像的物體； 第一指定區(qū)域跟蹤器，配置其以執(zhí)行用于在拍攝圖像中跟蹤第一跟蹤區(qū)域的第一指定區(qū)域跟蹤處理，該第一跟蹤區(qū)域根據(jù)識別器的識別結(jié)果指定；以及 第二指定區(qū)域跟蹤器，配置其以執(zhí)行用于跟蹤第二指定區(qū)域的第二指定區(qū)域跟蹤處理，該第二指定區(qū)域根據(jù)第一指定區(qū)域跟蹤處理的結(jié)果指定。
在執(zhí)行本發(fā)明的另一個實施例中，提供了一種用于圖像處理裝置的圖像處理方法，該圖像處理裝置用于從拍攝圖像識別對應(yīng)于登記圖像的物體，該方法包括如下步驟 拍攝被攝體的圖像以獲得被攝體的拍攝圖像； 從拍攝圖像識別對應(yīng)于登記圖像的物體； 執(zhí)行用于在拍攝圖像中跟蹤第一跟蹤區(qū)域的第一指定區(qū)域跟蹤處理，該第一跟蹤區(qū)域根據(jù)識別步驟中的的識別結(jié)果指定；以及 執(zhí)行用于跟蹤第二指定區(qū)域的第二指定區(qū)域跟蹤處理，該第二指定區(qū)域根據(jù)第一指定區(qū)域跟蹤處理的結(jié)果指定。
在執(zhí)行本發(fā)明的另一個實施例中，提供了一種被配置以使計算機執(zhí)行識別處理的程序，該識別處理用于從拍攝圖像識別對應(yīng)于預(yù)先登記的登記圖像的物體，包括如下步驟 拍攝被攝體的圖像以獲得被攝體的拍攝圖像； 從拍攝圖像識別對應(yīng)于登記圖像的物體； 執(zhí)行用于在拍攝圖像中跟蹤第一跟蹤區(qū)域的第一指定區(qū)域跟蹤處理，該第一跟蹤區(qū)域根據(jù)識別步驟中的識別結(jié)果指定；以及 執(zhí)行用于跟蹤第二指定區(qū)域的第二指定區(qū)域跟蹤處理，該第二指定區(qū)域根據(jù)第一指定區(qū)域跟蹤處理的結(jié)果指定。
在執(zhí)行本發(fā)明的另一個實施例中，提供一種圖像處理裝置，用于從拍攝圖像識別對應(yīng)于預(yù)先登記的登記圖像的物體，該圖像處理裝置包括 圖像拍攝器，配置其以拍攝被攝體的圖像，從而獲得對應(yīng)于被攝體的拍攝圖像； 識別器，配置其以從拍攝圖像識別對應(yīng)于登記圖像的物體； 兩個指定區(qū)域跟蹤器，配置其以執(zhí)行第一指定區(qū)域跟蹤處理和第二指定區(qū)域跟蹤處理，該第一指定區(qū)域跟蹤處理用于在拍攝圖像中跟蹤根據(jù)識別器的識別結(jié)果指定的第一指定區(qū)域，該第二指定區(qū)域跟蹤處理用于在拍攝圖像中根據(jù)第一指定區(qū)域跟蹤處理的結(jié)果跟蹤第二指定區(qū)域， 其中兩個指定區(qū)域跟蹤器交替地執(zhí)行第二指定區(qū)域跟蹤處理，兩個指定區(qū)域跟蹤器之一開始第一指定區(qū)域跟蹤處理，而另一個正在執(zhí)行第二指定區(qū)域跟蹤處理。
在執(zhí)行本發(fā)明的另一個實施例中，提供一種圖像處理方法，用于從拍攝圖像識別對應(yīng)于預(yù)先登記的登記圖像的物體，該方法包括如下步驟 拍攝被攝體的圖像以獲得對應(yīng)于被攝體的拍攝圖像； 從拍攝圖像識別對應(yīng)于登記圖像的物體； 由兩個指定區(qū)域跟蹤器執(zhí)行第一指定區(qū)域跟蹤處理和第二指定區(qū)域跟蹤處理，該第一指定區(qū)域跟蹤處理用于在拍攝圖像中跟蹤根據(jù)識別器的識別結(jié)果指定的第一指定區(qū)域，該第二指定區(qū)域跟蹤處理用于在拍攝圖像中跟蹤根據(jù)第一指定區(qū)域跟蹤處理的結(jié)果指定的第二指定區(qū)域， 其中當(dāng)一指定區(qū)域跟蹤處理和第二指定區(qū)域跟蹤處理之一正在執(zhí)行第二指定區(qū)域跟蹤處理時，另一個開始第一指定區(qū)域跟蹤處理，因此交替地執(zhí)行第二指定區(qū)域跟蹤處理，該第一指定區(qū)域跟蹤處理用于在拍攝圖像中跟蹤根據(jù)識別結(jié)果指定的一跟蹤區(qū)域，該第二指定區(qū)域跟蹤處理用于根據(jù)第一指定區(qū)域跟蹤處理的結(jié)果在拍攝圖像中跟蹤第二指定區(qū)域。
在執(zhí)行本發(fā)明的另一個實施例中，提供一種被配置來使計算機執(zhí)行識別處理的程序，該識別處理用于從拍攝圖像識別對應(yīng)于預(yù)先登記的登記圖像的物體，包括如下步驟 拍攝被攝體的圖像以獲得被攝體的拍攝圖像； 從拍攝圖像識別對應(yīng)于登記圖像的物體； 由兩個指定區(qū)域跟蹤器執(zhí)行第一指定區(qū)域跟蹤處理和第二指定區(qū)域跟蹤處理，該第一指定區(qū)域跟蹤處理用于在拍攝圖像中跟蹤根據(jù)識別器的識別結(jié)果指定的第一指定區(qū)域，該第二指定區(qū)域跟蹤處理用于在拍攝圖像中跟蹤根據(jù)第一指定區(qū)域跟蹤處理的結(jié)果指定的第二指定區(qū)域， 其中當(dāng)?shù)谝恢付▍^(qū)域跟蹤處理和第二指定區(qū)域跟蹤處理之一正在執(zhí)行第二指定區(qū)域跟蹤處理時，另一個開始第一指定區(qū)域跟蹤處理，因此交替地執(zhí)行第二指定區(qū)域跟蹤處理，該第一指定區(qū)域跟蹤處理用于在拍攝圖像中跟蹤根據(jù)識別結(jié)果指定的第一跟蹤區(qū)域，該第二指定區(qū)域跟蹤處理用于在拍攝圖像中跟蹤根據(jù)第一指定區(qū)域跟蹤處理的結(jié)果指定的第二指定區(qū)域。



從下面參考附圖對各實施例的描述，本發(fā)明的其它目的和方面將變得明顯，附圖中 圖1是說明作為本發(fā)明的一個實施例實踐的圖像處理系統(tǒng)的概要的示意圖； 圖2是說明作為本發(fā)明的一個實施例實踐的圖像處理裝置的示范性配置的方塊圖； 圖3是說明作為本發(fā)明的另一個實施例實踐的、圖2中顯示的識別塊的示范性配置的方塊圖； 圖4是指示要由圖3中顯示的學(xué)習(xí)塊執(zhí)行的學(xué)習(xí)處理的流程圖； 圖5是指示要由圖3中顯示的學(xué)習(xí)塊執(zhí)行的學(xué)習(xí)處理的另一個流程圖； 圖6是說明分辨率圖像的圖； 圖7是說明DoG濾波器的刻度空間的圖； 圖8是說明特征點的鄰域(neighborhood)的濃度(concentration)梯度方向的圖； 圖9是說明直方圖頻率的計算方法的圖； 圖10是說明示范性方向直方圖的另一個圖； 圖11是說明示范性方向直方圖的另一個圖； 圖12是說明示范性方向直方圖的另一個圖； 圖13是說明提取特征量的處理的圖； 圖14是說明重采樣的例子的圖； 圖15是指示存儲處理的流程圖； 圖16是指示第一實時跟蹤處理的流程圖； 圖17是說明作為本發(fā)明的一個實施例實踐的、圖2中顯示的指定區(qū)域跟蹤塊的示范性配置的方塊圖； 圖18是指示圖16中顯示的第一指定區(qū)域跟蹤處理的流程圖； 圖19A和19B是說明光流的計算的圖； 圖20是說明代表性的仿射矩陣的圖； 圖21是說明代表性的仿射矩陣的另一個圖； 圖22是指示第二實時跟蹤處理的流程圖； 圖23是說明示范性的合成圖像的圖； 圖24是說明另一個示范性的合成圖像的圖； 圖25是說明另一個示范性的合成圖像的圖； 圖26是說明屏幕和校正圖像的區(qū)域的圖； 圖27是說明合成圖像的圖； 圖28是說明圖2中顯示的指定區(qū)域跟蹤塊的示范性配置的方塊圖； 圖29是指示圖22中顯示的第二指定區(qū)域跟蹤處理的流程圖； 圖30A、30B、30C和30D是說明圖2中顯示的圖像處理裝置中的處理的時序的圖； 圖31A、31B和31C是說明要由圖2中顯示的圖像處理裝置獲得的效果的圖； 圖32A、32B和32C是說明要由圖2中顯示的圖像處理裝置獲得的效果的圖； 圖33A、33B和33C是說明要由圖2中顯示的圖像處理裝置獲得的效果的圖； 圖34是指示要由圖2中顯示的識別塊執(zhí)行的一般物體識別處理的流程圖； 圖35從圖34中顯示的流程圖繼續(xù)的流程圖； 圖36從圖35中顯示的流程圖繼續(xù)的流程圖； 圖37是說明在學(xué)習(xí)和處理的多分辨率的圖； 圖38是說明特征量之間的比較的圖； 圖39是說明內(nèi)露層(inlier)和外露層(outlier)的圖； 圖40是指示估計處理的細節(jié)的流程圖； 圖41是說明估計處理的圖； 圖42是說明作為本發(fā)明的另一個實施例實踐的圖像處理裝置的示范性配置的方塊圖； 圖43是指示要由圖42中顯示的圖像處理裝置執(zhí)行的第一實時跟蹤處理的流程圖； 圖44是指示要由圖42中顯示的圖像處理裝置執(zhí)行的第二實時處理的流程圖； 圖45A、45B、45C和45D是說明要由圖42中顯示的圖像處理裝置執(zhí)行的處理的時序的圖； 圖46是說明作為本發(fā)明的一個實施例實踐的眼鏡類型的可佩帶計算機的概要的示意圖；以及 圖47是說明作為本發(fā)明的另一個實施例實踐的眼鏡類型的可佩帶計算機的概要的示意圖。

具體實施例方式 參考附圖，該發(fā)明將通過其實施例更詳細地說明。
現(xiàn)在參考圖1，顯示作為本發(fā)明的一個實施例實踐的圖像處理系統(tǒng)1。
圖像處理系統(tǒng)1由圖像處理裝置11A以及經(jīng)由網(wǎng)絡(luò)12(如因特網(wǎng))連接到其的圖像處理裝置11B組成。由圖像處理裝置11A成像的被攝體A(人A)經(jīng)由網(wǎng)絡(luò)12與由圖像處理裝置11B成像的被攝體B(人B)通信。
更具體地，圖像處理裝置11A上安排的圖像拾取塊21A拍攝被攝體A的圖像。圖像處理裝置11A經(jīng)由網(wǎng)絡(luò)12發(fā)送被攝體A的拍攝圖像給圖像處理裝置11B。另一方面，圖像處理裝置11B上安排的圖像拾取塊21B拍攝被攝體B的圖像。圖像處理裝置11B經(jīng)由網(wǎng)絡(luò)12發(fā)送被攝體B的拍攝圖像給圖像處理裝置11A。
從圖像處理裝置11B接收的被攝體B的拍攝圖像顯示在圖像處理裝置11A上安排的輸出塊27A的整個屏幕上。應(yīng)該注意，如圖1中所示，由圖像拾取塊21A獲取的被攝體A的拍攝圖像也顯示在位于輸出塊27A的屏幕的右上的窗口27TA中。
類似地，從圖像處理裝置11A接收的被攝體A的拍攝圖像顯示在圖像處理裝置11B上安排的輸出塊27B的整個屏幕上。由圖像拾取塊21B獲取的被攝體B的拍攝圖像也顯示在位于輸出塊27B的屏幕的右上的窗口27TB中。
如圖1中所示，如果被攝體A用手拿著登記照片的印刷品、或者其顯示部件上顯示登記的靜止或運動圖像(以下統(tǒng)稱為登記圖像)的數(shù)字相機或移動電話，那么圖像處理裝置11A識別物體的位置和姿態(tài)(這個例子中登記圖像的圖像)，該物體對應(yīng)于由圖像拾取塊21A拍攝的被攝體A的拍攝圖像中的登記圖像。然后，根據(jù)識別的位置和姿態(tài)，圖像處理裝置11A將對應(yīng)于被攝體A的拍攝圖像中的登記圖像的物體(以下合適時稱為目標(biāo)物體)變?yōu)榈怯泩D像。
即，在被攝體A的拍攝圖像中，由被攝體A手持的照片印刷品、或者由被攝體A手持的數(shù)字相機或移動電話的顯示部件上顯示的靜止圖像或運動圖像，被改變?yōu)樵撜掌蛘哽o止圖像或運動圖像的登記圖像。圖像處理裝置11A經(jīng)由網(wǎng)絡(luò)12向圖像處理裝置11B發(fā)送改變后的被攝體A的拍攝圖像。因此，圖像處理裝置11B的輸出塊27B將作為登記圖像自身的圖像顯示為被攝體A的拍攝圖像的目標(biāo)物體，使得與包括改變之前的圖像的被攝體A的拍攝圖像的顯示相比，被攝體B可以更清楚地看到由被攝體A持有的圖像。
下面，除非另外表明，圖像處理裝置11A和圖像處理裝置11B將統(tǒng)稱為圖像處理裝置11。類似地，圖像拾取塊21A和圖像拾取塊21B將統(tǒng)稱為圖像拾取塊21，并且輸出塊27A和輸出塊27B將統(tǒng)稱為輸出塊27。
參考圖2，顯示說明圖像處理裝置11的示范性配置的方塊圖。
圖2中顯示的圖像處理裝置11由圖像拾取塊21、存儲塊22、識別塊23、跟蹤單元24、校正圖像產(chǎn)生塊25、合成塊26、輸出塊27、控制塊28和服務(wù)器29組成。
由攝像機組成的圖像拾取塊21拍攝被攝體的圖像，該攝像機具有這樣的光電轉(zhuǎn)換設(shè)備，如CCD(電荷耦合設(shè)備)傳感器或CMOS(互補金屬氧化物半導(dǎo)體)，用于將光學(xué)圖像轉(zhuǎn)換為電信號。圖像拾取塊21因此以拍攝的幀為單位提供圖像給存儲塊22、識別塊23、跟蹤單元24和合成塊26作為輸入圖像。
存儲塊22存儲由圖像拾取塊21提供的輸入圖像。配置存儲塊22以存儲例如100幀的輸入圖像。如果從圖像拾取塊21提供多于100幀的圖像，那么從存儲塊22刪除時間最遠的圖像。因此，存儲最近的100幀的圖像。
根據(jù)從圖像拾取塊21提供的輸入圖像、對應(yīng)于從控制塊28提供的識別的目標(biāo)物體的登記圖像、以及登記圖像的ID(以下稱為登記ID)，識別塊23識別輸入圖像中的目標(biāo)物體。識別塊23向跟蹤單元24提供輸入圖像的幀號、對應(yīng)于作為識別的結(jié)果得到的輸入圖像中包括的目標(biāo)物體的登記ID、以及指示目標(biāo)物體的位置和姿態(tài)的物體參數(shù)。
輸入圖像的幀號表示，例如按照由圖像拾取塊21拍攝的圖像的順序給予每幀的號碼。登記ID是每個登記圖像唯一的ID，因此與每個登記圖像一致地登記。后面將參考圖3詳細地說明識別塊23。
跟蹤處理分割為兩個線程，使得跟蹤單元24由每個執(zhí)行兩個線程之一的指定區(qū)域跟蹤塊41和指定區(qū)域跟蹤塊42配置。
指定區(qū)域跟蹤塊41根據(jù)從識別塊23提供的幀號，從存儲塊22讀取輸入圖像。指定區(qū)域跟蹤塊41根據(jù)從識別塊23提供的物體參數(shù)，指定要作為指定區(qū)域跟蹤的區(qū)域。指定區(qū)域跟蹤塊41跟蹤從存儲塊22讀取的輸入圖像中的指定區(qū)域。指定區(qū)域跟蹤塊41向指定區(qū)域跟蹤塊42提供從識別塊23接收的登記ID和物體參數(shù)。后面將參考圖17詳細說明指定區(qū)域跟蹤塊41。
指定區(qū)域跟蹤塊42根據(jù)從指定區(qū)域跟蹤塊41接收的物體參數(shù)，指定要作為指定區(qū)域跟蹤的區(qū)域。指定區(qū)域跟蹤塊42跟蹤從圖像拾取塊21提供的輸入圖像中的指定區(qū)域。指定區(qū)域跟蹤塊42向校正圖像產(chǎn)生塊25提供從指定區(qū)域跟蹤塊41接收的登記ID、以及作為跟蹤的結(jié)果得到的物體參數(shù)。后面將參考圖28詳細說明指定區(qū)域跟蹤塊42。
校正圖像產(chǎn)生塊25向控制塊28提供從指定區(qū)域跟蹤塊42接收的登記ID，因此向控制塊28請求對應(yīng)于該登記ID的登記圖像。根據(jù)響應(yīng)該請求從控制塊28接收的登記圖像、以及從指定區(qū)域跟蹤塊42接收的物體參數(shù)，校正圖像產(chǎn)生塊25產(chǎn)生具有與目標(biāo)物體的大小和姿態(tài)相同的大小和姿態(tài)的登記圖像，作為用于校正輸入圖像的校正圖像。校正圖像產(chǎn)生塊25向合成塊26提供從指定區(qū)域跟蹤塊42接收的物體參數(shù)和產(chǎn)生的校正圖像。
根據(jù)從校正圖像產(chǎn)生塊25接收的物體參數(shù)，合成塊26將從圖像拾取塊21接收的輸入圖像與從校正圖像產(chǎn)生塊25接收的校正圖像合成，以向輸出塊27和控制塊28提供作為合成的結(jié)果得到的合成圖像。輸出塊27在屏幕的右上窗口27T上顯示從合成塊26接收的合成圖像，并且同時在整個屏幕上顯示經(jīng)由網(wǎng)絡(luò)12和控制塊28從其接收的另一個圖像處理裝置11拍攝的圖像。
控制塊28從服務(wù)器29讀取登記圖像和登記ID，并且向識別塊23提供這些圖像和ID。根據(jù)從校正圖像產(chǎn)生塊25接收的登記ID，控制塊28也從服務(wù)器29讀取相應(yīng)的登記圖像，并且向校正圖像產(chǎn)生塊25提供提供該圖像。另外，控制塊28經(jīng)由網(wǎng)絡(luò)12向另一個圖像處理裝置11發(fā)送從合成塊26接收的合成圖像?？刂茐K28經(jīng)由網(wǎng)絡(luò)12從另一個圖像處理裝置11接收該圖像，并且向輸出塊27提供接收的圖像。
另外，控制塊28經(jīng)由網(wǎng)絡(luò)12從另一個未顯示的設(shè)備接收登記圖像，并且例如以接收的順序?qū)⒌怯汭D給予接收的登記圖像?？刂茐K28向服務(wù)器29提供接收的登記圖像和給其的登記ID用于登記。服務(wù)器29使從控制塊28提供的登記ID和登記圖像相關(guān)聯(lián)，并且登記該圖像和ID。應(yīng)該注意該服務(wù)器29可以經(jīng)由網(wǎng)絡(luò)12連接到控制塊28。
參考圖3，顯示圖2中顯示的識別塊23的詳細配置。識別塊23由兩個組件(學(xué)習(xí)塊111和識別塊112)構(gòu)成，配置其以識別每個輸入圖像中的目標(biāo)物體。
學(xué)習(xí)塊111由多分辨率產(chǎn)生塊121、特征點提取塊122、特征量提取塊123和登記圖像字典登記塊124組成。
多分辨率產(chǎn)生塊121從由控制塊28輸入的登記圖像產(chǎn)生具有多分辨率的圖像。特征點提取塊122從具有由多分辨率產(chǎn)生塊121產(chǎn)生的多分辨率的每個圖像提取特征點。特征量提取塊123提取由特征點提取塊122提取的每個特征點的特征量。登記圖像字典登記塊124使由特征量提取塊123提取的登記圖像的特征量組、與從控制塊28輸入的登記ID相關(guān)，并且登記相關(guān)的特征量組和登記ID。應(yīng)該注意登記圖像字典登記塊124實際上在服務(wù)器29中建立。數(shù)據(jù)的傳遞經(jīng)由控制塊28執(zhí)行。
識別塊112由多分辨率產(chǎn)生塊131、特征點提取塊132、特征量提取塊133、kd樹構(gòu)造塊134、特征量比較塊135和估計塊136組成。
多分辨率產(chǎn)生塊131從圖像拾取塊21提供的輸入圖像產(chǎn)生具有多分辨率的圖像。特征點提取塊132從由多分辨率產(chǎn)生塊131產(chǎn)生的每個多分辨率圖像提取特征點。特征量提取塊133提取由特征點提取塊132提取的每個特征點的特征量。要由多分辨率產(chǎn)生塊131、特征點提取塊132和特征量提取塊133執(zhí)行的處理操作，與由學(xué)習(xí)塊111中的多分辨率產(chǎn)生塊121、特征點提取塊122和特征量提取塊123中執(zhí)行的那些相同。
kd樹構(gòu)造塊134從登記圖像字典登記塊124中登記的特征量構(gòu)造kd樹。特征量比較塊135在由特征量提取塊133提取的特征量、和對應(yīng)于所有目標(biāo)物體的所有登記圖像(或者，如果對每個目標(biāo)物體執(zhí)行處理，那么對應(yīng)于每個目標(biāo)物體的每個登記圖像)的特征量組之間進行比較，該所有目標(biāo)物體經(jīng)受由kd樹構(gòu)造塊134構(gòu)造的kd樹中表達的識別。根據(jù)該比較的結(jié)果，估計塊136為了目標(biāo)圖像檢查輸入圖像，并且如果發(fā)現(xiàn)目標(biāo)圖像，那么估計其位置和姿態(tài)，因此輸出物體參數(shù)，該物體參數(shù)指示對應(yīng)于檢測的目標(biāo)物體的登記ID以及估計的位置和姿態(tài)。
應(yīng)該注意學(xué)習(xí)塊111和識別塊112不需要總是同時存在。作為由學(xué)習(xí)塊111預(yù)先學(xué)習(xí)的結(jié)果，在識別塊112上安排登記圖像字典登記塊124、或者以無線通信方式使用登記圖像字典登記塊124也是可實踐的。
下面參考圖4和5中顯示的流程圖說明學(xué)習(xí)塊111中的學(xué)習(xí)處理。當(dāng)用戶命令開始學(xué)習(xí)處理時，該處理開始。應(yīng)該注意后面將參考圖34到36說明要在識別塊112中執(zhí)行的一般物體識別處理。
多分辨率產(chǎn)生塊121重復(fù)步驟S11到S27的處理操作，直到在隨后說明的步驟S28中發(fā)現(xiàn)所有登記圖像被處理。首先，在步驟S11中，多分辨率產(chǎn)生塊121選擇選擇一個未處理的登記圖像。在步驟S12中，多分辨率產(chǎn)生塊121產(chǎn)生多分辨率組。更具體地，多分辨率產(chǎn)生塊121以預(yù)先確定的比例因子縮小經(jīng)受學(xué)習(xí)的登記圖像，以產(chǎn)生多分辨率圖像組。例如，讓來自作為具有最低分辨率的圖像的原始圖像的縮小因子為α，以及要輸出的多分辨率圖像的數(shù)目為N(包括原始圖像)，則通過用縮小因子α×(N-k)以線性插值方式縮小原始圖像I
，產(chǎn)生具有第k(對原始圖像，k＝0)個多分辨率的分辨率圖像I[k]。
另一種方法是可能的，在該方法中，用于產(chǎn)生具有低一階(step)分辨率的圖像的縮小因子為γ(固定值)；即，通過用縮小因子γ[k]以線性插值方式縮小I
產(chǎn)生I[k]。
參考圖6，顯示當(dāng)參數(shù)N＝10、α＝0.1時產(chǎn)生的多分辨率圖像組。在圖6中所示的例子中，產(chǎn)生總共10階的多分辨率圖像；即，通過用縮小因子0.9縮小原始圖像I
得到的圖像I[1]，通過用縮小因子0.8縮小原始圖像I
得到的圖像I[2]，...，以及通過用縮小因子0.1縮小原始圖像I
得到的圖像I[19]。當(dāng)用于指定縮小比率的系數(shù)k的值增大時，圖像在大小上進一步減小，使得當(dāng)系數(shù)k的值增大時，每幀的圖像幀本身進一步減小。
接下來，特征點提取塊122重復(fù)步驟S13到S26的處理操作，直到在后面說明的步驟S27中發(fā)現(xiàn)所有分辨率圖像被處理，因此提取特征點(比例不變特征點)，如果發(fā)生圖像的放大-縮小變換(或比例變換)，那么從由多分辨率產(chǎn)生塊121產(chǎn)生的每個分辨率圖像I[k](k＝0...，N-1)健壯地(robust)提取該特征點。比例不變特征點提取方法包括一種方法，其中構(gòu)造圖像的比例(scale)空間，并且在每個比例圖像的DoG(高斯差分)濾波器的局部最大點(局部預(yù)定范圍中的最大點)和局部最小點(局部預(yù)定范圍中的最小點)中，提取其位置不隨比例方向上的變化而改變的點作為比例特征點(D.Lowe，“Object recognition from local scale-invariant features，”International Conferenceon ComputerVision會議記錄，第2卷，第1150-1157頁，1999年9月20-25日，Corfu，Greece)；以及另一種方法，其中構(gòu)造圖像的比例空間，并且在由Harris拐角檢測器從比例圖像提取的拐角點(corner point)中，提取給出比例空間圖像的LoG(高斯拉普拉斯)濾波器的局部最大的拐角點作為特征點(K.Mikolajczyk，C.Schmit，“Indexing based on scale invariant interest points，”.International Conference on ComputerVision，523-531，2001年7月)。只要可以提取比例不變特征，任何方法可以應(yīng)用到特征點提取塊122。
下面根據(jù)由D.Lowe提出的技術(shù)(“Distinctive image features fromscale-invariant keypoints，”被the International Journal of Computer Vision接受出版，2004)說明一種方法，作為提取比例不變特征點的方法。在提出的方法中，經(jīng)由經(jīng)受比例不變特征點的提取的圖像的比例空間表達，從作為特征點涉及的圖像的DoG濾波器輸出，提取考慮比例方向的局部最大點和局部最小點(T.Lindeberg，“Scale-spaceA framework for handling image structures atmultiple scales，”Journal ofApplied Statistics，vol.21，No.2，pp.224-270，1994)。
因此，在步驟S13中，特征點提取塊122選擇分辨率圖像的未處理的分辨率圖像。接下來，在步驟S14中，特征點提取塊122產(chǎn)生比例空間分辨率圖像。即，產(chǎn)生經(jīng)受比例不變特征點提取的圖像I的比例空間(由多分辨率產(chǎn)生塊121產(chǎn)生的分辨率圖像(k＝0，1，2...，9的分辨率圖像)之一提供經(jīng)受比例不變特征點提取的圖像)。由通過使用下面等式(1)中所示的二維高斯函數(shù)，通過用σ＝ksσ0對經(jīng)受比例不變特征點提取的圖像I執(zhí)行卷積積分(或高斯濾波)，產(chǎn)生比例空間的第s個(s＝0...，S-1)分辨率圖像Ls。
在上面的等式(1)中，σ0表示用于確定意在經(jīng)受比例不變特征點提取的圖像I的噪聲抵消的模糊程度的參數(shù)，并且k表示與比例空間的分辨率共同的模糊程度相關(guān)聯(lián)的常數(shù)因子，該k不同于分辨率圖像I[k]的k。應(yīng)該注意圖像的水平方向是X軸，而垂直方向是Y軸。
參考圖7，顯示這樣產(chǎn)生的示范性比例空間。在這個例子中，圖像I具有通過使用下面顯示的五個二維高斯函數(shù)產(chǎn)生的分辨率圖像L0到L4。
在上面的等式(2)到(6)中，等式(2)到(6)中的每個的右手側(cè)的卷積積分的符號的右手項指示下面的等式。即，右手項基本上與上面的等式(1)相同。
在圖(7)中，分辨率級別的數(shù)目是S＝5。
接下來，在步驟S15中，特征點提取塊122計算DoG濾波器輸出圖像。即，計算這樣得到的經(jīng)受特征點提取的圖像I的比例空間的每個分辨率圖像Ls的DoG濾波器輸出圖像。該DoG濾波器(一種用于在圖像的邊緣增強中使用的二階差分濾波器)經(jīng)常以LoG濾波器用作近似模型用于這樣的處理，該處理從要由人類光學(xué)系統(tǒng)中的外側(cè)膝狀體(lateral geniculate body)接替(relay)的視網(wǎng)膜開始執(zhí)行。通過獲得兩個高斯濾波器輸出圖像之間的差別，可以有效地獲得DoG濾波器的輸出。即，如圖7中的中間列所示，通過從高一階的層上的分辨率圖像Ls+1減去分辨率圖像Ls(即Ls+1-Ls)，得到具有第s個(s＝0，...，S-2)分辨率的DoG濾波器輸出圖像Ds。
在步驟S16中，特征點提取塊122提取比例不變特征點。更具體地，在DoG濾波器輸出圖像Ds(s＝1，...，S-3)上的像素中，在DoG濾波器輸出圖像Ds的直接相鄰區(qū)域(在本實施例中，在預(yù)定位置的3×3像素的區(qū)域)、以及與低一階的DoG濾波器輸出圖像Ds-1和高一階的DoG濾波器輸出圖像Ds+1處于相同位置(或者對應(yīng)位置)的直接相鄰區(qū)域中的總共27個像素中，特征點提取塊122提取提供局部最大(27個像素的最高值)和局部最小(27個像素的最低值)的像素作為比例不變特征點，然后該比例不變特征點作為特征點集合Ks(s＝1....，S-3)保存。在圖7的右端列中，顯示這個特征點集合Ks。這樣提取的特征點是對因子＝k2的分辨率改變具有位置不變性(即，比例不變)的比例不變特征點。
特征點提取塊122重復(fù)步驟S13到S16的處理操作，直到在后面說明的步驟S27中確定所有分辨率圖像已經(jīng)被處理，為由多分辨率產(chǎn)生塊121產(chǎn)生的多分辨率級別圖像I[k]的每個提取比例不變特征點集合。
接下來，特征量提取塊123重復(fù)步驟S17到S25的處理操作，直到在步驟S26中確定所有特征點已經(jīng)被處理，由此在從每個多分辨率級別圖像I[k]提取的每個特征點提取特征量。下面，在每個特征點的特征量稱為特征點特征量或依賴于上下文簡單稱為特征量。
對特征點特征量，特征量對每個圖像的旋轉(zhuǎn)變換和亮度變化不變?？梢詰?yīng)用兩個或更多個特征量到一個特征點。在這種情況下，在后面的特征量比較塊135中，不同特征量之間的積分比較結(jié)果的處理是必不可少的。在本實施例的情況下，使用從涉及的特征點提取的圖像的特征點鄰域的濃度(concentration)梯度(gradation)信息(在每個點的濃度梯度強度和濃度梯度方向)得到的兩個特征量。這些特征量之一是由涉及的特征點相鄰區(qū)域中占優(yōu)勢的濃度梯度方向(以下稱為正則(canonical)方向)校正的方向直方圖，而另一個是由正則方向校正的維度上(dimensionally)退化的濃度梯度向量。
通過用零在支配(dominant)方向上校正與特征點鄰域的濃度梯度相關(guān)聯(lián)的直方圖(或者方向直方圖)，得到第一特征量(或者類型1的特征量)。為了提取這個第一特征量，特征量提取塊123在步驟S17選擇一個未處理的特征點。接下來，在步驟S18中，特征量提取塊123得到濃度梯度強度Mx，y和方向Rx，y。即，如圖8中所示，分別由等式(8)和(9)得到特征點鄰域(在本實施例中，落在涉及的特征點P周圍的7像素直徑(3.5像素半徑)的范圍內(nèi)的各像素)的濃度梯度強度Mx，y和方向Rx，y。在這些等式中，x、y表示在為其得到濃度梯度的像素圖像上的坐標(biāo)，并且Ix，y表示其像素值。
Rx，y＝tan-1(Ix，y+1-Ix，y，Ix+1，y-Ix，y) …(9) 接下來，在步驟S19中，特征量提取塊123產(chǎn)生方向直方圖，更具體地，根據(jù)特征點鄰域每個像素的方向Rx，y，將每個像素的頻率累加到具有類間隔Δθ和類標(biāo)記360度/Δθ的直方圖(在本實施例中，Δθ＝10度)對應(yīng)的類。此時，如圖9中所示，為了最小化對類的量化誤差的影響，對于頻率(圖9中的垂直軸)，累加方向Rx，y上與類(圖9中的水平軸)的中心值的距離的接近成比例的各值。即，令最接近方向Rx，y的兩個類為g和g+1，并且每個類的中心值和方向Rx，y之間的距離為d1和d2，則要加到類g和g+1的頻率值分別為d2/(d1+d2)和d1/(d1+d2)。因此，最小化量化誤差。
在步驟S20中，特征量提取塊123歸一化頻率。即，通過將方向直方圖的頻率除以特征點鄰域像素的數(shù)目(或者，落在7個像素直徑內(nèi)的像素數(shù))，歸一化頻率。因此，只在梯度方向上的累加可以提供對亮度變化強大的特征量。
更進一步地，特征量提取塊123在步驟S21中提取正則方向，并且在步驟S22中由提取的正則方向歸一化角度。更具體地，為了提供對旋轉(zhuǎn)變換不變的特征量，正則方向被提取為用于給出得到的方向直方圖的強峰的角度，并且移動直方圖以便將該角度設(shè)置為該正則方向變?yōu)榱愣龋虼藞?zhí)行角度歸一化。在與拐角周圍提取的特征點相關(guān)聯(lián)的直方圖中，沿垂直于拐角的邊的方向出現(xiàn)兩個或更多個強峰，使得產(chǎn)生校正(或歸一化)以便使每個強峰的度數(shù)變?yōu)榱愣鹊姆较蛑狈綀D。即，為正則方向的數(shù)目分別產(chǎn)生特征量。其上每個峰是正則方向的參考是峰方向，該峰方向給出例如最大累積值的80％或更多的累積值。
例如，在圖10中顯示的方向直方圖中，存在兩個峰，即角度80度的頻率V80和角度200度的頻率V200。即，角度80度和角度200度提供正則方向。在這種情況下，如圖11中所示，產(chǎn)生以角度80度作為歸一化到零度的正則方向的直方圖、以及以角度200度作為歸一化到零度的正則方向的直方圖。
由上述處理得到的類型1的特征量是與方向直方圖的類標(biāo)記相同維數(shù)的特征向量(在本實施例中，36(＝360度/10度))維向量，即，包含指示類度數(shù)的36個數(shù)的向量)。
接下來，獲得低維度再生濃度梯度向量作為第二特征量(或者類型2的特征量)。當(dāng)類型1特征量忽略特征點鄰域像素的空間排列，只注意特征點鄰域局部區(qū)域中濃度梯度向量的方向上的趨勢(頻率)時，類型2特征量注意特征點鄰域中每個濃度梯度向量的空間排列。使用這兩種類型的特征量，通過隨后要說明的技術(shù)對特征量進行的比較，實現(xiàn)了對觀察點變化和亮度變化強大的識別。
為了提取類型2量，特征量提取塊123在步驟S23旋轉(zhuǎn)地校正特征點鄰域圖像。即，旋轉(zhuǎn)地校正特征點鄰域圖像，使得由上述處理得到的特征點鄰域的正則方向變?yōu)榱愣?。進而，在步驟S24中，特征量提取塊123計算濃度梯度向量集合。例如，如果圖13的上部中顯示的特征點鄰域的像素的濃度梯度如圖10中顯示分布，那么如上所述，正則方向在80度和200度。因此，如圖13的中間行的左側(cè)所示，在這種情況下順時針旋轉(zhuǎn)特征點鄰域圖像，使得80度的正則方向變?yōu)榱愣?。然后，計算該圖像的濃度梯度向量集合。這最終等價于得到圖11中所示的方向直方圖的濃度梯度向量集合，該方向直方圖通過以設(shè)置到零度的圖10中顯示的角度80度的正則方向執(zhí)行歸一化得到。
類似地，如圖13的中間行的右側(cè)中所示，旋轉(zhuǎn)校正特征點鄰域圖像，使得200度的正則方向變?yōu)榱愣?。然后，計算這個圖像的濃度梯度向量集合。這最終等價于得到圖12中所示的方向直方圖的濃度梯度向量集合，該方向直方圖通過以設(shè)置到零度的圖10中顯示的角度200度的正則方向執(zhí)行歸一化得到。
在步驟S25中，特征量提取塊123在維度上退化濃度梯度向量集合。即，為了能夠吸收等于特征點提取位置中的幾個像素的位移，例如如圖13的底部的左側(cè)和右側(cè)所示，通過以線性插值方式重采樣，該濃度梯度向量集合從近似內(nèi)接于具有7個像素的直徑的圓的正方形中的5×5像素的向量集合退化為3×3像素向量集合。
更具體地，如圖14中所示，從下面的等式，通過用距與其鄰近的4個原始圖像像素的距離的比率計算重采樣圖像的像素值，執(zhí)行線性插值重采樣。
f(X，Y)＝(1-q)·[(1-p)·f(x，y)+p·f(x+1，y)]+q·[(1-p)·f(x，y+1)+p·f(x+1，y+1)] ...(10) 在上面的等式(10)中，如圖14中所示，(X，Y)表示重采樣圖像的像素，(x，y)、(x+1，y)、(x，y+1)、(x+1，y+1)表示重采樣圖像(X，Y)鄰域的原始圖像像素，f(a，b)表示坐標(biāo)(a，b)的像素值，以及p、q是在x坐標(biāo)方向和y坐標(biāo)方向從鄰近像素到重采樣圖像(X，Y)的距離比。
因此，通過將維度退化向量的x和y分量施加到特征向量的每一維，得到類型2特征量。如果通過線性插值重采樣將圖像重采樣到3×3向量集合，那么得到18(＝3×3×2)維的特征量。
應(yīng)該注意重采樣之后的目標(biāo)圖像大小低于原始圖像大小的一半，然后在大小上每0.5減小原始圖像，并且當(dāng)已經(jīng)得到等于或大于目標(biāo)大小的最小0.5乘法大小的圖像時，從該圖像執(zhí)行等式(10)的重采樣，因此最小化重采樣誤差。例如，如果通過線性插值重采樣要創(chuàng)建原始圖像0.2倍大的圖像，那么對與通過兩次乘以0.5重采樣得到的原始圖像0.25倍大的圖像，執(zhí)行等式(10)的線性插值重采樣。
在步驟S26中，特征量提取塊123確定是否已經(jīng)處理了所有特征點。如果發(fā)現(xiàn)任何未處理的特征點，那么過程返回到步驟S17以從那里重復(fù)上述操作。如果在步驟S26中發(fā)現(xiàn)處理了所有特征點(即，如果已經(jīng)對所有特征點執(zhí)行了步驟S17到S25的處理操作)，那么特征點提取塊122在步驟S27確定是否已經(jīng)處理了所有分辨率圖像。如果發(fā)現(xiàn)任何未處理的分辨率圖像，那么過程返回到步驟S13以從那里重復(fù)上述操作。如果發(fā)現(xiàn)對所有分辨率圖像處理了步驟S13到S25的處理操作，那么多分辨率產(chǎn)生塊121在步驟S28中確定是否已經(jīng)處理了所有登記圖像。如果發(fā)現(xiàn)任何未處理的登記圖像，那么過程返回到步驟S11以從那里重復(fù)上述操作。如果發(fā)現(xiàn)對所有登記圖像執(zhí)行了步驟S11到S25的處理操作，那么過程轉(zhuǎn)到步驟S29。
在步驟S29中，登記圖像字典登記塊124標(biāo)記如上所述提取的特征點特征量，并且登記標(biāo)記的特征點特征量。在這種情況下，執(zhí)行標(biāo)記以便允許對具有特定ID的特定登記圖像的特定特征量的引用，該特定ID從具有特定登記ID的登記圖像的特定多分辨率圖像組的特定圖像的特定比例提取。標(biāo)記的特征點特征量在登記圖像字典登記塊124中登記。
如上所述，預(yù)先在登記圖像字典登記塊124中登記對應(yīng)于要識別的目標(biāo)物體的登記圖像。
如果識別塊23具有學(xué)習(xí)塊111和識別塊112，那么識別塊112可以使用該登記圖像字典登記塊124而不改變。如果將學(xué)習(xí)塊111和識別塊112配置為分別的圖像處理裝置，那么存儲如上所述必要信息的登記圖像字典登記塊124，可以安排在具有識別塊112的圖像處理裝置上，或者以有線或無線方式可用。
下面參考圖15中所示的流程圖說明要在圖像處理裝置11中執(zhí)行的存儲處理。當(dāng)例如由用戶命令開始電視通信時，開始該存儲處理。
在步驟S101中，圖像拾取塊21拾取被攝體的圖像，并且提供結(jié)果輸入圖像給存儲塊22、識別塊23、跟蹤單元24和合成塊26。在步驟S102中，存儲塊22存儲從圖像拾取塊21接收的100幀的輸入圖像。如果多于100幀的輸入圖像進入，那么用新圖像順序地重寫較舊的圖像，存儲最近100幀的圖像。
在步驟S103中，圖像拾取塊21確定是否用戶已經(jīng)命令結(jié)束電視通信。如果發(fā)現(xiàn)還未命令電視通信的結(jié)束，那么過程返回到步驟S101以從那里重復(fù)上述過程。如果發(fā)現(xiàn)命令電視通信的結(jié)束，那么處理到達結(jié)束。
因此，當(dāng)圖像拾取塊21正在執(zhí)行圖像獲得處理時，存儲塊22中存儲最近100幀的輸入圖像。
下面參考圖16中所示的流程圖說明要在圖像處理裝置11中執(zhí)行的第一實時跟蹤處理。當(dāng)?shù)怯汭D、幀號和物體參數(shù)通過隨后要參考圖34到36說明的識別塊23的一般物體識別處理輸出時，第一實時跟蹤處理開始。
雖然一般物體識別處理的細節(jié)隨后將參考圖34到36說明，但是如果由這個處理從輸入圖像識別對應(yīng)于由學(xué)習(xí)處理登記的登記圖像的目標(biāo)物體，那么輸出被識別圖像的登記ID、幀號和物體參數(shù)。
在步驟S131中，跟蹤單元24的指定區(qū)域跟蹤塊41執(zhí)行第一指定區(qū)域跟蹤處理，用于根據(jù)從識別塊23輸入的物體參數(shù)跟蹤指定區(qū)域。雖然該第一指定區(qū)域跟蹤處理的細節(jié)隨后將參考圖18說明，但是通過該跟蹤處理，對根據(jù)由識別塊23得到的識別結(jié)果指定的指定區(qū)域執(zhí)行快速跟蹤處理。
在步驟S132中，指定區(qū)域跟蹤塊41確定是否用戶已經(jīng)命令結(jié)束電視通信。如果發(fā)現(xiàn)還未命令結(jié)束電視通信，那么過程返回到步驟S131以從那里重復(fù)上述處理。如果發(fā)現(xiàn)命令結(jié)束電視通信，那么處理到達結(jié)束。
圖2中顯示的指定區(qū)域跟蹤塊41具有如圖17所示的配置，以便執(zhí)行第一指定區(qū)域跟蹤處理。
圖17中所示的指定區(qū)域跟蹤塊41具有區(qū)域指定塊141、特征點提取塊142、光流計算塊143、仿射矩陣計算塊144、誤差計算塊145和分數(shù)計算塊146。
從識別塊23或分數(shù)計算塊146向區(qū)域指定塊141提供物體參數(shù)。根據(jù)提供的物體參數(shù)，區(qū)域指定塊141指定指定區(qū)域，并且向特征點提取塊142提供指定區(qū)域。
從識別塊23向特征點提取塊142提供幀號。根據(jù)提供的幀號，特征點提取塊142從存儲塊22讀取輸入圖像作為要處理的輸入圖像(以下稱為目標(biāo)輸入圖像)。
特征點提取塊142以與例如圖3中所示的特征點提取塊122基本相同的方式，從目標(biāo)輸入圖像提取特征點。根據(jù)從區(qū)域指定塊141提供的指定區(qū)域，特征點提取塊142刪除提取的特征點中位于指定區(qū)域外的特征點，并且暫時保存指示位于指定區(qū)域內(nèi)的特征點的特征點信息。同時，特征點提取塊142向光流計算塊143提供目標(biāo)輸入圖像的指定區(qū)域內(nèi)的特征點的特征點信息(以下稱為目標(biāo)幀特征點信息)、目標(biāo)輸入圖像之前一幀的輸入圖像(以下稱為以前輸入圖像)的指定區(qū)域內(nèi)的特征點的特征點信息(以下稱為以前幀特征點信息)、以及目標(biāo)輸入圖像。特征點提取塊142還向誤差計算塊145提供目標(biāo)幀特征點信息和以前幀特征點信息。
根據(jù)從特征點提取塊142提供的目標(biāo)幀特征點信息、以前幀特征點信息和目標(biāo)輸入圖像，光流計算塊143計算光流作為每個特征點的移動信息，并且向仿射矩陣計算塊144提供計算的光流。
在從光流計算塊143提供的特征點的光流中，仿射矩陣計算塊144從三個特征點的光流計算用于仿射變換的仿射矩陣。仿射矩陣計算塊144然后向誤差計算塊145提供計算的仿射矩陣。
誤差計算塊145將每個特征點的位置乘以從仿射矩陣計算塊144提供的仿射矩陣，該特征點由從特征點提取塊142提供的以前幀特征點信息指示。然后，誤差計算塊145計算由該乘法計算的每個特征點的位置、和由從特征點提取塊142提供的目標(biāo)幀特征點信息指示的每個特征點的位置之間的誤差，并且向分數(shù)計算塊146提供每個特征點中的誤差和仿射矩陣。
在從誤差計算塊145提供的誤差中，分數(shù)計算塊146確定是否存在任何小于預(yù)設(shè)閾值T的誤差。依賴于該判決的結(jié)果，分數(shù)計算塊146確定對應(yīng)于該誤差的仿射矩陣的分數(shù)。應(yīng)該注意確定該分數(shù)，使得當(dāng)具有誤差小于閾值T的特征點的數(shù)目增大時，分數(shù)增大。
在目標(biāo)輸入圖像的仿射矩陣中，分數(shù)計算塊146選擇具有最大分數(shù)的一個作為指定區(qū)域中的典型仿射矩陣。分數(shù)計算塊146向區(qū)域指定塊141提供典型仿射矩陣的參數(shù)作為物體參數(shù)。登記ID也從識別塊23提供給分數(shù)計算塊146。當(dāng)預(yù)定時間到來時，分數(shù)計算塊146向指定區(qū)域跟蹤塊42提供該登記ID和典型仿射矩陣的參數(shù)作為物體參數(shù)。
下面參考圖18中所示的流程圖，說明圖16中所示的步驟S131的第一指定區(qū)域跟蹤處理的細節(jié)。
在步驟S151中，區(qū)域指定塊141根據(jù)物體參數(shù)指定指定區(qū)域，該物體參數(shù)作為由識別塊23執(zhí)行的一般物體識別處理的結(jié)果得到。即，根據(jù)物體參數(shù)的位置信息(或坐標(biāo)數(shù)據(jù))，指定經(jīng)歷跟蹤的指定區(qū)域，并且將該指定區(qū)域提供給特征點提取塊142。在步驟S152中，根據(jù)包括從識別塊23提供的識別的目標(biāo)物體的幀的幀號，特征點提取塊142作為目標(biāo)輸入圖像，從存儲塊22中存儲的輸入圖像讀取具有該幀號的輸入圖像。在步驟S153中，特征點提取塊142從目標(biāo)輸入圖像提取特征點。該特征點可以類似于上面圖4中所示的步驟S 16中說明的那個。
在步驟S154中，特征點提取塊142從步驟S153中提取的特征點，刪除位于從區(qū)域指定塊141提供的指定區(qū)域外的特征點，并且暫時保存指示指定區(qū)域內(nèi)的特征點的位置的特征點信息。同時，特征點提取塊142向光流計算塊143提供目標(biāo)幀特征點信息、以前幀特征點信息和目標(biāo)圖像，并且向誤差計算塊145提供目標(biāo)幀特征點信息和以前幀特征點信息。
在步驟S155中，根據(jù)從特征點提取塊142接收的目標(biāo)幀特征點信息和以前幀特征點信息，光流計算塊143通過使用例如LK(Lucas Kanade)方法，計算每個特征點的光流。
下面參考圖19說明該計算。應(yīng)該注意，圖19顯示這樣的例子其中通過LK方法計算在垂直于光軸的方向上的特征點P的光流。
在光流的計算中，分析其位置由目標(biāo)幀特征點信息指示的特征點、和其位置由以前幀特征點信息指示的特征點之間的移動。更具體地，從輸入圖像形成具有逐漸降低的分辨率的兩個或更多圖像，并且在具有降低的分辨率的圖像之間進行比較。這能夠最小化用于分析特征點之間的移動必要的計算量。
如圖19A和19B中所示，如果由圖像拾取塊21在時間t-1拾取的以前輸入圖像151A、和在時間t拾取的目標(biāo)輸入圖像151B的像素的數(shù)量每個是320×240，那么光流計算塊143根據(jù)以前輸入圖像151A，產(chǎn)生具有160×120像素的圖像152A(其分辨率降低到該以前輸入圖像151A的分辨率的1/4)和具有80×60像素的圖像153B(其分辨率降低到圖像152A的分辨率的1/4)。類似地，光流計算塊143根據(jù)目標(biāo)輸入圖像151B，產(chǎn)生具有160×120像素的圖像152B(其分辨率降低到該以前輸入圖像151A的分辨率的1/4)和具有80×60像素的圖像153B(其分辨率降低到圖像152B的分辨率的1/4)。
應(yīng)該注意，圖像152A(152B)和153A(153B)是與具有原始的320×240像素的以前輸入圖像151A(目標(biāo)輸入圖像151B)在相同屏幕區(qū)域中的圖像，但是通過減少像素數(shù)降低了分辨率。目標(biāo)輸入圖像151B、圖像152B和圖像153B保存在光流計算塊143中，以用于下一個目標(biāo)輸入圖像的特征點的光流的計算。即，以前輸入圖像151A、圖像152A和圖像153A在以前計算時保存。
首先，光流計算塊143在具有最低分辨率的圖像153A和圖像153B之間進行比較，用于分析特征點P的粗略移動。因為圖像153A和圖像153B在像素數(shù)上低并且因此要求小數(shù)目的搜索范圍，所以可以以低負載執(zhí)行光流的計算。在圖像153A和圖像153B之間進行比較，光流計算塊143以簡化的方式，得到從時間t的特征點P(t-1)指向時間t的特征點P(t)的向量，作為特征點P(t)的光流。
接下來，在圖像153A和圖像153B中已經(jīng)檢測到特征點P的光流的范圍的周圍，光流計算塊143為了更詳細地分析特征點P的移動，在圖像152A和圖像152B之間進行比較。當(dāng)與圖像153A和圖像153B比較時，圖像152A和圖像152B的像素數(shù)更大，但是通過分析圖像153A和圖像153B縮小搜索范圍，可以減輕計算處理的負載。
然后，在圖像152A和圖像152B中已經(jīng)檢測到特征點P的光流的范圍的周圍，光流計算塊143為了更詳細地分析特征點P的移動，在每個由圖像拾取塊21拾取的320×240像素的目標(biāo)輸入圖像151B、和以前輸入圖像151A之間進行比較。這里，通過分析圖像152A和圖像152B進一步縮小搜索范圍，使得通過使用每個具有最大像素數(shù)的目標(biāo)輸入圖像151B和以前輸入圖像151A，可以以較少的負載和較高的精度計算特征點P(t)的光流。
如圖19中所示，當(dāng)對每個時間依賴的幀分析特征點的移動時，LK方法可以防止處理量增大，因此以最小化的時間延遲分析時間依賴的圖像的移動?；贚K方法的光流的圖像處理可以通過這樣的技術(shù)執(zhí)行，該技術(shù)在主頁“http://robots.standford.edu/cs223b04/algo tracking.pdf”中的論文“PyramidalImplementation of the Lucas Kanade Feature Tracker Description of the algorithm；Jean-Yves Bouguet，Intel Corporation，Microprocess Research Labs”中說明。因此，將LK方法應(yīng)用到在光流計算強大的特征點、以通過使用具有逐漸變化的分辨率的圖像分析特征點的移動，可以以相對短的時間和高的精度計算特征點的光流。
光流的計算可以通過除了LK方法外的方法執(zhí)行。例如，已知的塊匹配方法或已知的梯度方法可以應(yīng)用到光流的計算。
如上所述計算的每個特征點的光流提供給仿射矩陣計算塊144。接下來，在步驟S156中，仿射矩陣計算塊144從對應(yīng)于從光流計算塊143提供的光流的特征點選擇三個特征點。
在步驟S157中，仿射矩陣計算塊144從步驟S156中選擇的三個特征點的光流計算仿射矩陣，用于對三個特征點執(zhí)行仿射變換。仿射變換是這樣的變換在該變換中，對具有添加到平移(translation)的擴張(dilation)以及旋轉(zhuǎn)(歐幾里得變換)的相似的平移，允許剪切，因此保持幾何性質(zhì)，使得原始圖中線上的點在變換之后也排列在線上，并且原始圖中的平行線在變換之后也是平行線。
用于執(zhí)行仿射變換的仿射矩陣如下。到以前圖像的特征點的光流[x y]T的目標(biāo)輸入圖像的特征點的光流[u v]T的仿射變換由下面的等式(11)給出。
在上面的等式(1)中，ai(i＝1...，4)表示用于確定旋轉(zhuǎn)、擴張和剪切的參數(shù)，并且[b1，b2]表示平移參數(shù)。要計算的仿射矩陣參數(shù)(或者仿射變換參數(shù))是6個，a1，...，a4以及b1和b2，使得三組特征點允許確定仿射矩陣。即，仿射變換所必需的仿射矩陣(或者仿射變換參數(shù))的計算要求三組或更多組特征點。因此，在步驟S156中，選擇三個特征點，以及在步驟S157中，從這三個特征點的光流計算仿射矩陣。仿射矩陣計算塊144提供由這個計算得到的仿射矩陣給誤差計算塊145。
在步驟S158中，誤差計算塊145將從仿射矩陣計算塊144接收的仿射矩陣乘以每個特征點的位置，該特征點的位置由從特征點提取塊142接收的以前幀特征點信息指示。在步驟S159中，誤差計算塊145計算由乘法得到的每個特征點的位置、和由從特征點提取塊142接收的目標(biāo)幀特征點信息指示的每個特征點的位置之間的誤差，并且提供得到的誤差和仿射矩陣給分數(shù)計算塊146。
在步驟S160中，分數(shù)計算塊146在從誤差計算塊145接收的特征點的誤差中，確定是否存在任何小于預(yù)設(shè)閾值T的誤差。如果在步驟S160中發(fā)現(xiàn)小于預(yù)設(shè)閾值T的誤差，那么分數(shù)計算塊146將與誤差一起接收的仿射矩陣的分數(shù)遞增其誤差小于預(yù)設(shè)閾值T的特征點數(shù)。應(yīng)該注意，要增大的值可以是預(yù)定值，或者是對應(yīng)于誤差的值。
另一方面，如果不存在小于閾值T的誤差，即如果發(fā)現(xiàn)所有特征點的誤差等于或大于閾值T，那么省略步驟S161。即，分數(shù)計算塊146不增大分數(shù)。
在步驟S162中，分數(shù)計算塊146確定是否目標(biāo)輸入圖像中仿射矩陣的計算已經(jīng)重復(fù)預(yù)定次數(shù)。這里也可以實踐的是確定是否已經(jīng)提供預(yù)定數(shù)目的仿射矩陣。如果在步驟S162中發(fā)現(xiàn)計算未重復(fù)預(yù)定次數(shù)，那么過程返回到步驟S156，在該步驟S156中，仿射矩陣計算塊144重新選擇三個特征點，并且對選擇的特征點重復(fù)上述處理。
另一方面，如果發(fā)現(xiàn)目標(biāo)輸入圖像中仿射矩陣的計算重復(fù)預(yù)定次數(shù)，那么在步驟S163中，分數(shù)計算塊146選擇目標(biāo)輸入圖像中具有仿射矩陣的最大分數(shù)的仿射矩陣，作為指定區(qū)域的典型仿射矩陣。
下面參考圖20和21說明如上所述選擇的典型仿射矩陣。在圖20和21所示的例子中，輸入圖像160用作目標(biāo)輸入圖像，在該輸入圖像160中，當(dāng)作為登記圖像的照片161圍繞位于用戶手腕上的點162旋轉(zhuǎn)時，持有照片161的用戶的手被取作被攝體。
應(yīng)該注意，在圖20中，每個圓圈標(biāo)記、每個三角形標(biāo)記和每個十字標(biāo)記表示輸入圖像160中要提取的特征點。對指定區(qū)域163，指定輸入圖像160中的照片161的圖像區(qū)域。
由圓圈標(biāo)記的每個特征點是位于輸入圖像160中的指定區(qū)域163中的照片161上的特征點。由三角形標(biāo)記的每個特征點是位于指定區(qū)域163中的照片161和手之間的邊界的特征點。由十字標(biāo)記的每個特征點是位于輸入圖像160中的指定區(qū)域163外的特征點。因此，在輸入圖像160中提取的特征點中，在步驟S154的處理中由特征點提取塊142刪除十字標(biāo)記的特征點。
在位于指定區(qū)域163中由圓圈和三角形標(biāo)記的特征點中，指定區(qū)域跟蹤塊41從三個特征點的光流計算仿射矩陣。例如，如圖21中所示，如果在照片161圍繞點162移動的情況下拍攝輸入圖像160，那么輸入圖像160中的三個特征點n1到n3的光流，是從以前輸入圖像中的三個特征點m1到m3的位置到特征點n1到n3的向量v1到v3。從這些向量v1到v3計算仿射矩陣。
如果通過使用該仿射矩陣計算的特征點的位置的誤差小于閾值T，那么將分數(shù)增大這些特征點的數(shù)目，并且選擇具有最大分數(shù)的仿射矩陣作為典型仿射矩陣，使得選擇具有指定區(qū)域163中最小誤差的仿射矩陣作為典型仿射矩陣。因此，不是對應(yīng)于位于指定區(qū)域163的局部部分中手的邊界中的三角形標(biāo)記的特征點的仿射矩陣，而是對應(yīng)于位于指定區(qū)域163的整體中的照片161上的圓圈標(biāo)記的特征點的仿射矩陣，被選擇為典型仿射矩陣。即，可以選擇受噪聲行為影響小的仿射矩陣作為典型仿射矩陣。
在步驟S164中，分數(shù)計算塊146確定是否已經(jīng)處理了預(yù)定數(shù)目的輸入圖像作為目標(biāo)輸入圖像，即，已經(jīng)為預(yù)定數(shù)目的幀選擇了典型仿射矩陣。如隨后參考圖30將說明的，該預(yù)定數(shù)目的幀等于輸入圖像的幀的數(shù)目，該輸入圖像從用于一般物體識別處理的輸入圖像的拾取、到根據(jù)由該一般物體識別處理輸入的物體參數(shù)對指定區(qū)域的第一指定區(qū)域跟蹤處理的結(jié)束拍攝。
如果在步驟S164中發(fā)現(xiàn)對于預(yù)先確定的數(shù)目的幀的輸入圖像還未作為目標(biāo)輸入圖像處理，那么分數(shù)計算塊146提供典型仿射矩陣的參數(shù)給區(qū)域指定塊141作為物體參數(shù)。在步驟S165中，區(qū)域指定塊141根據(jù)接收的物體參數(shù)移動指定區(qū)域。應(yīng)該注意，指定區(qū)域的位移表示指定區(qū)域的移動以及其姿勢的改變。然后，區(qū)域指定塊141提供位移的指定區(qū)域給特征點提取塊142。
在步驟S166中，特征點提取塊142作為目標(biāo)輸入圖像讀取具有這樣的幀號的輸入圖像，該幀號接著作為目標(biāo)輸入圖像緊前面讀取的輸入圖像的幀號。然后，過程返回到步驟S153以從那里重復(fù)上述處理。
另一方面，如果在步驟S164中發(fā)現(xiàn)處理了對于預(yù)定數(shù)目的幀的輸入圖像，那么在步驟S167中，分數(shù)計算塊146輸出典型仿射矩陣的參數(shù)給指定區(qū)域跟蹤塊42作為物體參數(shù)，該物體參數(shù)作為指定區(qū)域跟蹤處理以及從識別塊23接收的登記ID的結(jié)果得到。然后，過程返回到圖16中所示的步驟S131。
如上所述，可以快速執(zhí)行第一指定區(qū)域跟蹤處理，因此使得能夠?qū)崟r跟蹤。
下面參考圖22中所示的流程圖，說明要由圖2中所示的圖像處理裝置11執(zhí)行的第二實時跟蹤處理。
在步驟S181中，跟蹤單元24的指定區(qū)域跟蹤塊42執(zhí)行第二指定區(qū)域跟蹤處理，用于跟蹤由物體參數(shù)指定的指定區(qū)域，該物體參數(shù)從圖18中所示步驟S167中的指定區(qū)域跟蹤塊41輸出。隨后將參考圖29說明該第二指定區(qū)域跟蹤處理的細節(jié)。這是基本上類似于圖16中所示步驟S131中執(zhí)行的第一指定區(qū)域跟蹤處理的快速跟蹤操作。
在步驟S182中，作為用于校正輸入圖像的校正圖像，校正圖像產(chǎn)生塊25根據(jù)從控制塊28接收的登記圖像，產(chǎn)生與輸入圖像中的目標(biāo)物體(由識別塊23通過一般物體識別處理識別的物體)的那些相同的大小和姿態(tài)的登記圖像，從而響應(yīng)基于從指定區(qū)域跟蹤塊42提供的登記ID、以及從指定區(qū)域跟蹤塊42接收的物體參數(shù)的請求。校正圖像產(chǎn)生塊25提供產(chǎn)生的校正圖像和從指定區(qū)域跟蹤塊42接收的物體參數(shù)給合成塊26。
在步驟S183中，合成塊26確定是否用于顯示輸入圖像的屏幕的面積S1、和從校正圖像產(chǎn)生塊25接收的校正圖像的面積S2的比值等于或大于參考值。如果發(fā)現(xiàn)該比值等于或大于參考值，那么在步驟S184中，合成塊26根據(jù)從校正圖像產(chǎn)生塊25接收的物體參數(shù)，將校正圖像和從圖像拾取塊21接收的輸入圖像中由指定區(qū)域跟蹤塊42指定的指定區(qū)域合成。然后，合成塊26提供合成的圖像給輸出塊27和控制塊28。結(jié)果，經(jīng)由網(wǎng)絡(luò)12，在與輸出塊27連接的其他圖像處理裝置11的輸出部分的屏幕上，顯示其校正圖像嵌入在輸入圖像的指定區(qū)域中的圖像。
例如，如果將持有具有顯示的登記圖像的數(shù)字相機170的人取為被攝體，并且作為結(jié)果得到輸入圖像171，那么作為與輸入圖像171的那些相同的大小和姿態(tài)的登記圖像的校正圖像173，嵌入對應(yīng)于登記圖像的目標(biāo)物體的區(qū)域，該區(qū)域是如圖23中所示的輸入圖像171的指定區(qū)域172。因此，用戶可以清楚地看見顯示在數(shù)字相機170上的登記圖像，該登記圖像由圖像拾取塊21拍攝，幾乎感覺不到由圖像合成導(dǎo)致的奇怪。
如圖24中所示，還可以如下實踐作為校正圖像181產(chǎn)生登記圖像，該登記圖像具有與輸入圖像171中的目標(biāo)物體的大小相同的大小，并且具有面向圖像拾取塊21的光軸的姿態(tài)，并且在指定區(qū)域172中以其中心匹配地顯示該校正圖像181，而不是產(chǎn)生具有與輸入圖像171中的目標(biāo)物體的那些相同的大小和姿態(tài)的登記圖像，作為格式轉(zhuǎn)換塊173。在這種情況下，如果用戶不能安排數(shù)字相機170上顯示的登記圖像為面向圖像拾取塊21的光軸，例如可以顯示面向的登記圖像，因此提供這樣的圖像給用戶，在該圖像中可以更容易地看見登記圖像。
如圖25中所示，除了將格式轉(zhuǎn)換塊173嵌入到輸入圖像171的指定區(qū)域172中，在預(yù)定區(qū)域191上顯示登記圖像192而不嵌入也是可實踐的。
另一方面，如果在步驟S183中發(fā)現(xiàn)屏幕的正方形尺寸(measure)S1和校正圖像的面積S2的比率低于參考值，那么在步驟S185中，合成塊26將校正圖像作為整個屏幕的圖像，和從圖像拾取塊21接收的輸入圖像(基本上，產(chǎn)生由校正圖像代替的整個輸入圖像得到的圖像)合成，并且提供作為結(jié)果的合成圖像給輸出塊27和控制塊28。因此，經(jīng)由網(wǎng)絡(luò)12連接到涉及的圖像處理裝置11的輸出塊27的另一圖像處理裝置11的輸出塊27上，顯示校正圖像。
例如，如圖26中所示，如果校正圖像202的面積S2(指定區(qū)域203的面積S21與非指定區(qū)域204的面積S22的和，該非指定區(qū)域204對應(yīng)于校正圖像202中的指定區(qū)域203)較大，那么非指定區(qū)域204的面積S22變得比具有面積S1的屏幕201中的指定區(qū)域203的面積S21更大。即，在這種情況下，如果校正圖像202與指定區(qū)域203合成，那么校正區(qū)域202變?yōu)樾Ｕ龍D像202的局部。因此，用戶不能識別已經(jīng)變?yōu)楸粩z體的登記圖像。
因此，如果發(fā)現(xiàn)與校正圖像的面積S2的比率低于參考值，那么合成塊26將校正圖像205與從圖像拾取塊21接收的輸入圖像合成，作為整個屏幕206的圖像，例如如圖27中所示。作為結(jié)果，屏幕206上顯示全屏大小的校正圖像205。因此，如果用戶將登記圖像放得離圖像拾取塊21太近，只拍攝登記圖像的一部分，那么用戶可以識別登記圖像。
步驟S184或步驟S185的處理之后，過程返回到步驟S186，在該步驟S186中，指定區(qū)域跟蹤塊42確定是否用戶已經(jīng)命令結(jié)束電視通信。如果在步驟S186發(fā)現(xiàn)用戶沒有命令結(jié)束電視通信，那么重復(fù)步驟S181到S185的處理操作，直到命令結(jié)束電視通信。當(dāng)在步驟S186中發(fā)現(xiàn)命令結(jié)束電視通信時，那么上述處理到達結(jié)束。
為了執(zhí)行圖22中所示的步驟S181的第二指定區(qū)域跟蹤處理，圖2中顯示的指定區(qū)域跟蹤塊42具有如圖28中所示的配置。
圖28中顯示的指定區(qū)域跟蹤塊42具有區(qū)域指定塊211、特征點提取塊212、光流計算塊213、仿射矩陣計算塊214、誤差計算塊215和分數(shù)計算塊216。
物體參數(shù)從指定區(qū)域跟蹤塊41的分數(shù)計算塊146或者指定區(qū)域跟蹤塊42的分數(shù)計算塊216，提供給區(qū)域指定塊211。當(dāng)使用圖17中所示的區(qū)域指定塊141時，區(qū)域指定塊211根據(jù)提供的物體參數(shù)指定指定的區(qū)域，并且提供指定的區(qū)域給特征點提取塊212。
輸入圖像從圖像拾取塊21提供給特征點提取塊212。通過將提供的輸入圖像用于目標(biāo)輸入圖像，特征點提取塊212以與特征點提取塊122(圖3)和特征點提取塊142(圖17)相同的方式，從該目標(biāo)輸入圖像提取特征點。類似于特征點提取塊142，特征點提取塊212根據(jù)從區(qū)域指定塊211提供的指定區(qū)域，在提取的特征點中刪除任何位于指定區(qū)域外的特征點，暫時保存特征點信息。特征點提取塊212也提供目標(biāo)幀特征點信息、以前幀特征點信息和目標(biāo)輸入圖像給光流計算塊213。特征點提取塊212提供目標(biāo)幀特征點信息和以前幀特征點信息給誤差計算塊215。
光流計算塊213、仿射矩陣計算塊214和誤差計算塊215的功能與圖17中所示的光流計算塊143、仿射矩陣計算塊144和誤差計算塊145的功能相同，使得其說明將省略。
類似于圖17中所示的分數(shù)計算塊146，分數(shù)計算塊216確定在從誤差計算塊215提供的誤差中是否存在低于預(yù)定閾值T的誤差。類似于分數(shù)計算塊146，分數(shù)計算塊216根據(jù)判決的結(jié)果，確定對應(yīng)于該誤差的仿射矩陣的分數(shù)。
類似于分數(shù)計算塊146，分數(shù)計算塊216在目標(biāo)輸入圖像的仿射矩陣中，選擇具有最大分數(shù)的仿射矩陣作為指定區(qū)域中的典型仿射矩陣。類似于分數(shù)計算塊146，分數(shù)計算塊216提供典型仿射矩陣的參數(shù)給區(qū)域指定塊211作為物體參數(shù)。登記ID也從分數(shù)計算塊146提供給分數(shù)計算塊216。當(dāng)預(yù)定時間到來時，分數(shù)計算塊216將型仿射矩陣的參數(shù)與該登記ID一起提供典給校正圖像產(chǎn)生塊25。
因此，指定區(qū)域跟蹤塊42的配置基本上與指定區(qū)域跟蹤塊41的配置相同。
下面參考圖29中所示的流程圖說明圖22中所示的步驟S181的第二指定區(qū)域跟蹤處理的細節(jié)。
在步驟S201中，區(qū)域指定塊211確定是否物體參數(shù)已經(jīng)從指定區(qū)域跟蹤塊41輸入。如果在步驟S201中發(fā)現(xiàn)物體參數(shù)從指定區(qū)域跟蹤塊41輸入，那么在步驟S202中，區(qū)域指定塊211根據(jù)從指定區(qū)域跟蹤塊41接收的物體參數(shù)指定指定區(qū)域，提供指定區(qū)域給特征點提取塊212。
另一方面，如果發(fā)現(xiàn)沒有物體參數(shù)從指定區(qū)域跟蹤塊41輸入，那么在步驟S203中，根據(jù)隨后要說明的步驟S216中要從分數(shù)計算塊216提供的物體參數(shù)，區(qū)域指定塊211移動指定區(qū)域，提供指定區(qū)域給特征點提取塊212。
步驟S202或步驟S203的處理之后，過程轉(zhuǎn)到步驟S204，其中特征點提取塊212得到從圖像拾取塊21提供的輸入圖像作為目標(biāo)輸入圖像。步驟S205到S215的處理操作與圖18中所示的步驟S153到S163的那些相同，因此將省略其說明。
在步驟S215中，選擇典型仿射矩陣，以及在步驟S216中，分數(shù)計算塊216向校正圖像產(chǎn)生塊25輸出典型仿射矩陣的參數(shù)與從分數(shù)計算塊146接收的登記ID作為物體參數(shù)，該物體參數(shù)作為指定區(qū)域的跟蹤的結(jié)果得到，同時輸出物體參數(shù)給區(qū)域指定塊211。然后，過程返回到圖22中所示的步驟S181。
如上所述，基本上與由指定區(qū)域跟蹤塊41進行的第一指定區(qū)域跟蹤處理相同，由指定區(qū)域跟蹤塊42進行的第二指定區(qū)域跟蹤處理，可以執(zhí)行快速處理，從而使得能夠?qū)崟r跟蹤。當(dāng)?shù)谝恢付▍^(qū)域跟蹤處理中通過使用從識別塊23提供的信息設(shè)置要跟蹤的初始值時，在第二指定區(qū)域跟蹤處理中通過使用從指定區(qū)域跟蹤塊41提供的信息設(shè)置初始值。當(dāng)?shù)谝恢付▍^(qū)域跟蹤處理中要處理的圖像是存儲塊22中存儲的輸入圖像時，第二指定區(qū)域跟蹤處理中圖像是從圖像拾取塊21實時提供的輸入圖像。
下面參考圖30說明圖2中所示的圖像處理裝置11中的處理時序。
應(yīng)該注意，在圖30中，水平方向表示時間。在圖30中，每個方塊指示在對應(yīng)于水平方向的時間處理的幀。在每個方塊中或上面寫的數(shù)字指示那個幀的幀號。
如圖30的A中所示，在圖15中所示的圖像拍攝處理中，被攝體由圖像拍攝塊21拍攝，并且作為輸入圖像得到以幀為單位的拍攝圖像。在圖30中所示的例子中，首先登記的輸入圖像的幀號是”2。
還在圖30中所示的例子中，如B中所示，在隨后要參考圖34到36說明的一般物體識別處理開始的時間與該處理結(jié)束的時間之間，拍攝并存儲5幀的輸入圖像。因此，如圖30的B中所示，在一般物體識別處理中，在該處理開始時從圖像拍攝塊21輸入的每5幀的輸入圖像用作目標(biāo)輸入圖像。更具體地，在圖30中所示的例子中，具有幀號”2、”7、”12、”17...等的輸入圖像順序地提供輸入圖像。
如圖30的C中所示，當(dāng)通過一般物體識別處理從識別塊23輸入物體參數(shù)時，圖18中所示的第一指定區(qū)域跟蹤處理開始。在該第一指定區(qū)域跟蹤處理中，用于得到在處理開始時輸入的物體參數(shù)的輸入圖像提供目標(biāo)輸入圖像，即，具有從識別塊23提供的幀號的每個輸入圖像提供目標(biāo)輸入圖像，直到最后存儲的輸入圖像用作目標(biāo)輸入圖像。即，從拍攝具有從識別塊23提供的幀號的輸入圖像的時間、到第一指定區(qū)域跟蹤處理已經(jīng)順序地結(jié)束的時間，拍攝的每個輸入圖像提供目標(biāo)輸入圖像。
應(yīng)該注意，在圖30中所示的例子中，從拍攝具有從識別塊23提供的幀號的輸入圖像的時間到第一指定區(qū)域跟蹤處理已經(jīng)結(jié)束的時間，拍攝并存儲7幀的輸入圖像。因此，在第一指定區(qū)域跟蹤處理中，7幀的輸入圖像提供目標(biāo)輸入圖像。
如上所述，在第一指定區(qū)域跟蹤處理中，在從拍攝用于一般物體識別處理的輸入圖像的時間、到第一指定區(qū)域跟蹤處理已經(jīng)結(jié)束的時間拍攝的輸入圖像中，跟蹤指定區(qū)域。因此，第一指定區(qū)域跟蹤處理中輸出的物體參數(shù)是這樣的輸入圖像的指定區(qū)域的跟蹤的結(jié)果，該輸入圖像在第二指定區(qū)域跟蹤處理開始緊前面拍攝。
如圖30的D中所示，當(dāng)物體參數(shù)已經(jīng)通過第一指定區(qū)域跟蹤處理從指定區(qū)域跟蹤塊41輸入、或者在物體參數(shù)的輸入之后輸入圖像已經(jīng)輸入時，圖29中所示的第二指定區(qū)域跟蹤處理開始。在該第二指定區(qū)域跟蹤處理中，使用在處理開始時拍攝的輸入圖像作為目標(biāo)圖像執(zhí)行處理。
如上所述，第一指定區(qū)域跟蹤處理中輸出的物體參數(shù)是輸入圖像中指定區(qū)域的跟蹤的結(jié)果，該輸入圖像在第二指定區(qū)域跟蹤處理的開始緊前面拍攝，使得在第二指定區(qū)域跟蹤處理中，根據(jù)該物體參數(shù)跟蹤指定區(qū)域允許在處理的開始時拍攝的輸入圖像中的實時跟蹤。因此，當(dāng)執(zhí)行準確但花時間的一般物體識別處理時，圖2中所示的圖像處理裝置11允許根據(jù)該一般物體識別處理的結(jié)果實時跟蹤，因此提供實時精確跟蹤。
如圖30中所示，在本實施例中，第二指定區(qū)域跟蹤處理不繼續(xù)到第一指定區(qū)域跟蹤處理，該第一指定區(qū)域跟蹤處理根據(jù)第二幀到第八幀執(zhí)行，并且從第一指定區(qū)域跟蹤處理到第二指定區(qū)域跟蹤處理進行移動；但是一般物體識別處理和第一指定區(qū)域跟蹤處理每5幀執(zhí)行，并且每次這些處理操作執(zhí)行時重新開始第二指定區(qū)域跟蹤處理。該配置允許比不重新開始第二指定區(qū)域跟蹤處理的配置更精確的跟蹤。
下面參考圖31到33說明要由圖2中所示的圖像處理裝置11提供的效果。
首先，將參考圖31說明要由圖像拍攝塊21實時拍攝的圖像。在圖31中所示的例子中，在圖31A中所示的其目標(biāo)物體的顯示區(qū)域(以下稱為目標(biāo)物體區(qū)域)是區(qū)域P1的輸入圖像221拍攝之后，拍攝圖31B中所示的其目標(biāo)物體區(qū)域是P2的輸入圖像222，以及拍攝圖31C中所示的其目標(biāo)物體區(qū)域是P3的輸入圖像223。即，拍攝用戶從右下到左上移動照片的各狀態(tài)。
下面參考圖32說明這樣的情形在該情形中，執(zhí)行根據(jù)作為一般物體識別處理的結(jié)果得到的物體參數(shù)跟蹤指定區(qū)域的跟蹤處理，并且通過使用作為該處理的結(jié)果得到的物體參數(shù)產(chǎn)生合成圖像。即，下面說明識別塊23和指定區(qū)域跟蹤塊41組合的情況。應(yīng)該注意，在這種情況下，從提供一般物體識別處理中的目標(biāo)輸入圖像的輸入圖像的拍攝、到跟蹤處理的開始拍攝的輸入圖像用于跟蹤。
類似于圖31的情況，在圖32中所示的例子中，順序拍攝輸入圖像221(圖32A)、輸入圖像222(圖32B)和輸入圖像223(圖32C)。如上所述，通過使用輸入圖像(該輸入圖像從拍攝提供一般物體識別處理中的目標(biāo)輸入圖像的輸入圖像的時間、到跟蹤處理已經(jīng)開始的時間拍攝)執(zhí)行跟蹤處理，使得如果根據(jù)輸入圖像223(該輸入圖像223在通過使用作為跟蹤處理的結(jié)果得到的物體參數(shù)合成時拍攝)產(chǎn)生合成圖像，那么在跟蹤處理的開始時拍攝的輸入圖像223之前，根據(jù)輸入圖像221中的物體參數(shù)，產(chǎn)生具有在輸入圖像223的區(qū)域P1中嵌入的校正圖像的合成圖像。因此，校正圖像的顯示位置延遲跟蹤處理的開始和合成的時間之間的時間。
相反，如果執(zhí)行第一指定區(qū)域跟蹤處理，該第一指定區(qū)域跟蹤處理用于根據(jù)物體參數(shù)(該物體參數(shù)作為一般物體識別處理的結(jié)果得到)跟蹤指定區(qū)域，那么執(zhí)行第二指定區(qū)域跟蹤處理，用于根據(jù)作為第一指定區(qū)域跟蹤處理的結(jié)果得到的物體參數(shù)跟蹤指定區(qū)域，并且通過使用作為第二指定區(qū)域跟蹤處理的結(jié)果得到的物體參數(shù)產(chǎn)生合成圖像，即，如果由識別塊23、指定區(qū)域跟蹤塊41和指定區(qū)域跟蹤塊42執(zhí)行跟蹤，那么得到圖33中所示的例子。
在圖33中所示的例子中，如圖31和32中所示的例子順序地拍攝輸入圖像221到223。如上所述，在第一指定區(qū)域跟蹤處理中，從拍攝提供一般物體識別處理中的目標(biāo)輸入圖像的輸入圖像的時間、到第一指定區(qū)域跟蹤處理已經(jīng)結(jié)束的時間拍攝的輸入圖像，提供目標(biāo)輸入圖像，使得在第二指定區(qū)域跟蹤處理中，根據(jù)作為第一指定區(qū)域跟蹤處理的結(jié)果得到的物體參數(shù)跟蹤指定區(qū)域，允許在第二指定區(qū)域跟蹤處理的開始時拍攝的每個輸入圖像中的實時跟蹤。
因此，如圖33C中所示，如果拍攝輸入圖像223，那么根據(jù)作為輸入圖像223中實時跟蹤的結(jié)果得到的物體參數(shù)，產(chǎn)生具有在輸入圖像223的目標(biāo)物體的區(qū)域P3中嵌入的校正圖像的合成圖像。
下面參考圖34到36中顯示的流程圖，說明要由圖2中顯示的識別塊23執(zhí)行的一般物體識別處理。
在步驟S331到S347中，多分辨率產(chǎn)生塊131、特征點提取塊132和特征量提取塊133使用此時進入的輸入圖像用于目標(biāo)輸入圖像，并且對該目標(biāo)輸入圖像執(zhí)行與要由圖4和5中所示的步驟S11到S27中的學(xué)習(xí)塊111的多分辨率產(chǎn)生塊121、特征點提取塊122和特征量提取塊123執(zhí)行的那些基本相同的處理操作。因此，為了簡化說明將省略這些處理操作的說明。但是，由識別和學(xué)習(xí)之間的參數(shù)N和α確定的多分辨率圖像的配置存在差別。
當(dāng)多分辨率產(chǎn)生塊121以寬放大范圍和高精度在學(xué)習(xí)時產(chǎn)生多分辨率圖像時，多分辨率產(chǎn)生塊131以粗精度在識別時產(chǎn)生多分辨率圖像。更具體地，當(dāng)本實施例中應(yīng)用的參數(shù)在步驟S12的學(xué)習(xí)時是N＝10和α＝0.1時，在步驟S332中的識別時應(yīng)用的參數(shù)是N＝2和α＝0.5。其原因如下。
(1)為了增強識別的精度，希望通過使用更多數(shù)量的特征點特征量信息進行特征量的比較。即，希望從更多多分辨率圖像提取特征點。
(2)為了得到比例變化的健壯性，希望盡可能擴寬每個多分辨率圖像的配置的比例范圍。
(3)因為在登記圖像的學(xué)習(xí)時不需要太重視實時性，所以可以增加登記圖像的多分辨率圖像的數(shù)目，以通過擴寬比例范圍提取和保存特征點特征量。
(4)在本實施例中，通過使用kd樹的k最近鄰居(k-NN)搜索(隨后要說明)，在從每個目標(biāo)輸入圖像提取的特征點特征量之間進行比較，該kd樹從所有登記圖像的特征點特征量構(gòu)建，使得用于比較特征量的計算開銷隨著從每個目標(biāo)輸入圖像提取的特征點的數(shù)目增大而增大，但是關(guān)于登記圖像特征點的數(shù)目，如果從所有登記圖像構(gòu)造kd樹，那么計算開銷可以限制在logn的量級(即，O(logn))，其中n表示圖像特征點的總數(shù)。
(5)另一方面，因為在識別時強調(diào)實時性，所以有必要通過降低多分辨率圖像的數(shù)目盡可能降低計算開銷。
(6)但是，如果只使用目標(biāo)輸入圖像而不從目標(biāo)輸入圖像產(chǎn)生多分辨率圖像，并且每個目標(biāo)輸入圖像中的登記圖像的大小大于原始登記圖像的大小，那么該目標(biāo)物體的識別失效。
因為這些原因，當(dāng)如圖37中所示，盡管在以更寬的范圍(N＝10，α＝0.1)學(xué)習(xí)以提取更多特征點時，從登記圖像產(chǎn)生更多(k＝0到9)多分辨率圖像，然而在識別時(N＝2，α＝0.5)從目標(biāo)輸入圖像產(chǎn)生最少必要的(k＝0，1)多分辨率圖像以提取特征點，并且通過對kd樹應(yīng)用k-NN搜索進行特征量比較，從而實現(xiàn)計算開銷低和識別精度好的識別處理。圖37顯示原始登記圖像太大、并因此沒有具有對應(yīng)于該原始登記圖像的比例的層的目標(biāo)物體，但是降低原始登記圖像(k＝0)0.5倍(k＝1)，以提供具有對應(yīng)于原始登記圖像的比例的層的目標(biāo)物體。
當(dāng)已經(jīng)對所有特征點和所有分辨率圖像執(zhí)行了步驟S331到S345的處理操作時，則過程進行到步驟S348。
如隨后將說明的，從目標(biāo)輸入圖像提取的每個特征點特征量(維度退化濃度梯度向量組)與登記圖像的每個特征點特征量比較，該特征點特征量要與相似的登記圖像特征點特征量組合作為候選對應(yīng)特征點對。最簡單的特征量比較方法是全部搜索方法。在這種方法中，對于目標(biāo)輸入圖像的每個特征點特征量，執(zhí)行具有所有登記圖像的所有特征點特征量的特征量之間的相似度，并且根據(jù)得到的相似度選擇相應(yīng)的特征點對。但是，全部搜索方法在計算開銷方面不現(xiàn)實。所以在本實施例中，為了為必要的數(shù)據(jù)快速搜索大量的數(shù)據(jù)組，使用樹搜索方法，該樹搜索方法使用稱為kd樹的數(shù)據(jù)結(jié)構(gòu)(J.H.Friedman，J.L.Bentley，R.A.Finkel，“An algorithm for finding best matches inlogarithmic expected time”ACM Transactions on Mathematical Software，Vol.3，No.3，pp.209-226，1977年9月)。kd樹表示k維的樹結(jié)構(gòu)。
如果迄今為止只有在登記圖像字典登記塊124中通過學(xué)習(xí)過程登記的一部分登記圖像可以識別，那么在步驟S348中，kd樹構(gòu)造塊134只從要識別的登記圖像的所有特征點特征量構(gòu)造kd樹。在本實施例中，構(gòu)造類型1特征量的36d樹(k＝36)和類型2特征量的類型2樹的18d樹(k＝18)。每個樹的每個葉(或端節(jié)點)保存具有標(biāo)簽的一個特征點特征量，該標(biāo)簽指示從具有哪個登記ID的多分辨率圖像的哪個圖像的哪個比例提取一個特定的特征點特征量。
另一方面，為了識別在登記圖像字典登記塊124中登記的所有登記圖像，每次額外學(xué)習(xí)登記圖像時構(gòu)造樹，將構(gòu)造的樹登記到登記圖像字典登記塊124中。在這種情況下，省略步驟S348中kd樹構(gòu)造的處理。
在步驟S349中，特征量比較塊135選擇目標(biāo)輸入圖像中未處理的特征點。在步驟S350中，特征量比較塊135使目標(biāo)輸入圖像的類型1特征點特征量和相似的k個登記圖像的特征點特征量成對。類似地，在步驟S351中，特征量比較塊135使目標(biāo)輸入圖像的類型2特征點特征量和相似的k個登記圖像的特征點特征量成對。
即，由特征量比較塊135根據(jù)k-NN搜索方法(k-NN方法的k的值與kd樹的k的值可能不同(或者相同))，使由特征點提取塊132和特征量提取塊133提取的目標(biāo)輸入圖像的每個特征點特征量、與在特征量上相似的k個(在圖38中所示的例子中為4)登記圖像特征點特征量成對。在本實施例中，下面等式(12)中所示的歐幾里得距離(隨著這個距離的值增大，相似度降低)用于在對類型1特征量的k-NN搜索中使用的差異度，并且下面等式(13)中所示的余弦相關(guān)值(隨著這個余弦相關(guān)值的值增大，相似度增大)用于類型2特征量的相似度。
在上面的等式(12)中，uv和vv指示要為差異度計算的特征量向量，un和vn是指示uv和vv的n維的值，并且N指示uv和vv向量的維度的數(shù)量。
在上面的等式(13)中，uv和vv指示要為相似度計算的特征量向量，并且uv.vv指示向量的內(nèi)積。在提取在特征量上互相類似的k個對中，可以插入閾值判決，用于確定差異度(對類型1特征量)和相似度(對于類型2特征量)。上述的余弦相關(guān)值用于類型2特征量的相似度計算比例，以防止特征量受由于亮度變化而造成的局部濃度梯度向量的強度變化的影響。也可實踐的是將uv和vv向量歸一化到1，以對類型2特征量使用歸一化向量的歐幾里得距離作為差異度，而不是根據(jù)余弦相關(guān)值使用相似度。在這種情況下，特征量也變得不受由于亮度變化而造成的局部濃度梯度向量的強度變化的影響。
特征量比較塊135對每個目標(biāo)輸入圖像的特征點執(zhí)行步驟S349到S351的處理操作。在步驟S352中，特征量比較塊135確定是否已經(jīng)處理了所有特征點。如果發(fā)現(xiàn)任何未處理的特征點，則過程返回到步驟S349以從那里重復(fù)上述處理。如果在步驟S352中發(fā)現(xiàn)處理了所有特征點，那么過程進行到步驟S353。
因為使用兩種類型(類型1和類型2)的特征量，所以在通過上述方法、對于每個特征量類型得到用于輸入的目標(biāo)輸入圖像的特征點的特征點對之后，特征量比較塊135在步驟S353中只選擇對類型1和類型2共同提取的特征點對，作為候選對應(yīng)特征點對，為每個登記圖像分類得到的候選對應(yīng)特征點對。然后，提供這些候選對應(yīng)特征點給估計塊136。為了對每個登記圖像執(zhí)行處理，估計塊136在將這些對傳遞到下面的階段之前，為每個登記圖像分類提取的候選對應(yīng)特征點對，因此使處理更有效率。
圖38以示意的方式顯示上述處理。kd樹構(gòu)造塊134產(chǎn)生類型1的36d樹結(jié)構(gòu)和類型2的18d樹結(jié)構(gòu)。為了類型1特征量的4個相似對，通過k-NN搜索(在這個例子中，k＝4)從目標(biāo)輸入圖像的特征量搜索類型1特征量的36d樹結(jié)構(gòu)。在這個例子中，為如類似于類型1特征量36d樹結(jié)構(gòu)的五邊形、三角形、圓形和十字形，搜索目標(biāo)輸入圖像中由正方形表示的特征點特征量(在這個圖中，正方形、五邊形、三角形、圓形和十字形指示特征點特征量)。更進一步地，為了類型2特征量的4個相似對，類型2特征量18d樹結(jié)構(gòu)通過k-NN搜索方法搜索。在這個例子中，如類似于類型2特征量18d樹結(jié)構(gòu)中的平行四邊形、十字形、圓形或菱形，檢索(retrieve)目標(biāo)輸入圖像中的正方形。
從類型1特征量的4個相似對和類型2特征量的4個相似對選擇共同相似對組。在這個例子中，存在類型1特征量的4個相似對，即正方形和五邊形、正方形和三角形、正方形和圓形以及正方形和十字形。另一方面，存在類型2特征量的4個相似對，即正方形和平行四邊形、正方形和十字形、正方形和圓形以及正方形和菱形。因此，正方形和圓形以及正方形和十字形的相似對是這兩種類型共同的特征點對，使得選擇這些對作為候選對應(yīng)特征點對(或集合)。
也可實踐的是，為每個特征量類型和每個登記圖像構(gòu)造kd樹，以對每個登記圖像搜索目標(biāo)輸入圖像的每個特征點特征量的k-NN，而不是從所有登記圖像的所有特征點特征量構(gòu)造一個kd樹，以為每個特征量類型搜索目標(biāo)輸入圖像的每個特征點特征量的k-NN。在任何一種情況下，輸出是為每個登記圖像分類的候選對應(yīng)特征點對組，并因此以后要說明的隨后的處理變得對兩種情況相同。
上述處理允許在特征點鄰域提取局部濃度梯度信息相似的對組(或者登記圖像特征點和目標(biāo)輸入圖像特征點的對)；但是，宏觀地，因此獲得的對組不僅包括與目標(biāo)物體的位置姿態(tài)不矛盾的“真特征點對(內(nèi)露層)”(在該“真特征點對(內(nèi)露層)”中，相應(yīng)特征點的空間位置關(guān)系對應(yīng)登記圖像)，而且包括與位置姿態(tài)矛盾的“假特征對(外露層)”。
圖39以示意的方式顯示內(nèi)露層和外露層。如圖中所示，當(dāng)圖的左側(cè)中顯示的三角形登記圖像對應(yīng)圖的右側(cè)中顯示的目標(biāo)輸入圖像中的三角形檢測的目標(biāo)物體時，登記圖像的三角形的頂點鄰域的特征點P1到P4達到分別對應(yīng)檢測的目標(biāo)物體的特征點P11到P14。即，特征點P1對應(yīng)特征點P11，特征點P2對應(yīng)特征點P12，特征點P3對應(yīng)特征點P13以及特征點P4對應(yīng)特征點P14。因此，這些候選對應(yīng)特征點對配置內(nèi)露層。應(yīng)該注意，在圖39中，內(nèi)露層由實線指示。
另一方面，登記圖像的特征點P位于近似三角形的中心，并且特征點P6位于三角形的外圍鄰域的外面。相反，與特征點P5成對的目標(biāo)輸入圖像的特征點P15、以及與特征點P6成對的目標(biāo)輸入圖像的特征點P16，位于遠離檢測的目標(biāo)物體。即，特征點P5和特征點P15的候選對應(yīng)特征點對、以及特征點P6和特征點P16的候選對應(yīng)特征點對是外露層。應(yīng)該注意，在圖39中，外露層由虛線指示。
對于從候選對應(yīng)特征點對獲得物體參數(shù)(該物體參數(shù)用于確定目標(biāo)物體的目標(biāo)輸入圖像中的位置和姿態(tài))的方法，可能的方法是由最小平方估計獲得估計的圖像變換參數(shù)。目標(biāo)物體的位置和姿態(tài)可以通過重復(fù)排除如下對、和通過使用剩余的對由最小平方估計獲得估計的圖像變換參數(shù)的處理更精確地獲得，在所述對中結(jié)果估計的目標(biāo)物體位置和姿態(tài)與空間位置關(guān)系之間存在矛盾。
但是，如果候選對應(yīng)特征點對中外露層的數(shù)目大，或者如果存在任何極度偏離真圖像變換參數(shù)的外露層，那么已知通過最小平方估計的估計結(jié)果一般不令人滿意(Hartley R.，Zisserman A.，“Multiple View Geometry in ComputerVision，”Chapter 3，pp.69-116，Cambridge University Press，2000)。因此，本實施例的估計塊136在一些圖像變換的限制下，從候選對應(yīng)特征點對的空間位置關(guān)系提取“真特征點對(內(nèi)露層)”，并且通過使用提取的內(nèi)露層，估計用于確定目標(biāo)物體的位置姿態(tài)的圖像變換參數(shù)。
對受到識別的每個登記圖像執(zhí)行估計塊136的該估計處理，以確定是否對每個登記圖像存在目標(biāo)物體，因此如果發(fā)現(xiàn)相應(yīng)的目標(biāo)物體，那么估計位置姿態(tài)。下面說明中的候選對應(yīng)特征點對表示這樣的對組，其中只有與候選對應(yīng)特征點對中涉及的登記圖像相關(guān)聯(lián)的對是特征量比較塊135的輸出。
圖像變換包括歐幾里得變換、相似變換、仿射變換和投射變換。在本實施例中，將對仿射變換的限制下執(zhí)行位置姿態(tài)估計的情況進行詳細說明。如上所述，不能計算仿射變換參數(shù)，除非存在三個或更多特征點集合，使得在步驟S354中選擇一個未處理的登記圖像，估計塊136在步驟S354中確定是否存在三個或更多候選對應(yīng)特征點對(集合)。
如果候選對應(yīng)特征點對的數(shù)目是2或更小，那么估計塊136在步驟S356中確定目標(biāo)輸入圖像中不存在目標(biāo)物體，或者目標(biāo)物體位置姿態(tài)的檢測失敗，因此輸出“識別無效“。另一方面，如果發(fā)現(xiàn)三個或更多候選對應(yīng)特征點集合，那么它指示目標(biāo)物體位置姿態(tài)的檢測有效，使得估計塊136執(zhí)行仿射變換參數(shù)的估計。因此，估計塊136在步驟S357中執(zhí)行坐標(biāo)變換。即，候選對應(yīng)特征點集合的登記圖像特征點位置姿態(tài)變換為原始登記圖像上的位置坐標(biāo)，并且同時，目標(biāo)輸入圖像特征點位置坐標(biāo)變換為輸入原始圖像的位置坐標(biāo)。然后，在步驟S358中，估計塊136執(zhí)行估計處理。
現(xiàn)在，設(shè)由候選對應(yīng)特征點的3個集合組成的對組P為([x1y1]T，[u1v1]T)、([x2y2]T，[u2v2]T)、([x3y3]T，[u3v3]T)，然后對組P和仿射變換參數(shù)的關(guān)系以下面的關(guān)系式[14]中所示的線性系統(tǒng)表達。
使用上面的關(guān)系式(14)，當(dāng)重寫為Axv＝bv(下標(biāo)V指示前面的是向量(例如xv的x))時，仿射變換參數(shù)xv的最小平方解由下面的等式(15)給出。
xv＝A-1bv(15) 如果重復(fù)地從候選對應(yīng)特征點集合組隨機選擇對組P，以便在一個或更多外露層中混合，那么該仿射變換參數(shù)分散地投射在參數(shù)空間中。另一方面，如果重復(fù)地隨機選擇只由內(nèi)露層組成的對組P，那么仿射變換參數(shù)變得與目標(biāo)物體位置姿態(tài)的真仿射變換參數(shù)非常近似，即在參數(shù)空間中距離近。因此，重復(fù)從候選對應(yīng)特征點集合組隨機選擇對組P、以將仿射變換參數(shù)投射到參數(shù)空間中的處理，導(dǎo)致內(nèi)露層形成參數(shù)空間中高度集中(或者成員的數(shù)目高)的簇(cluster)，導(dǎo)致外露層以分散的方式出現(xiàn)。即，在參數(shù)空間中成簇(clustering)導(dǎo)致具有最多成員的簇的元素提供內(nèi)露層。
下面參考圖40中所示的流程圖說明要由估計塊136執(zhí)行的估計處理的細節(jié)。為了由估計塊136成簇，使用NN(最近鄰居)方法。因為上述參數(shù)b1、b2依賴于登記圖像取各種值，所以成簇中成簇閾值的選擇也依賴于x-空間中的登記圖像。因此，在如下假定下，估計塊136只在定義參數(shù)a1，...，a4(以下表示為av)的參數(shù)空間中執(zhí)行成簇，該假定是很少發(fā)現(xiàn)給出仿射變換參數(shù)的對組P，在該對組中，真參數(shù)和參數(shù)a1，...，a4之間存在相似度，但是參數(shù)b1、b2不同。應(yīng)該注意，即使發(fā)生上述假定不能建立的情況，在由參數(shù)b1、b2組成的獨立于av空間的參數(shù)空間中也可以執(zhí)行成簇，以通過考慮成簇的結(jié)果容易地防止該問題。
首先，在步驟S401中，估計塊136執(zhí)行初始化處理。更具體地，指示重復(fù)的數(shù)目的變量的計數(shù)值cnt設(shè)置為1，并且從候選對應(yīng)特征點集合組隨機選擇3對作為對組P1，因此得到仿射變換參數(shù)av1。另外，估計塊136設(shè)置指示簇的數(shù)目的變量N為1，在仿射變換參數(shù)空間av中創(chuàng)建圍繞av1的簇Z1。估計塊136設(shè)置這個簇Z1的質(zhì)心cv1為av1，以及指示簇成員的數(shù)目的變量nz1為1，因此更新計數(shù)值cnt為2。
接下來，在步驟S402中，估計塊136從候選對應(yīng)特征點集合組隨機選擇3對作為對組Pcnt，因此計算仿射變換參數(shù)aVcnt。然后，估計塊136將得到的仿射變換參數(shù)aVcnt投射到參數(shù)空間中。
在步驟S403中，估計塊136通過NN方法使仿射變換參數(shù)空間成簇。更具體地，估計塊136根據(jù)下面的等式(16)，得到仿射變換參數(shù)aVcnt和每個簇Zi之間到質(zhì)心cvi(i＝1，...，N)的距離d(aVcnt，cvi)的最小距離dmin。
dmin＝min1≤i≤N{d(aVcnt，cVi)}...(16) 然后，如果對預(yù)定的閾值τ(例如τ＝0.1)dmin＜τ，那么估計塊136使aVcnt屬于給出dmin的Zi，因此在包括aVcnt的所有成員中更新簇Zi的質(zhì)心ci。簇Zi的成員數(shù)nzi等于nzi+1。另一方面，如果dmin≥τ，那么估計塊136創(chuàng)建新的簇ZN+1，在該新的簇ZN+1中，aVcnt是仿射變換參數(shù)空間aV中的質(zhì)心cVN+1，設(shè)置該簇的成員數(shù)nzN+1為1以及簇的數(shù)目N為N+1。
接下來，在步驟S404中，估計塊136確定是否滿足重復(fù)結(jié)束條件。重復(fù)結(jié)束條件可以是例如最大成員數(shù)目超過預(yù)定閾值(例如15)、并且最大成員數(shù)目和次最大成員數(shù)目之間的差別超過預(yù)定閾值(例如3)或者重復(fù)計數(shù)器的計數(shù)值cnt超過預(yù)定閾值(例如5000)。如果在步驟S404中發(fā)現(xiàn)不滿足重復(fù)結(jié)束條件(判決為否)，那么估計塊136在步驟S405中設(shè)置重復(fù)的數(shù)目的計數(shù)值cnt為cnt+1，在此過程返回到步驟S402以從那里重復(fù)上述處理。
另一方面，如果如果在步驟S404中發(fā)現(xiàn)滿足重復(fù)結(jié)束條件(判決為是)，那么在步驟S406中，如果由上述處理得到的內(nèi)露層的數(shù)目小于3對，那么因為仿射變換參數(shù)未確定，所以估計塊136輸出識別的結(jié)果為“未檢測到目標(biāo)物體”；如果提取的內(nèi)露層的數(shù)目是3對或更多，那么估計塊136根據(jù)內(nèi)露層，通過最小平方方法估計用于確定目標(biāo)物體位置姿態(tài)的仿射變換參數(shù)，以輸出估計的仿射變換參數(shù)作為識別的結(jié)果。
如果內(nèi)露層是([xIN1 yIN1]T，[uIN1 vIN1]T)、([xIN2 yIN2]T，[uIN2 vIN2]T)等，那么以下面的關(guān)系式(17)中所示的線性系統(tǒng)，表達內(nèi)露層和仿射變換參數(shù)之間的關(guān)系。
當(dāng)上面的關(guān)系式重新寫為AINxVIN＝bVIN時，仿射變換參數(shù)xVIN的最小平方解由下面的等式(18)給出。
xVIN＝(AINT AIN)1AINTbVIN…(18) 在步驟S406中，估計塊136估計該仿射變換參數(shù)xVIN為物體參數(shù)。估計塊136使該物體參數(shù)與對應(yīng)于步驟S354中選擇的登記圖像的登記ID相關(guān)，并且保存該相關(guān)信息。
再次參考圖36，在步驟S358或S356的處理之后，估計塊136在步驟S359中確定是否已經(jīng)處理了所有登記圖像。如果發(fā)現(xiàn)任何未處理的登記圖像，那么過程返回到步驟S354以從那里重復(fù)上述處理。如果在步驟S359中發(fā)現(xiàn)處理了所有登記圖像，那么在步驟S360中，估計塊136將在步驟S406中保存的物體參數(shù)和登記ID，與目標(biāo)輸入圖像的幀號一起，輸出到指定區(qū)域跟蹤塊41。
在步驟S361中，多分辨率產(chǎn)生塊131確定用戶是否已經(jīng)命令電視通信的結(jié)束。如果未發(fā)現(xiàn)命令結(jié)束電視通信，那么過程返回到步驟S331以從那里開始上述處理。如果發(fā)現(xiàn)命令結(jié)束電視通信，那么過程到達結(jié)束。
對每個要識別的登記圖像執(zhí)行圖36中所示的步驟S354到S359的處理操作。該處理在圖41中以示意的方式顯示。在該例子中，首先從候選對應(yīng)特征點集合組p1到p6隨機選擇3個候選對應(yīng)特征點集合組p1、p3和p4，并且根據(jù)選擇的組得到的仿射變換參數(shù)被投射到參數(shù)空間中。接下來，隨機選擇3個候選對應(yīng)特征點集合組p3、p4和p6，并且根據(jù)這些組得到的仿射變換參數(shù)被投射到參數(shù)空間中。重復(fù)類似的處理以在該例子中選擇3個候選對應(yīng)特征點集合組p5、p4和p1，并且根據(jù)這些組得到仿射變換參數(shù)以投射到參數(shù)空間中。然后，在參數(shù)空間中，相鄰仿射變換參數(shù)成簇，并且應(yīng)用最小平方方法到成簇的仿射變換參數(shù)以確定物體參數(shù)。
如果其許多包括在候選對應(yīng)特征點集合組中，那么上述技術(shù)允許排除外露層，因此精確地執(zhí)行位置姿態(tài)估計(或者物體參數(shù)獲得)。
在上述實施例中，已經(jīng)詳細說明詳述了仿射變換的限制下的位置姿態(tài)估計。在仿射變換的限制下，在平面區(qū)域中支配的三維物體(如例如盒子或書)可行執(zhí)行對該支配平面的觀察點變化健壯的位置姿態(tài)估計。但是，執(zhí)行對在曲面與凹陷和凸起中支配的三維物體健壯的位置姿態(tài)估計，需要擴展仿射變換限制到投射變換限制。應(yīng)該注意，也在這種情況下，只有要估計的變換參數(shù)的維數(shù)增大，并且因此可以容易地擴展上述技術(shù)。
這樣得到的目標(biāo)物體的位置姿態(tài)在圖37和39中以虛線表示。如這些圖中所示，在本實施例中，不僅檢測對應(yīng)于登記圖像的目標(biāo)物體的存在或不存在，而且如果目標(biāo)物體存在，那么估計并輸出其位置姿態(tài)。
應(yīng)該注意，因為由估計塊136估計的目標(biāo)物體的位置姿態(tài)表示相對于目標(biāo)輸入圖像的目標(biāo)物體的位置姿態(tài)，所以如果目標(biāo)物體的位置姿態(tài)被認為是參考位置姿態(tài)，那么估計塊136對登記圖像估計目標(biāo)物體的位置姿態(tài)。
在上面的說明中，閾值τ是常數(shù)值。在重復(fù)步驟S402到S405的處理中也可實踐的是使用所謂的退火(annealing)方法的技術(shù)，在該退火方法中，首先使用相對大的閾值τ使用粗內(nèi)露層提取，并且隨著重復(fù)數(shù)目的增大，使用更小的閾值τ。這種方法允許精確地提取內(nèi)露層。
在上面的說明中，通過重復(fù)從候選對應(yīng)特征點集合組隨機選擇對(集合)組P、投射得到的仿射變換參數(shù)到參數(shù)空間中、并且使用具有最大成員數(shù)目的簇的元素作為內(nèi)露層的處理，根據(jù)最小平方方法估計物體參數(shù)。但是，也可實踐的是，使用具有最大成員數(shù)目的簇的質(zhì)心作為物體參數(shù)。另外，可以由3個或更多特征點配置每個對。
如上所述，對于每個登記圖像將由特征量比較塊135為每個登記圖像提取的特征點對分類，并且對每個登記圖像由估計塊136執(zhí)行位置姿態(tài)估計，使得即使對每個目標(biāo)輸入圖像中包括兩個或更多登記圖像的圖像，也可以識別每個目標(biāo)物體登記圖像。
在上述實施例中，在第一指定區(qū)域跟蹤處理和第二指定區(qū)域跟蹤處理的每個中選擇3個特征點。但是，也可實踐的是選擇多于3個特征點。
在上述實施例中，從第一指定區(qū)域跟蹤處理和第二指定區(qū)域跟蹤處理的每個中的光流計算仿射矩陣。也可實踐的是計算投射變換矩陣。在這種情況下，選擇4個或更多個特征點，并且從這些特征點的光流計算投射變換矩陣。
在圖2中所示的圖像處理裝置11中，第一指定區(qū)域跟蹤處理和第二指定區(qū)域跟蹤處理分別由指定區(qū)域跟蹤塊41和指定區(qū)域跟蹤塊42執(zhí)行，作為分開的線程。但是，也可實踐的是由兩個指定區(qū)域跟蹤塊交替執(zhí)行第一和第二指定區(qū)域跟蹤處理操作。
參考圖42，顯示說明圖像處理裝置11的示范性配置的方塊圖，其中由兩個指定區(qū)域跟蹤塊交替執(zhí)行第一和第二指定區(qū)域跟蹤處理操作。
圖42中所示的圖像處理裝置11具有圖像拾取塊21、存儲塊22、識別塊23、合成塊26、輸出塊27、控制塊28、服務(wù)器29、跟蹤單元301和校正圖像產(chǎn)生塊302。應(yīng)該注意，參考圖42，類似于那些以前參考圖2說明的組件由相同的參考號碼表示，并因此為了說明的簡潔將省略其說明。
跟蹤單元301具有指定區(qū)域跟蹤塊311和指定區(qū)域跟蹤塊312。指定區(qū)域跟蹤塊311和指定區(qū)域跟蹤塊312，每個由圖17中所示的指定區(qū)域跟蹤塊41和圖28中所示的指定區(qū)域跟蹤塊42的組合配置，因此執(zhí)行圖18中所示的第一指定區(qū)域跟蹤處理和圖29中所示的第二指定區(qū)域跟蹤處理。指定區(qū)域跟蹤塊311和指定區(qū)域跟蹤塊312將從識別塊23接收的識別ID和作為第二指定區(qū)域跟蹤處理的結(jié)果得到的物體參數(shù)，提供給校正圖像產(chǎn)生塊302。
校正圖像產(chǎn)生塊302提供從指定區(qū)域跟蹤塊311或指定區(qū)域跟蹤塊312接收的登記ID給控制塊28，因此向控制塊28請求對應(yīng)于這個登記ID的登記圖像。根據(jù)響應(yīng)于請求從控制塊28提供的登記圖像、以及從指定區(qū)域跟蹤塊311或指定區(qū)域跟蹤塊312接收的物體參數(shù)，校正圖像產(chǎn)生塊302產(chǎn)生具有與目標(biāo)物體的那些相同大小和姿態(tài)的登記圖像，作為校正圖像。校正圖像產(chǎn)生塊302將從指定區(qū)域跟蹤塊311或指定區(qū)域跟蹤塊312接收的物體參數(shù)和產(chǎn)生的校正圖像，提供給合成塊26。
如上所述，因為圖42中所示的圖像處理裝置11的跟蹤單元301具有有相同配置的指定區(qū)域跟蹤塊311和指定區(qū)域跟蹤塊312，所以可以容易地進行跟蹤單元301的開發(fā)、修改和維護。
要在存儲塊22中執(zhí)行的存儲處理如參考圖15所說明的。
下面參考圖43中所示的流程圖說明要由圖42中所示的圖像處理裝置11執(zhí)行的第一實時跟蹤處理。
在步驟S531中，通過使用在圖15的步驟S101中從圖像拾取塊21輸入的輸入圖像作為目標(biāo)輸入圖像，識別塊23執(zhí)行圖34到36中所示的一般物體識別處理。
在步驟S532中，識別塊23確定用戶是否已經(jīng)命令結(jié)束電視通信，并且重復(fù)步驟S531的處理，直到命令電視通信的結(jié)束。如果在步驟S532中發(fā)現(xiàn)命令結(jié)束電視通信，那么過程到達結(jié)束。
下面參考圖44所示的流程圖，說明要由圖42中所示的圖像處理裝置11執(zhí)行的第二實時跟蹤處理。當(dāng)例如登記ID、幀號和物體參數(shù)作為步驟S531中執(zhí)行的一般物體識別處理的結(jié)果從識別塊23輸出時，該第二實時跟蹤處理由指定區(qū)域跟蹤塊311和指定區(qū)域跟蹤塊312的每個執(zhí)行。
在步驟S561中，指定區(qū)域跟蹤塊311和指定區(qū)域跟蹤塊312每個確定是否已經(jīng)到達其處理時序。例如，指定區(qū)域跟蹤塊311和指定區(qū)域跟蹤塊312確定如果已經(jīng)捕獲來自識別塊23的以前輸出，那么時序還未到達該時間。因此，指定區(qū)域跟蹤塊311和指定區(qū)域跟蹤塊312確定每次登記ID、幀號和物體參數(shù)從識別塊23輸出時，其時序已經(jīng)交替到來。
如果在步驟S561中發(fā)現(xiàn)時序不是用于自身處理的時序，那么指定區(qū)域跟蹤塊311或指定區(qū)域跟蹤塊312結(jié)束處理。另一方面，如果在步驟S561中發(fā)現(xiàn)時序是用于自身處理的時序(識別塊23的輸出不是最后捕獲的)，那么指定區(qū)域跟蹤塊311或指定區(qū)域跟蹤塊312在步驟S562中捕獲識別塊23的輸出。
在步驟S563中，指定區(qū)域跟蹤塊311或指定區(qū)域跟蹤塊312執(zhí)行圖18中所示的第一指定區(qū)域跟蹤處理。在步驟S564中，指定區(qū)域跟蹤塊311或指定區(qū)域跟蹤塊312執(zhí)行圖29中所示的第二指定區(qū)域跟蹤處理。步驟S565到S568的處理操作與圖22中所示的步驟S 182到S 185的那些相同，并因此將省略其說明。
下面參考圖45A、45B、45C和45D說明要由圖42中所示的圖像處理裝置11執(zhí)行的處理的時序。
應(yīng)該注意，圖45A、45B、45C和45D中的水平方向如圖30A、30B、30C和30D指示時間。參考圖45A、45B、45C和45D，每個正方形指示要在對應(yīng)于水平位置的時間執(zhí)行的幀，并且在每個正方形中或上面顯示的號碼如圖30A、30B、30C和30D指示該幀的幀號。
圖45A中所示的存儲處理和圖45B中所示的一般物體識別處理，分別與圖30A中所示的存儲處理和圖30B中所示的一般物體識別處理相同，使得將省略其說明。
如圖45C中所示，當(dāng)輸出的數(shù)目(如通過由識別塊23執(zhí)行的一般物體識別處理得到的物體參數(shù))是奇數(shù)時，通過指定區(qū)域跟蹤塊311的處理開始。在通過指定區(qū)域跟蹤塊311的第一指定區(qū)域跟蹤處理中，如圖30C中所示的第一指定區(qū)域跟蹤處理，用于得到處理開始時輸入的物體參數(shù)的輸入圖像提供目標(biāo)輸入圖像，即，具有從識別塊23提供的幀號的每個輸入圖像提供目標(biāo)輸入圖像，直到最后存儲的輸入圖像用作目標(biāo)輸入圖像。
接下來，當(dāng)已經(jīng)通過第一指定區(qū)域跟蹤處理計算了物體參數(shù)時，如圖30D中所示的第二指定區(qū)域跟蹤處理，通過使用在處理開始時拍攝的輸入圖像作為目標(biāo)輸入圖像，執(zhí)行第二指定區(qū)域跟蹤處理。然后，每次從圖像拾取塊21輸入輸入圖像時，通過使用輸入圖像作為目標(biāo)輸入圖像執(zhí)行該第二指定區(qū)域跟蹤處理，直到通過指定區(qū)域跟蹤塊312的第一指定區(qū)域跟蹤處理結(jié)束。
即，通過使用下述圖像作為目標(biāo)輸入圖像，執(zhí)行第二指定區(qū)域跟蹤處理，該圖像在通過指定區(qū)域跟蹤塊311的第一指定區(qū)域跟蹤處理的結(jié)束、和通過指定區(qū)域跟蹤塊312的第一指定區(qū)域跟蹤處理的結(jié)束之間拍攝。
在通過指定區(qū)域跟蹤塊311的第一指定區(qū)域跟蹤處理的結(jié)束、和通過指定區(qū)域跟蹤塊312的第一指定區(qū)域跟蹤處理的結(jié)束之間拍攝的輸入圖像的幀的數(shù)目，等于在通過指定區(qū)域跟蹤塊311的第一指定區(qū)域跟蹤處理、和通過指定區(qū)域跟蹤塊312的第一指定區(qū)域跟蹤處理的開始之間(即，在一般物體識別處理必需的時間段期間)拍攝的輸入圖像的幀的數(shù)目。在圖45A、45B、45C和45D中所示的例子中，如圖30A、30B、30C和30D中所示的例子，一般物體識別處理必需的時間等于等于存儲5幀輸入圖像所需的時間，使得用作第二指定區(qū)域跟蹤處理中的目標(biāo)輸入圖像的輸入圖像的幀的數(shù)目是5。
如圖45D中所示，當(dāng)輸出的數(shù)目(如通過由識別塊23執(zhí)行的一般物體識別處理得到的物體參數(shù))是偶數(shù)時，通過指定區(qū)域跟蹤塊312的處理開始。通過指定區(qū)域跟蹤塊312第一指定區(qū)域跟蹤處理和第二指定區(qū)域跟蹤處理，只是在時序上不同于通過圖45C中所示的指定區(qū)域跟蹤塊311的處理，并且因此通過指定區(qū)域跟蹤塊312第一指定區(qū)域跟蹤處理和第二指定區(qū)域跟蹤處理，以與通過指定區(qū)域跟蹤塊311的處理基本相同的方式執(zhí)行。
如上所述，在圖42中所示的圖像處理裝置11中，通過指定區(qū)域跟蹤塊311的第二指定區(qū)域跟蹤處理，執(zhí)行從該處理的開始到通過指定區(qū)域跟蹤塊312的第二指定區(qū)域跟蹤處理的開始拍攝的每個輸入圖像的跟蹤，并且通過指定區(qū)域跟蹤塊312的第二指定區(qū)域跟蹤處理，執(zhí)行從該處理的開始到通過指定區(qū)域跟蹤塊311的第二指定區(qū)域跟蹤處理的開始拍攝的每個輸入圖像的跟蹤。因此，圖42中所示的圖像處理裝置11可以執(zhí)行由圖像拾取塊21拍攝的每個輸入圖像的實時跟蹤。
在上面的說明中，圖像處理裝置11執(zhí)行能夠以較小負載快速處理的第一和第二指定區(qū)域跟蹤處理、以及與負載更大的一般物體識別處理組合的處理，使快速處理困難。但是，也可實踐的是與第一和第二指定區(qū)域跟蹤處理組合的識別處理是除了一般物體識別處理外的任何識別處理。例如，圖像處理裝置11可以執(zhí)行這樣的處理，在該處理中，第一和第二指定區(qū)域跟蹤處理與計算機碼識別處理或精度比前者低的顏色識別處理組合。在這種情況下，根據(jù)由計算機碼識別處理或顏色識別處理松散識別的位置和姿態(tài)，圖像處理裝置11可以執(zhí)行第一和第二指定區(qū)域跟蹤處理，因此更詳細地識別每個目標(biāo)物體的位置和姿態(tài)。
在上面的說明中，本發(fā)明應(yīng)用到執(zhí)行電視通信的圖像處理裝置。但是顯然，本發(fā)明也可以應(yīng)用到任何執(zhí)行跟蹤的圖像處理裝置。
圖46和47顯示對其應(yīng)用了本發(fā)明的眼鏡類型的可佩帶計算機的概要。
如圖46中所示，當(dāng)用戶佩帶眼鏡類型的可佩帶計算機401、并且觀看用計算機碼402A打印的一張紙402時，眼鏡類型的可佩帶計算機401通過未顯示的成像塊拍攝那張紙402的圖像，因此通過使用作為圖像拍攝的結(jié)果得到的輸入圖像411，執(zhí)行計算機碼識別處理以及第一和第二指定區(qū)域跟蹤處理。因此，計算輸入圖像411中計算機碼402A的物體參數(shù)。然后，根據(jù)得到的物體參數(shù)和預(yù)先存儲的與計算機碼402A相關(guān)聯(lián)的關(guān)聯(lián)圖像421，眼鏡類型的可佩帶計算機401在未顯示的輸出塊上顯示具有關(guān)聯(lián)圖像421的合成圖像412，該相關(guān)聯(lián)的圖像421嵌入在輸入圖像411中的計算機碼402A的區(qū)域中。
因此，移動那張紙402，用戶能夠移動合成圖像412中的關(guān)聯(lián)圖像421的位置，或者放大或縮小關(guān)聯(lián)圖像421的大小。
如圖47中所示，當(dāng)用戶佩帶眼鏡類型的計算機401并且觀察例如位于街道上的海報501時，眼鏡類型的可佩帶計算機401通過未顯示的成像塊拍攝海報501的圖像，并且通過使用作為圖像拍攝的結(jié)果得到的輸入圖像511，執(zhí)行一般物體識別處理以及第一和第二指定區(qū)域跟蹤處理。因此，計算輸入圖像511中海報501的物體參數(shù)。然后，根據(jù)得到的物體參數(shù)以及作為與預(yù)先存儲的海報501相關(guān)聯(lián)的關(guān)聯(lián)圖像、用于廣告的移動圖像521，眼鏡類型的可佩帶計算機401在未顯示的輸出塊上顯示具有移動圖像的合成圖像512，該移動圖像521嵌入在輸入圖像511中的海報501的區(qū)域中。
因此，廣告者可以例如只通過將海報501放在街道上，向用戶提供可以包括比海報501更多條信息的移動圖像521。
應(yīng)該注意，在圖46中所示的例子中，關(guān)聯(lián)圖像421嵌入在輸入圖像411中的計算機碼402A的區(qū)域中；但是，關(guān)聯(lián)圖像421的大小和姿態(tài)可能與計算機碼402A的那些不同。例如，如圖24中所示的例子，具有面向眼鏡類型的可佩帶計算機401的成像拍攝塊的光軸的姿態(tài)的關(guān)聯(lián)圖像421，可以用與輸入圖像411中的計算機碼402A的大小相同的大小顯示。這對圖47中所示的例子也保持正確。
上述處理操作的序列可以由軟件以及硬件執(zhí)行。
這里應(yīng)該注意，用于說明記錄在記錄介質(zhì)中的每個程序的步驟，不僅包括以時間依賴的方式順序執(zhí)行的處理操作，而且包括并發(fā)或離散執(zhí)行的處理操作。
也應(yīng)該注意，這里使用的術(shù)語“系統(tǒng)”表示由多個組成元件配置的整個裝置。
雖然已經(jīng)使用特定術(shù)語說明了本發(fā)明的優(yōu)選實施例，但是這樣的說明只是為了說明目的，并且要理解的是，可以進行改變和變化而不背離權(quán)利要求書的精神或范圍。
相關(guān)申請的交叉引用
本發(fā)明包含涉及于2007年2月20日向日本專利局提交的日本專利申請JP 2007-038853的主題，這里通過引用合并該申請的全部內(nèi)容。
權(quán)利要求
1.一種圖像處理裝置，用于從拍攝圖像識別對應(yīng)于預(yù)先登記的登記圖像的物體，該圖像處理裝置包括
圖像拍攝器，被配置來拍攝被攝體的圖像以獲得所述被攝體的所述拍攝圖像；
識別器，被配置來從所述拍攝圖像識別對應(yīng)于所述登記圖像的物體；
第一指定區(qū)域跟蹤器，被配置來執(zhí)行第一指定區(qū)域跟蹤處理，用于跟蹤所述拍攝圖像中、根據(jù)由所述識別器的識別的結(jié)果指定的第一跟蹤區(qū)域；以及
第二指定區(qū)域跟蹤器，被配置來執(zhí)行第二指定區(qū)域跟蹤處理，用于跟蹤根據(jù)所述第一指定區(qū)域跟蹤處理的結(jié)果指定的第二指定區(qū)域。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中所述第一指定區(qū)域跟蹤器在范圍從用于由所述識別器在識別中使用的圖像的拍攝、到所述第一指定區(qū)域跟蹤處理的結(jié)束的時間段中，對每個拍攝圖像執(zhí)行所述第一指定區(qū)域跟蹤處理。
3.根據(jù)權(quán)利要求1所述的圖像處理裝置，還包括
產(chǎn)生器，被配置來根據(jù)所述第二指定區(qū)域跟蹤處理的結(jié)果和所述登記圖像，產(chǎn)生具有與所述物體的大小和姿態(tài)基本相同的大小和相同的姿態(tài)的登記圖像，作為用于校正所述拍攝圖像的校正圖像；以及
合成器，被配置來根據(jù)所述第二指定區(qū)域跟蹤處理的結(jié)果，將所述校正圖像與所述拍攝圖像中的所述第二指定區(qū)域合成。
4.根據(jù)權(quán)利要求3所述的圖像處理裝置，其中如果用于顯示所述拍攝圖像的屏幕的面積與所述校正圖像的面積的比率等于或高于參考值，那么所述合成器將所述校正圖像與所述拍攝圖像中的所述第二指定區(qū)域合成，而如果所述比率低于所述參考值，那么將所述校正圖像和所述拍攝圖像合成，作為用于其整個中的所述屏幕的圖像。
5.根據(jù)權(quán)利要求1所述的圖像處理裝置，還包括
產(chǎn)生器，被配置來根據(jù)所述第二指定區(qū)域跟蹤處理的結(jié)果和所述登記圖像，產(chǎn)生具有與所述物體的大小基本相同的大小和預(yù)定姿態(tài)的登記圖像，作為用于校正所述拍攝圖像的校正圖像；以及
合成器，被配置來根據(jù)所述第二指定區(qū)域跟蹤處理的結(jié)果，將所述校正圖像和所述拍攝圖像中的所述第二指定區(qū)域的位置合成。
6.根據(jù)權(quán)利要求1所述的圖像處理裝置，還包括
產(chǎn)生器，被配置來根據(jù)所述第二指定區(qū)域跟蹤處理的結(jié)果和與所述登記圖像相關(guān)聯(lián)的關(guān)聯(lián)圖像，產(chǎn)生具有與所述物體的大小和姿態(tài)基本相同的大小和相同的姿態(tài)的關(guān)聯(lián)圖像，作為用于校正所述拍攝圖像的校正圖像；以及
合成器，被配置來根據(jù)所述第二指定區(qū)域跟蹤處理的結(jié)果，將所述校正圖像和所述拍攝圖像中的所述第二指定區(qū)域合成。
7.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中所述第一指定區(qū)域跟蹤器具有
第一指定器，被配置來指定所述第一指定區(qū)域；
第一提取器，被配置來提取所述拍攝圖像中的所述第一指定區(qū)域中的第一特征點；
第一計算器，被配置來計算指示所述第一特征點的移動的第一移動信息；
第一參數(shù)計算器，被配置來從所述第一移動信息計算指示所述第一指定區(qū)域的位置和姿態(tài)的第一參數(shù)；
第一誤差計算器，被配置來計算第一誤差，該第一誤差是乘法值和指示所述拍攝圖像中的所述第一指定區(qū)域中的第一特征點的位置的值之間的誤差，該乘法值通過將所述第一參數(shù)乘以如下值得到，該值指示所述拍攝圖像之前拍攝的拍攝圖像的所述第一指定區(qū)域中的第一特征點的位置；以及
第二分數(shù)計算器，被配置來根據(jù)所述第一誤差計算所述第一參數(shù)的第一分數(shù)；
其中所述第一指定器根據(jù)具有其最高的所述第一分數(shù)的所述第一參數(shù)，移動所述第一指定區(qū)域，
所述第二指定區(qū)域跟蹤器具有
第二指定器，被配置來根據(jù)所述第一參數(shù)指定所述第二指定區(qū)域；
第二提取器，被配置來提取所述拍攝圖像中的所述第二指定區(qū)域中的第二特征點；
第二計算器，被配置來計算指示所述第二特征點的移動的第二移動信息；
第二參數(shù)計算器，被配置來從所述第二移動信息計算指示所述第二指定區(qū)域的位置和姿態(tài)的第二參數(shù)；
第二誤差計算器，被配置來計算第二誤差，該第二誤差是乘法值和指示所述拍攝圖像中的所述第二指定區(qū)域中的第二特征點的位置的值之間的誤差，該乘法值通過將所述第二參數(shù)乘以如下值得到，該值指示所述拍攝圖像之前拍攝的拍攝圖像的所述第二指定區(qū)域中的第一特征點的位置；以及
分數(shù)計算器，被配置來根據(jù)所述第二誤差計算所述第二參數(shù)的第二分數(shù)；
其中所述第二指定器根據(jù)具有其最高的所述第二分數(shù)的所述第二參數(shù)，移動所述第二指定區(qū)域。
8.根據(jù)權(quán)利要求7所述的圖像處理裝置，其中所述第一移動信息和所述第二移動信息每個是光流。
9.根據(jù)權(quán)利要求7所述的圖像處理裝置，其中所述第一參數(shù)和所述第二參數(shù)每個是仿射變換和投射變換的參數(shù)的至少之一。
10.根據(jù)權(quán)利要求7所述的圖像處理裝置，其中所述第一參數(shù)計算器從至少三個所述第一特征點和至少四個所述第一特征點的至少之一的所述第一移動信息，計算所述第一參數(shù)；以及
所述第二參數(shù)計算器從至少三個所述第二特征點和至少四個所述第二特征點的至少之一的所述第二移動信息，計算所述第二參數(shù)。
11.一種用于圖像處理裝置的圖像處理方法，用于從拍攝圖像識別對應(yīng)于登記圖像的物體，該方法包含如下步驟
拍攝被攝體的圖像以獲得所述被攝體的所述拍攝圖像；
從所述拍攝圖像識別對應(yīng)于所述登記圖像的物體；
執(zhí)行第一指定區(qū)域跟蹤處理，用于跟蹤所述拍攝圖像中、根據(jù)所述識別步驟中識別的結(jié)果指定的第一跟蹤區(qū)域；以及
執(zhí)行第二指定區(qū)域跟蹤處理，用于跟蹤根據(jù)所述第一指定區(qū)域跟蹤處理的結(jié)果指定的第二指定區(qū)域。
12.一種被配置來使計算機執(zhí)行識別處理的程序，該識別處理用于從拍攝圖像識別對應(yīng)于預(yù)先登記的登記圖像的物體，包含如下步驟
拍攝被攝體的圖像以獲得所述被攝體的所述拍攝圖像；
從所述拍攝圖像識別對應(yīng)于所述登記圖像的物體；
執(zhí)行第一指定區(qū)域跟蹤處理，用于跟蹤所述拍攝圖像中、根據(jù)由所述識別步驟中識別的結(jié)果指定的第一跟蹤區(qū)域；以及
執(zhí)行第二指定區(qū)域跟蹤處理，用于跟蹤根據(jù)所述第一指定區(qū)域跟蹤處理的結(jié)果指定的第二指定區(qū)域。
13.一種圖像處理裝置，用于從拍攝圖像識別對應(yīng)于預(yù)先登記的登記圖像的物體，該圖像處理裝置包含
圖像拍攝器，被配置來拍攝被攝體的圖像，以獲得對應(yīng)于所述被攝體的所述拍攝圖像；
識別器，被配置來從所述拍攝圖像識別對應(yīng)于所述登記圖像的物體；
兩個指定區(qū)域跟蹤器，被配置來執(zhí)行第一指定區(qū)域跟蹤處理和第二指定區(qū)域跟蹤處理，該第一指定區(qū)域跟蹤處理用于跟蹤所述拍攝圖像中、根據(jù)由所述識別器的識別的結(jié)果指定的第一指定區(qū)域，該第二指定區(qū)域跟蹤處理跟蹤所述拍攝圖像中、根據(jù)所述第一指定區(qū)域跟蹤處理的結(jié)果指定的第二指定區(qū)域，
其中所述兩個指定區(qū)域跟蹤器交替執(zhí)行所述第二指定區(qū)域跟蹤處理，所述兩個指定區(qū)域跟蹤器之一開始所述第一指定區(qū)域跟蹤處理，同時另一個正執(zhí)行所述第二指定區(qū)域跟蹤處理。
14.根據(jù)權(quán)利要求13所述的圖像處理裝置，其中所述兩個指定區(qū)域跟蹤器之一，在范圍從用于由所述識別器在識別中使用的拍攝圖像的拍攝、到所述第一指定區(qū)域跟蹤處理的結(jié)束的時間段中拍攝的每個拍攝圖像中，執(zhí)行所述第一指定區(qū)域跟蹤處理，并且在范圍從所述第一指定區(qū)域跟蹤處理的結(jié)束、到由其他指定區(qū)域跟蹤器執(zhí)行的所述第一指定區(qū)域跟蹤處理的結(jié)束的時間段中拍攝的每個拍攝圖像中，執(zhí)行所述第二指定區(qū)域跟蹤處理。
15.一種用于圖像處理裝置的圖像處理方法，用于從拍攝圖像識別對應(yīng)于預(yù)先登記的登記圖像的物體，包含如下步驟
拍攝被攝體的圖像以獲得對應(yīng)于所述被攝體的所述拍攝圖像；
從所述拍攝圖像識別對應(yīng)于所述登記圖像的物體；
由兩個指定區(qū)域跟蹤器執(zhí)行第一指定區(qū)域跟蹤處理和第二指定區(qū)域跟蹤處理，該第一指定區(qū)域跟蹤處理用于跟蹤所述拍攝圖像中、根據(jù)由所述識別器識別的結(jié)果指定的第一指定區(qū)域，該第二指定區(qū)域跟蹤處理用于跟蹤所述拍攝圖像中、根據(jù)所述第一指定區(qū)域跟蹤處理的結(jié)果指定的第二指定區(qū)域，
其中當(dāng)?shù)谝恢付▍^(qū)域跟蹤處理和第二指定區(qū)域跟蹤處理之一正在執(zhí)行所述第二指定區(qū)域跟蹤處理時，另一個開始所述第一指定區(qū)域跟蹤處理，由此交替執(zhí)行所述第二指定區(qū)域跟蹤處理，該第一指定區(qū)域跟蹤處理用于跟蹤所述拍攝圖像中、根據(jù)所述識別的結(jié)果指定的第一指定區(qū)域，該第二指定區(qū)域跟蹤處理用于根據(jù)所述第一指定區(qū)域跟蹤處理的結(jié)果，跟蹤所述拍攝圖像中的第二指定區(qū)域。
16.一種被配置來使計算機執(zhí)行識別處理的程序，該識別處理用于從拍攝圖像識別對應(yīng)于預(yù)先登記的登記圖像的物體，包含如下步驟
拍攝被攝體的圖像以獲得對應(yīng)于所述被攝體的所述拍攝圖像；
從所述拍攝圖像識別對應(yīng)于所述登記圖像的物體；
由兩個指定區(qū)域跟蹤器執(zhí)行第一指定區(qū)域跟蹤處理和第二指定區(qū)域跟蹤處理，該第一指定區(qū)域跟蹤處理用于跟蹤所述拍攝圖像中、根據(jù)由所述識別器的識別的結(jié)果指定的第一指定區(qū)域，該第二指定區(qū)域跟蹤處理用于跟蹤所述拍攝圖像中、根據(jù)所述第一指定區(qū)域跟蹤處理的結(jié)果指定的第二指定區(qū)域，
其中當(dāng)?shù)谝恢付▍^(qū)域跟蹤處理和第二指定區(qū)域跟蹤處理之一正在執(zhí)行所述第二指定區(qū)域跟蹤處理時，另一個開始所述第一指定區(qū)域跟蹤處理，由此交替執(zhí)行所述第二指定區(qū)域跟蹤處理，該第一指定區(qū)域跟蹤處理用于跟蹤所述拍攝圖像中、根據(jù)所述識別的結(jié)果指定的第一指定區(qū)域，該第二指定區(qū)域跟蹤處理用于根據(jù)所述第一指定區(qū)域跟蹤處理的結(jié)果，跟蹤所述拍攝圖像中的第二指定區(qū)域。
17.一種圖像處理裝置，用于從拍攝圖像識別對應(yīng)于登記圖像的物體，該圖像處理裝置包含
圖像拍攝裝置，被配置來拍攝被攝體的圖像以獲得所述被攝體的所述拍攝圖像；
識別裝置，被配置來從所述拍攝圖像識別對應(yīng)于所述登記圖像的物體；
第一指定區(qū)域跟蹤裝置，被配置來執(zhí)行第一指定區(qū)域跟蹤處理，用于跟蹤所述拍攝圖像中、根據(jù)由所述識別裝置的識別的結(jié)果指定的第一跟蹤區(qū)域；以及
第二指定區(qū)域跟蹤裝置，被配置來執(zhí)行第二指定區(qū)域跟蹤處理，用于跟蹤根據(jù)所述第一指定區(qū)域跟蹤處理的結(jié)果指定的第二指定區(qū)域。
全文摘要
這里公開了一種圖像處理裝置，用于從拍攝圖像識別對應(yīng)于預(yù)先登記的登記圖像的物體，該圖像處理裝置包括圖像拍攝器，被配置來拍攝被攝體的圖像以獲得被攝體的拍攝圖像；識別器，被配置來從拍攝圖像識別對應(yīng)于登記圖像的物體；第一指定區(qū)域跟蹤器，被配置來執(zhí)行第一指定區(qū)域跟蹤處理，用于跟蹤拍攝圖像中、根據(jù)由識別器的識別的結(jié)果指定的第一跟蹤區(qū)域；以及第二指定區(qū)域跟蹤器，被配置來執(zhí)行第二指定區(qū)域跟蹤處理，用于跟蹤根據(jù)第一指定區(qū)域跟蹤處理的結(jié)果指定的第二指定區(qū)域。
文檔編號G06K9/62GK101251897SQ20081008126
公開日2008年8月27日 申請日期2008年2月20日 優(yōu)先權(quán)日2007年2月20日
發(fā)明者鶴見辰吾 申請人:索尼株式會社