專利名稱：用于獲得目標(biāo)物體的位置和方位的信息處理方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于測量物體的位置和方位的設(shè)備和方法。
背景技術(shù)：
近年來，進(jìn)行了大量的關(guān)于混合現(xiàn)實(shí)的研究活動，混合現(xiàn)實(shí)的目的是在現(xiàn)實(shí)空間和虛擬空間之間進(jìn)行無縫連接。一種用于顯示混合現(xiàn)實(shí)的圖像顯示設(shè)備通過所謂的“視頻透視方法”得以實(shí)現(xiàn)，其中，根據(jù)例如攝像機(jī)的攝像裝置的位置和方位生成的虛擬空間圖像(例如用計算機(jī)圖形、文字信息等繪制的虛擬物體)被繪制以便將其疊加到由攝像裝置捕捉的現(xiàn)實(shí)空間圖像上，由此顯示疊加圖像。
另外，圖像顯示設(shè)備也可以通過所謂的“光學(xué)透視法”實(shí)現(xiàn)，其中，根據(jù)觀察者視點(diǎn)的位置和方位生成的虛擬空間圖像被顯示在架設(shè)在觀察者頭部的光學(xué)透視顯示器上。
期望將與相關(guān)技術(shù)的虛擬現(xiàn)實(shí)不同的新領(lǐng)域，例如用于將患者身體內(nèi)的狀態(tài)以疊加形式顯示到患者身體表面的外科輔助工具，以及其中一個在現(xiàn)實(shí)空間中移動的游戲者與虛擬空間內(nèi)的虛擬敵人作戰(zhàn)的混合現(xiàn)實(shí)游戲，作為這種圖像顯示設(shè)備的應(yīng)用。
這些應(yīng)用共同要求的是現(xiàn)實(shí)空間和虛擬空間之間進(jìn)行的對齊的準(zhǔn)確性。已經(jīng)進(jìn)行了很多這樣的嘗試。在使用視頻透視法的情況下，混合現(xiàn)實(shí)中的對齊問題相當(dāng)于在場景中(即，在世界坐標(biāo)系統(tǒng)中)得到攝像裝置的位置和方位的問題。類似的，在使用光學(xué)透視法的情況下，混合現(xiàn)實(shí)感覺中的對齊問題歸結(jié)為得到顯示器或觀察者的視點(diǎn)在場景中的位置和方位的問題。
作為解決前一問題的方法，普遍采用的方法是通過在場景中排放或設(shè)置許多標(biāo)志，并且檢測由一攝像裝置拍攝的一圖像中的標(biāo)志的投影圖像的坐標(biāo)，從而得到攝像裝置在該場景中的位置和方位。另外，有許多試圖想通過使用安裝在攝像裝置上的慣性傳感器獲得比僅使用圖像信息的情況更穩(wěn)定的對齊。更具體地，根據(jù)慣性傳感器測量的值估計出的攝像裝置的位置和方位被用于對標(biāo)志進(jìn)行檢測。估計出的位置和方位也被用作根據(jù)圖像來計算的位置和方位的初始值，或者即使在沒有發(fā)現(xiàn)標(biāo)志的情況下作為粗略的位置和方位(例如，HirofumiFUJII，Masayuki KANBARA，Hidehiko IWASA，Haruo TAKEMURA，Naokazu YOKOYA，″Kakuchogenjitsu-notameno Jairosensa-woHeiyoshita Sutereokamera-niyoru Ichiawase(registration with a stereocamera by jointly using a gyro sensor for augmented reality)″，DenshiJoho Tsushin Gakkai(Institute of Electronics，Information andCommunication Engineers)Gijutsu Hokoku(Technical report)PRMU99-192(Shingaku Giho(Technical Report of IEICE)，vol.99，no.574，pp.1-8)″)作為解決后一問題的方法，所普遍采用的方法是，通過將攝像裝置(和慣性傳感器)架設(shè)在要測量的目標(biāo)物體(即觀察者的頭部或顯示器)上以與前面情況中類似的方式獲得攝像裝置的位置和方位，從攝像裝置和目標(biāo)物體之間的已知的相對位置和方位關(guān)系中獲得目標(biāo)物體的位置和方位。
然而，在相關(guān)技術(shù)的上述方法中，在主觀的視點(diǎn)圖像沒有包括足以實(shí)現(xiàn)穩(wěn)定對齊的圖像信息的情況下，例如，當(dāng)局部地存在于圖像的一部分中的標(biāo)志被觀察到時，并且當(dāng)僅有三個標(biāo)志被觀察到并且標(biāo)志檢測中包括誤差時，獲得的解的準(zhǔn)確性和穩(wěn)定性可能會不夠。另外，當(dāng)觀察的標(biāo)志的數(shù)量不比2大時，不能得到解。為了避免這些問題，需要在場景中均勻地設(shè)置大量的標(biāo)志。這導(dǎo)致了這樣的問題，即識別標(biāo)志比較困難并且現(xiàn)實(shí)空間圖像會變形。另外，存在一個問題，即在用觀察者的手蓋位主觀視點(diǎn)圖像上的標(biāo)志圖像的情況下，對齊完全不可能。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的一個方面，用于計算物體的位置和方位的信息處理方法包括以下步驟從攝像裝置輸入捕捉圖像，所述攝像裝置用于從關(guān)于物體的俯瞰視角位置捕捉物體圖像，從方位傳感器輸入測量出的方位值，所述方位傳感器用于測量關(guān)于物體的方位信息，從捕捉的圖像，檢測與安置在物體上的標(biāo)志的圖像坐標(biāo)相關(guān)的特征值，通過使用檢測出的關(guān)于標(biāo)志圖像坐標(biāo)的特征值，獲得關(guān)于物體方位角的參數(shù)和關(guān)于物體位置的參數(shù)，所述參數(shù)視為至少為未知參數(shù)，通過使用獲得的參數(shù)，計算物體的位置和方位。
根據(jù)本發(fā)明的另一方面，提供了一種用于計算攝像裝置的位置和方位的信息處理方法，所述攝像裝置用于捕捉場景的圖像。該信息處理方法包括第一幅圖像輸入步驟，輸入由攝像裝置捕捉的第一幅圖像；第二幅圖像輸入步驟，輸入由俯瞰視角攝像單元捕捉的第二幅圖像，所述俯瞰視角攝像單元用于從攝像裝置的俯瞰視角位置捕捉圖像；方位輸入步驟，從方位傳感器輸入所測量出的方位值，所述方位傳感器用于測量關(guān)于攝像裝置的方位的信息；第一檢測步驟，從在第一幅圖像輸入步驟中輸入的第一幅圖像中檢測關(guān)于安置于場景中的第一標(biāo)志的圖像坐標(biāo)的第一-標(biāo)志圖像-坐標(biāo)特征值；第二檢測步驟，從在第二幅圖像輸入步驟中輸入的第二幅圖像中檢測關(guān)于安置于場景中的第二標(biāo)志的圖像坐標(biāo)的第二-標(biāo)志圖像-坐標(biāo)特征；位置-方位計算步驟，通過使用在第一檢測步驟中檢測的第一-標(biāo)志圖像-坐標(biāo)特征值、在第二檢測步驟中檢測的第二-標(biāo)志圖像-坐標(biāo)特征值和在方位輸入步驟中輸入的測量方位值，計算攝像裝置的位置和方位。
根據(jù)本發(fā)明的另一方面，本發(fā)明提供了一種用于計算攝像裝置的位置和方位的信息處理方法，所述攝像裝置用于捕捉場景圖像。所述信息處理方法包括第一幅圖像輸入步驟，輸入攝像裝置捕捉的第一幅圖像；第二幅圖像輸入步驟，輸入由俯瞰視角攝像單元捕捉的第二幅圖像，所述俯瞰視角攝像單元用于從攝像裝置上的視點(diǎn)位置捕捉場景的圖像，方位輸入步驟，從方位傳感器輸入測量出的方位值，所述方位傳感器用于測量關(guān)于攝像裝置的方位的信息，第一檢測步驟，從在第一幅輸入步驟中輸入的第一幅圖像檢測關(guān)于置于場景中的第一標(biāo)志的圖像坐標(biāo)的第一-標(biāo)志圖像-坐標(biāo)特征值，第二檢測步驟，檢測關(guān)于安置于攝像裝置上的第二標(biāo)志的圖像坐標(biāo)的第二-標(biāo)志圖像-坐標(biāo)特征值，位置和方位計算步驟，通過使用在第一檢測步驟中檢測的第一-標(biāo)志圖像-坐標(biāo)、在第二檢測步驟中檢測的第二-標(biāo)志圖像-坐標(biāo)和在方位輸入步驟中輸入的測量方位值，計算攝像裝置的位置和方位。
根據(jù)本發(fā)明的另一個方面，提供一種用于計算物體的位置和方位的信息處理設(shè)備。該信息處理設(shè)備包括捕捉圖像輸入單元，從攝像裝置輸入捕捉的圖像，所述攝像裝置從關(guān)于物體的俯瞰視角位置捕捉物體的圖像；測量方位值輸入單元，從方位傳感器輸入測量出的方位值，所述方位傳感器用于測量關(guān)于物體方位的信息；檢測單元，從捕捉的圖像檢測關(guān)于安置于物體上的標(biāo)志的圖像坐標(biāo)的特征值；和位置-方位計算單元，通過使用檢測出的關(guān)于標(biāo)志圖像坐標(biāo)的特征值獲得關(guān)于物體方位角的參數(shù)和關(guān)于物體位置的參數(shù)，所述參數(shù)視為至少為未知參數(shù)，并且通過使用獲得的參數(shù)計算物體的位置和方位。
根據(jù)本發(fā)明的另一個方面，提供一種用于計算攝像裝置的位置和方位的信息處理設(shè)備，所述攝像裝置用于捕捉場景的圖像。該信息處理設(shè)備包括第一幅圖像輸入單元，輸入由攝像裝置捕捉的第一幅圖像；第二幅圖像輸入單元，輸入由俯瞰視角攝像單元捕捉的第二幅圖像，所述俯瞰視角攝像單元用于從攝像裝置上的視點(diǎn)位置捕捉圖像；方位輸入單元，從用于測量關(guān)于攝像裝置的方位的信息的方位傳感器輸入測量的方位值；第一檢測單元，從在第一幅圖像輸入步驟中輸入的第一幅圖像中檢測關(guān)于安置于場景中的第一標(biāo)志的圖像坐標(biāo)的第一-標(biāo)志圖像-坐標(biāo)特征值；第二檢測單元，從在第二幅圖像輸入步驟中輸入的第二幅圖像中檢測關(guān)于安置于攝像裝置上的第二標(biāo)志的圖像坐標(biāo)的第二-標(biāo)志圖像-坐標(biāo)特征值；位置-方位計算單元，通過使用由第一檢測單元檢測到的第一-標(biāo)志圖像-坐標(biāo)特征值、由第二檢測單元檢測到的第二-標(biāo)志圖像-坐標(biāo)特征值和由方位輸入單元輸入的檢測方位值，計算攝像裝置的位置和方位。
根據(jù)本發(fā)明的另一方面，提供一種用于計算用于捕捉場景圖像的攝像裝置的位置和方位的信息處理設(shè)備。該信息處理設(shè)備包括第一幅圖像輸入單元，輸入由攝像裝置捕捉的第一幅圖像；第二幅圖像輸入單元，輸入由用于從攝像裝置上的視點(diǎn)位置捕捉圖像的俯瞰視角攝像單元捕捉的第二幅圖像；方位輸入單元，從用于測量關(guān)于攝像裝置的方位的信息的方位傳感器輸入測量的方位值；第一檢測單元，從由第一幅圖像輸入單元輸入的第一幅圖像中檢測關(guān)于安置于場景中的第一標(biāo)志的圖像坐標(biāo)的第一-標(biāo)志圖像-坐標(biāo)特征值；第二檢測單元，從由第二幅圖像輸入單元輸入的第二幅圖像中檢測關(guān)于安置于攝像裝置上的第二標(biāo)志的圖像坐標(biāo)的第二-標(biāo)志圖像-坐標(biāo)特征值；位置-方位計算單元，通過使用由第一檢測單元檢測到的第一-標(biāo)志圖-坐標(biāo)特征值、由第二檢測單元檢測到的第二-標(biāo)志圖像-坐標(biāo)特征值和由方位輸入單元輸入的測量的方位值，計算攝像裝置的位置和方位。
本發(fā)明的其它的特征和優(yōu)點(diǎn)將從通過下面結(jié)合附圖進(jìn)行的說明中變得明顯，在整個附圖中同樣的參考符號表示同樣或類似的部分。


圖1表示根據(jù)本發(fā)明的第一實(shí)施例的位置-方位測量設(shè)備的方框圖。
圖2表示計算機(jī)的基本構(gòu)造的方框圖。
圖3為計算表示目標(biāo)物體的位置和方位的參數(shù)的處理的流程圖，該處理被執(zhí)行使得圖1中所示的方位預(yù)測單元的軟件程序被圖2中所示的CPU執(zhí)行。
圖4表示計算圖1中所示的目標(biāo)物體的過程的流程圖，該處理被執(zhí)行使得圖1中所示的位置-方位計算單元的軟件程序被圖2中所示的CPU執(zhí)行。
圖5為計算代表圖1中所示的目標(biāo)物體的位置和方位的參數(shù)的過程的流程圖，該處理被執(zhí)行使得圖1中所示的位置-方位檢測單元的軟件程序被圖2中所示的CPU執(zhí)行。
圖6表示根據(jù)本發(fā)明的第二實(shí)施例的位置-方位測量設(shè)備的方框圖。
圖7表示計算圖6中所示的攝像裝置的過程的流程圖，該過程的執(zhí)行使得圖6中所示的方位預(yù)測單元的軟件程序被圖2中所示的CPU執(zhí)行。
圖8為計算代表圖6中所示的攝像裝置的位置和方位的參數(shù)的過程的流程圖，該過程被執(zhí)行使得圖6中所示的位置-方位計算單元的軟件程序被圖2中所示的CPU執(zhí)行。
圖9表示根據(jù)本發(fā)明的第二實(shí)施例的第一修改方案的位置-方位測量設(shè)備的方框圖。
圖10為計算代表攝像裝置的位置和方位的參數(shù)的過程的流程圖，該過程被執(zhí)行使得位置-方位計算單元的軟件程序被CPU執(zhí)行。
圖11表示根據(jù)本發(fā)明的第二個實(shí)施例的第四修改方案的位置-方位測量設(shè)備的方框圖。
具體實(shí)施例方式
下面將根據(jù)附圖對本發(fā)明的優(yōu)選實(shí)施例進(jìn)行詳細(xì)的說明。
第一實(shí)施例根據(jù)本發(fā)明的第一實(shí)施例的位置-方位測量設(shè)備對要測量的任意的目標(biāo)物體的位置和方位進(jìn)行測量。下面說明根據(jù)本實(shí)施例的位置-方位測量設(shè)備及其位置-方位測量方法。
圖1表示根據(jù)第一實(shí)施例的位置-方位測量設(shè)備10的結(jié)構(gòu)。如圖1所示，位置-方位測量設(shè)備10包括俯瞰視角照相攝像機(jī)18a，18b，18c和18d、圖像輸入單元16、數(shù)據(jù)存儲單元17、標(biāo)志檢測單元11、方位傳感器14、方位預(yù)測單元15和位置-方位計算單元12。位置-方位測量設(shè)備10被連接到要測量的目標(biāo)物體13上。
在方位傳感器14和/或目標(biāo)物體13上的多個位置上，在物體坐標(biāo)系統(tǒng)中的位置xcPk為已知的標(biāo)志Pk(k＝1，...，K)(后面稱為“俯瞰視角標(biāo)志”或簡單為“標(biāo)志”)被設(shè)置以便被俯瞰視角照相攝像機(jī)18a，18b，18c和18d觀察。這里物體坐標(biāo)系統(tǒng)由目標(biāo)物體13上的一個點(diǎn)和三個垂直相交的軸定義。
優(yōu)選地，這些標(biāo)志被設(shè)置以便，當(dāng)目標(biāo)物體13被放置在每個在測量位置和方位的測量范圍內(nèi)的點(diǎn)上時，由俯瞰視角照相攝像機(jī)18a，18b，18c和18d獲得的在俯瞰視角圖像上觀察到的(物理)標(biāo)志的總數(shù)至少為2。圖1中所示的例子表示以下情況設(shè)置兩個標(biāo)志P1和P2，標(biāo)志P1包含在俯瞰視角照相攝像機(jī)18c的視野之內(nèi)，標(biāo)志P2包含在俯瞰視角照相攝像機(jī)18c和18d的視野之內(nèi)。
標(biāo)志Pk可以由例如帶有不同顏色的球形或圓形標(biāo)記構(gòu)成，或者可以由例如具有不同結(jié)構(gòu)特征的自然特征的特征點(diǎn)構(gòu)成。如果在捕捉的圖像中投影圖像的坐標(biāo)可以被檢測并且每個標(biāo)志可以被識別，則標(biāo)志Pk可以具有任何的標(biāo)志形式。另外，標(biāo)志Pk可以有意地設(shè)置或者可以具有形成的自然形狀而不用被有意地設(shè)置。
俯瞰視角照相攝像機(jī)18a，18b，18c和18d被固定放置在這樣的位置使得，當(dāng)目標(biāo)物體13被置于測量范圍內(nèi)時，俯瞰視角照相攝像機(jī)18a，18b，18c和18d中的一個照相攝像機(jī)可以捕捉目標(biāo)物體13的圖像。下面，我們使用術(shù)語“俯瞰視角照相攝像機(jī)”表示從第三人的視點(diǎn)觀察目標(biāo)物體13的照相攝像機(jī)；照相攝像機(jī)的位置并不限于“俯瞰”位置。俯瞰視角照相攝像機(jī)18a，18b，18c和18d在世界坐標(biāo)系統(tǒng)中的位置和方位應(yīng)該作為已知值預(yù)先存儲在數(shù)據(jù)存儲單元17中。由俯瞰視角照相攝像機(jī)18a，18b，18c和18d輸出的圖像(后面稱為“俯瞰視角圖像”)被輸入到圖像輸入單元16中。
輸入的圖像被圖像輸入單元16變換為數(shù)字?jǐn)?shù)據(jù)，并存儲在數(shù)據(jù)存儲單元17中。
方位傳感器14被架設(shè)在目標(biāo)物體13上。方位傳感器14測量其當(dāng)前的方位并將測量的值輸出到方位預(yù)測單元15中。方位傳感器14為基于例如陀螺儀的角速率傳感器的傳感器單元，并且由例如由日本的Tokimec公司制造的TISS-5-40或者由美國的InterSense公司制造的InertiaCube2組成。由上述傳感器獲得的測量方位值是具有誤差的方位，與實(shí)際的方位不同。上述的方位傳感器具有用于觀察地球的重力方位的加速傳感器作為其部件，并具有消除在傾斜角方位上的漂移誤差積累的功能。這樣，上述的方位傳感器具有在傾斜角方位上(俯仰角和擺動角)不產(chǎn)生漂移誤差的特性。換句話說，上述的傳感器具有隨著時間積累的關(guān)于圍繞重力軸的方位角，也即是方位(偏航)角的漂移誤差。
方位預(yù)測單元15從數(shù)據(jù)存儲單元17接收到方位-漂移-誤差校正值φ，通過校正從方位傳感器14輸出的測量方位值預(yù)測目標(biāo)物體13的方位，并將預(yù)測的方位輸出到數(shù)據(jù)存儲單元17中。
俯瞰視角圖像從數(shù)據(jù)存儲單元17輸入到標(biāo)志檢測單元11中，并且檢測輸入圖像中標(biāo)志的圖像坐標(biāo)。例如，當(dāng)標(biāo)志由具有不同顏色的標(biāo)記組成時，從俯瞰視角圖像中檢測對應(yīng)于標(biāo)記顏色的區(qū)域，它們的重心位置用作標(biāo)志的檢測坐標(biāo)。當(dāng)標(biāo)志由具有不同結(jié)構(gòu)特征的特征點(diǎn)組成時，標(biāo)志的位置通過在俯瞰視角圖像上基于作為已知信息預(yù)先存儲的標(biāo)志的模板圖像執(zhí)行模板匹配進(jìn)行檢測。根據(jù)由位置方位計算單元12輸出且存儲在數(shù)據(jù)存儲單元17中的的目標(biāo)物體13的位置的計算值和由方位預(yù)測單元15輸出且存儲在數(shù)據(jù)單元17中的目標(biāo)物體13的方位的預(yù)測值，通過對圖像中的每個標(biāo)志的位置進(jìn)行預(yù)測可以減小搜索范圍。根據(jù)這個選擇，可以減小標(biāo)志檢測所需的計算量和標(biāo)志的錯誤檢測及錯誤識別。
標(biāo)志檢測單元11將檢測的標(biāo)志的圖像坐標(biāo)及其標(biāo)識符輸出到數(shù)據(jù)存儲單元17中。通過使用照相攝像機(jī)標(biāo)識符x(x＝a，b，c，d)和標(biāo)識符m(m＝1，...，Mx)，其中Mx表示在每個俯瞰視角圖像中檢測到的標(biāo)志的數(shù)量，下面由標(biāo)志檢測單元11檢測到的俯瞰視角照相攝像機(jī)18a，18b，18c和18d捕捉的圖像的標(biāo)志用Pkxm表示。另外，依據(jù)俯瞰視角照相攝像機(jī)18a，18b，18c和18d的標(biāo)識符，在圖像上檢測到的標(biāo)志Pkxm的坐標(biāo)分別用uaPkam，ubPkbm，ucPkcm，udPkdm表示。M表示在每個圖像中檢測到的標(biāo)志的總數(shù)。例如，在圖1的情況下，Ma＝0，Mb＝0，Mc＝2，Md＝1，M＝3。因此，標(biāo)志標(biāo)識符kc1＝1，kc2＝2，kd1＝2，拍攝這些標(biāo)志標(biāo)識符的俯瞰視角照相攝像機(jī)的標(biāo)識符和對應(yīng)于這些標(biāo)識符的圖像坐標(biāo)ucPkc1，ucPkc2和udPkd1被輸出。
目標(biāo)物體13的方位預(yù)測值、由標(biāo)志檢測單元11檢測到的標(biāo)記的圖像坐標(biāo)uaPkam，ubPkbm，ucPkcm，udPkdm和相應(yīng)的物體坐標(biāo)(在物體坐標(biāo)系統(tǒng)中的坐標(biāo)值)xCPkam，xCPkbm，xCPkcm，xCPkdm組成的數(shù)據(jù)集從數(shù)據(jù)存儲單元17被輸入到位置-方位計算單元12中。位置-方位計算單元12根據(jù)上述信息計算目標(biāo)物體13的位置和方位，并且通過接口(未示出)將計算出的位置和方位輸出到外部。另外，位置-方位計算單元12將計算出的目標(biāo)物體13的位置輸出到數(shù)據(jù)存儲單元17中，并使用在計算目標(biāo)物體13的位置和方位的過程中產(chǎn)生的方位傳感器14的方位角-漂移-誤差校正值的更新值對存儲在數(shù)據(jù)存儲單元17中的方位角-漂移-誤差校正值進(jìn)行更新。
數(shù)據(jù)存儲單元17存儲方位角-漂移-誤差校正值、從圖像輸入單元16輸入的圖像、從方位預(yù)測單元15輸入的方位預(yù)測值、從位置方位計算單元12輸入的位置計算值、從標(biāo)志檢測單元11輸入的標(biāo)志的圖像坐標(biāo)和標(biāo)識符、以及例如標(biāo)志的物體坐標(biāo)(在物體坐標(biāo)系統(tǒng)中的坐標(biāo)值)的數(shù)據(jù)，和作為已知值的俯瞰視角照相攝像機(jī)18a，18b，18c和18d的照相攝像機(jī)參數(shù)。如果需要，則數(shù)據(jù)存儲單元17對存儲的數(shù)據(jù)進(jìn)行輸入和輸出處理。
圖1中所示的圖像輸入單元16、數(shù)據(jù)存儲單元17、標(biāo)志檢測單元11、方位預(yù)測單元15和位置-方位計算單元12可以視為獨(dú)立的設(shè)備。另外，圖1中所示的圖像輸入單元16、數(shù)據(jù)存儲單元17、標(biāo)志檢測單元11、方位預(yù)測單元15和位置-方位計算單元12的功能可以通過將軟件安裝到一臺或多臺電腦中并允許每臺電腦的中央處理單元(CPU)對安裝的軟件進(jìn)行執(zhí)行而得以實(shí)現(xiàn)。在第一實(shí)施例中，圖1中所示的圖像輸入單元16、數(shù)據(jù)存儲單元17、標(biāo)志檢測單元11、方位預(yù)測單元15和位置方位計算單元12中的每個被視為由單臺電腦執(zhí)行的軟件。
圖2表示執(zhí)行作為軟件的圖1中所示的圖像輸入單元16、數(shù)據(jù)存儲單元17、標(biāo)志檢測單元11、方位預(yù)測單元15和位置方位計算單元12的計算機(jī)的基本結(jié)構(gòu)方框圖。
CPU1001使用存儲在隨機(jī)存取存儲器(RAM)1002和只讀存儲器(ROM)1003中的程序和數(shù)據(jù)對整臺計算機(jī)進(jìn)行控制。通過控制對應(yīng)于圖像輸入單元16、標(biāo)志檢測單元11、方位預(yù)測單元15和位置方位計算單元12的軟件的執(zhí)行，CPU1001實(shí)現(xiàn)每個單元的功能。
RAM1002包括用于暫時存儲從外部存儲設(shè)備1007或存儲介質(zhì)驅(qū)動器1008裝載的程序和數(shù)據(jù)的區(qū)域，也包括CPU1001執(zhí)行各種處理需要的工作區(qū)域。數(shù)據(jù)存儲單元17的功能由RAM1002實(shí)現(xiàn)。
通常，ROM1003存儲為計算機(jī)而存儲的程序和設(shè)置數(shù)據(jù)。鍵盤1004和鼠標(biāo)1005被操作員用于輸入各種指示到CPU1001中。
顯示單元1006由陰極射線管、液晶顯示屏或類似設(shè)備組成，可以顯示為了目標(biāo)物體13的位置和方位測量而顯示的例如消息等。
外部存儲設(shè)備1007用作大容量信息存儲設(shè)備，并存儲操作系統(tǒng)、軟件、程序等。在第一實(shí)施例的描述中，作為已知信息描述的信息存儲在外部存儲設(shè)備1007中，而且需要時被裝載進(jìn)RAM1002中。
存儲介質(zhì)驅(qū)動器1008根據(jù)CPU1001的指示讀取存儲在例如CD-ROM或DVD-ROM的記錄介質(zhì)中的程序或數(shù)據(jù)，并將讀取的程序或數(shù)據(jù)輸出到RAM1002或外部存儲設(shè)備1007中。
接口1009包括例如IEEE1394標(biāo)準(zhǔn)的模擬視頻端口或數(shù)字視頻端口，用于連接俯瞰視角照相攝像機(jī)18；RS-233C或USB串行端口，用于連接方位傳感器14；以太網(wǎng)端口，用于將目標(biāo)物體13的位置和方位輸出到外部。輸入數(shù)據(jù)通過接口1009被裝載進(jìn)RAM1002。圖像輸入單元16的部分功能由接口1009實(shí)現(xiàn)。
總線1010用于連接CPU101、RAM1002、ROM1003、鍵盤1004、鼠標(biāo)1005、顯示單元1006、外部存儲設(shè)備1007、存儲介質(zhì)驅(qū)動器1008和接口1009。
圖3表示方位預(yù)測單元15的處理的流程圖。執(zhí)行處理使得CPU1001執(zhí)行方位預(yù)測單元15的軟件程序。在執(zhí)行下面處理之前的階段中，與該流程圖相對應(yīng)的程序代碼應(yīng)該預(yù)先裝載到RAM1002中。
雖然已經(jīng)有各種表示方位的方法，但是在本實(shí)施例中，用3×3旋轉(zhuǎn)矩陣R表示方位。
在步驟S300，測量的方位值R#(#是表示傳感器-測量值的符號)從方位傳感器14被輸入到方位預(yù)測單元15中。
在步驟S301，方位角-漂移-誤差校正值φ*從數(shù)據(jù)存儲單元17被輸入到方位預(yù)測單元15中。
在步驟S302，通過將測量的方位值R#(表示方位傳感器14的方位)代入到從方位傳感器14的方位到目標(biāo)物體13的方位的變換中，并且根據(jù)方位角-漂移-誤差校正值φ*對漂移誤差進(jìn)行校正，方位預(yù)測單元15計算目標(biāo)物體13的方位作為預(yù)測的方位值R*。
R*＝ΔR(φ*)·R#·RSC(1)其中ΔR(φ)表示在方位角方向上增加旋轉(zhuǎn)φ的旋轉(zhuǎn)矩陣，并通過下面的表達(dá)式被定義為φ的函數(shù)。
ΔR(φ)=l1l1(1-cosφ)+cosφl2l1(1-cosφ)-l3sinφl3l1(1-cosφ)+l2sinφl1l2(1-cosφ)+l3sinφl2l2(1-cosφ)+cosφl3l2(1-cosφ)-l1sinφl1l3(1-cosφ)-l2sinφl2l3(1-cosφ)+l1sinφl3l3(1-cosφ)+cosφ---(2)]]>20其中″l＝(l1，l2，l3)″表示指示在世界坐標(biāo)系統(tǒng)中的垂直方位(與地球重力方位相反)的已知向量，Rsc表示用于將物體坐標(biāo)系統(tǒng)(表示目標(biāo)物體13的位置和方位的坐標(biāo)系統(tǒng))中的方位變換到傳感器坐標(biāo)系統(tǒng)(表示方位傳感器14的位置和方位的坐標(biāo)系統(tǒng))中的方位的3×3矩陣，并且根據(jù)方位傳感器14和目標(biāo)物體13之間的相對方位的固定值被預(yù)先設(shè)置為已知值。
在步驟S303，方位預(yù)測單元15將預(yù)測的方位值R輸出到數(shù)據(jù)存儲單元17中。
在步驟S304，方位預(yù)測單元15判斷是否終止處理。如果方位預(yù)測單元15的判斷結(jié)果為不終止處理，則返回到步驟S300。
圖4是對表示目標(biāo)物體13的位置和方位的參數(shù)進(jìn)行計算的處理的流程圖。執(zhí)行該處理使得CPU1001執(zhí)行對應(yīng)于位置-方位計算單元12的軟件的程序。在執(zhí)行下面的處理之前的階段，根據(jù)圖4中所示的流程圖的程序代碼應(yīng)該預(yù)先裝載到RAM1002中。
在位置-方位計算單元12中，總共四個參數(shù)，即目標(biāo)物體13的位置″t＝[xyz]T″和方位傳感器14的方位角-漂移-誤差校正值的更新φ值被視為要計算的未知參數(shù)。換句話說，在第一實(shí)施例中，不是所有的表示方位的元素都視為未知。假定預(yù)測方位值R僅包括方位角方位上的漂移誤差。因此，使用一種模型，其中目標(biāo)物體13的方位可以通過僅確定方位角-漂移-誤差校正值的更新值φ而獲得。下面，要得到的未知參數(shù)由4值狀態(tài)向量s＝[xyzφ]T描述。
在步驟S400，目標(biāo)物體13的預(yù)測方位值R(方位預(yù)測單元15的輸出)從數(shù)據(jù)存儲單元17被輸入到位置-方位計算單元12中。
在步驟S401，位置方位計算單元12將s＝[xτ-1yτ-1zτ-10]T設(shè)置為狀態(tài)向量s的初始值。在這個表達(dá)式中，xτ-1，yτ-1和zτ-1表示在前一個循環(huán)中(在τ-1時間)在步驟S411中計算的目標(biāo)物體13的位置。
在步驟S402，由標(biāo)志檢測單元11檢測到的標(biāo)志的圖像坐標(biāo)和其物體坐標(biāo)(在物體坐標(biāo)系統(tǒng)中的坐標(biāo)值)組從數(shù)據(jù)存儲單元17被輸入到位置-方位計算單元12中。例如，在圖1的情況下，輸入圖像坐標(biāo)ucP1，ucP2和udP2以及對應(yīng)的物體坐標(biāo)xCP1和xCP2。
在步驟S403，位置-方位計算單元12判斷輸入的標(biāo)志信息是否包括足以估計位置和方位的信息。位置-方位計算單元12的判斷結(jié)果允許處理分支。特別地，如果其圖像被輸入的物理標(biāo)志的總數(shù)不小于2，則位置-方位計算單元12進(jìn)行到步驟S404。如果其圖像被輸入的標(biāo)志的總數(shù)小于2，則位置-方位計算單元12進(jìn)行到步驟S410。例如，在圖1中所示的情況下，處理進(jìn)行到步驟S404，因?yàn)橐呀?jīng)檢測到兩個標(biāo)志(雖然投影圖像的數(shù)量為3，但是物理標(biāo)志的數(shù)量為2)。
在步驟S404，每個標(biāo)志Pkm的圖像坐標(biāo)的估計值uPkm由位置-方位計算單元12計算。uPkm的計算基于預(yù)先作為已知信息存儲的每個標(biāo)志Pkm的物體坐標(biāo)(在物體坐標(biāo)系統(tǒng)中的坐標(biāo)值)xCPkm和當(dāng)前狀態(tài)向量s的函數(shù)，該函數(shù)表示為uPkm*=FB(xCPkm,s)---(3)]]>具體地，函數(shù)FB()包括表達(dá)式xWPkm=xWPkmyWPkmzWPkm=ΔR(φ)·R*·xCPkm+xyz---(4)]]>該表達(dá)式從xCPkm和s獲得標(biāo)志在世界坐標(biāo)系統(tǒng)中的坐標(biāo)xWPkm；下面的表達(dá)式，表示為xBPkm=xBPkmyBPkmzBPkm=RWB-1(xWPkm-tWB)---(5)]]>該表達(dá)式根據(jù)世界坐標(biāo)系統(tǒng)xWPkm獲得標(biāo)志在俯瞰視角坐標(biāo)中的坐標(biāo)xBPkm(俯瞰視角照相攝像機(jī)18a，18b，18c和18d的坐標(biāo)系統(tǒng)，其中一個原點(diǎn)和三個垂直相交的軸被定義在每個俯瞰視角照相攝像機(jī)上)，以及下面的表達(dá)式，表示為uPkm*=uxPkm*uyPkm*T=[-fxBxBPkmzBPkm-fyByBPkmzBPkm]T---(6)]]>該表達(dá)式從俯瞰視角坐標(biāo)xBPkm獲得圖像坐標(biāo)uPkm。R表示在步驟S400輸入的預(yù)測方位值，ΔR(φ)表示在方位角方位上增加旋轉(zhuǎn)角φ的旋轉(zhuǎn)矩陣，fBx和fBy分別表示每個俯瞰視角照相攝像機(jī)18a，18b，18c和18d在X軸和Y軸方位上的焦距，RWB表示代表每個俯瞰視角照相攝像機(jī)18a，18b，18c和18d的方位的3×3矩陣，tWB表示描述每個俯瞰視角照相攝像機(jī)18a，18b，18c和18d在世界坐標(biāo)系統(tǒng)中的位置的三維向量，并且作為每個俯瞰視角照相攝像機(jī)18a，18b，18c和18d的已知值被預(yù)先存儲。
在步驟S405，位置-方位計算單元12根據(jù)下列表達(dá)式計算每個標(biāo)志Pkm圖像坐標(biāo)的估計值uPkm和實(shí)際測量值uPkm之間的誤差ΔuPkm。
ΔuPkm=uPkm-uPkm*---(7)]]>在步驟S406，位置-方位計算單元12計算每個標(biāo)志Pkm關(guān)于狀態(tài)向量s的圖像雅可比行列式JusPkm(＝u/s)。換句話說，圖像雅可比行列式為2×4雅可比矩陣，具有作為元素的，將函數(shù)FB(用表達(dá)式(3)表示)對于狀態(tài)向量S的每個元素進(jìn)行偏微分而獲得的解。特別地，位置-方位計算單元12計算2×3雅可比矩陣JuxBPkm(＝u/xB)，具有做為元素的，將表達(dá)式(6)的右邊對于俯瞰視角照相攝像機(jī)坐標(biāo)xBPkm的每個元素進(jìn)行偏微分而獲得的解，3×3雅可比矩陣JxBxWPkm(＝xB/xW)，具有作為元素的，將表達(dá)式(5)的右邊對于世界坐標(biāo)xWPkm的每個元素進(jìn)行偏微分而獲得的解，3×4雅可比矩陣JxWSPkm(＝xW/s)，具有做為元素的，將表達(dá)式(4)的右側(cè)對于狀態(tài)向量s的每個元素進(jìn)行偏微分而獲得的解。位置-方位計算單元12通過下面的表達(dá)式計算JusPkm。
JusPkm=JuxBPkm·JxBxWPkm·JxWsPkm---(8)]]>在步驟S407，位置-方位計算單元12根據(jù)在步驟S405和S406中計算的誤差ΔuPkm和圖像雅可比行列式JusPkm計算狀態(tài)向量s的校正值Δs。具體地，位置-方位計算單元12生成其中垂直排列有所獲得的標(biāo)志Pkm的誤差ΔuPkm的2M維誤差向量U、垂直排列有所獲得的標(biāo)志Pkm的圖像雅可比行列式JusPkm的2M×4矩陣Θ，并且使用2M×4矩陣Θ的偽逆矩陣Θ′計算由下式表示的值。
Δs＝Θ′U (9)在圖1所示的情況下，因?yàn)镸＝3，所以U為六維向量，Θ為6×4矩陣。
在步驟S408，位置-方位計算單元12通過在步驟S407中計算出的校正值Δs根據(jù)下述表達(dá)式更新狀態(tài)向量s。
s+Δs→s (10)在步驟S409，位置-方位計算單元12判斷計算是否收斂，通過使用一個標(biāo)準(zhǔn)例如判斷誤差向量U是否小于預(yù)定的閾值，或者判斷校正值Δs是否小于預(yù)定的閾值。如果計算不收斂，則位置-方位計算單元12通過使用校正后的狀態(tài)向量s重新執(zhí)行步驟S404及其后面的步驟。
如果，在步驟S409中判斷結(jié)果為計算收斂，則在步驟S410，位置-方位計算單元12從獲得的狀態(tài)向量s計算目標(biāo)物體13的方位。具體地，從在前面的步驟中獲得的狀態(tài)向量s，位置-方位計算單元12獲得方位角-漂移-誤差校正值的更新值φ并通過下述表達(dá)式計算目標(biāo)物體13的方位RR＝ΔR(φ)·R*(11)這樣，目標(biāo)物體13的方位R得以計算。
在步驟S411，位置-方位計算單元12將獲得的目標(biāo)物體13的位置和方位的信息通過接口1009輸出到外部。位置-方位計算單元12還將目標(biāo)物體13的位置t輸出到數(shù)據(jù)存儲單元17中。位置和方位的輸出格式可以為一套表示方位的3×3矩陣R和表示位置的三維向量t，通過對方位元素進(jìn)行變換獲得的Euler角、從位置和方位計算出的模型變換矩陣，或任何用于描述位置和方位的其他方法。
在步驟S412，通過使用在上述計算步驟中獲得的方位角-漂移-誤差校正值的更新值φ，位置方位計算單元12根據(jù)下述表達(dá)式更新存儲在數(shù)據(jù)存儲單元17中的方位角-漂移-誤差校正值φ*φ*+φ→φ*(12)在步驟S413，位置-方位計算單元12判斷是否終止處理。如果位置-方位計算單元12的判斷結(jié)果為不終止處理，則進(jìn)行到步驟S400，并且在下個幀及其后的幀中對輸入的數(shù)據(jù)執(zhí)行類似的處理。
上述處理測量目標(biāo)物體13的位置和方位。
雖然上述實(shí)施例使用多個俯瞰視角照相攝像機(jī)18a，18b，18c和18d，但是并不總是必須使用多個俯瞰視角照相攝像機(jī)18a，18b，18c和18d，很明顯，即使僅使用了一個俯瞰視角照相攝像機(jī)，也可以獲得與上述實(shí)施例類似的優(yōu)點(diǎn)。根據(jù)上述實(shí)施例，即使由圖像上的標(biāo)志組成的凸包很小，物體的位置和方位可以被穩(wěn)定地高準(zhǔn)確性地測量。換句話說，如果使用類似安排的標(biāo)志，則可以獲得穩(wěn)定的位置和方位。另外，在標(biāo)志安排上較小的限制使得可以測量多種類型的物體。另外，可以使用具有廣視角的用于覆蓋更寬范圍的俯瞰視角照相攝像機(jī)，從而維持一個寬的移動測量范圍。
第一實(shí)施例的第一修改方案在上述的實(shí)施例中，方位傳感器的方位角-漂移-誤差校正值的更新值φ作為未知值被獲得。然而，當(dāng)方位傳感器的準(zhǔn)確性好，且使用時間短的時候，或者當(dāng)方位角-漂移-誤差校正值的更新值φ可以手工輸入的時候，由位置-方位計算單元12獲得的參數(shù)可以限于目標(biāo)物體13的位置。根據(jù)本實(shí)施例的第一修改方案的位置-方位測量設(shè)備意在測量有待測量的任意目標(biāo)物體的位置和方位。該位置-方位測量設(shè)備設(shè)計成改變根據(jù)第一實(shí)施例的位置-方位測量設(shè)備中的位置-方位計算單元12的功能。對根據(jù)第一修改方案的位置-方位測量設(shè)備及其位置-方位測量方法將在下面進(jìn)行描述。
在第一修改方案中，第一實(shí)施例中的所有更新值φ都被設(shè)為0。換句話說，在第一修改方案中的位置-方位計算單元12，通過3值狀態(tài)向量s′＝[xyz]T描述有待獲得的未知參數(shù)。在第一修改方案中的位置-方位計算單元12可以使用通過將與更新值φ相關(guān)的項(xiàng)從位置-方位計算單元12的處理步驟(例如雅可比矩陣和表達(dá)式(4))中移除所得到的。例如，表達(dá)式(4)變?yōu)橄率龅谋磉_(dá)式xWPkm=xWPkmyWPkmzWPkm=R*·xCPkm+xyz---(13)]]>根據(jù)第一修改方案的位置-方位測量設(shè)備，未知參數(shù)的數(shù)量減少了。這樣，就可能期望所獲得的解(目標(biāo)物體13的位置和方位)的穩(wěn)定性進(jìn)一步提高。
為了手工輸入方位角-漂移-誤差校正值的更新值φ，例如，可以進(jìn)一步將一校正-值-更新單元添加到圖1所示的結(jié)構(gòu)中。該校正-值-更新單元通過操作員的輸入獲得方位角-漂移-誤差校正值的更新值φ，并且根據(jù)表達(dá)式(12)對存儲在數(shù)據(jù)存儲單元17中的方位角-漂移-誤差校正值φ*進(jìn)行更新。該校正-值-更新單元可以使用鍵盤1004的特定的鍵作為接口。例如，可以設(shè)置校正-值-更新單元，從而使得正符號“+”鍵被用來設(shè)置+0.1的更新值，“-”鍵被用來設(shè)置-0.1的更新值。甚至在如第一實(shí)施例中的格式中，其中根據(jù)圖像信息得到方位角-漂移-誤差校正值的更新值φ，明顯地，可以共同使用一個手工-輸入校正-值-更新單元。
第一實(shí)施例的第二修改方案在第一實(shí)施例及其第一修改方案中，作為未知值獲得的參數(shù)限于方位角-漂移-誤差校正值的更新值φ或僅為位置。然而，視為未知的參數(shù)并不總是需要固定的。如果有必要，依據(jù)參數(shù)的特性，通過改變視作未知參數(shù)的參數(shù)，可以得到更好的位置和方位的估計。根據(jù)第二修改方案的位置-方位測量設(shè)備意在測量有待測量的任意目標(biāo)物體的位置和方位。根據(jù)第二修改方案的位置-方位測量設(shè)備設(shè)計成改變根據(jù)第一實(shí)施例的位置-方位測量設(shè)備中的位置-方位計算單元12的功能。根據(jù)第二修改方案的位置-方位測量設(shè)備和其位置-方位測量方法將在下面進(jìn)行描述。
第二修改方案中的位置-方位計算單元具有第一實(shí)施例中的位置-方位計算單元和第一實(shí)施例的第一修改方案中的位置-方位計算單元的合并功能。根據(jù)第二修改方案的位置-方位測量設(shè)備通常執(zhí)行在第二修改方案中位置-方位計算單元的處理，其中僅使用位置作為未知參數(shù)。另外，以規(guī)則的時間間隔(例如，每10秒鐘一次(300幀))，根據(jù)第二修改方案的位置-方位測量設(shè)備執(zhí)行第一實(shí)施例中的位置-方位計算單元12的處理，其中使用方位角-漂移-誤差校正值的更新值φ作和位置作為未知參數(shù)。優(yōu)選地，更新方位角-漂移-誤差校正值的時間間隔根據(jù)位置-方位計算單元12的漂移特性被設(shè)置，并且優(yōu)選地，時間間隔可以由操作員的交互式的操作來設(shè)置。
根據(jù)第二修改方案的位置-方位測量設(shè)備，當(dāng)使用了一個方位傳感器其可以在短時間內(nèi)獲得可以忽略方位角-漂移-誤差的準(zhǔn)確度來作為方位傳感器14時，可以期望在校正方位角漂移誤差時所得到的解的穩(wěn)定性被提高。
第一實(shí)施例的第三修改方案在第一實(shí)施例和上述的修改方案中，根據(jù)某個時間的圖像信息獲得方位角-漂移-誤差校正值的更新值φ。幀之間的方位角-漂移-誤差值具有高度相關(guān)性。這樣，通過使用多個幀的信息，可以以較高的準(zhǔn)確度獲得方位角-漂移-誤差值。根據(jù)第三修改方案的位置-方位測量設(shè)備意在測量有待測量的任意目標(biāo)物體的位置和方位。根據(jù)第三修改方案的位置-方位測量設(shè)備設(shè)計成改變在第一實(shí)施例中的位置-方位計算單元12的功能。根據(jù)第三修改方案的位置-方位測量設(shè)備及其位置-方位測量方法在下面進(jìn)行描述。
在第三修改方案中的位置-方位計算單元12具有第一實(shí)施例中的位置-方位計算單元12和第二修改方案中的位置-方位計算單元的合并功能，并且執(zhí)行第一實(shí)施例和第二修改方案中的參數(shù)估計處理。圖5表示計算表示目標(biāo)物體13的位置和方位的參數(shù)的處理的流程圖。在執(zhí)行下面步驟之前的階段中，根據(jù)流程圖的程序代碼應(yīng)當(dāng)預(yù)先裝載到RAM1002中。
在步驟S500，與第一實(shí)施例中的步驟S400相似，目標(biāo)物體13的預(yù)測方位值R，即方位預(yù)測單元15的輸出，從數(shù)據(jù)存儲單元17被輸入到位置-方位計算單元12中。
在步驟S501，與步驟S402相似，由標(biāo)志檢測單元11檢測到的標(biāo)志的一套圖像坐標(biāo)和世界坐標(biāo)從數(shù)據(jù)存儲單元17被輸入到位置-方位計算單元12中。
在步驟S502，通過使用作為未知參數(shù)的目標(biāo)物體13的位置t＝[xyz]T和方位角-漂移-誤差校正值的更新值φ，位置-方位計算單元12在類似步驟S401和S403到S409的處理中估計位置T和更新值φ。
在步驟S503，位置-方位計算單元12將在步驟S502中計算出的方位角-漂移-誤差校正值的更新值φ求和，得到和φSUM。
在步驟S504，位置-方位計算單元12判斷是否已經(jīng)完成在預(yù)定數(shù)量的幀(例如30幀)上的求和。如果已經(jīng)完成求和，則位置-方位計算單元12進(jìn)行到步驟S505。如果沒有，則位置-方位計算單元12進(jìn)行到步驟S508。
在步驟S505，在位置-方位計算單元12中，通過將在步驟S503中獲得的和φSUM除以幀數(shù)量，計算出方位角-漂移-誤差校正值的更新值的平均值并且該平均值用作方位角-漂移-誤差校正值的新的更新值φ。然后，和φSUM被清零。
在步驟S506，在位置-方位計算單元12中，與第一實(shí)施例中的步驟S412相似，通過使用在步驟S505中獲得的方位角-漂移-誤差校正值的更新值φ，根據(jù)表達(dá)式(12)對存儲在數(shù)據(jù)存儲單元17中的方位角-漂移-誤差校正值φ*進(jìn)行更新。
在步驟S507，在位置-方位計算單元12中，通過使用在步驟S505中獲得的方位角-漂移-誤差校正值的更新值φ，根據(jù)表達(dá)式(11)計算出目標(biāo)物體13的方位并且所計算出的方位被用作新的預(yù)測方位值。
在步驟S508，在位置-方位計算單元12中，目標(biāo)物體13的位置t＝[xyz]T被用作未知參數(shù)，并且通過類似于第一修改方案的處理被估計。
在步驟S509，與第一實(shí)施例中的步驟S411相似，位置-方位計算單元12輸出目標(biāo)物體13的位置和方位的信息。
在步驟S510，位置-方位計算單元12判斷是否終止處理。如果位置-方位計算單元12已經(jīng)確定不終止處理，則回到步驟S500并且對下一個幀之后(τ+1時間)輸入的數(shù)據(jù)執(zhí)行類似的處理。
在上述的處理中，多幀信息被用于實(shí)現(xiàn)方位角-漂移-誤差的更新值的準(zhǔn)確度的提高。雖然，在第三修改方案中，使用了在幀中獲得的更新值的平均值，但是在幀中的更新值的中間值也可以使用，并且任何其它的低通濾波器都可以使用。
第二實(shí)施例根據(jù)本發(fā)明的第二實(shí)施例的位置-方位測量設(shè)備測量攝像裝置的位置和方位。根據(jù)第二實(shí)施例的位置-方位測量設(shè)備及其位置-方位測量方法在下面進(jìn)行描述。
圖6表示根據(jù)第二實(shí)施例的位置-方位測量設(shè)備的結(jié)構(gòu)。如圖6所示，位置-方位測量設(shè)備100包括俯瞰視角照相攝像機(jī)180a，180b，180c和180d、圖像輸入單元160、數(shù)據(jù)存儲單元170、標(biāo)志檢測單元110、方位傳感器140、方位預(yù)測單元150和位置-方位計算單元120。位置-方位測量設(shè)備100被連接到攝像裝置130。
在現(xiàn)實(shí)空間的多個位置上，在世界坐標(biāo)系統(tǒng)中的位置xWQk為已知的多個標(biāo)志Qk(k＝1，...，KQ)(下面稱為“主觀視點(diǎn)標(biāo)志”)被作為由攝像裝置130觀察的標(biāo)志被安置。這里，世界坐標(biāo)系統(tǒng)通過在場景中的一個原點(diǎn)和三個垂直相交的軸定義。在方位傳感器140和/或攝像裝置130上的多個位置上，在物體坐標(biāo)系統(tǒng)中的位置xCPk為已知的標(biāo)志Pk(k＝1，...，KP)(后面稱為“俯瞰視角標(biāo)志”)被設(shè)置以便由俯瞰視角照相攝像機(jī)180a，180b，180c和180d觀察。這里，物體坐標(biāo)系統(tǒng)由攝像裝置130上的一個原點(diǎn)和三個垂直相交的軸定義。
優(yōu)選地，安置這些標(biāo)志以便，當(dāng)攝像裝置被置于在測量位置和方位的測量范圍內(nèi)的每個點(diǎn)上，由攝像裝置130獲得的在主觀視點(diǎn)圖像中觀察到的主觀視點(diǎn)標(biāo)志和由俯瞰視角照相攝像機(jī)180a，180b，180e和180d獲得的在俯瞰視角圖像中觀察到的(物理的)俯瞰視角標(biāo)志的總數(shù)至少等于2。在圖6中所示的情況中，設(shè)置有三個主觀視點(diǎn)Q1、Q2和Q3以及兩個俯瞰視角標(biāo)志P1和P2，并且三個主觀視點(diǎn)標(biāo)志Q1、Q2和Q3中，兩個主觀視點(diǎn)標(biāo)志Q1和Q3包括在攝像裝置130的視野范圍內(nèi)。俯瞰視角標(biāo)志P1包括在俯瞰視角照相攝像機(jī)180c的視野范圍內(nèi)，俯瞰視角標(biāo)志P2包括在俯瞰視角照相攝像機(jī)180c和180d的視野范圍內(nèi)。
主觀視點(diǎn)標(biāo)志和Qk和俯瞰視角標(biāo)志Pk可以由，例如具有不同顏色的球形或圓形標(biāo)記組成，或者由例如具有不同結(jié)構(gòu)特征的自然特征的特征點(diǎn)組成。主觀視點(diǎn)標(biāo)志Qk和俯瞰視角標(biāo)志Pk可以具有任何形式，只要可以檢測到捕捉的圖像上的投影圖像的圖像坐標(biāo)，并且每個標(biāo)志可以以某種方式被識別即可。主觀視點(diǎn)標(biāo)志Qk和俯瞰視角標(biāo)志Pk可以有意地設(shè)置或者可以具有不是有意設(shè)置的自然的形狀。
由攝像裝置130輸出的圖像(后面稱為“主觀視點(diǎn)圖像”)被輸入到位置-方位測量設(shè)備100中。
俯瞰視角照相攝像機(jī)180a，180b，180c和180d被固定地放置在某一位置以便，當(dāng)攝像裝置130位于測量范圍內(nèi)時，俯瞰視角照相攝像機(jī)180a，180b，180c和180d中的一個照相攝像機(jī)可以捕捉攝像裝置130的圖像。每個俯瞰視角照相攝像機(jī)180a，180b，180c和180d在世界坐標(biāo)系統(tǒng)中的位置和方位應(yīng)該預(yù)先作為已知值存儲在數(shù)據(jù)存儲單元170中。由俯瞰視角照相攝像機(jī)180a，180b，180c和180d輸出的圖像(后面稱為“俯瞰視角圖像”)被輸入到圖像輸入單元160中。
輸入到位置-方位測量設(shè)備100中的主觀視點(diǎn)圖像和俯瞰視角圖像由圖像輸入單元160變換為數(shù)字?jǐn)?shù)據(jù)。圖像輸入單元160將數(shù)字?jǐn)?shù)據(jù)存儲到數(shù)據(jù)存儲單元170中。
方位傳感器140被架設(shè)在攝像裝置130上。方位傳感器140測量其當(dāng)前的方位并將測量的方位輸出到方位預(yù)測單元150中。方位傳感器140是基于例如陀螺儀的角速率傳感器的傳感器單元，并且由例如由日本的Tokimec公司制造的TISS-5-40或者由美國的InterSense公司制造的InertiaCube2組成。由上述傳感器獲得的測量方位值不同于實(shí)際方位且具有誤差。上述方位傳感器具有作為其部件的一些加速傳感器，用于觀察地球的重力方方向，并且具有在傾斜角方位上消除漂移誤差的積累的功能。這樣，上述方位傳感器具有在傾斜角方向上(俯仰角和擺動角)不產(chǎn)生漂移誤差的特性。換句話說，上述傳感器具有隨著時間積累的關(guān)于圍繞重力軸的方向角(偏航角)的漂移誤差。
方位預(yù)測單元150從數(shù)據(jù)存儲單元170接收方位角-漂移-誤差校正值φ，通過校正從方位傳感器140輸入的測量方位值對攝像裝置130的方位進(jìn)行預(yù)測，并且將預(yù)測的方位輸出到數(shù)據(jù)存儲單元170中。
從數(shù)據(jù)存儲單元170輸入到標(biāo)志檢測單元110的主觀視點(diǎn)圖像和俯瞰視角圖像，和在輸入的圖像中拍攝的標(biāo)志的圖像坐標(biāo)被檢測。例如，當(dāng)標(biāo)志由具有不同顏色的標(biāo)記組成時，從俯瞰視角圖像檢測對應(yīng)于標(biāo)記顏色的區(qū)域，并且它們的重心位置被用作檢測到的標(biāo)志坐標(biāo)。當(dāng)標(biāo)志由具有不同結(jié)構(gòu)特征的特征點(diǎn)組成時，標(biāo)志的位置通過基于作為已知信息預(yù)先存儲的標(biāo)志的模板圖像執(zhí)行模板匹配進(jìn)行檢測。根據(jù)由位置-方位計算單元120輸出且存儲在數(shù)據(jù)存儲單元170中的攝像裝置130的位置的計算值和由方位預(yù)測單元150輸出且存儲在數(shù)據(jù)單元170中的攝像裝置130的方位的預(yù)測值，通過預(yù)測在圖像中的每個標(biāo)志的位置可以縮小搜索范圍。根據(jù)這個選擇，可以減小標(biāo)志檢測所需的計算量和標(biāo)志的錯誤檢測及錯誤識別。
標(biāo)志檢測單元110將檢測到的標(biāo)志的圖像坐標(biāo)及其標(biāo)識符輸出到數(shù)據(jù)存儲單元170。在下面的描述中，通過使用分配給每個檢測到的標(biāo)志的標(biāo)識符n(n＝1，...，N)，用Qkn表示在主觀視點(diǎn)中檢測到的標(biāo)志。另外，通過使用照相攝像機(jī)標(biāo)識符x(x＝a，b，c和d)和分配給每個檢測到的標(biāo)志的標(biāo)識符m(m＝1，...，Mx)，用Pkxm表示在俯瞰視角圖像中檢測到的標(biāo)志。字母N表示在主觀視點(diǎn)圖像中檢測到的標(biāo)志的數(shù)量，字母Mx表示在每個俯瞰視角圖像中檢測到的標(biāo)志的數(shù)量。字母M表示在俯瞰視角圖像中檢測到的標(biāo)志的總數(shù)。另外，檢測到的標(biāo)志Qkn的圖像坐標(biāo)用uQkn表示，檢測到的標(biāo)志Pkxm的圖像坐標(biāo)根據(jù)捕捉圖像的俯瞰視角照相攝像機(jī)的標(biāo)識符用uaPkam，ubPkbm，ucPkcm和udPkdm表示。例如，在圖6所示的情況中，N＝2，Ma＝0，Mb＝0，Mc＝2，Md＝1，M＝3。因此，標(biāo)志標(biāo)識符(k1＝1，k2＝3，kc1＝1，kc2＝2，kd1＝2)、捕捉標(biāo)志圖像的俯瞰視角照相攝像機(jī)的標(biāo)識符和對應(yīng)的圖像坐標(biāo)(uQk1，uQk2，ucPkc1，ucPkc2和udPkd1)被輸出。
攝像裝置130的方位的預(yù)測值、由標(biāo)志檢測單元110檢測到的主觀視點(diǎn)標(biāo)志的圖像坐標(biāo)uQkn和世界坐標(biāo)xWQkn，以及俯瞰視角照相攝像機(jī)的圖像坐標(biāo)uPkam，uPkbm，uPkcm，uPkdm和物體坐標(biāo)(在物體坐標(biāo)系統(tǒng)中的坐標(biāo)值)xCPkam，xCPkbm，xCPkcm，xCPkdm從數(shù)據(jù)存儲單元170被輸入到位置-方位計算單元120。位置-方位計算單元120根據(jù)上述信息計算攝像裝置130的位置和方位并且將計算的位置和方位通過接口(未示出)輸出。另外，位置-方位計算單元120將計算的位置輸出到數(shù)據(jù)存儲單元170中，并且通過使用方位傳感器140的方位角-漂移-誤差校正值的更新值更新存儲在數(shù)據(jù)存儲單元170中的方位角-漂移-誤差校正值，該更新值來自計算攝像裝置130的位置和方位的處理。
數(shù)據(jù)存儲單元170存儲各種類型的數(shù)據(jù)，例如方位角-漂移-誤差校正值、從圖像輸入單元160輸入的圖像、從方位預(yù)測單元150輸入的方位的預(yù)測值、從位置-方位計算單元120輸入的計算位置值、從標(biāo)志檢測單元110輸入的標(biāo)志的圖像坐標(biāo)及其標(biāo)識符、作為已知值的主觀視點(diǎn)標(biāo)志的世界坐標(biāo)、俯瞰視角標(biāo)志的物體坐標(biāo)(在物體坐標(biāo)系統(tǒng)中的坐標(biāo)值)和俯瞰視角照相攝像機(jī)180a，180b，180c和180d的照相攝像機(jī)參數(shù)。如果有必要，則將各種類型的數(shù)據(jù)從數(shù)據(jù)存儲單元170輸入或輸出。
在圖6中的圖像輸入單元160、數(shù)據(jù)存儲單元170、標(biāo)志檢測單元110、方位預(yù)測單元150和位置-方位計算單元120中的每一個可以視為單獨(dú)的設(shè)備。做為選擇地，通過將作為軟件的每個單元安裝到一臺或多臺計算機(jī)上并且使用每個計算機(jī)的CPU執(zhí)行該軟件，可以實(shí)現(xiàn)該單元的功能。在第二實(shí)施例中，圖像輸入單元160、數(shù)據(jù)存儲單元170、標(biāo)志檢測單元110、方位預(yù)測單元150和位置-方位計算單元120作為由單臺計算機(jī)執(zhí)行的軟件。圖1方框圖表示執(zhí)行作為軟件的圖像輸入單元150、數(shù)據(jù)存儲單元170、標(biāo)志檢測單元110、方位預(yù)測單元150和位置-方位計算單元120的每一個的計算機(jī)的基本結(jié)構(gòu)。
圖7表示方位預(yù)測單元150的處理的流程圖。執(zhí)行這個處理使得CPU1001執(zhí)行方位預(yù)測單元150的軟件程序。在執(zhí)行接下來的處理之前的階段，根據(jù)流程圖的程序代碼應(yīng)當(dāng)預(yù)先裝載到RAM1002中。
有各種表示方位的方法。在第二實(shí)施例中，方位用3×3旋轉(zhuǎn)矩陣R表示。
在步驟S3000，測量的方位值R#(#表示傳感器-測量值)從方位傳感器140被輸入到方位預(yù)測單元150中。
在步驟S3010，方位角-漂移-誤差校正值φ*從數(shù)據(jù)存儲單元170被輸入到方位預(yù)測單元150中。
在步驟S3020，通過將測量的方位值R#(表示方位傳感器140的方位)代入從方位傳感器140的方位到攝像裝置130的方位的變換，并且根據(jù)方位角-漂移-誤差校正值φ*對漂移誤差進(jìn)行校正，方位預(yù)測單元150計算攝像裝置130的方位作為預(yù)測的方位值R*。
R*＝ΔR(φ*)·R#·RSC(14)其中ΔR(φ)表示在方位角方向上增加旋轉(zhuǎn)φ的旋轉(zhuǎn)矩陣，并通過下面的表達(dá)式被定義為φ的函數(shù)。
ΔR(φ)=l1l1(1-cosφ)+cosφl2l1(1-cosφ)-l3sinφl3l1(1-cosφ)+l2sinφl1l2(1-cosφ)+l3sinφl2l2(1-cosφ)+cosφl3l2(1-cosφ)-l1sinφl1l3(1-cosφ)-l2sinφl2l3(1-cosφ)+l1sinφl3l3(1-cosφ)+cosφ---(15)]]>5其中″l＝(l1，l2，l3)″表示用于指示在世界坐標(biāo)系統(tǒng)中的垂直方位(與地球重力方位相反)，Rsc表示用于將方位從物體坐標(biāo)系統(tǒng)(表示攝像裝置130的位置和方位的坐標(biāo)系統(tǒng))變換到傳感器坐標(biāo)系統(tǒng)(表示方位傳感器140的位置和方位的坐標(biāo)系統(tǒng))的3×3矩陣，并且根據(jù)方位傳感器140和攝像裝置130之間相對方位的固定值預(yù)先設(shè)置為已知值。
在步驟S3030，方位預(yù)測單元150將預(yù)測的方位值R*輸出到數(shù)據(jù)存儲單元170中。
在步驟S3040，方位預(yù)測單元150判斷是否終止處理。如果方位預(yù)測單元150的判斷結(jié)果為不終止處理，則返回到步驟S3000。
圖8是表示對攝像裝置130的位置和方位的參數(shù)進(jìn)行計算的過程的流程圖。執(zhí)行該處理以便CPU1001執(zhí)行對應(yīng)于位置方位計算單元120的軟件程序。在下面的處理之前的階段，根據(jù)上述流程圖的程序代碼應(yīng)該事先被裝載到RAM1002中。
在位置方位計算單元120中，總共四個參數(shù)，即攝像裝置130的位置″t＝[xyz]T″和方位傳感器140的方位角漂移誤差校正值的更新值φ視為要計算的未知參數(shù)。換句話說，在第二實(shí)施例中，不是所有的表示方位的元素都視為未知。假定預(yù)測方位值R僅包括方位角方位上的漂移誤差。因此，使用一種模型，其中攝像裝置130的方位可以通過僅確定方位角漂移誤差校正值的更新值φ而獲得。下面，要得到的未知參數(shù)由4值狀態(tài)向量s＝[xyzφ]T描述。
在步驟S4000，攝像裝置130的預(yù)測方位值R(方位預(yù)測單元150的輸出)從數(shù)據(jù)存儲單元170被輸入到位置方位計算單元120中。
在步驟S4010，位置方位計算單元120將s＝[xτ-1yτ-1zτ-10]T設(shè)置為狀態(tài)向量s的初始值。在這個表達(dá)式中，xτ-1，yτ-1和zτ-1表示在前一個循環(huán)中(在τ-1時間)在步驟S4110中計算的攝像裝置130的位置。
在步驟S4020，由標(biāo)志檢測單元110檢測到的主觀視點(diǎn)標(biāo)志的圖像坐標(biāo)和物體坐標(biāo)以及由標(biāo)志檢測單元110檢測到的俯瞰視角標(biāo)志的圖像坐標(biāo)和其物體坐標(biāo)(在物體坐標(biāo)系統(tǒng)中的坐標(biāo)值)從數(shù)據(jù)存儲單元170被輸入到位置方位計算單元120中。例如，在圖6的情況下，主觀視點(diǎn)標(biāo)志的圖像坐標(biāo)uQ1和uQ3和相應(yīng)的世界坐標(biāo)xWQ1andxWQ3以及圖像坐標(biāo)ucP1，ucP2和udP2和相應(yīng)的物體坐標(biāo)xCP1和xCP2被輸入。
在步驟S4030，位置方位計算單元120判斷輸入標(biāo)志信息是否包括足夠估計位置和方位的信息。位置方位計算單元120的判斷結(jié)果允許處理分支。具體而言，如果其圖像被輸入的物理標(biāo)志的總數(shù)不小于2，則位置方位計算單元120前進(jìn)到步驟S4040。如果其圖像被輸入的標(biāo)志的總數(shù)小于2，則位置方位計算單元120前進(jìn)到步驟S4100。例如，在圖8中所示的情況下，兩個主觀視點(diǎn)標(biāo)志和兩個俯瞰視角標(biāo)志(雖然投影圖像的數(shù)量為3，但是物理標(biāo)志的數(shù)量為2)被檢測，所以總數(shù)為4。因此，處理前進(jìn)到步驟S4040。
在步驟S4040，根據(jù)當(dāng)前的狀態(tài)向量s，位置方位計算單元120計算在步驟S4020中輸入的每個主觀視點(diǎn)標(biāo)志Qkn和俯瞰視角標(biāo)志Pkm的圖像坐標(biāo)的估計值。
每個主觀視點(diǎn)標(biāo)志Qkn的圖像坐標(biāo)的估計值uQkn通過使用每個Qkn的世界坐標(biāo)xWQkn和當(dāng)前的狀態(tài)向量s的下述函數(shù)計算uPkn*=FC(xWPkn,s)---(16)]]>具體地，函數(shù)FC()包括下述表達(dá)式
xCQkn=xCQknyCQknzCQkn=(ΔR(φ)·R*)-1(xWQkn-xyz)---(17)]]>該表達(dá)式根據(jù)xWQkn和狀態(tài)向量s獲得在物體坐標(biāo)系統(tǒng)中(由攝像裝置130定義的物體坐標(biāo)系統(tǒng))的坐標(biāo)xCQkn；下面的表達(dá)式，表示為uQkn*=uxQkn*uyQkn*T=[-fxCxCQknzCQkn-fyCyCQknzCQkn]T---(18)]]>該表達(dá)式從xCQkn獲得圖像坐標(biāo)和uQkn，其中R表示在步驟S4000輸入的預(yù)測方位值，ΔR(φ)表示在方位角方位上增加旋轉(zhuǎn)φ的旋轉(zhuǎn)矩陣，fCx和fCy分別表示在攝像裝置130的X軸和Y軸方位上的焦距，其預(yù)先作為已知值存儲。
每個俯瞰視角標(biāo)志Pkm的世界坐標(biāo)的估計值uPkm通過使用每個Pkm的物體坐標(biāo)xCPkm(在物體坐標(biāo)系統(tǒng)中的坐標(biāo)值)和狀態(tài)向量s的下述函數(shù)計算。
uPkm*=FB(xCPkm,s)---(19)]]>具體地，函數(shù)FB()包括下述表達(dá)式xWPkm=xWPkmyWPkmzWPkm=ΔR(φ)·R*·xCPkm+xyz---(20)]]>
該表達(dá)式從xCPkm和狀態(tài)向量s獲得標(biāo)志在世界坐標(biāo)的坐標(biāo)xWPkm；下面的表達(dá)式，表示為xBPkm=xBPkmyBPkmzBPkm=RWB-1(xWPkm-tWB)---(21)]]>該表達(dá)式從世界坐標(biāo)系統(tǒng)xWPkm獲得標(biāo)志在俯瞰視角照相攝像機(jī)坐標(biāo)(俯瞰視角照相攝像機(jī)180a，180b，180c和180d的坐標(biāo)系統(tǒng)，其中一個原點(diǎn)和三個垂直相交的軸被定義在每個俯瞰視角照相攝像機(jī)上)中的坐標(biāo)xBPkm；下面的表達(dá)式uPkm*=uxPkm*uyPkm*T=[-fxBxBPkmzBPkm-fyByBPkmzBPkm]T---(22)]]>該表達(dá)式從xBPkm獲得圖像坐標(biāo)uPkm。其中fBx和fBy分別表示在俯瞰視角照相攝像機(jī)180a，180b，180c和180d的X軸和Y軸方位上的焦距，RWB表示描述每個俯瞰視角照相攝像機(jī)180a，180b，180c和180d的方位的3×3矩陣，tWB表示描述每個俯瞰視角照相攝像機(jī)180a，180b，180c和180d在世界坐標(biāo)系統(tǒng)中的位置的三維向量，預(yù)先作為每個俯瞰視角照相攝像機(jī)180a，180b，180c和180d的已知值存儲。
在步驟S4050，對于每個標(biāo)志(主觀視點(diǎn)標(biāo)志和俯瞰視角標(biāo)志)，位置方位計算單元120通過使用下面的表達(dá)式計算估計值和實(shí)際測量值之間的誤差ΔuQkn和ΔuPkmΔuQkn=uQkn-uQkn*---(23)]]>
ΔuPkm=uPkm-uPkm*---(24)]]>在步驟S4060，對于每個標(biāo)志(主觀視點(diǎn)標(biāo)志和俯瞰視角視點(diǎn)標(biāo)志)，位置方位計算單元120計算關(guān)于狀態(tài)向量s的圖像雅可比行列式。主觀視點(diǎn)標(biāo)志Qkn的圖像雅可比行列式為2×4雅可比矩陣JusQkn(＝u/s)，具有通過關(guān)于狀態(tài)向量s的每個元素的偏導(dǎo)函數(shù)fc()獲得的作為其元素的解。具體而言，在獲得具有通過對關(guān)于xCQkn的每個元素的表達(dá)式(18)的右側(cè)求偏導(dǎo)獲得的作為其元素的解的2×3雅可比矩陣JuxQkn(＝u/x)和具有通過對關(guān)于狀態(tài)向量s的每個元素的表達(dá)式(17)的右側(cè)求偏導(dǎo)獲得的作為其元素的解的3×4雅可比矩陣JxsQkn(＝x/s)之后，主觀視點(diǎn)標(biāo)志Qkn的圖像雅可比行列式根據(jù)下面的表達(dá)式通過使用上述的矩陣計算JusQkn=JuxQkn·JxsQkn---(25)]]>俯瞰視角標(biāo)志的圖像雅可比行列式為2×4雅可比矩陣JusPkm(＝u/s)，具有通過對關(guān)于狀態(tài)向量s的每個元素的表達(dá)式(19)中的函數(shù)FB()求偏導(dǎo)獲得的作為其元素的解。在獲得具有通過對關(guān)于俯瞰視角照相攝像機(jī)坐標(biāo)xBPkm的每個元素的的表達(dá)式(22)的右側(cè)求偏導(dǎo)獲得的作為其元素的解的2×3雅可比矩陣JuxBPkm(＝u/xB)、具有通過對關(guān)于世界坐標(biāo)xWPkm的每個元素的表達(dá)式(21)的右側(cè)求偏導(dǎo)獲得的作為其元素的解的3×3雅可比矩陣JxBxWPkm(＝xB/xW)和具有通過對關(guān)于狀態(tài)向量s的每個元素的表達(dá)式(20)的右側(cè)求偏導(dǎo)獲得的作為其元素的解的3×4雅可比矩陣JxWsPkm(＝xW/s)之后，俯瞰視角標(biāo)志Pkm的圖像雅可比行列式根據(jù)下面的表達(dá)式通過使用上述的矩陣計算JusPkm=JuxBPkm·JxBxWPkm·JxWsPkm---(26)]]>在步驟S4070，位置-方位計算單元120根據(jù)在步驟S4050和S4060中關(guān)于每個標(biāo)志計算出的誤差Δu和圖像雅可比行列式Jus，根據(jù)下面的表達(dá)式計算狀態(tài)向量s的校正值ΔsΔs＝Θ′U (27)其中，U表示2(N+M)維誤差向量，表示為U=ΔuQk1···ΔuQkNΔuPka1···ΔuPkaMa···ΔuPkd1···ΔuPkdMd---(28)]]>其中關(guān)于標(biāo)志(主觀視點(diǎn)標(biāo)志和俯瞰視角標(biāo)志)獲得的誤差Δu垂直排列，Θ表示2(N+M)×4矩陣，表示為Θ=JusQk1···JusQkNJusPka1···JusPkaMa···JusPkd1···JusPkdMs---(29)]]>
其中，關(guān)于標(biāo)志(主觀視點(diǎn)標(biāo)志和俯瞰視角標(biāo)志)獲得的圖像雅可比行列式垂直排列。這里Θ′表示Θ的偽逆矩陣。在圖6所示的情況中，N＝2，M＝3。這樣，U為10維向量，Θ為10×4向量。(矩陣)？在步驟S4080，位置-方位計算單元120通過使用在步驟S4070中計算出的校正值Δs根據(jù)下述表達(dá)式校正狀態(tài)向量s，并將獲得的值作為新的估計值。
s+Δs→s (30)在步驟S4090，位置-方位計算單元120判斷計算是否收斂，該判斷通過使用一個標(biāo)準(zhǔn)完成，例如判斷誤差向量U是否小于預(yù)定的閾值，或者判斷校正值Δs是否小于預(yù)定的閾值。如果計算不收斂，則位置位計算單元120使用校正后的狀態(tài)向量s重新執(zhí)行步驟S4040及其后面的步驟。
如果，在步驟S4090中判斷結(jié)果為計算收斂，則在步驟S4100，位置位計算單元120從獲得的狀態(tài)向量s計算攝像裝置130的方位。具體地，從在前面的步驟中獲得的狀態(tài)向量s，位置-方位計算單元120獲得方位角-漂移-誤差校正值的更新值φ以通過下述表達(dá)式來計算攝像裝置130的方位RR＝ΔR(φ)·R*(31)在步驟S4110，位置-方位計算單元120將獲得的攝像裝置130的位置和方位的信息通過接口1009輸出到外部。位置-方位計算單元120也將攝像裝置130的位置t輸出到數(shù)據(jù)存儲單元170中。位置和方位的輸出格式可以為一套表示方位的3×3矩陣R和表示位置的三維向量t、通過對方位元素進(jìn)行變換獲得的Euler角、從位置和方位計算出的觀察變換矩陣，或任何其它用于描述位置和方位的方法。
在步驟S4120，通過使用在上述計算步驟中獲得的方位角-漂移-誤差校正值的更新值φ，位置-方位計算單元120根據(jù)下述表達(dá)式更新存儲在數(shù)據(jù)存儲單元170中的方位角-漂移-誤差校正值φ*φ*+φ→φ*(32)在步驟S4130，位置-方位計算單元120判斷是否終止處理。如果位置-方位計算單元120的判斷結(jié)果為不終止處理，則進(jìn)行到步驟S4000，并且在下個幀及其后的幀中對于輸入的數(shù)據(jù)執(zhí)行類似的處理。
上述處理測量攝像裝置130的位置和方位。
根據(jù)第二實(shí)施例的位置-方位測量設(shè)備，如果在主觀視點(diǎn)圖像上觀察到的標(biāo)志的數(shù)量和在俯瞰視角圖像上觀察到的標(biāo)志的數(shù)量的總和至少為2，則攝像裝置130的位置和方位可以得到測量。因此，即使主觀視點(diǎn)圖像被遮住了(用手或類似方法)，也可以根據(jù)俯瞰視角圖像信息(至少對兩個俯瞰視角標(biāo)志的觀察)對攝像裝置130的位置和方位進(jìn)行測量。相反，即使所有的俯瞰視角標(biāo)志被擋住了，也可以根據(jù)主觀視點(diǎn)圖像信息(至少對兩個主觀視點(diǎn)標(biāo)志的觀察)對攝像裝置130的位置和方位進(jìn)行測量。
雖然，在第二實(shí)施例中，使用了多個俯瞰視角照相攝像機(jī)180a，180b，180c和180d，但是它們并不總是必須的。即使在使用單個俯瞰視角照相攝像機(jī)的情況下，明顯地，也可以獲得與第二實(shí)施例中類似的優(yōu)點(diǎn)。
第二實(shí)施例的第一修改方案第二實(shí)施例意在測量在空間中移動的攝像裝置的位置和方位。與第二實(shí)施例不同，根據(jù)第二實(shí)施例的第一修改方案的位置-方位測量設(shè)備意在測量任意的目標(biāo)物體的位置和方位。該位置-方位測量設(shè)備設(shè)計成在根據(jù)第二實(shí)施例的位置-方位測量設(shè)備上增加一主觀視點(diǎn)照相攝像機(jī)。所述的根據(jù)第二實(shí)施例的第一修改方案的位置-方位測量設(shè)備及其方法將在下面進(jìn)行描述。
圖9表示根據(jù)第二實(shí)施例的第一修改方案的位置-方位測量設(shè)備(用標(biāo)號500表示)的結(jié)構(gòu)的方框圖。如圖9所示，位置-方位測量設(shè)備500包括俯瞰視角照相攝像機(jī)180a，180b，180c和180d、圖像輸入單元160、數(shù)據(jù)存儲單元170、標(biāo)志檢測單元110、方位傳感器140、方位預(yù)測單元150、位置-方位檢測單元520和主觀視點(diǎn)照相攝像機(jī)530。
位置-方位測量設(shè)備500中與第二實(shí)施例中功能相同的部分用與圖6中相同的標(biāo)號進(jìn)行標(biāo)注。因此，省去了對它們的描述。位置-方位測量設(shè)備500與第二實(shí)施例的不同之處在于，由主觀視點(diǎn)照相攝像機(jī)530捕捉的圖像被作為主觀視點(diǎn)圖像輸入到圖像輸入單元160中，由方位預(yù)測單元150獲得的預(yù)測方位值為主觀視點(diǎn)照相攝像機(jī)530的方位，且方位傳感器140架設(shè)在主觀視點(diǎn)照相攝像機(jī)530上。
主觀視點(diǎn)照相攝像機(jī)530固定地架設(shè)在目標(biāo)物體580上。目標(biāo)物體580在主觀視點(diǎn)照相攝像機(jī)坐標(biāo)系統(tǒng)中的位置和方位應(yīng)當(dāng)為已知。
主觀視點(diǎn)照相攝像機(jī)530的預(yù)測方位值R、由標(biāo)志檢測單元110檢測到的每個主觀視點(diǎn)標(biāo)志的圖像坐標(biāo)和世界坐標(biāo)以及每個俯瞰視角的圖像坐標(biāo)及其對應(yīng)的主觀視點(diǎn)照相攝像機(jī)坐標(biāo)從數(shù)據(jù)存儲單元170被輸入到位置位檢測單元520。根據(jù)上述的信息，位置-方位檢測單元520通過執(zhí)行與第二實(shí)施例中的位置-方位計算單元120類似的處理計算主觀視點(diǎn)照相攝像機(jī)530的位置和方位。另外，位置方-位檢測單元520將計算的位置輸出到數(shù)據(jù)存儲單元170中，并使用來自位置和方位的計算處理的方位傳感器140的方位角-漂移-誤差校值的更新值φ對存儲在數(shù)據(jù)存儲單元170中的方位角-漂移-誤差校正值進(jìn)行更新。
根據(jù)所述計算出的主觀視點(diǎn)照相攝像機(jī)530的位置和方位(在世界坐標(biāo)系統(tǒng)中)以及已知的目標(biāo)物體580在照相攝像機(jī)坐標(biāo)系統(tǒng)中的位置和方位，位置-方位檢測單元520計算目標(biāo)物體580的位置和方位。計算出的位置和方位通過接口1009被輸出到外部。
上述方式實(shí)現(xiàn)了對任意目標(biāo)物體的位置和方位的測量。
在第二實(shí)施例的第一修改方案中，在臨時地獲得主觀視點(diǎn)照相攝像機(jī)530的位置和方位之后，位置-方位檢測單元520獲得目標(biāo)物體580的位置和方位。然而，位置-方位檢測單元520可以直接獲得目標(biāo)物體580的位置和方位。在這種情況下，方位-預(yù)測單元150設(shè)計成估計目標(biāo)物體580的位置和方位(在表達(dá)式(14)中的RSC設(shè)置為用于將方位從目標(biāo)物體的坐標(biāo)系統(tǒng)變換到傳感器坐標(biāo)系統(tǒng)中的3×3矩陣)。另外，目標(biāo)物體580的位置設(shè)置為狀態(tài)向量s的一元素，用于從狀態(tài)向量s獲得主觀視點(diǎn)的主觀視點(diǎn)照相攝像機(jī)坐標(biāo)xCQkn的表達(dá)式(17)用以下表達(dá)式替代xCQkn=xCQknyCQknzCQkn=RCO·(ΔR(φ)·Rτ*)-1·(xWQkn-xyz)+tCO---(33)]]>用于獲得俯瞰視角標(biāo)志的世界坐標(biāo)xWPkm的表達(dá)式(20)用以下表達(dá)式替代xWPkm=xWPkmyWPkmzWPkm=ΔR(φ)·R*·RCO-1·(xCPkm-tCO)+xyz---(34)]]>其中RCO表示用于將方位從目標(biāo)物體坐標(biāo)系統(tǒng)(其中，目標(biāo)物體580上的一個點(diǎn)被定義為原點(diǎn)，三個垂直相交的軸被定義為X軸、Y軸和Z軸)變換到主觀視點(diǎn)照相攝像機(jī)坐標(biāo)系統(tǒng)中的矩陣，tCO表示將位置在相同坐標(biāo)系統(tǒng)間進(jìn)行變換的向量，并且應(yīng)當(dāng)根據(jù)作為已知值存儲的目標(biāo)物體580在主觀視點(diǎn)照相攝像機(jī)坐標(biāo)系統(tǒng)中的位置和方位而提前被計算。
在第二實(shí)施例的第一修改方案中，目標(biāo)物體580可以為用于捕捉場景圖像的攝像裝置。另外，主觀視點(diǎn)照相攝像機(jī)530可以例如向上放置，以便與用于捕捉場景圖像的攝像裝置的視野具有不同的視野范圍，主觀視點(diǎn)標(biāo)志Qk可以相應(yīng)地放置在主觀視點(diǎn)照相攝像機(jī)530的視野范圍之內(nèi)，例如天花板上。這有利于減輕圖像變形等問題，因?yàn)橹饔^視點(diǎn)標(biāo)志Qk不包括在用于捕捉場景圖像的攝像裝置的視野范圍內(nèi)。在第二實(shí)施例的第一修改方案中，通過將多個主觀視點(diǎn)照相攝像機(jī)(與主觀視點(diǎn)照相攝像機(jī)530相同)架設(shè)在目標(biāo)物體580上，測量出的目標(biāo)物體580的位置和方位在位置和方位方面都具有高準(zhǔn)確性。
在第二實(shí)施例的第二修改方案中在第二實(shí)施例及其第一修改方案中，在每個位置-方位計算單元120和位置-方位檢測單元520中，表示方位角-漂移-誤差校正值的4值狀態(tài)向量s和位置被用作未知值，并且獲得使得主觀視點(diǎn)標(biāo)志和俯瞰視角標(biāo)志的檢測到的坐標(biāo)(實(shí)際測量值)和計算出的值之間的誤差最小的狀態(tài)向量s。在第二實(shí)施例的第二修改方案中，使用了幾何標(biāo)志限制條件。根據(jù)第二實(shí)施例的第二修改方案的位置-方位測量設(shè)備的特征在于，使用不同于總誤差最小化技術(shù)的技術(shù)的位置-方位檢測單元作為部件包括在其中。
根據(jù)第二實(shí)施例的第二修改方案的位置-方位測量設(shè)備基本上與根據(jù)第二實(shí)施例的位置-方位測量設(shè)備的結(jié)構(gòu)類似。然而，在該第二修改方案中，在第二實(shí)施例中的位置-方位計算單元120用與之不同的位置-方位計算單元120′(未示出)替代。換句話說，位置-方位計算單元120′的處理與在第二實(shí)施例中位置-方位計算單元120的處理不同。根據(jù)第二實(shí)施例的第二修改方案的位置-方位測量設(shè)備及其位置-方位測量方法在下面進(jìn)行描述。
在第二實(shí)施例的第二修改方案中，功能單元(圖像輸入單元160、數(shù)據(jù)存儲單元170、標(biāo)志檢測單元110、方位預(yù)測單元150和位置-方位計算單元120′)作為在單臺計算機(jī)中執(zhí)行的軟件。該計算機(jī)的基本結(jié)構(gòu)如圖2所示。
圖10為計算表示攝像裝置130的位置和方位的參數(shù)的過程和使得CPU1001執(zhí)行位置-方位計算單元120′的軟件程序的過程的流程圖。在執(zhí)行后面處理之前的階段，根據(jù)上述流程圖的程序代碼應(yīng)該預(yù)先裝載到RAM1002中。
在步驟S6000，攝像裝置130的方位的預(yù)測方位值R(方位預(yù)測單元150的輸出)從數(shù)據(jù)存儲單元170被輸入到位置-方位計算單元120′。
在步驟S6003，由標(biāo)志檢測單元檢測到的俯瞰視角標(biāo)志的圖像坐標(biāo)和照相攝像機(jī)坐標(biāo)被輸入到位置-方位計算單元120′。
當(dāng)多個俯瞰視角標(biāo)志被設(shè)置或者多個俯瞰視角照相攝像機(jī)被安裝時，俯瞰視角標(biāo)志的投影圖像被檢測，從而出現(xiàn)輸入每個圖像的圖像坐標(biāo)的情況。在第二實(shí)施例的第二修改方案中，即使在上述情況中，用于后續(xù)處理的俯瞰視角標(biāo)志的數(shù)量視為1，并且位置-方位計算單元120′選出一個合適的點(diǎn)作為俯瞰視角標(biāo)記P的圖像坐標(biāo)uP。
在步驟S6006，根據(jù)圖像坐標(biāo)uP，位置-方位計算單元120′計算表示限制世界坐標(biāo)系統(tǒng)中的俯瞰視角標(biāo)志P的位置的直線的參數(shù)。首先，根據(jù)圖像坐標(biāo)uP，在世界坐標(biāo)系統(tǒng)中的直線斜度(方位向量)hx，hy和hz通過使用下面的表達(dá)式計算hxhyhz=RWB·uxP/fxBuyP/fyB1---(35)]]>其中RWB為用來表示檢測俯瞰視角標(biāo)志P的俯瞰視角照相攝像機(jī)180a，180b，180c和180d在世界坐標(biāo)系統(tǒng)中的方位的3×3矩陣，fBx和fBy分別表示在X軸和Y軸方位上的焦距，作為已知值預(yù)先存儲在外部存儲設(shè)備1007中。在這種情況下，在世界坐標(biāo)系統(tǒng)中直線上的點(diǎn)在下面的表達(dá)式中可以作為參數(shù)τ的函數(shù)表示lW(τ)=hxhyhzτ+tWB---(36)]]>
其中tWB表示俯瞰視角照相攝像機(jī)180a，180b，180c和180d中的一個照相攝像機(jī)在世界坐標(biāo)系統(tǒng)中的位置，并作為已知值預(yù)先存在外部存儲設(shè)備1007中。用表達(dá)式(36)表示的直線通過俯瞰視角照相攝像機(jī)180a，180b，180c和180d中的一個照相攝像機(jī)在世界坐標(biāo)系統(tǒng)中的位置和俯瞰視角標(biāo)志P的位置，并且俯瞰視角標(biāo)志P的位置被獲得使得參數(shù)τ取一個合適的值。
共有兩個參數(shù)，即設(shè)置俯瞰視角標(biāo)志P在世界坐標(biāo)系統(tǒng)中的位置的參數(shù)τ和方位傳感器140的方位角-漂移-誤差校正值的更新值φ，在下面的說明中被視為要計算的未知參數(shù)。在下面的描述中，要計算的未知參數(shù)用2值狀態(tài)向量s′＝[τφ]T描述。
在步驟S6010，位置-方位計算單元120′將初始值s′＝[τ-10]T設(shè)為狀態(tài)向量s′。在該設(shè)置中，例如，代表著位于一個接近于從前次處理中獲得的攝像裝置130的位置處獲得的俯瞰標(biāo)志P的世界坐標(biāo)的位置的直線上的位置τ被設(shè)置為τ-1。
在步驟S6020，在標(biāo)志檢測單元110中檢測到的每個主觀視點(diǎn)標(biāo)志的圖像坐標(biāo)和世界坐標(biāo)被輸入到位置-方位計算單元120′。
在步驟S6030，位置-方位計算單元120′判斷輸入的主觀視點(diǎn)標(biāo)志的數(shù)量N是否至少為1。如果輸入的主觀視點(diǎn)標(biāo)志的數(shù)量N小于1，則處理進(jìn)行到步驟S6100而不用執(zhí)行步驟S6040到S6090中執(zhí)行的s′的更新。
在步驟S6040，對于每個主觀視點(diǎn)標(biāo)志Qkn，根據(jù)下面的表達(dá)式和表達(dá)式(18)計算出圖像坐標(biāo)的估計值uQkn，該表達(dá)式從世界坐標(biāo)xWQkn和s′獲得主觀視點(diǎn)照相攝像機(jī)坐標(biāo)(在主觀視點(diǎn)照相攝像機(jī)坐標(biāo)中的坐標(biāo))xCQknxCQkn=xCQknyCQknzCQkn=(ΔR(φ)·R*)-1(xWQkn-lW(τ))+xCP---(37)]]>
且表達(dá)式(18)從照相攝像機(jī)坐標(biāo)xCQkn獲得圖像坐標(biāo)uQkn，其中xCP表示標(biāo)志P在主觀視點(diǎn)照相攝像機(jī)坐標(biāo)系統(tǒng)中的坐標(biāo)值，并作為已知信息預(yù)先存儲在外部存儲設(shè)備1007中。
換句話說，假定攝像裝置130的位置和方位服從先前獲得的狀態(tài)向量s′，則根據(jù)攝像裝置130和主觀視點(diǎn)標(biāo)志之間的位置和方位關(guān)系獲得每個主觀視點(diǎn)標(biāo)志的估計圖像坐標(biāo)值。
在步驟S6050，對于主觀視點(diǎn)標(biāo)志Qkn，位置-方位計算單元120′根據(jù)表達(dá)式(23)計算圖像坐標(biāo)的估計值uQkn和實(shí)際測量值uQkn之間的誤差ΔuQkn。
在步驟S6060，對于主觀視點(diǎn)標(biāo)志Qkn，位置-方位計算單元120′計算2×2雅可比矩陣Jus′Qkn(＝u/s′)，該矩陣具有作為元素的，關(guān)于狀態(tài)向量s′的圖像雅可比行列式(即，表達(dá)式(14)中的函數(shù)fc())(由第二實(shí)施例中的第二修改方案中的表達(dá)式(37)和(18)組成，狀態(tài)向量s用作s′)對于s′的每個元素進(jìn)行偏微分而獲得的解。具體地講，在計算具有作為元素的，表達(dá)式(18)的右側(cè)對于照相攝像機(jī)坐標(biāo)xCQkn的每個元素進(jìn)行偏微分而獲得的解的2×3雅可比矩陣JuxQkn(＝u/x)，和具有作為元素的，表達(dá)式(37)的右側(cè)對于狀態(tài)向量s′的每個元素進(jìn)行偏微分而獲得的解的3×2雅可比矩陣Jxs′Qkn(＝x/s′)之后，通過使用計算出的矩陣根據(jù)表達(dá)式(25)(但是用s′替代s)計算出2×2雅可比矩陣Jus′Qkn(＝u/s′)。
在步驟S6070，位置-方位計算單元120′通過使用表達(dá)式(27)(用s′替代s)計算校正值Δs′。在第二實(shí)施例的第二修改方案中，U表示2N維誤差向量，其中對于每個主觀視點(diǎn)標(biāo)志的誤差ΔuQkn垂直排列，以及Θ表示2N×2矩陣，其中對于主觀視點(diǎn)標(biāo)志獲得的圖像雅可比行列式Jus′Qkn垂直排列。
在步驟S6080，通過使用在步驟S6070中計算出的校正值Δs′，位置-方位計算單元120′根據(jù)表達(dá)式(30)(用s′替代s)校正狀態(tài)向量s′，并且使用獲得的值作為新的估計值。
在步驟S6090，位置-方位計算單元120′通過使用例如誤差向量U是否小于預(yù)定的閾值或者校正值Δs′是否小于預(yù)定的閾值的標(biāo)準(zhǔn)，判斷計算是否收斂。如果計算不收斂，則位置-方位計算單元120′使用校正后的狀態(tài)向量s′重新執(zhí)行步驟S6040和隨后的步驟。
如果，在步驟S6090中，判斷結(jié)果為計算收斂，則在步驟S6100，位置-方位計算單元120′從獲得的狀態(tài)向量s′計算攝像裝置130的方位。方位R的計算通過使用直到前一步驟獲得的方位角-漂移-誤差校正值的更新值φ并基于表達(dá)式(31)實(shí)現(xiàn)。另外，位置t的計算通過使用直到前一步驟獲得的參數(shù)τ和方位R并基于下面的表達(dá)式實(shí)現(xiàn)。
t=lW(τ)-R·xCP---(38)]]>在步驟S6110，位置-方位計算單元120′將攝像裝置130的位置和方位通過接口1009輸出到外部。位置-方位計算單元120′也將攝像裝置130的位置t輸出到數(shù)據(jù)存儲單元170。位置和方位的輸出格式可以是一套表示方位的3×3矩陣R和表示位置的三維向量t、由變換方位元素獲得的Euler角、從位置和方位計算出的觀察變換矩陣，或任何其它的位置和方位描述方法。
在步驟S6120，通過使用在上述計算步驟中獲得的方位角-漂移-誤差校正值的更新值φ，位置-方位計算單元120′根據(jù)表達(dá)式(32)對存儲在數(shù)據(jù)存儲單元170中的方位角-漂移-誤差校正值φ*進(jìn)行更新。
在步驟S6130，位置-方位計算單元120′判斷是否終止處理。如果位置方位計算單元120′的判斷結(jié)果為不終止處理，則進(jìn)行到步驟S6000，并且在下一幀及其隨后的幀中對輸入數(shù)據(jù)執(zhí)行類似的處理。
在上述的處理中，其上存在有從俯瞰視角照相攝像機(jī)180a，180b，180c和180d獲得的俯瞰視角標(biāo)志的直線被用作限制條件，在該限制條件下，可以獲得攝像裝置130的位置和方位以使得在主觀視點(diǎn)圖像上的主觀視點(diǎn)中的誤差最小。
與在第二實(shí)施例中的位置方位的測量結(jié)果相比較，在第二實(shí)施例的第二修改方案中的位置和方位的測量結(jié)果更加傾向依賴于從俯瞰視角照相攝像機(jī)180a，180b，180c和180d獲得的信息。因此，例如，在從俯瞰視角照相攝像機(jī)180a，180b，180c和180d獲得的信息的可靠性比從攝像裝置130獲得的信息的可靠性高的情況下，當(dāng)存在高分辨率的俯瞰視角照相攝像機(jī)且當(dāng)僅有一具有高檢測準(zhǔn)確度的標(biāo)記存在時，根據(jù)第二實(shí)施例的第二修改的位置-方位測量設(shè)備與第二實(shí)施例中的相比可以更有效地運(yùn)行。
第二實(shí)施例的第三修改方案在第二實(shí)施例及其修改方案中，位置-計算單元120、520和120′中的每個獲得作為未知值的方位傳感器140的方位角-漂移-誤差校正值的更新值。然而，方位傳感器140在三個軸的方位上的誤差的校正值可以被獲得而不需要將方位的校正項(xiàng)僅限于方位角方向。根據(jù)第二實(shí)施例的第三修改方案的位置-方位測量設(shè)備與根據(jù)第二實(shí)施例中的位置-方位測量設(shè)備的結(jié)構(gòu)幾乎一樣。因此，下面對其與第二實(shí)施例中的不同部分進(jìn)行描述。
在第二實(shí)施例的第三修改方案中，數(shù)據(jù)存儲單元170存儲方位傳感器140的旋轉(zhuǎn)-誤差校正矩陣ΔR*而不是方位傳感器140的方位角-漂移-誤差校正值φ*。
在第二實(shí)施例的第三修改方案中，代替方位角-漂移-誤差校正值φ*，方位傳感器140的旋轉(zhuǎn)-誤差校正矩陣ΔR*被輸入到方位預(yù)測單元150(步驟S3010)。該方位預(yù)測單元150根據(jù)下面的表達(dá)式而不是表達(dá)式(14)計算預(yù)測方位值R(步驟S3020)R*＝ΔR*·R#·RSC(39)在第二實(shí)施例的第三修改方案的位置-方位計算單元120中，攝像裝置130的位置t＝[xyz]T和攝像裝置130的方位的3值表達(dá)式ω＝[ξΨζ]T，即總共有六個參數(shù)被視為要計算的未知參數(shù)。下面將要計算的未知參數(shù)寫為6值狀態(tài)向量s″＝[xyzξΨζ]T。
雖然有各種通過使用3值表示方位(旋轉(zhuǎn)矩陣)的方法，但是在這個修改方案中，以這樣的3值向量表示方位，即向量幅度用旋轉(zhuǎn)角定義，向量方位定義旋轉(zhuǎn)軸的方位。方位ω可以用R(ω)=ξ2θ2(1-cosθ)+cosθφξψθ2(1-cosθ)-ζθsinθξζθ2(1-cosθ)+ψθsinθψξθ2(1-cosθ)+ζθsinθφψ2θ2(1-cosθ)+cosθψζθ2(1-cosθ)-ξθsinθζξθ2(1-cosθ)-ψθsinθζψθ2(1-cosθ)+ξθsinθζ2θ2(1-cosθ)+cosθ---(40)]]>表示，其中，θ=ξ2+ψ2+ζ2]]>這樣，方位ω可以用3×3旋轉(zhuǎn)矩陣R表示。因此，ω和R可以相互進(jìn)行唯一的變換。在這里省略將R變換到ω的詳細(xì)描述，因?yàn)樵撟儞Q為已知技術(shù)。
在第二實(shí)施例的第三修改方案中，位置-方位計算單元120將s″＝[x-1y-1z-1ξΨζ]T設(shè)為狀態(tài)向量s″的初始值(步驟S4010)。在這個表達(dá)式中，x-1，y-1和z-1表示在上次處理中計算出的攝像裝置130的位置，ξ，Ψ和ζ表示從預(yù)測方位值R獲得的3值表達(dá)。
在第二實(shí)施例的第三修改方案中，位置-方位計算單元120根據(jù)輸入標(biāo)志的數(shù)量通過判斷輸入標(biāo)志的總數(shù)是否至少為3進(jìn)行分支(步驟S4030)。
在第二實(shí)施例的第三修改方案的位置-方位計算單元120中，從標(biāo)志的世界坐標(biāo)xWQkn和s(在該第三修改方案中為s″)獲得主觀視點(diǎn)標(biāo)志Qkn的主觀視點(diǎn)照相攝像機(jī)坐標(biāo)xCQkn的表達(dá)式和從標(biāo)志的主觀視點(diǎn)照相攝像機(jī)的坐標(biāo)xCpkm和s(在該第三修改方案中為s″)獲得俯瞰視角標(biāo)志Pkm的世界坐標(biāo)xWPkm的表達(dá)式，從第二實(shí)施例中的表達(dá)式(17)和(20)改變?yōu)橄率龅谋磉_(dá)式
xCQkn=xCQknyCQknzCQkn=R(ω)-1(xWQkn-xyz)---(41)]]>xWPkm=xWPkmyWPkmzWPkm=R(ω)·xCPkm+xyz---(42)]]>因此，針對每個標(biāo)志的圖像雅可比行列式為2×6雅可比矩陣Jus″Qkn(＝u/s″)。
在第二實(shí)施例的第三修改方案中，位置-方位計算單元120使用獲得的狀態(tài)向量s″基于表達(dá)式(40)計算攝像裝置130的方位R。
在該第三修改方案中，在步驟S4120，位置-方位計算單元120使用在上述計算步驟中獲得的攝像裝置130的方位R基于下面的表達(dá)式計算方位傳感器140的旋轉(zhuǎn)-誤差校正矩陣ΔR*R·R*-1·ΔR*→ΔR*(43)并對存儲在數(shù)據(jù)存儲單元170中的數(shù)值進(jìn)行更新。
上述的處理對攝像裝置130的位置和方位進(jìn)行測量。
第二實(shí)施例的第四修改方案在第二實(shí)施例及其修改方案中，通過使用固定到世界坐標(biāo)系統(tǒng)的俯瞰視角照相攝像機(jī)180a，180b，180c和180d，安置于(方位傳感器架設(shè)在其上)攝像裝置130上的俯瞰視角標(biāo)志Pk的圖像被捕捉。然而，獲取攝像裝置130的位置和方位的結(jié)構(gòu)并不限于第二實(shí)施例及其修改方案。根據(jù)第二實(shí)施例的第四修改方案的位置方位測量設(shè)備的特征在于，具有一結(jié)構(gòu)，其中固定在攝像裝置130上的高視點(diǎn)照相攝像機(jī)180(不同與攝像裝置130)捕捉置于世界坐標(biāo)系統(tǒng)中的高視點(diǎn)標(biāo)志Pk的圖像，而不是使用俯瞰視角照相攝像機(jī)。根據(jù)第二實(shí)施例的第四修改方案的位置-方位測量設(shè)備及其位置-方位測量方法在下面進(jìn)行描述。
圖11表示根據(jù)第二實(shí)施例的第四修改方案的位置-方位測量設(shè)備的結(jié)構(gòu)。如圖11中所示，根據(jù)第二實(shí)施例的第四修改方案的位置-方位測量設(shè)備(用標(biāo)號700表示)包括高視點(diǎn)照相攝像機(jī)180a和180b、圖像輸入單元160、數(shù)據(jù)存儲單元770、標(biāo)志檢測單元110、方位傳感器140、方位預(yù)測單元150和位置-方位計算單元720。位置-方位測量設(shè)備700連接到攝像裝置130。具有與在第二實(shí)施例中相同功能的部分用與圖6中相同的標(biāo)記標(biāo)注。因此，省去了這部分的描述。
在主觀視點(diǎn)照相攝像機(jī)坐標(biāo)系統(tǒng)中的位置和方位為已知的高視點(diǎn)照相攝像機(jī)180a和180b，被固定地安置在攝像裝置130上。以后，我們使用術(shù)語“高視點(diǎn)照相攝像機(jī)”表示置于攝像裝置130上的具有不同于攝像裝置130的視野范圍的照相攝像機(jī)；該照相攝像機(jī)的方位不限于“高”方位。在現(xiàn)實(shí)空間內(nèi)的多個位置上，除了由攝像裝置130捕捉圖像的主觀視點(diǎn)標(biāo)志Qk，在世界坐標(biāo)系統(tǒng)中位置xWPk為已知的多個高視點(diǎn)標(biāo)志Pk(k＝1，...，kp)作為由高視點(diǎn)照相攝像機(jī)180a和180b進(jìn)行捕捉的圖像中的標(biāo)志安置。在圖11所示的情況下，設(shè)置了三個主觀視點(diǎn)標(biāo)志Q1，Q2和Q3以及兩個高視點(diǎn)標(biāo)志P1和P2，其中，兩個主觀視點(diǎn)標(biāo)志Q1和Q3位于攝像裝置130的視野范圍內(nèi)，高視點(diǎn)標(biāo)志P1位于高視點(diǎn)照相攝像機(jī)180a和180b的視野范圍內(nèi)，高視點(diǎn)標(biāo)志P2位于高視點(diǎn)照相攝像機(jī)180b的視野范圍內(nèi)。在圖11所示的情況下，關(guān)于在主觀視點(diǎn)圖像中檢測到的標(biāo)志的數(shù)量以及在每個高視點(diǎn)圖像中檢測到的標(biāo)志的數(shù)量，N＝2，Ma＝1，Mb＝2。標(biāo)記檢測單元110輸出標(biāo)志的標(biāo)識符(k1＝1，k2＝3，ka1＝1，kb1＝1，kb2＝2)、捕捉標(biāo)志圖像的照相攝像機(jī)的標(biāo)識符以及相應(yīng)的圖像坐標(biāo)uQk1，uQk2，uaPka1，ubPkb1和ubPkb2。高視點(diǎn)照相攝像機(jī)180a和180b被放置以便，當(dāng)攝像裝置130位于測量范圍內(nèi)時，高視點(diǎn)照相攝像機(jī)180a和180b中的一個照相攝像機(jī)可以捕捉高視點(diǎn)標(biāo)志Pk的圖像。高視點(diǎn)照相攝像機(jī)180a和180b的位置和方位應(yīng)該預(yù)先作為已知值存儲在數(shù)據(jù)存儲單元770中。攝像裝置130的方位的預(yù)測值、一套由標(biāo)志檢測單元110檢測到的每個主觀視點(diǎn)標(biāo)志的圖像坐標(biāo)uQkn和世界坐標(biāo)xWQkn以及每個高視點(diǎn)標(biāo)志的圖像坐標(biāo)uPkm和相應(yīng)的世界坐標(biāo)xWPkm從數(shù)據(jù)存儲單元770被輸入到位置-方位計算單元720。根據(jù)這些信息，位置-方位計算單元720計算攝像裝置130的位置和方位并且將計算出的位置和方位通過接口(未示出)輸出到外部。另外，位置-方位計算單元720將計算出的攝像裝置130的位置輸出到數(shù)據(jù)存儲單元770中。另外，位置-方位計算單元720通過使用在計算位置和方位的過程中產(chǎn)生的更新的方位傳感器140的方位角-漂移-誤差校正值對存儲在數(shù)據(jù)存儲單元770中的方位角-漂移-誤差校正值進(jìn)行更新。數(shù)據(jù)存儲單元770存儲各種類型的數(shù)據(jù)，例如，方位角-漂移-誤差校正值、從圖像輸入單元160輸入的圖像、從方位預(yù)測單元150輸入的方位的預(yù)測值、從位置-方位計算單元150輸入的計算出的位置值、從標(biāo)志檢測單元110輸入的標(biāo)志的圖像坐標(biāo)和標(biāo)志標(biāo)識符、為已知值的主觀視點(diǎn)標(biāo)志的世界坐標(biāo)、高視點(diǎn)標(biāo)志的世界坐標(biāo)和高視點(diǎn)照相攝像機(jī)180a和180b在主觀視點(diǎn)照相攝像機(jī)坐標(biāo)系統(tǒng)中的位置和方位。如果有必要，各種類型的數(shù)據(jù)從數(shù)據(jù)存儲單元770被輸入或被輸出。
在第二實(shí)施例的第四修改方案中計算表示攝像裝置130的位置和方位的參數(shù)的過程的流程圖與在第二實(shí)施例中的流程圖(圖8)幾乎相同。在下面，僅描述與在第二實(shí)施例中不同的部分。
在步驟S4020，代替俯瞰視角標(biāo)志的圖像坐標(biāo)和主觀視點(diǎn)照相攝像機(jī)坐標(biāo)(在主觀視點(diǎn)照相攝像機(jī)坐標(biāo)系統(tǒng)中的坐標(biāo)值)，高視點(diǎn)標(biāo)志的圖像坐標(biāo)和世界坐標(biāo)被輸入到位置-方位計算單元720。
在步驟S4040，每個高視點(diǎn)標(biāo)志Pkm的估計圖像坐標(biāo)值uPkm的計算通過使用高視點(diǎn)標(biāo)志的世界坐標(biāo)xWPkm和當(dāng)前狀態(tài)向量s的下述函數(shù)完成
uPkm*=FD(xWPkm,s)---(44)]]>具體地，函數(shù)FD()包括下述表達(dá)式xCPkm=xCPkmyCPkmzCPkm=(ΔR(φ)·R*)-1(xWPkm-xyz)---(45)]]>用于從世界坐標(biāo)xWPkm和狀態(tài)向量s獲得照相攝像機(jī)坐標(biāo)xCPkm(在主觀視點(diǎn)照相攝像機(jī)坐標(biāo)系統(tǒng)中的坐標(biāo))，下面表達(dá)式xBPkm=xBPkmyBPkmzBPkm=RCB-1(xCPkm-tCB)---(46)]]>用于從主觀視點(diǎn)照相攝像機(jī)坐標(biāo)xCPkm獲得高視點(diǎn)照相攝像機(jī)坐標(biāo)xBPkm(標(biāo)志在高視點(diǎn)照相攝像機(jī)坐標(biāo)系統(tǒng)中的坐標(biāo)，在該高視點(diǎn)照相攝像機(jī)坐標(biāo)系統(tǒng)中，在高視點(diǎn)照相攝像機(jī)180a和180b中的一個照相攝像機(jī)上的一個點(diǎn)被定義為原點(diǎn)，三個垂直相交的軸被定義為X軸、Y軸和Z軸)，和表達(dá)式(22)，用于從高視點(diǎn)照相攝像機(jī)坐標(biāo)xBPkm獲得圖像坐標(biāo)uPkm，其中fBx和fBy分別表示每個高視點(diǎn)照相攝像機(jī)180a和180b的X軸和Y軸方位上的焦距，RCB表示描述每個高視點(diǎn)照相攝像機(jī)180a和180b的方位的3×3矩陣，tCB表示描述每個高視點(diǎn)照相攝像機(jī)180a和180b的位置的三維向量，作為關(guān)于每個高視點(diǎn)照相攝像機(jī)180a和180b的已知值存儲。如上面所述的，攝像裝置130的位置和方位。
雖然第二實(shí)施例的第四修改方案使用多個高視點(diǎn)照相攝像機(jī)180a和180b，但是并不總是必須使用多個高視點(diǎn)照相攝像機(jī)180a和180b，明顯地，即使使用單個高視點(diǎn)照相攝像機(jī)，也可以獲得與第二實(shí)施例的第四修改方案中類似的優(yōu)點(diǎn)。
與在第二實(shí)施例的第一修改方案到第三修改方案中使用俯瞰視角照相攝像機(jī)不同，在第二實(shí)施例的第四修改方案中描述的機(jī)構(gòu)是可應(yīng)用的，其中固定在攝像裝置130的高視點(diǎn)照相攝像機(jī)180a和180b可以捕捉在世界坐標(biāo)系統(tǒng)中安置的高視點(diǎn)標(biāo)志Pk的圖像。
其它的修改方案雖然每個上述實(shí)施例及其修改方案使用了用表達(dá)式(9)或(27)表示的高斯-牛頓方法，用于根據(jù)誤差向量U和矩陣Θ計算Δs，但是校正值Δs的計算并不總是必須使用高斯-牛頓方法實(shí)現(xiàn)。例如可以通過使用Levenberg-Marquardt(LM)方法進(jìn)行計算，該方法為已知的求解非線性方程的迭代方法。另外，可以結(jié)合使用作為一種強(qiáng)估計技術(shù)的例如M估計的統(tǒng)計方法，并且任何其它的數(shù)值計算技術(shù)都可以使用。
每個上述實(shí)施例及其修改方案針對每個輸入圖像使用非線性優(yōu)化技術(shù)以獲得最優(yōu)解(誤差最小化)。然而，根據(jù)圖像上的標(biāo)志的誤差消除誤差的技術(shù)，并不限于非線性優(yōu)化技術(shù)。即使使用了其它的技術(shù)，該技術(shù)的使用不會削弱本發(fā)明的性質(zhì)，在本發(fā)明中，根據(jù)第二實(shí)施例中的俯瞰視角照相攝像機(jī)獲得的圖像信息和從從主觀照相攝像機(jī)獲得的圖像信息，通過計算要測量的目標(biāo)物體的位置和方位傳感器的方位角-漂移-誤差校正值，可以高準(zhǔn)確度且穩(wěn)定地獲得目標(biāo)物體的位置和方位。在使用例如作為已知技術(shù)的擴(kuò)展Kalman濾波器和迭代擴(kuò)展Kalman濾波器的情況下，根據(jù)圖像上的標(biāo)志的誤差獲得消除誤差的解，在J.Park，B.Jiang，和U.Neumann，″Vision-based posecomputationrobust and accurate augmented reality tracking″，Proc.Second International Workshop on Augmented Reality(IWAR′99)，pp.3-12，1999中對其進(jìn)行了詳細(xì)的描述，通過將s定義為每個上述實(shí)施例和修改方案中的狀態(tài)向量，將表達(dá)式(3)或(16)和(19)定義為觀察方程，可能構(gòu)成具有每個上述實(shí)施例的優(yōu)點(diǎn)的濾波器。
另外，在上述實(shí)施例及其修改方案中，使用了每個標(biāo)志指示著一套坐標(biāo)的標(biāo)志(后面稱為“點(diǎn)標(biāo)志”)。然而，標(biāo)志并不限于標(biāo)志類型。其它類型的標(biāo)志也可以使用。
例如，每個上述的實(shí)施例及其修改方案都可以使用這樣一種用在已知位置-方位測量設(shè)備中的特殊幾何形狀的標(biāo)記作為主觀視點(diǎn)標(biāo)志和/或俯瞰視角標(biāo)志(參見，例如，Takahashi，Ishii，Makino，Nakashizu，″VR Intafesu-notameno Tangan-niyoru Chohokei Maka Ichi-shisei-noKoseido Jitsujikan Suiteiho(Method for Real-Time Estimation of thePosition And Orientation of Rectangular Marker through Single View forVR interface)″，Sanjigen Konfarensu 96 Koen Ronbunshu(Three-dimensional Conference ′96 Collected Papers)，pp.167-172，1996)。例如，當(dāng)四邊形標(biāo)記用作標(biāo)志時，通過存儲作為已知值的四邊形標(biāo)志的頂點(diǎn)的世界坐標(biāo)或者從標(biāo)記的位置、方位和大小計算這些值，并且從圖像中檢測頂點(diǎn)的圖像坐標(biāo)，可以獲得與在第一實(shí)施例及其修改方案中使用四個標(biāo)記的情況下獲得的優(yōu)點(diǎn)相類似的優(yōu)點(diǎn)。特別地，可以說在要測量的目標(biāo)物體上具有一個四邊形標(biāo)記(具有ID信息)的結(jié)構(gòu)設(shè)計或者在方位傳感器上具有一個四邊形標(biāo)記的結(jié)構(gòu)設(shè)計是一種特別合適的形式，因?yàn)檫@種結(jié)構(gòu)設(shè)計期望會有從圖像進(jìn)行檢測標(biāo)記的好的準(zhǔn)確度和識別性。關(guān)于四邊形標(biāo)記，參見，例如，Kato，M.BillingHurst，Asano，Tachibana，″Maka Tsuiseki-nimotozukuKakuchogenjitsukan Shisutemu-to Sono Kyariburehshon(AugmentedReality System based on Marker Tracking and Calibration Thereof)″，Nippon Bacharu Riarithi Gakkai Ronbunshi(The Virtual Reality Societyof Japan，Collected Papers)，vol.4，no.4，pp.607-616，1999。
另外，上述的實(shí)施例及其修改方案可以使用這樣的線性特征標(biāo)志(后面稱為“線型標(biāo)志”)，如在另外一種已知的位置-方位測量設(shè)備中使用的標(biāo)志(參見，例如，D.G.Lowe″Fitting parameterized three-dimensional models to images″，IEEE Transactions on PAMI，vol.13，no.5，pp.441-450，1991)。例如，通過根據(jù)從圖像測量值d計算出的誤差Δd和狀態(tài)向量s構(gòu)成作為用于估計到直線原點(diǎn)的距離的參考的誤差向量U，和通過用具有作為元素的，用于計算d*的表達(dá)式對于狀態(tài)向量s的每個元素進(jìn)行偏微分而獲得的1×4雅可比矩陣Jds(＝d/s)來構(gòu)成矩陣Θ，就可以用一種與第一種實(shí)施例及其修改方案中類似的機(jī)制來實(shí)現(xiàn)對位置和方位的測量。另外，通過將從線性標(biāo)志、點(diǎn)標(biāo)志和其它標(biāo)志獲得的的誤差和圖像雅可比行列式求和，可以共同使用它們的特征。特別地，在第二實(shí)施例及其第一、第二和第三修改方案中，可能使用不同類型的標(biāo)志作為主觀視點(diǎn)標(biāo)志和俯瞰視角標(biāo)志。一個優(yōu)選的例子是使用自然線型標(biāo)志作為主觀視點(diǎn)標(biāo)志，使用著色的球形標(biāo)記作為俯瞰視角標(biāo)志。
在第二實(shí)施例及其修改方案中，主觀視點(diǎn)照相攝像機(jī)530的數(shù)量為1。然而，多個主觀視點(diǎn)照相攝像機(jī)可以架設(shè)在目標(biāo)物體580上用于位置和方位的測量。在這種情況下，方位預(yù)測單元150和標(biāo)志檢測單元110對每個照相攝像機(jī)輸出的圖像進(jìn)行處理。另外，方位預(yù)測單元150和位置-方位檢測單元520通過使用目標(biāo)物體580的位置和方位作為參考執(zhí)行運(yùn)算操作。位置-方位檢測單元520使用一種與每個實(shí)施例中類似的機(jī)制對位置和方位進(jìn)行估計，即，根據(jù)目標(biāo)物體580的位置和方位角-漂移-誤差校正值構(gòu)成狀態(tài)向量s，根據(jù)表達(dá)式(33)(對于每個照相攝像機(jī)RCO和tCO不同)從來自每個圖像的標(biāo)志信息獲得每個標(biāo)志的誤差和圖像雅可比行列式，并且累積獲得的值構(gòu)成誤差向量U和矩陣Θ。
另外，在第二實(shí)施例的第一到第四修改方案中，攝像裝置130的數(shù)量為1個。然而，即使當(dāng)測量兩個攝像裝置時，如在立體視頻透視頭戴式顯示器的情況中，一個攝像裝置(例如，用于左眼的攝像裝置)用作參考，在一種類似的技術(shù)中，可以實(shí)現(xiàn)位置和方位的測量。
雖然上述實(shí)施例及其修改方案使用了一種具有方位角漂移誤差的方位傳感器，但是任何僅在方位角方位上具有明顯誤差的方位傳感器都可以用作方位傳感器。通過使用，例如一種用加速傳感器測量傾斜方向上的角度和用地磁傳感器測量方位角方向的角度的方位傳感器，目標(biāo)物體的位置和方位可以通過與上述實(shí)施例及其修改方案相類似的處理并使用作為未知參數(shù)使用的位置和方位角-漂移-誤差校正值的更新值進(jìn)行測量。然而，因?yàn)樵谶@種情況下誤差特性不同于方位角漂移誤差的特性，所以這種情況不適用于第一實(shí)施例的第三或第四修改方案。另外，即使使用了僅用于傾斜方向上的測量的方位傳感器，通過假定該方位傳感器為在方位角方位上的測量值總是為0的三軸方位傳感器，目標(biāo)物體的位置和方位可以通過類似的處理進(jìn)行測量。
通過具有不同與可見光的波長的光捕捉圖像的照相攝像機(jī)可以用作在每個上述實(shí)施例及其修改方案中的俯瞰視角照相攝像機(jī)。舉例來說，通過紅外線捕捉圖像的照相攝像機(jī)可以用作每個俯瞰視角照相攝像機(jī)，發(fā)射或反射紅外線的標(biāo)志可以用作每個俯瞰視角標(biāo)志。這種情況在第二實(shí)施例中具有的優(yōu)點(diǎn)是，因?yàn)橹饔^視點(diǎn)標(biāo)志的圖像不是由俯瞰視角照相攝像機(jī)捕捉的，所以可以消除俯瞰視角圖像上的主觀視點(diǎn)標(biāo)志的錯誤檢測。
在這種情況下，通過使用不同時刻發(fā)出紅外線的標(biāo)記作為每個俯瞰視角標(biāo)志，可以對標(biāo)志進(jìn)行識別。換句話說，在標(biāo)志檢測單元110從俯瞰視角圖像中提取出對應(yīng)于標(biāo)記的區(qū)域之后，該區(qū)域的重心位置可以用作以與俯瞰視角照相攝像機(jī)捕捉圖像相同的定時而發(fā)出紅外線的標(biāo)志的檢測坐標(biāo)。明顯地，當(dāng)俯瞰視角標(biāo)志的數(shù)量為1時，不需要對發(fā)光進(jìn)行定時控制。
另外，在第二實(shí)施例的第一和第四修改方案中，用于通過紅外線進(jìn)行圖像捕捉的照相攝像機(jī)可用作主觀視點(diǎn)照相攝像機(jī)和俯瞰視角照相攝像機(jī)，并且發(fā)射或反射紅外線的標(biāo)志可以用作主觀視點(diǎn)標(biāo)志和俯瞰視角標(biāo)志。
另外，用于通過具有與可見光不同波長的光的圖像捕捉的照相攝像機(jī)并不限于通過紅外線捕捉圖像的照相攝像機(jī)，通過紫外線或類似光進(jìn)行圖像捕捉的照相攝像機(jī)也可以使用。另外，同時通過具有與可見光不同波長的光和通過可見光進(jìn)行圖像捕捉的照相攝像機(jī)也可以使用。
其它實(shí)施方式明顯地，在本發(fā)明中，包括實(shí)現(xiàn)上述實(shí)施例和修改方案的功能的軟件程序代碼的存儲介質(zhì)(或記錄介質(zhì))被提供到系統(tǒng)或設(shè)備上，并且該系統(tǒng)或設(shè)備的計算機(jī)(或CPU/MPU)讀取并執(zhí)行存儲介質(zhì)上的程序代碼。在這種情況下，從存儲介質(zhì)讀取出的程序代碼自身實(shí)現(xiàn)上述實(shí)施例和修改方案的功能。因此，包含程序代碼的存儲介質(zhì)包括在本發(fā)明中。另外，明顯地，本發(fā)明包括這樣一種情況，即計算機(jī)執(zhí)行讀出的程序代碼，從而，除了實(shí)現(xiàn)上述實(shí)施例和修改方案的功能，程序代碼指示在計算機(jī)上運(yùn)行的操作系統(tǒng)或類似系統(tǒng)執(zhí)行全部或部分實(shí)際的處理，該處理執(zhí)行上述實(shí)施例和修改方案的功能。
另外，明顯地，本發(fā)明包括這樣一種情況，即，在從存儲介質(zhì)讀取出的程序代碼被寫入裝載到計算機(jī)中的內(nèi)插卡中的存儲器中或者連接到計算機(jī)的內(nèi)插單元中，程序代碼指示在內(nèi)插卡或內(nèi)插單元中的CPU執(zhí)行全部或部分實(shí)際處理，該處理執(zhí)行上述實(shí)施例和修改方案的功能。
當(dāng)本發(fā)明中使用上述存儲介質(zhì)時，對應(yīng)于上述流程圖的上述程序存儲在存儲介質(zhì)中。
因?yàn)楸景l(fā)明可以有許多個具有很大差異但是不離開本發(fā)明的精神和范圍的實(shí)施例，所以應(yīng)該理解為本發(fā)明不限于其中的特定的實(shí)施例，而是應(yīng)該由所附的權(quán)利要求書定義。
雖然本發(fā)明參照示意的實(shí)施例進(jìn)行了說明，但是應(yīng)該理解為，本發(fā)明并不限于所披露的實(shí)施例。相反，本發(fā)明意在覆蓋包括在所附權(quán)利要求書的精神和范圍內(nèi)的各種修改方案和等同方案。下面的權(quán)利要求的范圍應(yīng)進(jìn)行最寬的解釋以便包括所有的這樣的修改方案和等同的結(jié)構(gòu)和功能。
本申請請求優(yōu)先權(quán)的有于2004年5月14日提交的日本專利申請No.2004-144893，于2004年5月14日提交的日本專利申請No.2004-144894，于2005年2月28日提交的日本專利申請No.2005-053441，這里都被引入作為參考。
權(quán)利要求
1.一種用于計算物體的位置和方位的信息處理方法，該信息處理方法包括以下步驟從攝像裝置輸入捕捉的圖像，該攝像裝置從俯瞰視角位置捕捉物體的圖像；從方位傳感器輸入測量的方位值，該方位傳感器用于測量關(guān)于物體方位的信息；從所述捕捉的圖像檢測關(guān)于安置于物體上的標(biāo)志的圖像坐標(biāo)的特征值；以及通過使用檢測到的關(guān)于標(biāo)志的圖像坐標(biāo)的特征值獲得關(guān)于物體方位角的參數(shù)和關(guān)于物體位置的參數(shù)，所述參數(shù)視為至少未知的參數(shù)，并且通過使用獲得的參數(shù)計算物體的位置和方位。
2.根據(jù)權(quán)利要求1的信息處理方法，其中關(guān)于物體方位角的參數(shù)涉及方位傳感器的方位角-漂移-誤差校正值。
3.根據(jù)權(quán)利要求1的信息處理方法，其中標(biāo)志從多邊形標(biāo)記給出。
4.一種用于計算攝像裝置的位置和方位的信息處理方法，所述攝像裝置用于捕捉場景的圖像，該信息處理方法包括第一幅圖像輸入步驟，輸入由攝像裝置捕捉的第一幅圖像；第二幅圖像輸入步驟，輸入由俯瞰視角攝像裝置捕捉的第二幅圖像，該俯瞰視角攝像裝置用于從攝像裝置的俯瞰視角位置執(zhí)行圖像的捕捉；方位輸入步驟，從方位傳感器輸入測量的方位值，該方位傳感器用于測量關(guān)于攝像裝置的方位的信息；第一檢測步驟，從在第一幅圖像輸入步驟中輸入的第一幅圖像檢測關(guān)于置于場景中的第一標(biāo)志的圖像坐標(biāo)的第一-標(biāo)志圖像-坐標(biāo)特征值；第二檢測步驟，從在第二幅圖像輸入步驟中輸入的第二幅圖像檢測關(guān)于置于攝像裝置上的第二標(biāo)志的圖像坐標(biāo)的第二-標(biāo)志圖像-坐標(biāo)特征值；和位置-方位計算步驟，通過使用在第一檢測步驟中檢測到的第一標(biāo)志圖像坐標(biāo)特征值、在第二檢測步驟中檢測到的第二標(biāo)志圖像坐標(biāo)特征值和在方位輸入步驟中輸入的測量出的方位值，計算攝像裝置的位置和方位。
5.根據(jù)權(quán)利要求4的信息處理方法，其中，在位置-方位計算步驟，通過使用在第一檢測步驟中檢測出的第一-標(biāo)志圖像-坐標(biāo)特征值和在第二檢測步驟中檢測到的第二-標(biāo)志圖像-坐標(biāo)特征值，獲得關(guān)于校正方位傳感器的方位角誤差的校正值的參數(shù)和表示攝像裝置位置的參數(shù)，所述參數(shù)被視為未知的，通過使用所獲得的參數(shù)對攝像裝置的位置和方位進(jìn)行計算。。
6.根據(jù)權(quán)利要求4的信息處理方法，其中在第二檢測步驟中檢測到的第二-標(biāo)志圖像-坐標(biāo)特征值表示第二標(biāo)志的圖像坐標(biāo)；在位置-方位計算步驟中，根據(jù)由第二-標(biāo)志圖像-坐標(biāo)特征值表示的第二標(biāo)志的圖像坐標(biāo)和俯瞰視角攝像裝置的位置和方位，獲得在三維空間中限制第二標(biāo)志位置的直線，并且，在第二標(biāo)志位于直線上這個限制條件下，通過使用在第一檢測步驟中檢測到的第一-標(biāo)志圖像-坐標(biāo)特征值和在方位輸入步驟中輸入的測量出的方位值，計算攝像裝置的位置和方位。
7.根據(jù)權(quán)利要求6的信息處理方法，其中，在位置-方位計算步驟中，通過使用在第一檢測步驟中檢測到的第一-標(biāo)志圖像-坐標(biāo)特征值，獲得表示直線上第二標(biāo)志的位置的參數(shù)和關(guān)于校正方位傳感器的方位角誤差的校正值的參數(shù)，所述參數(shù)被視為未知的，并且通過使用所獲得的參數(shù)對攝像裝置的位置和方位進(jìn)行計算。
8.一種用于計算攝像裝置的位置和方位的信息處理方法，所述攝像裝置用于捕捉場景的圖像，所述信息處理方法包括第一幅圖像輸入步驟，輸入由攝像裝置捕捉的第一幅圖像；第二幅圖像輸入步驟，輸入由第二攝像裝置捕捉的第二幅圖像，所述第二攝像裝置用于從所述攝像裝置上的視點(diǎn)位置捕捉場景的圖像；方位輸入步驟，從方位傳感器輸入測量出的方位值，所述方位傳感器用于測量關(guān)于攝像裝置方位的信息；第一檢測步驟，從在第一幅圖像輸入步驟中輸入的第一幅圖像，檢測關(guān)于置于場景中的第一標(biāo)志的圖像坐標(biāo)的第一-標(biāo)志圖像-坐標(biāo)特征值；第二檢測步驟，從在第二幅圖像輸入步驟中輸入的第二幅圖像，檢測關(guān)于置于場景中的第二標(biāo)志的圖像坐標(biāo)的第二-標(biāo)志圖像-坐標(biāo)特征值；位置和方位計算步驟，通過使用在第一檢測步驟中檢測到的第一-標(biāo)志圖像-坐標(biāo)特征值、在第二檢測步驟中檢測到的第二-標(biāo)志圖像-坐標(biāo)特征值和在方位輸入步驟中輸入的測量出的方位值，計算攝像裝置的位置和方位。
9.一種用于使用計算機(jī)實(shí)現(xiàn)權(quán)利要求1中的信息處理方法的程序。
10.一種用于使用計算機(jī)實(shí)現(xiàn)權(quán)利要求4中的信息處理方法的程序。
11.一種用于使用計算機(jī)實(shí)現(xiàn)權(quán)利要求8中的信息處理方法的程序。
12.一種用于計算物體的位置和方位的信息處理設(shè)備，該信息處理設(shè)備包括捕捉圖像輸入單元，從攝像裝置輸入捕捉的圖像，所述攝像裝置從關(guān)于物體的俯瞰視角位置捕捉物體的圖像；測量方位值輸入單元，從方位傳感器輸入測量出的方位值，所述方位傳感器用于測量關(guān)于物體方位的信息；檢測單元，從捕捉的圖像檢測關(guān)于安置于物體上的標(biāo)志的圖像坐標(biāo)的特征值；以及位置-方位計算單元，通過使用檢測出的關(guān)于標(biāo)志圖像坐標(biāo)的特征值獲得關(guān)于物體方位角的參數(shù)和關(guān)于物體位置的參數(shù)，所述參數(shù)視為至少為未知參數(shù)，并且通過使用獲得的參數(shù)計算物體的位置和方位。
13.一種用于計算攝像裝置的位置和方位的信息處理設(shè)備，所述攝像裝置用于捕捉場景的圖像，所述信息處理設(shè)備包括第一幅圖像輸入單元，輸入由攝像裝置捕捉的第一幅圖像；第二幅圖像輸入單元，輸入由俯瞰視角成像裝置捕捉的第二幅圖像，所述俯瞰視角成像裝置用于從所述攝像裝置上的視點(diǎn)位置進(jìn)行圖像捕捉；方位輸入單元，從方位傳感器輸入測量出的方位值，所述方位傳感器用于測量關(guān)于攝像裝置方位的信息；第一檢測單元，從在第一幅圖像輸入步驟中輸入的第一幅圖像，檢測關(guān)于置于場景中的第一標(biāo)志的圖像坐標(biāo)的第一-標(biāo)志圖像-坐標(biāo)特征值；第二檢測單元，從在第二幅圖像輸入步驟中輸入的第二幅圖像，檢測關(guān)于置于場景中的第二標(biāo)志的圖像坐標(biāo)的第二-標(biāo)志圖像-坐標(biāo)特征值；位置-方位計算單元，通過使用由第一檢測單元檢測到的第一-標(biāo)志圖像-坐標(biāo)特征值、由第二檢測單元檢測到的第二-標(biāo)志圖像-坐標(biāo)特征值和由方位輸入單元輸入的測量出的方位值，計算攝像裝置的位置和方位。
14.一種用于計算攝像裝置位置和方位的信息處理設(shè)備，所述攝像裝置用于捕捉場景的圖像，所述信息處理設(shè)備包括第一幅圖像輸入單元，輸入由攝像裝置捕捉的第一幅圖像；第二幅圖像輸入單元，輸入由俯瞰視角成像裝置捕捉的第二幅圖像，所述俯瞰視角成像裝置用于從所述攝像裝置上的視點(diǎn)位置捕捉圖像；方位輸入單元，從方位傳感器輸入測量出的方位值，所述方位傳感器用于測量關(guān)于攝像裝置方位的信息；第一檢測單元，從由第一幅圖像輸入單元輸入的第一幅圖像，檢測關(guān)于置于場景中的第一標(biāo)志的圖像坐標(biāo)的第一-標(biāo)志圖像-坐標(biāo)特征值；第二檢測單元，從由第二幅圖像輸入單元輸入的第二幅圖像，檢測關(guān)于置于場景中的第二標(biāo)志的圖像坐標(biāo)的第二-標(biāo)志圖像-坐標(biāo)特征值；和位置和方位計算單元，通過使用由第一檢測單元檢測到的第一-標(biāo)志圖像-坐標(biāo)特征值、由第二檢測單元檢測到的第二-標(biāo)志圖像-坐標(biāo)特征值和由方位輸入單元輸入的測量出的方位值，計算攝像裝置的位置和方位。
全文摘要
在一種信息處理方法中，方位傳感器被安裝到要測量的目標(biāo)物體上，并且固定地安裝用于捕捉目標(biāo)物體圖像的俯瞰視角照相攝像機(jī)。標(biāo)志檢測單元從俯瞰視角照相攝像機(jī)捕捉的圖像，檢測安裝于方位傳感器上的標(biāo)志。方位傳感器測量出的方位值被輸入到方位預(yù)測單元，方位預(yù)測單元根據(jù)方位角－漂移－誤差校正值預(yù)測目標(biāo)物體的當(dāng)前方位。位置－方位計算單元使用檢測到的標(biāo)志的圖像坐標(biāo)計算作為未知參數(shù)的攝像裝置的位置和方位角－漂移－誤差校正值的更新值。位置－方位計算單元從得到的參數(shù)獲得并輸出目標(biāo)物體的位置和方位。
文檔編號G01B11/00GK1696606SQ20051006936
公開日2005年11月16日 申請日期2005年5月13日 優(yōu)先權(quán)日2004年5月14日
發(fā)明者佐藤清秀, 內(nèi)山晉二, 遠(yuǎn)藤隆明, 鈴木雅博 申請人:佳能株式會社