專利名稱：：標(biāo)記放置信息估計方法和信息處理設(shè)備的制作方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及一種估計3-D空間內(nèi)的標(biāo)記放置信息的方法和設(shè)備。
背景技術(shù)：
：近年來進(jìn)行了許多關(guān)于MR(混合現(xiàn)實)技術(shù)的研究。MR技術(shù)用于將現(xiàn)實空間和由計算機(jī)創(chuàng)建的虛擬空間進(jìn)行無縫的合成。MR技術(shù)中將虛擬空間疊加到現(xiàn)實空間的AR(擴(kuò)展現(xiàn)實；也稱為增強(qiáng)現(xiàn)實)技術(shù)特別引人注意。利用AR技術(shù)顯示圖像的圖像顯示設(shè)備通過顯示通過將有關(guān)虛擬空間的計算機(jī)生成的圖像疊加在現(xiàn)實空間的圖像上獲得的合成圖像的視頻透視方法得以實現(xiàn)，所述虛擬空間(用計算機(jī)制圖繪制的虛擬物體、特征信息或類似信息)根據(jù)后面將進(jìn)行說明的攝像裝置的位置和方位生成，所述現(xiàn)實空間的圖像用例如攝像機(jī)的攝像裝置或者通過顯示虛擬空間的圖像的光學(xué)透視方法拍攝而成，該虛擬空間根據(jù)佩戴在觀察者頭上的透光式顯示器的觀察者的觀察位置和方位生成。利用AR技術(shù)顯示圖像的圖像顯示設(shè)備通過一顯示通過將一關(guān)于虛擬空間(用計算機(jī)制圖繪制的虛擬物體、特征信息或類似信息)的根據(jù)后面所述的攝像裝置的位置和方位生成的一計算機(jī)生成圖像疊加到一用例如攝影機(jī)的攝像裝置拍攝而成的現(xiàn)實空間的圖像上而獲得的合成圖像的視頻透視方法，或是通過一將根據(jù)觀察者的觀察位置和方位而生成的虛擬空間的圖像顯示在佩戴在觀察者的頭部的透光式顯示器上的光學(xué)透視方法，而得以實現(xiàn)。期望能夠?qū)R技術(shù)應(yīng)用到各種領(lǐng)域中，例如將患者身體內(nèi)的狀態(tài)疊加到身體表面的外科輔助工具、將虛擬的建筑疊加到空地圖像上的建筑仿真、疊加機(jī)器或其它設(shè)備的裝配過程和配線的裝配輔助工具或類擬輔助工具。在AR技術(shù)中要解決的最重要的問題是怎樣準(zhǔn)確地完成現(xiàn)實空間和虛擬空間之間的對齊，迄今為止已經(jīng)嘗試了許多方法。AR技術(shù)中的對齊問題相當(dāng)于在視頻透視方法的情況下獲得攝像裝置在場景中(也就是說，在參照坐標(biāo)系統(tǒng)中)的位置和方位的問題。類似地，在光學(xué)透視方法的情況下，對齊問題相當(dāng)于獲取觀察者或顯示設(shè)備在場景中的位置和方位的問題。為解決前一問題所普遍采用的方法是，根據(jù)攝像裝置拍攝而成的圖像中的標(biāo)記的投影位置和標(biāo)記在參照坐標(biāo)系統(tǒng)中的位置之間的對應(yīng)關(guān)系，在場景中布置人工標(biāo)記或創(chuàng)建自然特征點標(biāo)記，以便獲得攝像裝置在參照坐標(biāo)系統(tǒng)中的位置和方位。同樣地，解決后一問題所普遍采用的方法是，將攝像裝置放置在一個待測目標(biāo)上(例如，觀察者的頭上或顯示器上)，使用與前面方法同樣的方式獲取攝像裝置的位置和方位，并且以此為基礎(chǔ)獲得待測目標(biāo)的位置和方位。接下來參照圖1說明一個常規(guī)的位置-方位測量設(shè)備的例子，該設(shè)備通過將攝像裝置拍攝而成的圖像中檢測到的標(biāo)記的2-D坐標(biāo)與參照坐標(biāo)系統(tǒng)中的該標(biāo)記的3-D位置相關(guān)聯(lián)，對后面將會加以描述的攝像裝置的位置和方位進(jìn)行測量。如圖1中所示，本常規(guī)例子中的位置-方位測量設(shè)備100包括標(biāo)記檢測單元110和位置-方位計算單元120，并連接至攝像裝置130。在參照坐標(biāo)系統(tǒng)中的位置是已知的K個標(biāo)記Qk(k＝1，2到K)被作為標(biāo)記放置到現(xiàn)實空間中以便獲取攝像裝置130的位置和方位。圖1中的例子表示放置四個標(biāo)記Q1、Q2、Q3和Q4的情況。其中，三個標(biāo)記Q1、Q3和Q4位于攝像裝置130的觀察范圍之內(nèi)，標(biāo)記Q2位于攝像裝置130的觀察范圍之外。標(biāo)記Qk可以為任何形狀，如具有與其它標(biāo)記不同顏色的圓形標(biāo)記或者類似形狀，只要拍攝的圖像內(nèi)的標(biāo)記的投影位置可以被檢測到并且該標(biāo)記能夠被識別。例如，可以采用3-D空間內(nèi)的自然特征點，使用模板匹配的方法可以在所拍攝的圖像中檢測出這樣的點。從攝像裝置130輸出的圖像被輸入到位置-方位測量設(shè)備100。標(biāo)記檢測單元110輸入由攝像裝置130輸入的圖像，并且檢測該圖像上拍攝的標(biāo)記Qk的圖像坐標(biāo)。例如，如果每個標(biāo)記Qk由分別具有不同顏色的圓形標(biāo)記組成，標(biāo)記檢測單元110從輸入的圖像上檢測對應(yīng)于每個標(biāo)記顏色的區(qū)域，并且將重心位置作為標(biāo)記的檢測坐標(biāo)。另外，標(biāo)記檢測單元110將每個檢測到的標(biāo)記Qkn的圖像坐標(biāo)uMkn和標(biāo)識符kn輸出到位置-方位計算單元120。這里，n(＝1，2到N)是表示所檢測標(biāo)記的序號的符號，N表示所檢測標(biāo)記的總數(shù)。例如，在圖1的情況下，N＝3，所以標(biāo)識符k1＝1，k2＝3，k3＝4，輸出相應(yīng)的圖像坐標(biāo)uMk1、uMk2和uMk3。位置-方位計算單元120根據(jù)作為預(yù)先已知信息的每個檢測的標(biāo)記Qkn的圖像坐標(biāo)uMkn和標(biāo)記Qkn在參照坐標(biāo)系統(tǒng)中的位置之間的關(guān)系計算攝像裝置130的位置和方位。根據(jù)標(biāo)記的一對3-D坐標(biāo)和圖像坐標(biāo)計算攝像裝置的位置和方位的舊的方法一直被建議用于攝影測量領(lǐng)域(例如，參見R.M.Haralick，C.Lee，K.Ottenberg，andM.Nolle″Reviewandanalysisofsolutionsofthethreepointperspectiveposeestimationproblem″，Int′l.J.ComputerVision，vol.13，no.3，pp.331-356，1994和M.A.FischlerandR.C.Bolles″Randomsampleconsensusaparadigmformodelfittingwithapplicationstoimageanalysisandautomatedcartography″，Comm.ACM，vol.24，no.6，pp.381-395，1981)。位置-方位計算單元120使用例如在R.M.Haralick，C.Lee，K.Ottenberg，和M.Nolle″Reviewandanalysisofsolutionsofthethreepointperspectiveposeestimationproblem″，Int′l.J.ComputerVision，vol.13，no.3，pp.331-356，1994中描述的方法計算攝像裝置130的位置和方位。要注意的是，已經(jīng)說明了關(guān)于使用作為3-D空間內(nèi)的多點的標(biāo)記(以下稱為“點標(biāo)記”)的情況，但是使用具有已知大小(尺寸)的正方形標(biāo)記計算攝像裝置的位置和方位的計算方法在例如J.Rekimoto″Configurationmethodofaugmentedrealityusing2-Dmatrixcode″，InteractiveSystemandSoftwareIV，KindaiKagakusha，1996以及Kato，M.Billinghurst，Asanoand和chibana″Augmentedrealitybasedonmarkertracingandcalibrationthereof″，JapanVirtualRealityAcademicJournal，vol.4，no.4，pp.607-616，1999中被提出。同時使用正方形標(biāo)記和點標(biāo)記計算攝像裝置的位置和方位(定位)的計算方法已經(jīng)被提出，如在H.Kato，M.Billinghurst，I.Poupyrev，K.ImamotoandK.Tachibana″Virtualobjectmanipulationonatable-topARenvironment″，Proc.ISAR2000，pp.111-119，2000中所公開的。使用這種計算方法，點標(biāo)記具有甚至可以設(shè)置在狹窄的空間內(nèi)的優(yōu)點，正方形標(biāo)記具有識別容易的優(yōu)點，因為一個標(biāo)記包括足夠的信息，所以攝像裝置的位置和方位可以僅通過一種標(biāo)記獲得，于是，就以一種補(bǔ)充的方式使用這兩種標(biāo)記。根據(jù)上述方法，根據(jù)攝像裝置拍攝的圖像自過去就可以獲得攝像裝置的位置和方位。另一方面，作了一種安排，即將6自由度的位置-方位傳感器如磁傳感器、超聲傳感器或類似產(chǎn)品附在作為測量的目標(biāo)的攝像裝置上，并且通過同時使用如前所述的圖像處理標(biāo)記檢測對攝像裝置的位置和方位進(jìn)行測量，如在日本專利公開號No.11-084307、日本專利公開No.2000-041173和A.State，G.Hirota，D.T.Chen，W.F.Garrett和M.A.Livingston″Superioraugmentedrealityregistrationbyintegratinglandmarktrackingandmagnetictracking″，Proc.SIGGRAPH′96，pp.429-438，1996所公開的。傳感器輸出的準(zhǔn)確度依根據(jù)測量范圍而發(fā)生變化，但是可以被魯棒地獲得，所以同時使用傳感器和圖像處理與僅使用圖像處理方法相比可以改善魯棒度。對于使用標(biāo)記的對齊方法，為了獲得作為測量目標(biāo)的攝像裝置在參照坐標(biāo)系統(tǒng)中的位置和方位，需要知道在點標(biāo)記情況下在參照坐標(biāo)系統(tǒng)中的位置和在正方形標(biāo)記情況下在參照坐標(biāo)系統(tǒng)中的位置和方位。在一個正方形標(biāo)記的情況下，正方形標(biāo)記自身經(jīng)常被作為坐標(biāo)系統(tǒng)的參照而不用單獨地提供參照坐標(biāo)系統(tǒng)，但是在采用多個正方形標(biāo)記的情況下，需要得知相互之間的位置和方位關(guān)系，相應(yīng)地，在需要采用參照坐標(biāo)系統(tǒng)這一點上沒有區(qū)別。標(biāo)記的位置和方位可以使用測量卷尺、標(biāo)尺或量角器由手工進(jìn)行測量，或者使用測量儀器進(jìn)行測量，但是使用圖像的測量技術(shù)可以用來提高準(zhǔn)確度并且節(jié)約時間。點標(biāo)記的位置可以通過稱為束調(diào)整法進(jìn)行測量。束調(diào)整法是這樣的一種方法，其中大量的點標(biāo)記被攝像裝置拍攝，通過重復(fù)計算獲取拍攝每個圖像的攝像裝置的位置和方位以及點標(biāo)記的位置，從而使得在圖像上實際觀察到的標(biāo)記的投影位置和從攝像裝置的位置和方位以及標(biāo)記的位置計算出來的投影位置之間的誤差最小。還有一種測量置于3-D空間中的多個正方形標(biāo)記的位置和方位的方法在G.Baratoff，A.Neubeck和H.Regenbrecht″Interactivemulti-markercalibrationforaugmentedrealityapplications″，Proc.ISMAR2002，pp.107-116，2002中被披露。在G.Baratoff，A.Neubeck和H.Regenbrecht″Interactivemulti-markercalibrationforaugmentedrealityapplications″，Proc.ISMAR2002，pp.107-116，2002中，拍攝每個圖像的攝像裝置的位置和方位以及每個正方形標(biāo)記的位置和方位通過使用以下方法進(jìn)行測量，即大量的置于3-D空間內(nèi)的多個正方形標(biāo)記的圖像被拍攝，并且重復(fù)計算從而使得投影誤差最小。使用上述用于測量標(biāo)記的位置和方位的常規(guī)方法，在有一個關(guān)于標(biāo)記位置的約束條件即多個標(biāo)記位于同一個平面的情況下，測量結(jié)果在一些情況下便不能滿足約束條件。這是因為上述測量方法是一種使標(biāo)記在拍攝圖像上的投影誤差最小化的方法，相應(yīng)地，如果用于標(biāo)記投影位置計算的參數(shù)(照相攝像機(jī)的焦距、主點位置和透鏡畸變校正參數(shù))和圖像上標(biāo)記的觀測位置包括一個誤差余地，那么測量值也包括該誤差余地。因此，在獲得的測量結(jié)果中，本應(yīng)在同一個平面上的多個標(biāo)記不在同一個平面上。
發(fā)明內(nèi)容本發(fā)明的目的在于解決上述問題，并且提供一種獲取標(biāo)記的位置和方位的方法以便在存在關(guān)于標(biāo)記放置的限制條件時滿足該限制條件。為達(dá)到這個目的，根據(jù)本發(fā)明的第一個方面，一種用于估計在幾何限制下的空間內(nèi)標(biāo)記的空間放置信息的標(biāo)記放置信息估計方法，包括一標(biāo)記檢測步驟，用以從一包括標(biāo)記的拍攝圖像檢測標(biāo)記；一限制條件設(shè)置步驟，用以設(shè)置標(biāo)記的一限制條件；標(biāo)記投影位置計算步驟，用以根據(jù)拍攝圖像的攝像單元的位置和方位的近似值和標(biāo)記的放置信息的近似值，計算標(biāo)記投影在圖像表面上的投影位置；一校正值計算步驟，獲取用于校正標(biāo)記的放置信息的校正值，從而降低在標(biāo)記檢測步驟中檢測到的圖像表面的標(biāo)記的位置和在標(biāo)記投影位置計算步驟中獲得的圖像表面的標(biāo)記的投影位置之間的總誤差，并且滿足限制條件設(shè)置步驟中設(shè)置的標(biāo)記限制條件；一放置信息校正步驟，根據(jù)在校正值計算步驟中獲取的校正值對標(biāo)記的放置信息進(jìn)行校正；以及一重復(fù)計算步驟，通過重復(fù)執(zhí)行標(biāo)記投影位置計算步驟、校正值計算步驟和放置信息校正步驟，并使用在放置信息校正步驟中校正后的標(biāo)記放置信息而不是在標(biāo)記投影位置計算步驟中計算出的投影位置對標(biāo)記的放置信息進(jìn)行計算。根據(jù)本發(fā)明的第二個方面，一種用于估計來自拍攝圖像的標(biāo)記的空間放置信息的標(biāo)記放置信息估計方法，包括一限制條件設(shè)置步驟，用以設(shè)置可以用與標(biāo)記的放置信息有關(guān)的幾何條件來定義的限制條件；一捕捉步驟，捕捉包括標(biāo)記圖像的拍攝的圖像；標(biāo)記檢測步驟，從拍攝的圖像中檢測標(biāo)記；估計步驟，根據(jù)在圖像上檢測到的標(biāo)記的位置和限制條件估計標(biāo)記的放置信息。從下面結(jié)合附圖對典型實施例的描述，本發(fā)明的其它的特征和優(yōu)點將會變得清楚，在整個附圖中用類似的標(biāo)記表示相同或相似的部分。圖1為表示常規(guī)的位置-方位測量設(shè)備的示意圖。圖2為表示根據(jù)第一實施例的一標(biāo)記位置-方位估計設(shè)備的功能結(jié)構(gòu)的方框圖。圖3為表示根據(jù)第一實施例的標(biāo)記位置-方位估計設(shè)備的硬件結(jié)構(gòu)的方框圖。圖4A為表示第一實施例中采用的點標(biāo)記的示意圖。圖4B為表示第一實施例子中采用的平面標(biāo)記的示意圖。圖5為表示用于在同一個平面上布置多個標(biāo)記的GUI(圖形用戶界面)的示意圖。圖6為表示照相攝像機(jī)坐標(biāo)系統(tǒng)和圖像坐標(biāo)系統(tǒng)的示意圖。圖7為表示一共線條件方程的示意圖。圖8為表示平面定義方法的示意圖。圖9為表示根據(jù)第一實施例獲取點標(biāo)記的位置和正方形標(biāo)記的位置和方位的過程的流程圖。圖10為表示存在兩個限制標(biāo)記的平面的情況下的示意圖。圖11為表示可以適用第三實施例的標(biāo)記放置的示意圖。圖12為表示可以適用第四實施例的標(biāo)記放置的示意圖。圖13為表示被限制在圓柱體的側(cè)面上的標(biāo)記的示意圖。圖14為表示被限制在球面上的標(biāo)記的示意圖。圖15A至圖15C為表示根據(jù)第四實施例的GUI的示意圖。
發(fā)明內(nèi)容下面參照本發(fā)明的實施例。第一實施例圖2為表示根據(jù)本實施例的標(biāo)記位置-方位估計設(shè)備2的功能結(jié)構(gòu)的方框圖。一攝像單元210為照相攝像機(jī)，拍攝布置有標(biāo)記的場景。一圖像捕捉單元220將攝像單元210拍攝的圖像輸入到計算機(jī)中。一標(biāo)記檢測-識別單元230在圖像捕捉單元220輸入到計算機(jī)中的圖像中檢測標(biāo)記，并對每個檢測到的標(biāo)記進(jìn)行識別。一標(biāo)記放置條件設(shè)置單元240設(shè)置關(guān)于標(biāo)記的位置的限制條件。一標(biāo)記位置-方位計算單元250計算每個標(biāo)記的位置和方位，從而滿足標(biāo)記放置條件設(shè)置單元240根據(jù)標(biāo)記檢測-識別單元230的標(biāo)記檢測結(jié)果所設(shè)置的有關(guān)標(biāo)記的位置的限制條件。圖3為表示根據(jù)本實施例的標(biāo)記位置-方位估計設(shè)備2的硬件結(jié)構(gòu)的方框圖。圖3中所示的硬件結(jié)構(gòu)和普通個人電腦的結(jié)構(gòu)相同，但是還連接了圖像捕捉設(shè)備310和照相攝像機(jī)311。圖像捕捉設(shè)備310用于將照相攝像機(jī)311拍攝的圖像輸入到計算機(jī)中，并對應(yīng)圖像捕捉單元220。圖像捕捉設(shè)備310的一個例子是視頻捕捉板，但是并不僅限于此，只要可以輸入照相攝像機(jī)拍攝的圖像即可。CPU301通過執(zhí)行存儲在未顯示的光媒體、外部存儲設(shè)備或類似上的程序，用作標(biāo)記檢測-識別單元230、標(biāo)記放置條件設(shè)置單元230和標(biāo)記位置-方位計算單元250。圖3表示的標(biāo)記位置-方位估計設(shè)備2的硬件結(jié)構(gòu)也可以包括其它常規(guī)的計算機(jī)部件，例如和一頭戴式顯示器(HMD)相通訊的一圖形加速器302，、一存儲設(shè)備，如一盤305、一只讀存儲器(ROM)306、一隨機(jī)存取存儲器(RAM)307，和一個或多個輸入設(shè)備，如一鍵盤309和一鼠標(biāo)308。接下來，根據(jù)具有上述結(jié)構(gòu)的本實施例，說明標(biāo)記位置-方位估計設(shè)備的操作概況。首先，說明本實施例所使用的標(biāo)記。圖4A和圖4B表示本實施例所使用的標(biāo)記的示意圖。圖4A表示點標(biāo)記，用3-D空間中的點的位置來表示其放置信息。假定點標(biāo)記為具有單一顏色的圓形從而可以在圖像中被檢測到，每個點標(biāo)記的重心表示其在3-D空間中的位置。圖4B表示平面標(biāo)記，其放置信息通過3-D空間中的平面的位置和方位表示。本實施例采用正方形標(biāo)記作為平面標(biāo)記，但是平面標(biāo)記并不僅限于正方形標(biāo)記，所以只要具有平面形狀的任何形狀的標(biāo)記都可以使用。假設(shè)正方形的中心，也就是，兩個對角線的交點，表示3-D空間中正方形標(biāo)記的位置。如圖4B所示，假設(shè)正方形標(biāo)記的法線方向取作z軸，正方形標(biāo)記的坐標(biāo)系統(tǒng)被指定從而x軸和y軸可以和兩側(cè)相平行，相對于參照坐標(biāo)系統(tǒng)的正方形標(biāo)記的坐標(biāo)系統(tǒng)的方向視為正方形標(biāo)記的方向。根據(jù)本實施例的正方形標(biāo)記周圍是黑框，從而正方形標(biāo)記可以很容易地在圖像上被檢測，所以黑框內(nèi)的正方形被用作正方形標(biāo)記。(1.標(biāo)記的拍攝)用戶使用攝像單元210拍攝布置有標(biāo)記的多個圖像。通過圖像捕捉單元220將拍攝的圖像輸入到計算機(jī)中。(2.標(biāo)記的檢測和識別)標(biāo)記檢測和識別單元230從輸入到計算機(jī)的拍攝的圖像中檢測標(biāo)記并對之進(jìn)行識別。這里，術(shù)語“標(biāo)記的檢測”是指在2-D圖像上獲取標(biāo)記的圖像坐標(biāo)。在點標(biāo)記的情況下，獲取在圖像上標(biāo)記區(qū)域的重心的圖像坐標(biāo)，在正方形標(biāo)記的情況下，獲取每個頂點的圖像坐標(biāo)。標(biāo)記的圖像坐標(biāo)可以自動獲取，或者可以手工指定，例如，通過用戶使用鼠標(biāo)在圖像上點擊。在自動獲取點標(biāo)記的位置的情況下，例如，根據(jù)像素是否屬于對應(yīng)于該顏色的YUV顏色空間圖像的特定區(qū)域提取出具有相同顏色的像素作為標(biāo)記，通過將相連的像素標(biāo)注為同樣的顏色得到標(biāo)記區(qū)域，并且計算圖像內(nèi)的標(biāo)記區(qū)域的重心。同樣，在自動獲得正方形標(biāo)記的每個頂點的位置的情況下，例如，將輸入的圖像轉(zhuǎn)換為二值圖像，檢測正方形標(biāo)記的黑框區(qū)域，得到內(nèi)接于黑框區(qū)域的四方形。術(shù)語“標(biāo)記的識別”是指將圖像內(nèi)要檢測的標(biāo)記識別為唯一的標(biāo)記。標(biāo)記的識別可以自動完成，或者由用戶手工完成。在自動識別點標(biāo)記的情況下，例如，采用了具有不同顏色的多個標(biāo)記，并且根據(jù)檢測標(biāo)記時標(biāo)記區(qū)域的標(biāo)注顏色完成識別。同樣，在自動識別正方形標(biāo)記的情況下，例如，通過給每個標(biāo)記唯一的模式完成識別。(3.標(biāo)記放置條件的設(shè)置)用戶使用標(biāo)記放置條件設(shè)置單元240設(shè)置有關(guān)標(biāo)記放置的限制條件。在本實施例中，多個標(biāo)記存在于同一平面上的限制條件作為與標(biāo)記位置相關(guān)的限制條件被給出。假定這里使用的平面是未知平面，并且存在多個未知平面。圖5表示用于設(shè)置在同個平面上的多個標(biāo)記的GUI(圖形用戶界面)。拍攝的圖像切換部分在GUI上，由攝像單元拍攝的圖像顯示在該部分。拍攝的圖像的顯示可以使用拍攝的圖像切換部分上的按扭進(jìn)行切換。當(dāng)用戶用鼠標(biāo)點擊Previous(前)按扭時，顯示前幅拍攝的圖像。當(dāng)用戶點擊Next(后)按扭時，顯示后一幅拍攝的圖像。用戶在觀看拍攝的圖像時在同個平面上設(shè)定標(biāo)記。在拍攝的圖像上，每個唯一的標(biāo)記名稱顯示在每個識別的標(biāo)記的旁邊。圖5表示拍攝了兩個點標(biāo)記(圖中的POINT1(點1)和POINT2(點2))和兩個正方形標(biāo)記(圖中的SQUARE1(正方形1)和SQUARE2(正方形2))的拍攝的圖像顯示在拍攝的圖像的顯示部分。假定這些標(biāo)記中，點標(biāo)記POINT1和正方形標(biāo)記SQUARE1位于同一個平面上。用戶通過用鼠標(biāo)在任一個標(biāo)記旁點擊在拍攝的圖像內(nèi)選擇出POINT1或SQUARE1。被選擇的標(biāo)記的名稱變?yōu)榇煮w顯示。然后，用戶通過在壓下shift鍵的同時用鼠標(biāo)的左鍵點擊同個平面上的附近的標(biāo)記作為選擇的標(biāo)記從而從位于同一個平面上的標(biāo)記中構(gòu)成一個組。在點擊屬于同一平面上的組的標(biāo)記的情況下，所有屬于該組的標(biāo)記的名稱顯示變?yōu)榇煮w。在這種狀態(tài)中，用戶通過在壓下shift鍵的同時用鼠標(biāo)左鍵點擊另一個標(biāo)記可以將該標(biāo)記加入到該組中。同樣，當(dāng)用戶在壓下shift鍵的同時用鼠標(biāo)右鍵在屬于一個組的標(biāo)記旁邊點擊時，從該組中釋放該標(biāo)記，當(dāng)用戶在不壓下shift鍵時用右鼠標(biāo)鍵點擊同個標(biāo)記時，釋放整個組。(4.標(biāo)記的位置和方位的計算)根據(jù)標(biāo)記的檢測和識別結(jié)果和關(guān)于標(biāo)記放置的限制條件計算在參照坐標(biāo)系統(tǒng)中標(biāo)記的位置和方位。首先，說明有關(guān)的透視投影變換。圖6為表示照相攝像機(jī)坐標(biāo)系統(tǒng)和圖像坐標(biāo)系統(tǒng)的示意圖。假定觀察軸和圖像表面之間的交點作為圖像坐標(biāo)系統(tǒng)的原點Oi，圖像的水平方向作為xi軸，圖像的垂直方向作為yi軸。同樣，假定照相攝像機(jī)坐標(biāo)系統(tǒng)的原點Oc和圖像表面的焦距為f，照相攝像機(jī)坐標(biāo)系統(tǒng)的zc軸在觀察軸的相反方向上，xc軸在與圖像的水平方向平行的方向上，yc軸在與圖像的垂直方向平行的方向上。根據(jù)透視投影變換，照相攝像機(jī)坐標(biāo)系統(tǒng)上的點xc＝[xcyczc]t被投影到圖像坐標(biāo)為表達(dá)式(2)中的u＝[uxuy]t的點上。ux=-fxczc]]>在本實施例中，假定不存在透鏡畸變或者已經(jīng)被校正，并且照相攝像機(jī)為針孔相機(jī)。如圖7所示，表達(dá)式1表示空間中的一個點，該點在圖像上投影的點和照相攝像機(jī)位置(觀察點)在同一條直線上，也稱為共線條件。在參照坐標(biāo)系統(tǒng)中，照相攝像機(jī)位置為t＝[txtytz]t，照相攝像機(jī)方位(實際上是參照坐標(biāo)系統(tǒng)相對于照相攝像機(jī)坐標(biāo)系統(tǒng)的方位)為ω＝[ωxωyωz]。要注意的是，ω是3自由度方位表達(dá)式，并且方位用旋轉(zhuǎn)軸向量和旋轉(zhuǎn)角表示。如果旋轉(zhuǎn)角為ra，用ω表示ra如表達(dá)式(3)所示。ra=ωx2+ωy2+ωz2...(3)]]>如果旋轉(zhuǎn)軸向量為raxis＝[rxryrz]t，raxis與ω之間的關(guān)系如表達(dá)式(4)中所示。＝[rarxraryrarz]..(4)表達(dá)式(5)表示ω(旋轉(zhuǎn)角ra和旋轉(zhuǎn)軸向量raxis)和3×3旋轉(zhuǎn)變換矩陣R之間的關(guān)系。R=R11R12R13R21R22R23R31R32R33]]>=rx2(1-cosra)+cosrarxry(1-cosra)-rzsinrarzrx(1-cosra)+rysinrarxry(1-cosra)+rzsinrary2(1-cosra)+cosraryrz(1-cosra)-rxsinrarzrx(1-cosra)-rysinraryrz(1-cosra)+rxsinrarz2(1-cosra)+cosra]]>…(5)參照坐標(biāo)系統(tǒng)上的點xw＝[xwywzw]t的照相攝像機(jī)坐標(biāo)xc用t和R表示，如表達(dá)式(6)所示。xcyczc=Rxw-txyw-tyzw-tz=R11R12R13R21R22R23R31R32R33xw-txyw-tyzw-tz...(6)]]>根據(jù)表達(dá)式(2)和(6)，即透視投影變換，在參照坐標(biāo)系統(tǒng)上的點xw＝[xwywzw]t被投影到圖像上的點u＝[uxuy]t上，如表達(dá)式(7)所示。ux=-fxczc=-fR11(xw-tx)+R12(yw-ty)+R13(zw-tz)R31(xw-tx)+R32(yw-ty)+R33(zw-tz)]]>uy=-fyczc=-fR21(xw-tx)+R22(yw-ty)+R23(zw-tz)R31(xw-tx)+R32(yw-ty)+R33(zw-tz)...(7)]]>理想地，基于t，ω，xw從表達(dá)式(7)計算出的投影位置(計算的位置)和觀察的位置(觀察位置)一致。相應(yīng)地，如果假定在圖像的水平方向上的投影位置和觀察位置之間的誤差為F，在垂直方向上的誤差為G，觀察位置為uo＝[uoxuoy]t，則F和G為0，如表達(dá)式(8)所示。F=-fR11(xw-tx)+R12(yw-ty)+R13(zw-tz)R31(xw-tx)+R32(yw-ty)+R33(zw-tz)-uox=0]]>G=-fR21(xw-tx)+R22(yw-ty)+R23(zw-tz)R31(xw-tx)+R32(yw-ty)+R33(zw-tz)-uoy=0...(8)]]>F和G為關(guān)于照相攝像機(jī)位置t、照相攝像機(jī)方位ω和參照坐標(biāo)上的觀察目標(biāo)點的位置xw的函數(shù)。這里，參照坐標(biāo)上的點的位置xw依據(jù)標(biāo)記的類型和是否限制平面上的標(biāo)記為不同的可變函數(shù)，所以F和G也可依據(jù)標(biāo)記的類型和否限制平面上的標(biāo)記為不同的可變函數(shù)。下面分兩種情況說明，即，限制平面上的標(biāo)記的情況和不限制平面上的標(biāo)記的情況。(不限制平面上的標(biāo)記的情況)在點標(biāo)記的情況下，如果假定參照坐標(biāo)系統(tǒng)上點標(biāo)記的位置為tpn＝[tpnxtpnytpnz]t，則xw和tpn相等，如表達(dá)式(9)所示。xwywzw=tpnxtpnytpnz...(9)]]>相應(yīng)地，如表達(dá)式(10)所示，F(xiàn)和G為關(guān)于照相攝像機(jī)位置t、照相攝像機(jī)方位ω和參照坐標(biāo)系統(tǒng)上的點標(biāo)記的位置tpn的函數(shù)。F(tx，ty，tz，ωx，ωy，ωz，tpnx，tpny，tpnz)＝0G(tx，ty，tz，ωx，ωy，ωz，tpnx，tpny，tpnz)＝0..(10)接下來說明關(guān)于正方形標(biāo)記的情況。正方形標(biāo)記用參照坐標(biāo)系統(tǒng)中的位置ts＝[tsxtsytsz]t和關(guān)于參照坐標(biāo)系統(tǒng)的方位ωs＝[ωsxωsyωsz]表示(假定關(guān)于ωs的3×3旋轉(zhuǎn)轉(zhuǎn)換矩陣為Rs)。假定在正方形標(biāo)記坐標(biāo)系統(tǒng)中正方形標(biāo)記的頂點位置為xs＝[xsysO]t。在參照坐標(biāo)系統(tǒng)中正方形標(biāo)記的頂點的位置xw為關(guān)于ts和ωs(Rs)的函數(shù)，如表達(dá)式(11)所示。xwywzw1=Rsts01xsys01=Rs11Rs12Rs13tsxRs21Rs22Rs23tsyRs31Rs32Rs33tsz0001xsys01...(11)]]>相應(yīng)地，如表達(dá)式(12)所示，F(xiàn)和G為關(guān)于照相攝像機(jī)位置t、照相攝像機(jī)方位ω，正方形標(biāo)記的位置tp和正方形標(biāo)記的方位ωs的函數(shù)。F(tx，ty，tz，ωx，ωy，ωz，tsx，tsy，tsz，ωsx，ωsy，ωsz)＝0G(tx，ty，tz，ωx，ωy，ωz，tsx，tsy，tsz，ωsx，ωsy，ωsz)＝0..(12)(限制平面上的標(biāo)記的情況)首先，說明關(guān)于定義平面的方法。如圖8中所示，平面用極坐標(biāo)表達(dá)式r＝[rθ.]表示。平面坐標(biāo)系統(tǒng)的zp軸與平面的法線方向平行，并通過參照坐標(biāo)系統(tǒng)的原點。平面的方位用繞y軸的旋轉(zhuǎn)度θ和繞x軸的旋轉(zhuǎn)度定義。r是平面和參照坐標(biāo)系統(tǒng)的原點ow之間的帶正負(fù)號的距離。表示平面的方位的旋轉(zhuǎn)矩陣Rp如表達(dá)式(13)所示。Rp=Rp11Rp12Rp13Rp21Rp22Rp23Rp31Rp32Rp33=1000cosφ-sinφ0sinφcosφcosθ0sinθ010-sinθ0cosθ]]>=cosθ0sinθsinθsinφcosφ-cosθsinφ-sinθcosφsinφcosθcosφ...(13)]]>同樣，在參照坐標(biāo)系統(tǒng)中平面坐標(biāo)系統(tǒng)的原點op的位置tpl＝[tplxtplytplz]t作為zp軸和平面之間的交點被獲得，如表達(dá)式(14)所示。要注意的是，表示平面的法線向量。tpl=tplxtplytplz=r·n→=r·Rp11Rp12Rp13Rp21Rp22Rp23Rp31Rp32Rp33001=rsinθ-rcosθsinφrcosθcosφ...(14)]]>在參照坐標(biāo)系統(tǒng)中用上述極坐標(biāo)表達(dá)式r＝[rθ.]表示的平面坐標(biāo)系統(tǒng)上的點xp＝[xpypO]t的位置xw如表達(dá)式(15)所示。從表達(dá)式(15)中可以理解，xw和xp是r的函數(shù)。xw=xwywzw=Rp11Rp12tplxRp21Rp22tplyRp31Rp32tplzxpyp1=xpcosθ+rsinθxpsinθsinφ+ypcosφ-rcosθsinφ-xpsinθcosφ+ypsinφ+rcosθcosφ]]>…(15)限制在平面上的點標(biāo)記用位置tplp＝[tplpxtplpyO]t表示。如表達(dá)式(16)中所示，xp等于tplp。xpyp0=tplpxtplpy0...(16)]]>相應(yīng)地，xw為tplp和r的函數(shù)，F(xiàn)和G為照相攝像機(jī)位置t、照相攝像機(jī)方位ω、平面上的點標(biāo)記的位置tplp和平面的參數(shù)r的函數(shù)，如表達(dá)式(17)所示。F(tx，ty，tz，ωx，ωy，ωz，tplpx，tplpy，r，θ，φ)＝0G(tx，ty，tz，ωx，ωy，ωz，tplpx，tplpy，r，θ，φ)＝0..(17)另一方面，在正方形標(biāo)記的情況下，平面坐標(biāo)系統(tǒng)上除位置tpls＝[tplsxtplsyO]t之外，限制在平面上的正方形標(biāo)記用繞正方形標(biāo)記的法線向量的旋轉(zhuǎn)度θpl表示(即，繞平面坐標(biāo)系統(tǒng)的zp軸)。所以，如果假設(shè)在正方形標(biāo)記坐標(biāo)系統(tǒng)中正方形標(biāo)記的頂點的位置為xs＝[xsysO]t，其平面坐標(biāo)xp如表達(dá)式(18)所示。xpyp1=cosθpl-sinθpltplsxsinθplcosθpltplsx001xsys1...(18)]]>這樣，xw為tpls、θpl和r的函數(shù)，F(xiàn)和G為照相攝像機(jī)位置t、照相攝像機(jī)方位ω、平面上的點標(biāo)記的位置tpls、平面上的正方形標(biāo)記的方位θpl和平面的參數(shù)r的函數(shù)，如表達(dá)式(19)所示。F(tx，ty，tz，ωx，ωy，ωz，tplsx，tplsy，θpl，r，θ，φ)＝0G(tx，ty，tz，ωx，ωy，ωz，tplsx，tplsy，θpl，r，θ，φ)＝0..(19)表達(dá)式(10)、(12)、(17)和(19)是關(guān)于照相攝像機(jī)位置和方位、標(biāo)記的位置和方位和平面參數(shù)的非線性表達(dá)式。相應(yīng)地，線性化在關(guān)于照相攝像機(jī)的位置和方位、標(biāo)記的位置和方位以及使用一階泰勒擴(kuò)展的平面參數(shù)的近似值的附近完成，并且通過使用重復(fù)的計算獲取照相攝像機(jī)的位置和方位、標(biāo)記的位置和方位以及平面參數(shù)。通過分別對相應(yīng)的表達(dá)式(10)、(12)、(17)和(19)進(jìn)行線性化獲得表達(dá)式(20)、(21)、(22)和(23)。這里，Δtx、Δty和Δtz表示照相攝像機(jī)位置的近似值的校正值；Δωx、Δωy和Δωz表示照相攝像機(jī)方位的近似值的校正值；Δtpx、Δtpy和Δtpz表示沒有被限制到在平面的點標(biāo)記的位置的近似值的校正值；Δtsx、Δtsy和Δtsz表示沒有被限制到在平面的方形正方形標(biāo)記的位置的近似值的校正值；Δωsx、Δωsy和Δωsz表示沒有被限制在到平面的方形正方形標(biāo)記的方位的近似值的校正值；Δtplpx和Δtplpy表示在被限制在到平面的點標(biāo)記的平面上的位置的近似值的校正值；Δtplsx和Δtplsy表示被限制在制到平面的方形正方形標(biāo)記的平面上的位置的近似值的校正值；Δθpl表示用平面限制的方形正方形標(biāo)記的平面上的方位的近似值的校正值；Δr、Δθ、和Δ表示關(guān)于平面參數(shù)的近似值的校正值。F0+∂F∂txΔtx+∂F∂tyΔty+∂F∂tzΔtz+∂F∂ωxΔωx+∂F∂ωyΔωy+∂F∂ωzΔωz+∂F∂tpxΔtpx+∂F∂tpyΔtpy+∂F∂tpzΔtpz=0]]>G0+∂G∂txΔtx+∂G∂tyΔty+∂G∂tzΔtz+∂G∂ωxΔωx+∂G∂ωyΔωy+∂G∂ωzΔωz+∂G∂tpxΔtpx+∂G∂tpyΔtpy+∂G∂tpzΔtpz=0]]>……(20)F0+∂F∂txΔtx+∂F∂tyΔty+∂F∂tzΔtz+∂F∂ωxΔωx+∂F∂ωyΔωy+∂F∂ωzΔωz]]>+∂F∂tsxΔtsx+∂F∂tsyΔtsy+∂F∂tszΔtsz+∂F∂ωsxΔωsx+∂F∂ωsyΔωsy+∂F∂ωszΔωsz=0]]>G0+∂G∂txΔtx+∂G∂tyΔty+∂G∂tzΔtz+∂G∂ωxΔωx+∂G∂ωyΔωy+∂G∂ωzΔωz]]>+∂G∂tsxΔtsx+∂G∂tsyΔtsy+∂G∂tszΔtsz+∂G∂ωsxΔωsx+∂G∂ωsyΔωsy+∂G∂ωszΔωsz=0...(21)]]>+∂F∂tpxplΔtpxpl+∂F∂tpyplΔtpypl+∂F∂rΔr+∂F∂θΔθ+∂F∂φΔφ=0]]>G0+∂G∂txΔtx+∂G∂tyΔty+∂G∂tzΔtz+∂G∂ωxΔωx+∂G∂ωyΔωy+∂F∂ωzΔωz]]>+∂G∂tpxplΔtpxpl+∂G∂tpyplΔtpypl+∂G∂tΔr+∂G∂θΔθ+∂G∂φΔφ=0...(22)]]>F0+∂F∂txΔtx+∂F∂tyΔty+∂F∂tzΔtz+∂F∂ωxΔωx+∂F∂ωyΔωy+∂F∂ωzΔωz]]>+∂F∂tsxplΔtxpl+∂F∂tsyplΔtypl+∂F∂θplΔθpl+∂F∂rΔr+∂F∂θΔθ+∂F∂φΔφ=0]]>G0+∂G∂txΔtx+∂G∂tyΔty+∂G∂tzΔtz+∂G∂ωxΔωx+∂G∂ωyΔωy+∂G∂ωzΔωz]]>+∂G∂tsxplΔtsxpl+∂G∂tsyplΔtsypl+∂G∂θplΔθpl+∂G∂rΔr+∂G∂θΔθ+∂G∂φΔφ=0...(23)]]>這里，表達(dá)式(20)、(21)、(22)和(23)中的F0和G0為常數(shù)，表示從關(guān)于照相攝像機(jī)的位置和方位、點標(biāo)記的位置或正方形標(biāo)記的位置和方位以及平面參數(shù)的近似值得到的標(biāo)記的觀察位置uo和投影位置(計算位置)之間的差。表達(dá)式(20)、(21)、(22)和(23)是關(guān)于在某個圖像上觀察到的一個點標(biāo)記或正方形標(biāo)記的一個頂點的觀察方程。事實上，多點標(biāo)記或多正方形標(biāo)記在多個圖像上被觀察到，所以得到多個表達(dá)式(20)、(21)、(22)和(23)。相應(yīng)地，照相攝像機(jī)的位置和方位、沒有被限制在平面上的點標(biāo)記的位置、沒有被限制在平面上的正方形標(biāo)記的位置和方位、被限制到平面上的點標(biāo)記的位置、被限制到平面上的正方形標(biāo)記的位置和方位和平面參數(shù)通過求解作為聯(lián)立方程的表達(dá)式(20)、(21)、(22)和(23)獲得，該聯(lián)立方程與關(guān)于照相攝像機(jī)的位置和方位、沒有被限制在平面上的點標(biāo)記的位置、沒有被限制在平面上的正方形標(biāo)記的位置和方位、被限制到平面上的點標(biāo)記的位置、被限制到平面上的正方形標(biāo)記的位置和方位和平面參數(shù)的近似值的校正值相關(guān)。圖9表示根據(jù)本實施例獲得點標(biāo)記的位置以及正方形標(biāo)記的位置和方位的過程的流程圖。現(xiàn)在，假定包含標(biāo)記的場景的拍攝和從拍攝的圖像中提取和識別標(biāo)記已經(jīng)完成。在步驟S100，設(shè)置關(guān)于載有每個圖像的照相攝像機(jī)的位置和方位、點標(biāo)記的位置、正方形標(biāo)記的位置和方位和平面參數(shù)的近似值。在接下來的步驟中，得到用于對步驟S100中設(shè)置的近似值進(jìn)行校正的校正值。在步驟S110，構(gòu)成用于同時獲取每個近似值的校正值的聯(lián)立方程，以便根據(jù)照相攝像機(jī)的位置和方位、點標(biāo)記的位置、正方形標(biāo)記的位置和方位和平面參數(shù)的近似值使投影誤差最小化。在步驟S120，從步驟S110中構(gòu)成的聯(lián)立方程中獲得每個近似值的校正值。在步驟S130，通過用在步驟S120中獲得的對應(yīng)的校正值校正每個近似值從而獲得新的近似值。在步驟S140，判斷照相攝像機(jī)的位置和方位、點標(biāo)記的位置、正方形標(biāo)記的位置和方位和平面參數(shù)是否被收斂為步驟S130中的最優(yōu)化值。如果是，處理結(jié)束。如果不是，處理返回步驟S110并且重復(fù)執(zhí)行S110至S140。下面對每個步驟進(jìn)行更詳細(xì)的說明。在步驟S100，輸入關(guān)于載有圖像的照相攝像機(jī)的位置和方位、點標(biāo)記的位置、正方形標(biāo)記的位置和方位和平面參數(shù)的近似值。這里，假定載有的圖像的數(shù)量為N，載有每個圖像的照相攝像機(jī)的位置為ti＝[tixtiytiz]t(i＝1到N)，其方位為ωi＝[ωixωiyωiz](i＝1到N)。對于需要獲得其位置的點標(biāo)記，假定沒有被限制到平面的點標(biāo)記的數(shù)量為Kp1，各個點標(biāo)記的位置為tpi＝[tpixtpiytpiz]t(i＝1到Kp1)，則tplpi＝[tplpixtplpiy]t(i＝1到Kp2)。對于需要獲得其位置和方位的正方形標(biāo)記，假定沒有被限制到平面的正方形標(biāo)記的數(shù)量為Ks1，被限制到平面的正方形標(biāo)記的數(shù)量為Ks2，各個正方形標(biāo)記的位置為tsi＝[tsixtsiytsiz]t(i＝1到Ks1)，則tplsi＝[tplsixtplsiy]t(i＝1到Ks2)，其方位為ωsi＝[ωsixωsiyωsiz](i＝1到Ks1)，θpli(i＝1到Ks2)。每個照相攝像機(jī)的位置和方位的近似值可以從6自由度位置和方位傳感器如佩帶在照相攝像機(jī)上的電磁傳感器的輸出值獲得，或者可以從參照坐標(biāo)系統(tǒng)中已知位置的點和圖像上的點的投影位置之間的對應(yīng)中獲得。在使用其位置在參照坐標(biāo)系統(tǒng)中為已知的點的情況下，已知位置的點和將獲得的位置為未知的標(biāo)記在場景中混合在一起。另外，每個照相攝像機(jī)的位置和方位的近似值可以根據(jù)下面將描述的標(biāo)記的位置和方位的近似值獲得。另外，每個照相攝像機(jī)的位置和方位的近似值可以通過機(jī)械的方式獲得，例如，使用運(yùn)動控制照相攝像機(jī)，或者使用預(yù)先校準(zhǔn)過位置和方位的照相攝像機(jī)完成拍攝從而使用校準(zhǔn)結(jié)果。每個標(biāo)記的位置和方位的近似值可以是使用測量帶、尺或量角器，或者使用測量儀器手工測量出的粗略值，或者可以是使用一次根據(jù)本實施例的方式或類似方法估計出來的值。每個被限制到平面的標(biāo)記的位置和方位的近似值可以是平面坐標(biāo)系統(tǒng)中的標(biāo)記的位置和方位的值。如果在同個平面上的標(biāo)記都是點標(biāo)記，則平面參數(shù)的近似值可以通過從每個標(biāo)記的位置的近似值中獲得回歸平面而獲得。另一方面，如果在同個平面上的標(biāo)記包括正方形標(biāo)記，平面參數(shù)的近似值可以通過假定每個正方形標(biāo)記為平面從每個正方形標(biāo)記中獲得。另外，用戶可以直接指定平面參數(shù)而不用從每個標(biāo)記的位置和方位的近似值中獲得平面參數(shù)。接下來，在步驟S110，構(gòu)成表達(dá)式(20)、(21)、(22)和(23)的觀察方程，所述觀察方程的數(shù)量對應(yīng)于在圖像上觀察到的標(biāo)記的數(shù)量。表達(dá)式(20)、(21)、(22)和(23)是關(guān)于一個照相攝像機(jī)的位置和方位的校正值、一個點標(biāo)記的位置的校正值或者一個正方形標(biāo)記的位置和方位的校正值和一個平面參數(shù)的校正值的觀察方程。這里，如表達(dá)式(24)所示，構(gòu)成了關(guān)于N個照相攝像機(jī)的位置和方位、沒有被限制到平面的Kp1點標(biāo)記的位置、被限制到平面的Kp2點標(biāo)記的位置、沒有被限制到平面的Ks1正方形標(biāo)記的位置、被限制到平面的Ks2正方形標(biāo)記的位置和P平面參數(shù)的觀察方程。在這種情況下，未知的校正值的數(shù)量為(6×N+3×Kp1+2×Kp2+6×Ks1+3×Ks2+3×P)。F0+Σi=1N(∂F∂tixΔtix+∂F∂tiyΔtiy+∂F∂tizΔtiz+∂F∂ωixΔωix+∂F∂ωiyΔωiy+∂F∂ωizΔωiz)]]>+Σi=1Kp1(∂F∂tpixΔtpix+∂F∂tpiyΔtpiy+∂F∂tpizΔtpiz)]]>+Σi=1Ks1(∂F∂tsixΔtsix+∂F∂tsiyΔtsiy+∂F∂tsizΔtsiz+∂F∂ωsixΔωsix+∂F∂ωsiyΔωsiy+∂F∂ωsizΔωsiz)]]>+Σi=1Kp2(∂F∂tpixplΔtpixpl+∂F∂tpiyplΔtpiypl)]]>+Σi=1Ks2(∂F∂tsixplΔtsixpl+∂F∂tsiyplΔtsiypl+∂F∂θplΔθpl)]]>+Σi=1P(∂F∂rΔr+∂F∂θΔθ+∂F∂φΔφ)=0]]>G0+Σi=1N(∂G∂tixΔtix+∂G∂tiyΔtiy+∂G∂tizΔtiz+∂G∂ωixΔωix+∂G∂ωiyΔωiy+∂G∂ωizΔωiz)]]>+Σi=1Kpl(∂G∂tpixΔtpix+∂G∂tpiyΔtpiy+∂G∂tpizΔtpiz)]]>+Σi=1Ks1(∂G∂tsixΔtsix+∂G∂tsiyΔtsiy+∂G∂tsizΔtsiz+∂G∂ωsixΔωsix+∂G∂ωsiyΔωsiy+∂G∂ωsizΔωsiz)]]>+Σi=1Kp2(∂G∂tpixplΔtpixpl+∂G∂tpiyplΔtpiypl)]]>+Σi=1ks2(∂G∂tsixplΔtsixpl+∂G∂tsiyplΔtsiypl+∂G∂θplΔθpl)]]>+Σi=1P(∂G∂rΔr+∂G∂θΔθ+∂G∂φΔφ)=0...(24)]]>如果假定從圖像i(i＝1到N)中檢測的點標(biāo)記的數(shù)量為dpi，正方形標(biāo)記的數(shù)量為dsi，則從N個圖像中檢測出的點標(biāo)記的數(shù)量Dp和從N個圖像中檢測出的正方形標(biāo)記的數(shù)量Ds的如表達(dá)式(25)所示。Dp=Σi=1Ndpi]]>Ds=Σi=1Ndsi...(25)]]>如果從N個圖像中檢測的點標(biāo)記的數(shù)量為Dp并且從N個圖像中檢測出的正方形標(biāo)記的數(shù)量為Ds，則構(gòu)成(Dp+4×Ds)套即2×(Dp+4×Ds)個觀察方程。如果通過將表達(dá)式的左側(cè)的常數(shù)項F0和G0變換到右側(cè)，則以矩陣形式書寫的聯(lián)合方程如表達(dá)式(26)所示。J·Δ＝E...(26)J稱為“雅可比矩陣”，其中列有F和G的關(guān)于照相攝像機(jī)位置和方位、點標(biāo)記的位置、正方形標(biāo)記的位置和方位以及平面參數(shù)的偏微分系數(shù)。雅可比矩陣J的行的數(shù)量為觀察方程的數(shù)量，即2×(Dp+4×Ds)，其列的數(shù)量為未知數(shù)的數(shù)量，即(6×N+3×Kp1+2×Kp2+6×Ks1+3×Ks2+3×P)。Δ表示校正向量。校正向量的大小為未知數(shù)的數(shù)量，即(6×N+3×Kp1+2×Kp2+6×Ks1+3×Ks2+3×P)。E表示誤差向量，具有表示投影位置的計算位置的近似值與觀察位置之間的差的-F0和-G0。E的大小為觀察方程的數(shù)量，即2×(Dp+4×Ds)。需要注意的是，參照坐標(biāo)系統(tǒng)的原點、刻度和方位可以通過在參照坐標(biāo)系統(tǒng)中同時拍攝位置已知的點標(biāo)記或者位置和方位已知的正方形標(biāo)記得以清楚的指定。在表達(dá)式(24)中，關(guān)于這些標(biāo)記的位置和方位的偏微分系數(shù)變?yōu)?。為了清楚的指定參照坐標(biāo)系統(tǒng)的原點、刻度和方位，在點標(biāo)記的情況下需要使用三個位置已知的點標(biāo)記，或者在正方形標(biāo)記的情況下需要使用一個位置和方位已知的正方形標(biāo)記。接下來，在步驟S120，關(guān)于照相攝像機(jī)的位置和方位、點標(biāo)記的位置、正方形標(biāo)記的位置和方位和平面參數(shù)的近似值的校正值通過使用表達(dá)式(26)獲得。如果雅可比矩陣J為正方形矩陣，則校正值向量Δ通過用矩陣J的逆矩陣乘以表達(dá)式(26)的兩端獲得。如果矩陣J不為正方形矩陣，則校正值向量J用最小均方的方法獲得，如表達(dá)式(27)所示。Δ＝(Jt·J)-1Jt·E...(27)接下來說明關(guān)于獲得雅可比矩陣J的每個因數(shù)的方法。首先，定義F＝[FG]t。從表達(dá)式(7)和(8)，F(xiàn)和G可以寫成如表達(dá)式(28)中所示，所以F和G為xc、yc和zc的函數(shù)。F=-fxczc-uox]]>G=-fyczc-uoy...(28)]]>雅可比矩陣JFxc的因數(shù)具有根據(jù)F和G的xc、yc和zc的偏微分系數(shù)，如表達(dá)式(29)所示。JFxc=∂F∂xc∂F∂yc∂F∂zc∂G∂xc∂G∂yc∂G∂zc-fzc0fxczc20-fzcfyczc2...(29)]]>這里，如果xc、yc和zc為變量S1，S2到Sm的函數(shù)，那么F和G也是變量S1，S2到Sm的函數(shù)。每個因數(shù)具有根據(jù)F和G的S1，S2到Sm的偏微分系數(shù)的雅可比矩陣JFs可以進(jìn)行分解，如表達(dá)式(30)所示。JFs=∂F∂s1∂F∂s2...∂F∂sm∂G∂s1∂G∂s2...∂G∂sm]]>=JFxc·Jxcs=∂F∂xc∂F∂yc∂F∂zc∂G∂xc∂G∂yc∂G∂zc∂xc∂s1∂xc∂s2...∂xc∂sm∂yc∂s1∂yc∂s2...∂yc∂sm∂zc∂s1∂zc∂s2...∂zc∂sm...(30)]]>通過用照相攝像機(jī)位置、照相攝像機(jī)方位、標(biāo)記位置、標(biāo)記方位和平面參數(shù)取代s，可以獲得根據(jù)F和G的有關(guān)照相攝像機(jī)位置、照相攝像機(jī)方位、標(biāo)記位置、標(biāo)記方位和平面參數(shù)的偏微分系數(shù)。每個因數(shù)具有根據(jù)F和G的tx、ty和tz的偏微分系數(shù)的雅可比矩陣JFt可以寫為如表達(dá)式(31)所示。JFt=JFxc·Jxct=JFxc·∂xc∂tx∂xc∂ty∂xc∂tz∂yc∂tx∂yc∂ty∂yc∂tz∂zc∂tx∂zc∂ty∂zc∂tz]]>=JFxc·-R11-R12-R13-R21-R22-R23-R31-R32-R33...(31)]]>需要注意的是，方位ω和3×3旋轉(zhuǎn)變換矩陣R之間的關(guān)系如表達(dá)式(5)所示。每個因數(shù)具有根據(jù)F和G的根據(jù)照相攝像機(jī)方位ωx、ωy和ωz的偏微分系數(shù)的雅可比矩陣JFω可以以一種分解的方式表示，如表達(dá)式(32)中所示。這里，JXcR為雅可比矩陣，如表達(dá)式(33)中所示。JxcR=∂xc∂R11∂xc∂R21∂xc∂R31∂xc∂R12∂xc∂R22∂xc∂R32∂xc∂R13∂xc∂R23∂xc∂R33∂yc∂R11∂yc∂R21∂yc∂R31∂yc∂R12∂yc∂R22∂yc∂R32∂yc∂R13∂yc∂R23∂yc∂R33∂zc∂R11∂zc∂R21∂zc∂R31∂zc∂R12∂zc∂R22∂zc∂R32∂zc∂R13∂zc∂R23∂zc∂R33]]>=xw-tx00yw-ty00zw-tz000xw-tx00yw-ty00zw-tz000xw-tx00yw-ty00zw-tz...(33)]]>JRraxis也是雅可比矩陣，如表達(dá)式(34)所示。JRraxis=∂R11∂rx∂R11∂ry∂R11∂rz∂R11∂ra∂R21∂rx∂R21∂ry∂R21∂rz∂R21∂ra∂R31∂rx∂R31∂ry∂R31∂rz∂R31∂ra∂R12∂rx∂R12∂ry∂R12∂rz∂R12∂ra∂R22∂rx∂R22∂ry∂R22∂rz∂R22∂ra∂R32∂rx∂R32∂ry∂R32∂rz∂R32∂ra∂R13∂rx∂R13∂ry∂R13∂rz∂R13∂ra∂R23∂rx∂R23∂ry∂R23∂rz∂R23∂ra∂R33∂rx∂R33∂ry∂R33∂rz∂R33∂ra]]>=2rx(1-cosra)00(rx2-1)sinrary(1-cosra)rx(1-cosra)sinrarxrysinra+rzcosrarz(1-cosra)-sinrarx(1-cosra)rzrxsinra-rycosrary(1-cosra)rx(1-cosra)-sinrarxrysinra-rzcosr02ry(1-cosra)0(ry2-1)sinrasinrarz(1-cosra)ry(1-cosra)ryrzsinra+rxcosrarz(1-cosra)sinrarx(1-cosra)rzrxsinra+rycosra-sinrarz(1-cosra)ry(1-cosra)ryrzsinra-rxcosra002rz(1-cosra)(rz2-1)sinra...(34)]]>如果定義則為如表達(dá)式(35)所示的雅可比矩陣。更進(jìn)一步的，為如表達(dá)式(36)所示的雅可比矩陣。每個因數(shù)具有根據(jù)沒有被限制到F和G平面上的點標(biāo)記的位置tpx、tpy和tpz的偏微分系數(shù)的雅可比矩陣JFtP可以表示為如表達(dá)式(37)所示。JFtp=JFxc·Jxctp=JFxc·∂xc∂tpx∂xc∂tpy∂xc∂tpz∂yc∂tpx∂yc∂tpy∂yc∂tpz∂zc∂tpx∂zc∂tpy∂zc∂tpz=JFxc·R11R12R13R21R22R23R31R32R33...(37)]]>每個因數(shù)具有根據(jù)沒有被限制到F和G平面上的正方形標(biāo)記的位置tsx、tsy和tsz的偏微分系數(shù)的雅可比矩陣JFtS可以表示為如表達(dá)式(38)所示。JFts=JFxc·Jxcxw·Jxwts=JFxc·∂xc∂xw∂xc∂yw∂xc∂zw∂yc∂xw∂yc∂yw∂yc∂zw∂zc∂xw∂zc∂yw∂zc∂zw.∂xw∂tsx∂xw∂tsy∂xw∂tsz∂yw∂tsx∂yw∂tsy∂yw∂tsz∂zw∂tsx∂zw∂tsy∂zw∂tsz]]>=JFxc·R11R12R13R21R22R23R31R32R33.100010001...(38)]]>每個因數(shù)具有根據(jù)沒有被限制到F和G平面上的正方形標(biāo)記的方位ωs的偏微分系數(shù)的雅可比矩陣JFωS可以分解為如表達(dá)式(39)所示。JFωs=JFxc·Jxcxw·Jxwωs=JFxc·Jxcxw·JxwRs·JRsωs]]>=JFxc·Jxcxw·xs00ys000000xs00ys000000xs00ys000·JRsωs...(39)]]>JRSωS可以以與表達(dá)式(34)至(36)同樣的方式得到。接下來，每個因數(shù)具有根據(jù)被限制到F和G平面上的點標(biāo)記的位置tplpx和tplpy的偏微分系數(shù)的雅可比矩陣可以表示為如表達(dá)式(40)所示。JxCxW可以以與表達(dá)式(38)同樣的方式獲得。JFtppl=JFxc·Jxcxw·Jxwtppl=JFxc·Jxcxw·∂xw∂tpxpl∂xw∂tpypl∂yw∂tpxpl∂yw∂tpypl∂zw∂tpxpl∂zw∂tpypl]]>=JFxc·Jxcxw·cosθ0sinθsinφcosφ-sinθcosφsinφ...(40)]]>每個因數(shù)具有根據(jù)被限制到F和G平面上的正方形標(biāo)記的位置tplsx和tplsy的偏微分系數(shù)的雅可比矩陣可以表示為如表達(dá)式(41)所示。JFtspl=JFxc·Jxcxw·Jxwxp·Jxptspl=JFxc·Jxcxw·∂xw∂xp∂xw∂yp∂yw∂xp∂yw∂yp∂zw∂xp∂xw∂zp.∂xp∂tsxpl∂xp∂tsypl∂yp∂tsxpl∂yp∂tsypl]]>=JFxc·Jxcxw·cosθ0sinθsinφcosφ-sinθcosφsinφ·1001...(41)]]>每個因數(shù)具有根據(jù)被限制到F和G平面上的正方形標(biāo)記的方位θpl的偏微分系數(shù)的雅可比矩陣可以表示為如表達(dá)式(42)所示。JEθpl=JFxc·Jxcxw·Jxwxp·Jxpθpl=JFxc·Jxcxw·∂xw∂xp∂xw∂yp∂yw∂xp∂yw∂yp∂zw∂xp∂xw∂zp·∂xp∂θpl∂yp∂θpl]]>=JFxc·Jxcxw·cosθ0sinθsinφcosφ-sinθcosφsinφ.-xssinθpl-yscosθplxscosθpl-yssinθpl...(42)]]>每個因數(shù)具有根據(jù)F和G的平面參數(shù)r、θ和的偏微分系數(shù)的雅可比矩陣JPr可以表示為如表達(dá)式(43)所示。JFr=JFxc·Jxcxw·Jxwr=JFxc·Jxcxw·∂xw∂r∂xw∂θ∂xw∂φ∂yw∂r∂yw∂θ∂yw∂φ∂zw∂r∂zw∂θ∂zw∂φ]]>=JFxc·Jxcxw·sinθ-xpsinθ+rcosθ0-cosθsinφxpcosθsinφ+rsinθsinφxpsinθcosφ-ypsinφ-rcosθcosφcosθcosφ-xpcosθcosφ-rsinθcosφxpsinθsinφ+ypcosφ-rcosθsinφ...(43)]]>接下來，在步驟S140，判斷收斂。收斂的判斷通過判斷一個條件完成，例如，校正值的絕對值是否小于特定的閥值，投影位置的計算位置和觀察位置之間的差是否小于特定的閥值，投影位置的計算位置和觀察位置是否變?yōu)樽钚≈担蝾愃茥l件。如果判斷結(jié)果是滿足收斂，則完成標(biāo)記的位置和方位的估計，否則，流程返回步驟S110，根據(jù)關(guān)于照相攝像機(jī)的位置和方位、點標(biāo)記的位置、正方形標(biāo)記的位置和方位和平面參數(shù)的校正后的近似值再次構(gòu)成聯(lián)立方程。如前所述，在本實施例中，大量的布置有標(biāo)記的場景的圖像被拍攝，從拍攝的圖像中檢測和識別標(biāo)記，指定同個平面上的多個標(biāo)記，根據(jù)平面上的標(biāo)記觀察位置和標(biāo)記位于同個平面的限制條件獲得關(guān)于載有圖像的照相攝像機(jī)的位置和方位、沒有被限制在平面上的標(biāo)記的位置和方位、被限制在平面上的標(biāo)記的位置和方位和平面參數(shù)的對應(yīng)于近似值的校正值，然后，用獲得的校正值對近似值進(jìn)行校正。重復(fù)用于獲得對應(yīng)于近似值的校正值并用所獲得的校正值對近似值進(jìn)行校正的操作循環(huán)，這樣就得到了標(biāo)記的位置和方位以便滿足所述限制條件。需要注意的是，在本實施例中，平面參數(shù)都是未知的，但是本發(fā)明并不僅限于此，即平面參數(shù)可以是可知的。例如，如果平面參數(shù)可以容易地獲得，例如在參照坐標(biāo)系統(tǒng)中x-y平面的情況，平面參數(shù)可以是已知的。如果平面參數(shù)是已知的，表達(dá)式(22)中被限制在平面上的點標(biāo)記的觀察方程如表達(dá)式(44)所示。F0+∂F∂txΔtx+∂F∂tyΔty+∂F∂tzΔtz+∂F∂ωxΔωx+∂F∂ωyΔωy+∂F∂ωzΔωz+∂F∂tpxplΔtpxpl+∂F∂tpyplΔtpypl=0]]>G0+∂G∂txΔtx+∂G∂tyΔty+∂G∂tzΔtz+∂G∂ωxΔωx+∂G∂ωyΔωy+∂G∂ωzΔωz+∂G∂tpxplΔtpxpl+∂G∂tpyplΔtpypl=0]]>...(44)]]>同樣，在表達(dá)式(23)中被限制在平面上的正方形標(biāo)記的觀察方程如表達(dá)式(45)所示。G0+∂G∂txΔtx+∂G∂tyΔty+∂G∂tzΔtz+∂G∂ωxΔωx+∂G∂ωyΔωy+∂G∂ωzΔωz]]>如上所述，根據(jù)本實施例，如果存在關(guān)于標(biāo)記位置的限制條件，可以通過獲得標(biāo)記的位置和方位準(zhǔn)確地獲得標(biāo)記的位置和方位，從而滿足該限制條件。第二實施例對于第一實施例，如果多個標(biāo)記位于同個平面上這一限制條件被作為關(guān)于標(biāo)記位置的限制條件給出，一種用于估計標(biāo)記的位置和方位從而滿足該限制條件的方法已經(jīng)被描述。對于第二實施例，將描述關(guān)于多個標(biāo)記位于多個平面并且平面之間的角度為已知的情況。需要注意的是，這里將要描述的是關(guān)于存在兩個平面并且該兩個平面之間的角度為已知的情況，但是平面的數(shù)量并不限于兩個。圖10表示存在兩個限制標(biāo)記的平面的情況。正如在第一實施例中所描述的，在參照坐標(biāo)系統(tǒng)中平面1用極性坐標(biāo)表達(dá)式r1＝[r1θ1φ1]表示。另一方面，平面2也用一個極性坐標(biāo)表達(dá)式r2＝[r2θ2φ2]表示，假定θ2和φ2表示與平面1相關(guān)的方位。更具體的，假定當(dāng)平面1繞著yp1軸旋轉(zhuǎn)θ2然后繞著xp1軸旋轉(zhuǎn)φ2時獲得的方位是平面2的方位。r2是參照坐標(biāo)系統(tǒng)中的原點和平面2之間帶正負(fù)號的距離。這時，表示平面1和平面2的方位的旋轉(zhuǎn)矩陣Rp1和Rp2可以分別表示為如表達(dá)式(47)和(48)所示。Rp1=R11p1R12p1R13p1R21p1R22p1R23p1R31p1R32p1R33p1=1000cosφ1-sinφ10sinθ1cosφ1cosθ10sinθ1010-sinθ10cosθ1]]>=cosθ10sinθ1sinθ1sinφ1cosφ1-cosθ1sinφ1-sinθ1cosφ1sinφ1cosθ1cosφ1...(47)]]>Rp2=R11p2R12p2R13p2R21p2R22p2R23p2R31p2R32p2R33p21000cosφ2-sinφ20sinφ2cosφ2cosθ20sinθ2010-sinθ20cosθ2·Rp1]]>=cosθ20sinθ2sinθ2sinφ2cosφ2-cosθ2sinφ2-sinθ2cosφ2sinφ2cosθ2cosφ2cosθ10sinθ1sinθ1sinφ1cosφ1-cosθ1sinφ1-sinθ1cosφ1sinφ1cosθ1cosφ1...(48)]]>這里，平面1的法線向量和平面2的法線向量之間的角度為α，所以得出表達(dá)式(49)。cosα=n→1·n→2|n→1|·|n→2|=cosθ2cosφ2=contant...(49)]]>這里，φ2可以用θ2和α從表達(dá)式(49)中得出。根據(jù)第一實施例，被限制到平面1的點標(biāo)記和正方形標(biāo)記的觀察方程和表達(dá)式(22)及(23)是一樣的。另一方面，平面2為r2和θ2的函數(shù)，所以被限制到平面2的點標(biāo)記和正方形標(biāo)記的觀察方程分別表示為如表達(dá)式(50)和(51)所示。+∂G∂tpxplΔtpxpl+∂G∂tpyplΔtpypl+∂G∂r2Δr2+∂G∂θ2Δθ2=0...(50)]]>F0+∂F∂txΔtx+∂F∂tyΔty+∂F∂tzΔtz+∂F∂ωxΔωx+∂F∂ωyΔωy+∂F∂ωzΔωz]]>+∂F∂tsxplΔtxpl+∂F∂tsyplΔtypl+∂F∂θplΔθpl+∂F∂r2Δr2+∂F∂θ2Δθ2=0]]>G0+∂G∂txΔtx+∂G∂tyΔty+∂G∂tzΔtz+∂G∂ωxΔωx+∂G∂ωyΔωy+∂G∂ωzΔωz]]>+∂G∂tsxplΔtsxpl+∂G∂tsyplΔtsypl+∂G∂θplΔθpl+∂G∂r2Δr2+∂G∂θ2Δθ2=0...(51)]]>對于本實施例，如果獲得標(biāo)記的位置和方位，則根據(jù)觀察方程(22)、(23)、(50)和(51)構(gòu)成聯(lián)立方程，獲得關(guān)于照相攝像機(jī)位置和方位、標(biāo)記的位置和方位、平面1的三個參數(shù)以及平面2的兩個參數(shù)的關(guān)于近似值的校正值，并且使用重復(fù)的計算對近似值進(jìn)行優(yōu)化。要注意的是，如果從表達(dá)式(49)獲得φ2，則得到具有不同符號的兩個解，但是在φ2的這兩個解中，每次重復(fù)計算得到的關(guān)于θ2的投影誤差減少得較多的一個解作為解。如前所述，對于本實施例，如果多個標(biāo)記位于多個平面作為關(guān)于標(biāo)記位置的限制條件并且這些平面之間的角度為已知，則可以獲得標(biāo)記的位置和方位以便滿足該限制條件。第三實施例對于第三實施例，下面將描述，在將例如多個平面標(biāo)記的標(biāo)記的法向向量方向相同作為與標(biāo)記的位置相關(guān)的限制條件的情況下，標(biāo)記的位置和方位的估計方法。圖11為表示可以應(yīng)用第三實施例的標(biāo)記的放置的示意圖。在該附圖中，假定布置有四個正方形標(biāo)記，該四個正方形標(biāo)記的法向向量即每個正方形標(biāo)記的zs軸的方向相同。正方形標(biāo)記的法向向量方向?qū)⒂忙群挺毡硎?。法向向量通過在參照坐標(biāo)系統(tǒng)中的z軸的單位向量繞x軸旋轉(zhuǎn)θ然后繞y軸旋轉(zhuǎn)φ獲得。對于具有相同法向向量方向的多個正方形標(biāo)記，θ和φ具有共同的值。如果每個正方形標(biāo)記繞z軸旋轉(zhuǎn)角度為ψ，關(guān)于參照系統(tǒng)的正方形標(biāo)記的方位Rs用表達(dá)式(52)表示。Rs=Rs11Rs12Rs13Rs21Rs22Rs23Rs31Rs32Rs33=cosφ0sinφ010-sinφ0cosφ1000cosθ-sinθ0sinθcosθcosψ-sinψ0sinψcosψ0001...(52)]]>如果假定在參照坐標(biāo)系統(tǒng)中每個正方形標(biāo)記的位置為ts＝[tsxtsytsz]t，則在正方形標(biāo)記上的點xs＝[xsys]t在參照坐標(biāo)系統(tǒng)中的位置xw用表達(dá)式(53)表示。xwywzw=Rs11Rs12tsxRs21Rs22tsyRs31Rs32tszxsys1...(53)]]>對于本實施例，在每個正方形標(biāo)記的每個頂點的參照坐標(biāo)系統(tǒng)中的位置構(gòu)成法向向量方向θ和φ、正方形標(biāo)記ψ的z軸方向和每個正方形標(biāo)記的參照坐標(biāo)系統(tǒng)的位置ts的函數(shù)。相應(yīng)地，法向向量被限制的正方形標(biāo)記的每個頂點的觀察方程用表達(dá)式(54)表示。+∂F∂tsxΔtsx+∂F∂tsyΔtsy+∂F∂tszΔtsz+∂F∂θΔθ+∂F∂φΔφ+∂F∂ψΔψ=0]]>G0+∂G∂txΔtx+∂G∂tyΔty+∂G∂tzΔtz+∂G∂ωxΔωx+∂G∂ωyΔωy+∂G∂ωzΔωz]]>+∂G∂tsxΔtsx+∂G∂tsyΔtsy+∂G∂tszΔtsz+∂G∂θΔθ+∂G∂φΔφ+∂G∂ψΔψ=0...(54)]]>對于本實施例，如果獲得標(biāo)記的位置和方位，根據(jù)多個觀察方程(54)構(gòu)成聯(lián)立方程，獲得關(guān)于照相攝像機(jī)的位置和方位、標(biāo)記的位置和方位和法向向量方向θ和φ的與近似值相關(guān)的校正值，然后使用重復(fù)的計算對近似值進(jìn)行優(yōu)化。如上所述，對于本實施例，如果具有共同法向向量方向的多個標(biāo)記作為關(guān)于標(biāo)記放置的限制條件，則可以獲得標(biāo)記的位置和方位以便滿足該限制條件。第四實施例對于第一個、第二個和第三實施例，在一個關(guān)于標(biāo)記的放置的限制條件下獲得標(biāo)記的位置和方位。對于第四實施例，將說明在多個限制條件下獲得標(biāo)記的位置和方位的方法。圖12為表示可以使用本實施例的標(biāo)記的放置的示意圖。該以下情況，即點標(biāo)記1和正方形標(biāo)記1位于同一個平面上(平面1)，正方形標(biāo)記2和正方形標(biāo)記3具有共同的法向向量方向，并且點標(biāo)記2和正方形標(biāo)記4沒有關(guān)于放置的限制條件。對于用攝像裝置拍攝的如圖12所示的場景，觀察方程(22)適用于點標(biāo)記1，觀察方程(23)適用于正方形標(biāo)記1，觀察方程(54)適用于正方形標(biāo)記2和3，觀察方程(20)適用于點標(biāo)記2，觀察方程(21)適用于正方形標(biāo)記4。表達(dá)式(20)到(23)和表達(dá)式(54)為關(guān)于一個照相攝像機(jī)的位置和方位的校正值、一個標(biāo)記的位置和方位的校正值、一個平面參數(shù)的校正值和一個法向向量方向的校正值的觀察方程。對于本實施例，如表達(dá)式(55)中所示，所列出的觀察方程與N個照相攝像機(jī)的位置和方位的校正值、沒有被限制到平面的點標(biāo)記Kp1的位置的校正值、被限制到平面的點標(biāo)記Kp2的位置的校正值、沒有被限制到平面的正方形標(biāo)記Ks1的位置和方位的校正值、被限制到平面的正方形標(biāo)記Ks2的位置和方位的校正值、限制法向向量的正方形標(biāo)記Ks3的位置和方位的校正值和V法向向量方向的校正值相關(guān)。F0+Σi=1N(∂F∂tixΔtix+∂F∂tiyΔtiy+∂F∂tizΔtiz+∂F∂ωixΔωix+∂F∂ωiyΔωiy+∂F∂ωizΔωiz)]]>+Σi=1Kpl(∂F∂tpixΔtpix+∂F∂tpiyΔtpiy+∂F∂tpizΔtpiz)]]>+Σi=1Ks1(∂F∂tsixΔtsix+∂F∂tsiyΔtsiy+∂F∂tsizΔtsiz+∂F∂ωsixΔωsix+∂F∂ωsiyΔωsiy+∂F∂ωsizΔωsiz)]]>+Σi=1Kp2(∂F∂tpixplΔtpixpl+∂F∂tpiyplΔtpiypl)]]>+Σi=1Ks2(∂F∂tsixplΔtsixpl+∂F∂tsiyplΔtsiypl+∂F∂θplΔθpl)]]>+Σi=1Ks3(∂F∂tsixvΔtsixv+∂F∂tsiyvΔtsiyv+∂F∂tsiyvΔtsiyv+∂F∂ΨΔΨ)]]>+Σi=1P(∂F∂rΔr+∂F∂θΔθ+∂F∂φΔφ)]]>+Σi=1V(∂F∂θvΔθv+∂F∂φvΔφv)=0]]>G0+Σi=1N(∂G∂tixΔtix+∂G∂tiyΔtiy+∂G∂tizΔtiz+∂G∂ωixΔωix+∂G∂ωiyΔωiy+∂G∂ωizΔωiz)]]>+Σi=1Kpl(∂G∂tpixΔtpix+∂G∂tpiyΔtpiy+∂G∂tpizΔtpiz)]]>+Σi=1Ks1(∂G∂tsixΔtsix+∂G∂tsiyΔtsiy+∂G∂tsizΔtsiz+∂G∂ωsixΔωsix+∂G∂ωsiyΔωsiy+∂G∂ωsizΔωsiz)]]>+Σi=1Kp2(∂G∂tpixplΔtpixpl+∂G∂tpiyplΔtpiypl)]]>+Σi=1Ks2(∂G∂tsixplΔtsixpl+∂G∂tsiyplΔtsiypl+∂G∂θplΔθpl)]]>+Σi=1Ks3(∂G∂tsixvΔtsixv+∂G∂tsiyvΔtsiyv+∂G∂tsiyvΔtsiyv+∂G∂ΨΔΨ)]]>+Σi=1P(∂G∂rΔr+∂G∂θΔθ+∂G∂φΔφ)]]>+Σi=1V(∂G∂θvΔθv+∂G∂φvΔφv)=0...(55)]]>作為觀察方程的表達(dá)式(55)為每個點標(biāo)記和在拍攝的圖像上檢測到的每個正方形標(biāo)記的每個頂點構(gòu)成，并作為聯(lián)立方程求解，這樣獲得對應(yīng)于關(guān)于照相攝像機(jī)的位置ti、照相攝像機(jī)的方位ωi、放置未被限制的點標(biāo)記的位置tpi、放置未被限制的正方形標(biāo)記的位置tsi、方位ωsi、被限制到平面的點標(biāo)記的位置tplpi、被限制到平面的正方形標(biāo)記的位置tplsi、方位θpli、限制法向向量的正方形標(biāo)記的位置tvsi、方位ψi、平面參數(shù)ri、法向向量方向θvi和φvi的近似值的校正值，并同時通過使用重復(fù)計算重復(fù)近似值的校正從而對近似值進(jìn)行優(yōu)化。根據(jù)本實施例用于設(shè)置標(biāo)記放置條件的GUI(圖形用戶接口)如圖15A到15C所示。對于圖15A到15C中的GUI，可以設(shè)置標(biāo)記的編組和每個組的限制條件類型。圖15A到15C中的GUI在圖5中的GUI以外還包括用于設(shè)置限制條件的功能。當(dāng)用戶用鼠標(biāo)右鍵點擊選擇的標(biāo)記(在圖15A中)時，顯示一個用于選擇限制條件的對話框(圖15B)。然后，用戶使用這個對話框設(shè)定一個關(guān)于選擇的標(biāo)記組的限制條件(例如平面限制、法向向量限制、直線限制)。要注意的是，用戶接口的其它格式也可以使用，例如，可以用圖15C中所示的菜單代替圖15B中所示的對話框。如上所述，對于本實施例，在存在多個關(guān)于標(biāo)記的放置的限制條件的情況下，可以獲得標(biāo)記的位置和方位以便滿足所有的限制條件。這樣，可以精確地獲得標(biāo)志的位置和方位。第一個修改如圖13所示，一個標(biāo)記可以被限制在一個圓柱體的側(cè)面。對于該圓柱體，原點位于圓柱體坐標(biāo)系統(tǒng)的中心，圓柱體坐標(biāo)系統(tǒng)如附圖中所示。圓柱體的方位用繞x軸的θ和繞y軸的φ表示。表示圓柱體的方位的旋轉(zhuǎn)矩陣Rcyl如表達(dá)式(56)所示。Rcyl=Rcyl11Rcyl12Rcyl13Rcyl21Rcyl22Rcyl23Rcyl31Rcyl32Rcyl33=cosφ0sinφ010-sinφ0cosφ1000cosθ-sinθ0sinθcosθ...(56)]]>如果在參照坐標(biāo)系統(tǒng)中圓柱體的原點的位置為tcyl＝[tcylxtcylytcylz]t，則在參照坐標(biāo)系統(tǒng)中圓柱體坐標(biāo)系統(tǒng)上的點xcyl＝[xcylycylzcyl]t的位置xw如表達(dá)式(57)所示。xwywzw1=Rcyl11Rcyl12Rcyl13txcylRcyl21Rcyl22Rcyl23tycylRcyl31Rcyl32Rcyl33tzcyl0001xcylycylzcyl1..(57)]]>在圓柱體坐標(biāo)系統(tǒng)中，表達(dá)式(58)用繞zcyl軸的旋轉(zhuǎn)角度β、坐標(biāo)d和已知的圓柱體的半徑rcyl表示圓柱體側(cè)面上的點。xcylycylzcyl=rcylcosβrcylsinβd...(58)]]>被限制在圓柱體的側(cè)面上的標(biāo)記的投影位置構(gòu)成關(guān)于照相攝像機(jī)的位置和方位、圓柱體的位置和方位和圓柱體上的標(biāo)記的位置β和d的函數(shù)，所以被限制在圓柱體的側(cè)面上的標(biāo)記的位置可以通過求解用于獲得這些校正值的觀察方程而得到。第二次修改如圖14所示，標(biāo)記可以被限制到球體的表面。球體坐標(biāo)系統(tǒng)位于球體的中心。球體沒有方向性并相應(yīng)地僅用關(guān)于參照坐標(biāo)系統(tǒng)的位置表示。如果在參照坐標(biāo)系統(tǒng)中球體坐標(biāo)系統(tǒng)的原點的位置為tsph＝[tsphxtsphytsphz]t，則在參照坐標(biāo)系統(tǒng)中球體坐標(biāo)系統(tǒng)上的點xsph＝[xsphysphzsph]t的位置xw如表達(dá)式(59)所示。xwywzw=xsph+txsphysph+tysphzsph+tzsph...(59)]]>具有已知半徑rsph以及角度θ和φ的球體表面上的點在球體坐標(biāo)系統(tǒng)中用表達(dá)式(60)表示。xcylycylzcyl=rsphcosθcosφrsphsinθcosφrsphsinφ...(60)]]>被限制到球體表面上的標(biāo)記的投影位置構(gòu)成一個關(guān)于照相攝像機(jī)的位置和方位、球體的位置和球體表面上的標(biāo)記的位置θ和φ的函數(shù)，所以，被限制到球體表面上的標(biāo)記的位置可以通過求解用于獲得這些校正值的觀察方程而得到。第三個修改標(biāo)記可以被限制到直線上。如果假定直線通過的點為tl＝[tlxtlytlz]t，并且方向向量為d＝[dxdydz]t，則在參照坐標(biāo)系統(tǒng)中位于直線上的標(biāo)記的位置用表達(dá)式(61)表示。這里，s為在直線上表示標(biāo)記位置的變量。xwywzw=tlx+sdxtly+sdytlz+sdz...(61)]]>被限制到直線上的標(biāo)記的投影位置構(gòu)成一個關(guān)于照相攝像機(jī)的位置和方位、直線通過的點tl、直線的方向向量d和直線上標(biāo)記的位置s的函數(shù)，所以被限制到直線上的標(biāo)記的位置可以通過求解用于獲得這些校正值的觀察方程而得到。第四個修改對于上述的實施例，對將泰勒擴(kuò)展用于觀察方程并且重復(fù)進(jìn)行運(yùn)用主要項的校正的方法作為校正標(biāo)記放置信息的方法進(jìn)行描述。這是一種在假定觀察方程在一次處理循環(huán)中符合本地線性化的條件且其結(jié)果沒有誤差的情況下對未知參數(shù)的校正次數(shù)進(jìn)行估計的方法，是一種相當(dāng)于已知的通常稱為牛頓方法的方法。所述牛頓方法是一種使用數(shù)值計算求解非線性方程的典型方法，但是用于上述實施例的重復(fù)計算方法并不限于此。例如，校正的次數(shù)可以根據(jù)在一次處理中估計的未知參數(shù)的校正次數(shù)的不同而動態(tài)的改變，例如使用同樣是已知的Levenberg-Marquardt方法。另外，可以采用根據(jù)包括高階項的泰勒擴(kuò)展的結(jié)果完成重復(fù)的計算的方法。本發(fā)明的實質(zhì)是使用各種類型的標(biāo)記即使在混合了具有不同放置信息的多種類型的標(biāo)記的情況下仍然可以獲得最合適的解，相應(yīng)地，作為數(shù)值解的重復(fù)計算的特定方法也不會離開本發(fā)明的實質(zhì)。當(dāng)參照示意的實施例對本發(fā)明進(jìn)行說明時，應(yīng)該理解本發(fā)明并不限于披露的實施例。相反，本發(fā)明的意在覆蓋包括在所附權(quán)利要求的精神和范圍內(nèi)的各種修改和等同的方案。下面的權(quán)利要求的范圍應(yīng)當(dāng)給予最寬的解釋從而包括所有這樣的修改和等同的結(jié)構(gòu)和功能。權(quán)利要求1.一種標(biāo)記放置信息估計方法，用于估計位于幾何限制的空間內(nèi)的標(biāo)記的空間信息，所述方法包括標(biāo)記檢測步驟，從拍攝的包括標(biāo)記的圖像中檢測標(biāo)記；限制條件設(shè)置步驟，設(shè)置標(biāo)記的限制條件；標(biāo)記投影位置計算步驟，根據(jù)所述拍攝的圖像的攝像單元的位置和方位的近似值和標(biāo)記的放置信息的近似值，計算標(biāo)記被投影到圖像表面上的位置；校正值計算步驟，獲得用于校正標(biāo)記的放置信息的校正值，以便減少在所述標(biāo)記檢測步驟中檢測到的圖像表面上的標(biāo)記的位置和在所述標(biāo)記投影位置計算步驟中獲得的圖像表面上的標(biāo)記的投影位置之間的總誤差，并且滿足在所述限制條件設(shè)置步驟中設(shè)置的限制條件；放置信息校正步驟，根據(jù)在所述校正值計算步驟中獲得的校正值對標(biāo)記的放置信息進(jìn)行校正；重復(fù)計算步驟，使用在所述放置信息校正步驟中校正后的標(biāo)記的放置信息代替所述標(biāo)記投影位置計算步驟的近似值，通過重復(fù)執(zhí)行所述標(biāo)記投影位置計算步驟、所述校正值計算步驟和所述放置信息校正步驟對標(biāo)記的放置信息進(jìn)行計算。2.根據(jù)權(quán)利要求1的標(biāo)記放置信息估計方法，其中所述限制條件用相對于所述限制條件唯一的方程表示，并且滿足所述限制條件的放置信息用相對于所述限制條件唯一的放置信息參數(shù)表示。3.根據(jù)權(quán)利要求2的標(biāo)記放置信息估計方法，其中所述限制條件為標(biāo)記位于同一個未知平面上，相對于所述限制條件唯一的方程為平面方程，并且所述放置信息參數(shù)為平面上的標(biāo)記的位置和旋轉(zhuǎn)軸為平面的法向向量的旋轉(zhuǎn)角。4.根據(jù)權(quán)利要求1的標(biāo)記放置信息估計方法，其中所述標(biāo)記具有平面形狀。5.根據(jù)權(quán)利要求2的標(biāo)記放置信息估計方法，其中位于空間內(nèi)的所述標(biāo)記為放置信息可以定義為位置和方位的標(biāo)記，其中所述限制條件為多個標(biāo)記的法向向量的方向相同，相對于所述限制條件唯一的方程是法向向量方程，并且所述放置信息參數(shù)為標(biāo)記的位置和旋轉(zhuǎn)軸為所述法向向量的旋轉(zhuǎn)角。6.根據(jù)權(quán)利要求2的標(biāo)記放置信息估計方法，其中存在多個所述限制條件，并且通過獲得相對于每個限制條件唯一的方程和關(guān)于所述多個限制條件的所述標(biāo)記的放置信息參數(shù)對所述標(biāo)記的放置信息進(jìn)行估計。7.一種標(biāo)記放置信息估計方法，用于從拍攝的圖像中對標(biāo)記的空間放置信息進(jìn)行估計，所述方法包括限制條件設(shè)置步驟，設(shè)置可以用與標(biāo)記的放置信息相關(guān)的幾何條件定義的限制條件；捕捉步驟，捕捉包括標(biāo)記圖像的拍攝的圖像；標(biāo)記檢測步驟，從所述拍攝的圖像中檢測標(biāo)記；估計步驟，根據(jù)在所述圖像上檢測到的所述標(biāo)記的位置和所述限制條件對所述標(biāo)記的放置信息進(jìn)行估計。8.根據(jù)權(quán)利要求7的標(biāo)記放置信息估計方法，其中，在所述設(shè)置步驟中，根據(jù)用戶的指示設(shè)置限制條件，并且其中所述用戶指示包括標(biāo)記的編組。9.根據(jù)權(quán)利要求8的標(biāo)記放置信息估計方法，其中，所述用戶指示包括限制條件類型的選擇。10.一種信息處理設(shè)備，用于從拍攝的圖像中對標(biāo)記的空間放置信息進(jìn)行估計，所述設(shè)備包括存儲單元，用于存儲可以用關(guān)于標(biāo)記的放置信息的幾何條件定義的限制條件；捕捉單元，用于捕捉包含標(biāo)記圖像的拍攝的圖像；標(biāo)記檢測單元，用于從所述拍攝的圖像中檢測標(biāo)記；估計單元，用于根據(jù)所述圖像上檢測到的所述標(biāo)記的位置和所述限制條件對所述標(biāo)記的放置信息進(jìn)行估計。全文摘要一種標(biāo)記放置信息估計方法，包括限制條件設(shè)置步驟，設(shè)置可以用與標(biāo)記的放置信息相關(guān)的幾何條件定義的限制條件；捕捉步驟，捕捉包括標(biāo)記圖像的拍攝的圖像；標(biāo)記檢測步驟，從所述拍攝的圖像中檢測標(biāo)記；估計步驟，使用在圖像上檢測到的標(biāo)記的位置和限制條件對標(biāo)記的放置信息進(jìn)行估計。這樣，即使存在關(guān)于標(biāo)記放置的限制條件，放置信息也可以被精確地獲得以便滿足該限制條件。文檔編號G06T1/00GK1696605SQ20051006806公開日2005年11月16日申請日期2005年5月16日優(yōu)先權(quán)日2004年5月14日發(fā)明者小竹大輔,內(nèi)山晉二,佐藤清秀申請人:佳能株式會社