專利名稱：立體匹配處理設備、立體匹配處理方法和記錄介質的制作方法
技術領域：
本發(fā)明涉及立體匹配處理設備、立體匹配處理方法和計算機可讀記錄介質。更為具體而言，本發(fā)明涉及用于根據立體圖像自動生成三維數據的方法。
背景技術：
對從人造衛(wèi)星、飛行器等獲取的圖像進行立體匹配以生成三維地形數據[DSM(數字表面模型)數據]作為一種根據立體圖像自動生成三維數據的方法得到了廣泛運用。立體匹配處理用于從兩幅圖像(即，從不同視點獲得的所謂立體圖像)尋找拾取了相同的位置的匹配點，并且立體匹配處理還用于通過使用匹配點之間的視差根據三角測量原理計算感興趣的目標的深度或其形狀。已經提出各種立體匹配處理技術。例如，專利文獻1公開了一種利用獲廣泛使用的圖像相關技術的技術。這種圖像相關技術是通過如下方式來尋找匹配點的方案，即在左圖像中設定相關窗口作為模板，計算模板與右圖像中搜索窗口之間的相互相關系數作為其匹配度，同時移動右圖像中的搜索窗口并搜索出匹配度高的位置。這種技術通過限制搜索窗口僅在圖像中以核線方向移動來降低處理的量，并因而可以針對左圖像中各點獲得X方向位移的量，即右圖像中與左圖像中的點匹配的那點的視差。核線是針對立體圖像之中的一幅圖像中的給定點可以在立體圖像之中的另一圖像中被繪制為一個范圍的線，在該范圍中能夠存在匹配該給定點的點。在《Handbook of Image Analysis》(Mikio Takagi和Haruhisa Shimoda編輯監(jiān)制，東京大學出版社于1991年1月出版，第597頁至第599頁)中對核線進行了描述。正常地，核線的方向不同于圖像掃描線的方向。然而，坐標變換可以重新定向核線的方向，使其與圖像掃描線的方向一致。這種坐標變換技術在上面指出的《Handbook of Image Analysis》中得到了描述。在按以上述方式重新定向的立體圖像中，匹配點搜索窗口可以被限制為僅在掃描線上移動。因此，可以獲得作為在左圖像和右圖像中匹配點的χ坐標值之間的差異的視差。立體圖像包括目標的遮蔽部分(遮擋區(qū)域)。提出了通過不由立體匹配針對該遮擋區(qū)域匹配任何區(qū)域來確保正確匹配的匹配技術(參見專利文獻2)。專利文獻3描述用于立體圖像處理設備的技術，該立體圖像處理設備能夠在不存在操作員的情況下根據衛(wèi)星立體圖像或航空立體圖像自動生成復雜目標的三維數據。專利文獻3的技術自動糾正在由立體處理裝置通過使用從存儲在地圖數據存儲裝置中的地圖數據檢索出的建筑物等的外形信息所獲得的三維數據中諸如噪聲、遺漏等的缺陷數據部分。地圖數據存儲裝置向DSM數據自動糾正裝置提供代表建筑物外形的地圖數據?，F有技術文件專利文獻專利文獻1 未經審查的日本專利申請KOKAI公開No. H03-167678專利文獻2 未經審查的日本專利申請KOKAI公開NO. H04-299474
專利文獻3 未經審查的日本專利申請KOKAI公開NO. 2002-157576

發(fā)明內容
本發(fā)明所要解決的問題當從處于立體匹配處理中的成對圖像之一中搜索與另一圖像中給定點相匹配的點時，如果搜索圖像中的整條掃描線(核線)，則將需要很長時間來完成該處理，這也將增加錯配的概率。鑒于以上情況做出本發(fā)明，并且本發(fā)明的目的是提高立體匹配處理的速度和精確性。用于解決問題的裝置依據本發(fā)明第一方面的立體匹配處理裝置包括圖像數據獲取單元，其獲取在多個不同位置拾取的預定區(qū)域的多幅圖像的圖像數據；參考視差設定單元，其設定適用于該多幅圖像的參考視差；搜索范圍設定單元，其通過參考其間提供了由參考視差設定單元設定的參考視差的圖像中的點來設定小于圖像范圍的預定范圍作為用于立體匹配的搜索范圍；以及搜索單元，其針對該多幅圖像之一中的任意點，通過參考提供由參考視差設定單元設定的參考視差的另一圖像中的點，從由搜索范圍設定單元設定的搜索范圍中搜索出另一圖像中與該任意點匹配的點。依據本發(fā)明第二方面的立體匹配處理方法包括圖像數據獲取步驟，獲取從多個不同位置拾取的預定區(qū)域的多幅圖像的圖像數據；參考視差設定步驟，設定適用于該多幅圖像的參考視差；搜索范圍設定步驟，通過參考在其間提供了在參考視差設定步驟中設定的參考視差的圖像中的點，將小于圖像數據范圍的預定范圍設定為用于立體匹配的搜索范圍；以及搜索步驟，針對該多幅圖像之一中的任意點，通過參考提供在參考視差設定步驟中設定的參考視差的另一幅圖像中的點，從在搜索范圍設定步驟中設定的搜索范圍中搜索出另一幅圖像中與該任意點匹配的點。依據本發(fā)明第三方面的計算機可讀記錄介質存儲了用于控制計算機發(fā)揮如下各項的功能的程序圖像數據獲取單元，其獲取從多個不同位置拾取的預定區(qū)域的該多幅圖像的圖像數據；參考視差設定單元，其設定適用于該多幅圖像的參考視差；搜索范圍設定單元，其通過參考其間提供了由參考視差設定單元設定的參考視差的圖像中的點，將小于圖像范圍的預定范圍設定為用于立體匹配的搜索范圍；以及搜索單元，其針對該多幅圖像之一中的任意點，通過參考提供由參考視差設定單元設定的參考視差的另一圖像中的點， 從由搜索范圍設定單元設定的搜索范圍中搜索出另一幅圖像中與該任意點匹配的點。本發(fā)明的效果依據本發(fā)明，提高根據立體圖像自動生成三維數據的技術中立體匹配處理的速度和精確性成為可能。


圖1是示出根據本發(fā)明第一實施例的立體圖像處理設備的示例性配置的框圖；圖2是示例性地示出要轉換成圖像數據的航空照片的圖；圖3是示出真實世界中陸地表面上示例狀況的示例5
圖4是示出DSM數據的示例圖，該DSM數據從通過拾取圖3中所示真實世界的部分的圖像獲取的圖像來通過立體匹配處理生成；圖5是示出說明了搜索范圍的搜索平面的圖；圖6是示出示例搜索范圍的圖；圖7是示出根據第一實施例的高度評估處理的示例操作的流程圖；圖8是示出根據本發(fā)明第二實施例的立體圖像處理設備的示例配置的框圖；圖9是示出示例搜索平面的圖，其中針對各劃分區(qū)域設定參考海拔高度和搜索范圍；圖10是示出根據第二實施例的高度評估處理的示例操作的流程圖；圖11是示出根據第三實施例的立體圖像處理設備1的示例性配置的框圖；圖12是示出根據第三實施例的高度評估處理的一個示例操作的流程圖；圖13是示出根據第四實施例的立體圖像處理設備1的示例性配置的框圖；圖14是示出根據第四實施例的高度評估處理的一個實例操作的流程圖；圖15是示出根據第五實施例的立體圖像處理設備1的示例性配置的框圖；圖16是示出根據第五實施例的高度評估處理的一個示例操作的流程圖；以及圖17是示出在計算機上實現的立體圖像處理設備1的示例性物理配置的框圖。
具體實施例方式現在將參考附圖詳細解釋本發(fā)明的實施例。在附圖中，相同或等同組件將以相同參考數字表示。<第一實施例>圖1是示出根據本發(fā)明第一實施例的立體圖像處理設備的示例性配置的框圖。立體圖像處理設備1包括圖像數據輸入單元10、立體匹配單元11、參考視差設定單元12和搜索范圍設定單元13。立體圖像處理裝置1連接至高度計算單元2。圖像數據輸入單元10具有輸入圖像數據的功能，并輸入將要用于立體匹配處理的多份圖像數據。圖像數據例如代表轉換成數字圖像的航空照片的圖像。圖像數據包括圖像的拍攝位置、圖像的拍攝方向、視場角等。圖2示例性地示出了要轉換成圖像數據的示例航空照片。圖2中所示的航空照片包括從在天空中飛行的飛行器連續(xù)獲得的航空照片IOlA和航空照片101B。航空照片IOlA 和航空照片IOlB是對飛行器前的景象拍攝的，以包括占各照片范圍60%的交疊景象。交疊部分示出了從不同位置拍攝的相同區(qū)域的圖像。在本實施例中的圖像是由對航空照片進行數字化而生成的圖像，該航空照片示例為航空照片IOlA和航空照片101B。本發(fā)明中使用的圖像不限于航空照片，還可以包括從衛(wèi)星照片獲得的數字圖像、由普通數碼相機拍攝的數字圖像、通過對普通模擬相機拍攝的模擬照片進行掃描數字化而獲得的數字圖像等。圖1中所示的立體匹配單元11從代表從不同位置拍攝的相同區(qū)域的多份圖像數據中搜索出圖片中拾取相同陸地點的位置。即，立體匹配單元在該多幅圖像中搜索出對應于相同陸地點的成對的點。通常通過檢查兩幅圖像中位于這樣的陸地點周圍的匹配的小區(qū)域之間的圖像相關來檢測對應于相同陸地點的成對的點，并且找到具有最大相關系數的位置。立體匹配處理技術包括各種技術，諸如通過確定一般特性的量來匹配任何點的那些技術、確定左圖像和右圖像之間的相關的那些技術等等。用于本實施例的立體匹配處理的技術不限于任何特定的一種技術。例如，可以使用在日本已審專利申請KOKOKU公開 No. H08-16930中描述的立體匹配處理。高度計算單元2基于通過立體匹配處理獲得的匹配點之間的視差根據三角測量法的原理來生成DSM數據。例如，在成對的航空照片IOlA和航空照片IOlB中存在陸地目標的匹配位置之間產生預定位移(視差)。在立體匹配處理中測量這種位移，從而計算出陸地目標包括海拔高度值在內的淺表高度以及陸地目標在水平方向上的坐標，即，陸地目標的三維數據。圖3是示出現實世界中陸地表面上示例狀況的示例圖。圖3示出了現實世界的一部分的截面圖，其中在起伏地形上存在有陸地目標。圖4是示出了 DSM數據的示例圖，該DSM數據通過對圖像進行立體匹配而生成，該圖像通過拾取圖3中所示的現實世界的部分的圖像而獲得。由于DSM數據代表最外層表面的高度數據，所以由屋頂等所覆蓋的陸地表面的高度指示了屋頂的包括其海拔高度值的高度。圖1的參考視差設定單元12設定視差，該視差充當用于在兩幅圖像之間搜索匹配點的基準。例如，參考視差設定單元12將確定在現實空間中要由立體匹配搜索的范圍的參考高度的視差設定為基準。搜索范圍設定單元13基于其間獲得了由參考視差設定單元 12設定的參考視差的圖像中的點來設定應由立體匹配單元11搜索以用于尋找匹配點的范圍。通常將小于圖像范圍的預定范圍設定為用于立體匹配的搜索范圍。圖4概念性地示出了對應于搜索范圍的參考海拔高度和高度。例如，圖3中所示的起伏陸地表面的參考海拔高度設定在由線SL指示的平面處，線SL距飛行器的高程原點的高度G相差預定高度H。參考由線SL指示的平面，線BL和線UL之間的范圍被設定為對應于現實空間中搜索范圍的高度SH。圖5示出了解釋搜索范圍的搜索平面。在圖5中，通過轉換航空照片IOlA而獲得的圖像中的掃描線(核線)A和通過轉換航空照片IOlB而獲得的圖像中的與掃描線A對應的掃描線(核線)B相互垂直地布置。由坐標軸A和坐標軸B構成的平面A —般被稱為搜索平面。通過垂直線和水平線來表示坐標軸A和坐標軸B上各塊的中心位置，并且垂直線和水平線相交的交點代表了兩幅圖像之間的匹配。立體匹配單元11為了兩幅圖像之間的匹配點而搜索掃描線A和掃描線B。以45度的角度位于搜索平面中的各條直線指示了兩幅圖像之間的視差在其上恒定的恒定高度。在圖5中，例如，線gl是指示在陸地表面的參考高度處的視差并且指示飛行器的高程原點的線。線sp指示了獲得參考視差處的高度，并且對應于圖4中所示的線SL。寬度 SP對應于圖4中所示的高度H。圖5中的線u對應于圖4中的線UL，而線1對應于圖4中的線BL。具有由線u和線1界定的寬度R的范圍代表了搜索范圍。例如，立體匹配單元11從圖5中所示的線u和線1之間搜索在線A和線B上的成對的匹配。從經過掃描線A上給定點的垂直線的線段中搜索與掃描線A上該給定點匹配的掃描線B上的點，該線段位于線u和線1之間。在掃描線B上的點是給定的并且待搜索出的目標是其在掃描線A上的匹配點的情形中，從經過掃描線B上該給定點的水平線的線段中搜索這樣的匹配點，該線段位于線u和線1之間。圖6示出了示例搜索范圍。當已知陸地表面的起伏的最高地平高度與最低地平高度之間的差值時，可以設定用于搜索其估算最大高度包括起伏的最高地平高度與最低地平高度之間的高度差值的陸地目標的范圍。在圖6中，起伏處的視差由線Is指示。搜索范圍由在其間具有范圍R的線u和線1指示，該范圍R通過基于視差sp而在其中包括起伏的最高地平高度與最低地平高度之間的高度差值來設定，所述視差sp通過向起伏的平均高度添加陸地目標的估算平均高度而獲得。當已知陸地表面的海拔高度時，可以通過設定搜索范圍以包括陸地表面的最高地平高度與最低地平高度之間的高度差值和陸地目標的估算高度來迅速地執(zhí)行立體匹配處理。由于搜索有限的范圍，因而降低了兩幅圖像中點可能被誤認為匹配點的概率。圖7是示出根據第一實施例的高度評估處理的示例操作。圖像數據輸入單元10 輸入將被施加以立體匹配處理的多幅圖像(步驟Sll)。參考視差設定單元12例如基于有關區(qū)域的平均海拔高度和陸地目標的估算高度來設定參考視差(步驟SU)。搜索范圍設定單元13基于區(qū)域的海拔高度差值和陸地目標的高度來針對參考視差設定搜索范圍(步驟 S13)。針對一幅圖像中的點，立體匹配單元11通過參考提供參考視差的另一幅圖像中的點，從設定的搜索范圍中搜索出該另一幅圖像中與之匹配的點(步驟S14)。高度計算單元2基于該多幅圖像中在圖像之間匹配在一起的點的位置來計算各點的高度以及該點在地圖上的坐標(步驟S15)。通過在將最高地平高度與最低地平高度之間的高度差值以及陸地目標的估算高度考慮在內的情況下設定參考視差和搜索范圍，根據第一實施例的立體圖像處理設備1可以迅速地執(zhí)行立體匹配處理。此外，由于搜索了有限的范圍，因而降低了兩幅圖像中的點被誤認為匹配點的概率。<第二實施例>圖8是示出了根據本發(fā)明第二實施例的立體圖像處理設備1的示例性配置的框圖。依據第二實施例，基于地圖數據的海拔高度數據來設定參考視差和搜索范圍。圖8的立體圖像處理裝置1除了第一實施例的配置之外還包括地圖數據輸入單元 14和區(qū)域劃分單元15。地圖數據輸入單元14輸入在所輸入的圖像數據中作為特征的區(qū)域的地圖數據。地圖數據包括地圖中各網格點的海拔高度數據。區(qū)域劃分單元15依據海拔高度數據劃分所輸入的圖像數據。如果海拔高度數據包括很小的高度差值，則圖像可以不被劃分并可以被視為一個區(qū)域。當地圖數據包括比圖像范圍內的預定范圍更大的高度差值時，圖像將被劃分成多個區(qū)域。參考視差設定單元12依據海拔高度數據，為被區(qū)域劃分單元15劃分的各區(qū)域設定參考視差。搜索范圍設定單元13通過考慮包括在海拔高度數據中的高度差值和陸地目標的估算高度來為各劃分區(qū)域設定搜索范圍。立體匹配單元11根據針對各劃分區(qū)域設定的參考視差和搜索范圍，在多幅圖像之間搜索匹配點并提取成對的匹配點。高度計算單元2基于通過立體匹配處理獲得的匹配點之間的視差，依據三角測量法的原理來生成DSM數據。
圖9示出了示例搜索平面，針對各劃分區(qū)域在該平面上設定參考視差和搜索范圍。在圖9的示例中，依據陸地表面的起伏Is劃分出4個區(qū)域。區(qū)域的參考視差分別是 Spl、Sp2、Sp3和sp4。第一區(qū)域的搜索范圍是具有由ul和11界定的寬度Rl的范圍。其他區(qū)域的搜索范圍是分別具有由u2和12界定的寬度R2的范圍、具有由u3和13界定的寬度 R3的范圍和具有由u4和14界定的寬度R4的范圍。如圖9所示，搜索范圍小于圖6中的搜索范圍。當存在具有高度差值的起伏時，可以通過將圖像范圍劃分成多個區(qū)域并針對各劃分區(qū)域設定搜索范圍來將搜索范圍限制到其中存在匹配點的小范圍。因此，可以迅速且精確地執(zhí)行立體匹配處理?？梢赃M行區(qū)域劃分使得各區(qū)域中的高度差值等于或小于預定值。備選地，劃分數目可以依據圖像范圍內的高度差值來確定。圖10是示出了根據第二實施例的高度評估處理的示例操作的流程圖。當圖像數據輸入單元10輸入將被施加以立體匹配處理的多幅圖像時(步驟S21)，地圖數據輸入單元 14輸入在圖像中作為特征的區(qū)域的地圖數據(步驟S2》。區(qū)域劃分單元15基于包括在地圖數據中的海拔高度數據將圖像劃分成多個區(qū)域(步驟S23)。參考視差設定單元12基于海拔高度數據和劃分區(qū)域來針對各劃分區(qū)域設定參考視差(步驟S24)。搜索范圍設定單元13依據各劃分區(qū)域中的高度差值來針對該區(qū)域設定搜索范圍(步驟S25)。立體匹配單元11針對圖像之一中的點，通過參考另一圖像中提供參考視差的點， 從針對各區(qū)域設定的搜索范圍中搜索另一圖像中與該點匹配的點(步驟S26)。高度計算單元2基于該多幅圖像中在圖像之間匹配在一起的點的位置來計算各點的高度以及該點在地圖上的坐標(步驟S27)。依據第二實施例的立體圖像處理設備1可以依據地圖數據中的海拔高度數據將搜索范圍限制到其中能夠存在匹配點的小范圍。因此，立體圖像處理設備1能夠迅速且精確地執(zhí)行立體匹配處理。<第三實施例>圖11是示出了根據第三實施例的立體圖像處理設備1的示例性配置的框圖。根據第三實施例的立體圖像處理設備1除了第一實施例的配置之外還包括參考點設定單元16。參考點設定單元16以預定的方式選擇參考點，該參考點是其間可以根據由圖像數據輸入單元10輸入的圖像來設定參考視差的點之一。例如，參考點設定單元16隨機地選擇對應于圖像的尺寸和規(guī)模的預定數目的點作為參考點。備選地，參考點設定單元16可以按預定分布來對點進行選擇。參考點設定單元16使得立體匹配單元11提取在該多幅圖像之間互相匹配的成對的點，該成對的點之一是由參考點設定單元16選擇的點中的一個。參考點設定單元16計算各選定點的三維數據，并將各選定點的三維數據發(fā)送至參考視差設定單元12。參考視差設定單元12以預定的方式基于接收自參考點設定單元16的三維數據來設定參考視差。例如，參考視差設定單元12將三維數據的高度的均值或中值設定為參考海拔高度，并將這個參考海拔高度上的視差設定為參考視差。備選地，參考視差設定單元12 可以對各預定劃分區(qū)域取平均，以針對各區(qū)域設定參考視差。搜索范圍設定單元13依據參考視差來設定搜索范圍。例如，搜索范圍設定單元13可以通過考慮所選擇的點的三維數據的高度的散布來設定搜索范圍。當圖像范圍被劃分成多個區(qū)域時，可以針對各劃分區(qū)域來設定搜索范圍。立體匹配單元11依據已經設定的參考視差和搜索范圍在該多幅圖像之間搜索匹配點，并且提取成對的匹配點。在針對各劃分區(qū)域設定參考視差和搜索范圍的情形中，從各搜索范圍中搜索出匹配點。高度計算單元2基于通過立體匹配處理獲得的匹配點之間的視差，依據三角測量法的原理來生成DSM數據。圖12是示出了根據第三實施例的高度評估處理的示例操作的流程圖。當圖像數據輸入單元10輸入將被施加以立體匹配處理的多幅圖像(步驟S31)時，參考點設定單元 16以預定的方式從圖像中選擇參考點(步驟S3》。立體匹配單元11針對所選擇的參考點來執(zhí)行立體匹配處理，以提取該多幅圖像中成對的匹配點(步驟S33)。參考點設定單元16基于匹配的成對的所選擇的點來計算參考點的高度(步驟 S34)。參考視差設定單元12基于參考點的高度來設定參考視差(步驟S3Q。在這個步驟中，參考視差設定單元12可以基于匹配的成對的所選擇的點來設定參考視差(即，參考點設定單元16可以不計算所選擇的點的高度)。搜索范圍設定單元13依據參考視差設定搜索范圍(步驟S36)。針對一幅圖像中的點，立體匹配單元11通過參考提供參考視差的另一幅圖像中的點來從針對各區(qū)域設定的搜索范圍中搜索出另一幅圖像中與之匹配的點(步驟S37)。高度計算單元2基于該多幅圖像中在這些圖像之間匹配于一起的點的位置來計算各點的高度和點在地圖上的坐標(步驟S38)。即使沒有地圖數據，根據第三實施例的立體圖像處理設備1可以將搜索范圍限定至適于圖像且其中可以存在匹配點的小范圍。因此，立體圖像處理設備1可以迅速且精確地執(zhí)行立體匹配處理?！吹谒膶嵤├祱D13是示出了根據第四實施例的立體圖像處理設備1的示例性配置的框圖。根據第四實施例的立體圖像處理設備1從外部輸入根據第三實施例的參考點。圖13中所示的立體圖像處理設備1除第三實施例的配置之外還包括參考點輸入單元17。參考點輸入單元17輸入指示圖像中參考點位置的數據。例如，參考點輸入單元17 可以在顯示設備(未示出)上顯示圖像數據，并且輸入從顯示屏選擇的點。參考點輸入單元17可以輸入指示圖像中坐標的數據。參考點設定單元16、參考視差設定單元12、搜索范圍設定單元13以及立體匹配單元11以與第三實施例中相同的方式進行操作。根據第四實施例，可以根據輸入的圖像來設定被認為合適的參考點?？梢赃x擇例如包括高大建筑物的航路燈標的人造陸地目標的特征點，鐵塔、建筑物等的特征點，即，被認為適合作為參考海拔高度的設定器(setter)從而支持精確立體匹配的點。圖14是示出了根據第四實施例的高度評估處理的示例操作的流程圖。當圖像數據輸入單元10輸入將被施加以立體匹配處理的多幅圖像(步驟S41)時，參考點輸入單元 17輸入指示圖像中參考點的位置的數據(步驟S4》。可以選擇多個參考點。參考點設定單元16將輸入的點的位置發(fā)送至立體匹配單元11，而立體匹配單元 11針對所選擇的參考點執(zhí)行立體匹配處理以提取在該多幅圖像之間互相匹配的成對的點(步驟S4!3)。參考點設定單元16基于匹配的成對的所選擇的點來計算參考點的高度(步驟S44)。此后，從設定參考視差(步驟S40到計算匹配點高度(步驟S48)的處理與圖12 中所示的從步驟S35至步驟S38的處理相同。除了第三實施例之外，根據第四實施例的立體圖像處理設備1也可以選擇提供適用于圖像的合適的參考視差并且支持精確立體匹配的點。因此，立體圖像處理設備1能夠迅速且精確地執(zhí)行立體匹配處理。<第五實施例>圖15是示出了根據第五實施例的立體圖像處理設備1的示例性配置的框圖。根據第五實施例的立體圖像處理設備1從外部輸入依據第三實施例的參考點以及在應用立體匹配時與其匹配的配對點。圖15中所示的立體圖像處理設備1包括參考匹配對輸入單元18，而不是依據第三實施例的參考點輸入單元17和參考點設定單元16。參考匹配對輸入單元18輸入指示一幅圖像中參考點的位置以及另一圖像中在立體匹配意義上與該點匹配的點的位置的數據。例如，參考匹配對輸入單元18可以在顯示設備(未示出)上顯示兩份圖像數據，并輸入從顯示屏選擇的成對的匹配點。參考匹配對輸入單元18可以備選地輸入指示兩幅圖像中成對的匹配點的坐標的數據。參考視差設定單元12、搜索范圍設定單元13以及立體匹配單元11以與第一實施例中相同的方式進行操作。依據第五實施例，可以根據所輸入的圖像來設定被認為是適合的成對的參考匹配點?？梢赃x擇例如包括高大建筑物的航路燈標的人工陸地目標的特征點，鐵塔、建筑物等的特征點，即被認為適合作為參考海拔高度的設定器的點的匹配點。圖16是示出了根據第五實施例的高度評估處理的示例操作的流程圖。當圖像數據輸入單元10輸入將被施加以立體匹配處理的多幅圖像(步驟S51)時，參考匹配對輸入單元18輸入指示在多幅圖像中的兩幅之中在立體匹配意義上互相匹配的成對的參考匹配點的位置的數據(步驟S5》?？梢赃x擇多個參考點。此后，從設定參考視差(步驟S5!3)到計算匹配點高度(步驟S56)的處理與圖12 中所示的從步驟S35至步驟S38的處理相同。根據第五實施例的立體圖像處理設備1可以通過選擇匹配點來設定參考視差和搜索范圍，該匹配點提供適用于圖像的合適的參考視差并且在立體匹配意義上互相匹配。 因此，立體圖像處理設備1可以迅速且精確地執(zhí)行立體匹配處理。圖17是顯示了在計算機上實現的立體圖像處理設備1的示例性物理配置的框圖。 根據本發(fā)明實施例的立體圖像處理設備1可以通過與普通計算機裝置類似的硬件配置來實施。如圖17所示，立體圖像處理設備1包括控制單元21、主存儲器22、外部存儲器23、操作單元對、顯示單元25和輸入/輸出單元26。主存儲器22、外部存儲器23、操作單元24、 顯示單元25以及輸入/輸出單元沈均通過內部總線20連接至控制單元21。控制單元21包括CPU(中央處理器)等，并按照存儲在外部存儲器23中的控制程序30來執(zhí)行立體匹配處理。主存儲器22包括RAM(隨機存取存儲器)等，其加載存儲于外部存儲器23中的控制程序30，并且被用作控制單元21的工作區(qū)。外部存儲器23包括非易失性存儲器，諸如閃速存儲器、硬盤、DVD-RAM(數字通用光盤隨機存取存儲器)或者DVD-RW(可重寫數字通用光盤)等，并且預存儲用于使控制單元21執(zhí)行上述處理的控制程序30。根據來自控制單元21的指令，外部存儲器通過控制程序30向控制單元21供應存儲于其中的數據，并且存儲從控制單元21供應的數據。操作單元M包括諸如鍵盤和鼠標之類的定點設備以及將鍵盤或其他定點設備連接至內部總線20的接口設備。通過操作單元M輸入并向控制單元21提供圖像數據、用于傳輸/接收的指令或用于顯示圖像的指令、設定參考海拔高度的參考點在圖像中的位置寸。顯示單元25包括CRT(陰極射線管)或IXD (液晶顯示器)，并且顯示圖像或者圖像的立體匹配的結果。輸入/輸出單元沈包括與其連接的無線傳輸/接收設備、無線調制解調器或網絡端接設備、以及串行接口或LAN(局域網)接口?？梢酝ㄟ^輸入/輸出單元沈接收圖像數據，或者可以通過輸入/輸出單元26傳輸計算結果?？刂瞥绦?0使用控制單元21、主存儲器22、外部存儲器23、操作單元24、顯示單元25和輸入/輸出單元沈等作為資源，來執(zhí)行圖1、圖8、圖11、圖13或圖15中所示的立體圖像處理設備1的圖像數據輸入單元10、立體匹配單元11、參考視差設定單元12、搜索范圍設定單元13、地圖數據輸入單元14、區(qū)域劃分單元15、參考點設定單元16、參考點輸入單元17以及參考匹配對輸入單元18的處理。除了以上描述內容之外，本發(fā)明的優(yōu)選修改可以配置如下。優(yōu)選地，依據本發(fā)明的第一方面的立體匹配處理設備的特征在于參考視差設定單元優(yōu)選地將多幅圖像中的每一幅劃分成兩個或更多個區(qū)域，該兩個或更多個區(qū)域分別對應于在多幅圖像中的另一幅中劃分的兩個或更多個區(qū)域，并且參考視差設定單元優(yōu)選地針對各區(qū)域設定參考視差；而搜索范圍設定單元通過參考在其間提供針對各區(qū)域設定的參考視差的圖像中的點來設定小于圖像范圍的預定范圍作為用于立體匹配的搜索范圍。優(yōu)選地，立體匹配處理設備包括獲取對應于多幅圖像的地圖的海拔高度數據的地圖數據獲取單元，并且參考視差設定單元基于由地圖數據獲取單元獲取的海拔高度數據來設定參考視差。備選地，參考視差設定單元可以通過對以預定方式從多幅圖像中選擇的點進行立體匹配來計算視差，并基于計算出的視差來設定參考視差。此外，立體匹配處理設備還可以包括在多幅圖像中獲取將用于計算視差的點的位置的參考點輸入單元，并且參考視差設定單元可以通過對參考點輸入單元所獲取的點進行立體匹配來計算視差以及基于所計算的視差來設定參考視差。備選地，立體匹配處理設備可以包括輸入多幅圖像中在立體匹配意義上互相匹配的成對匹配點的匹配對點輸入單元，并且參考視差設定單元可以基于在由匹配對輸入單元輸入的成對匹配點之間提供的視差來設定參考視差。優(yōu)選地，根據本發(fā)明第二方面的立體匹配處理方法的特征在于在參考視差設定步驟中，將應用立體匹配處理的成對的圖像被劃分成與另一圖像中劃分的兩個或更多個區(qū)域對應的兩個或更多個區(qū)域，并且針對各區(qū)域設定參考視差；而在搜索范圍設定步驟中，參考在其間提供針對各區(qū)域設定的參考視差的圖像中的點，將小于圖像范圍的預定范圍設定為用于立體匹配的搜索范圍。
立體匹配處理方法優(yōu)選地包括獲取對應于多幅圖像的地圖的海拔高度數據的地圖數據獲取步驟，而在參考視差設定步驟中，基于在地圖數據獲取步驟中獲取的海拔高度數據來設定參考視差。備選地，在參考視差設定步驟中，可以通過對以預定方式從多幅圖像中選擇的點進行立體匹配來計算視差，并且可以基于所計算的視差來設定參考視差。此外，立體匹配處理方法可以包括在多幅圖像中獲取將用于計算視差的點的位置的參考點輸入步驟，而在參考視差設定步驟中，可以通過對在參考點輸入步驟中獲取的點進行立體匹配來計算視差，并且可以基于所計算的視差來設定參考視差。備選地，立體匹配處理方法可以包括輸入多幅圖像中在立體匹配意義上互相匹配的成對匹配點的匹配對輸入步驟，而在參考視差設定步驟中，可以基于在匹配對輸入步驟中輸入的成對的匹配點之間提供的視差來設定參考視差。此外，以上所示的硬件配置和流程圖僅是示例，并且可以被任意改變或修改。包括控制單元21、主存儲器22、外部存儲器23、操作單元對、輸入/輸出單元26、 內部總線20等在內的用以執(zhí)行立體圖像處理設備1的處理的主要部件可以由普通的計算機系統(tǒng)而非由專用系統(tǒng)來實施。例如，用于執(zhí)行上述操作的計算機程序可以被分布為存儲在計算機可讀記錄介質(軟盤、⑶-ROM、DVD-ROM等)中和安裝在計算機上，從而使得可以配置用于執(zhí)行上述處理的立體圖像處理設備1。此外，可以在由諸如因特網等之類的通信網絡上的服務器設備所擁有的存儲裝置上存儲計算機程序，從而使得普通計算機系統(tǒng)可以下載程序和配置立體圖像處理設備1。當立體圖像處理裝置1的功能通過由OS(操作系統(tǒng))和應用程序分別管理而實現或通過OS和應用程序協(xié)同工作來實現時，可以在記錄介質或存儲裝置上存儲僅應用程序部分。此外，計算機程序可以嵌于載波上，以便經由通信網絡分發(fā)。例如，計算機程序可以張貼于通信網絡上的BBS(電子公告板系統(tǒng))上，并且計算機程序可以經由網絡分發(fā)。當激活計算機程序并根據OS的控制以與執(zhí)行其他應用程序相同的方式來執(zhí)行計算機程序時，可以執(zhí)行上述處理。本申請基于日本專利申請No. 2008-300221，并且日本專利申請No. 2008-300221 的全部說明書、權利要求書以及附圖在此通過引用并入本文。圖例說明1立體圖像處理設備2高度計算單元10圖像數據輸入單元11立體匹配單元12參考視差設定單元13搜索范圍設定單元14地圖數據輸入單元15區(qū)域劃分單元16參考點設定單元17參考點輸入單元
18參考匹配對點輸入單元21控制單元22主存儲器23外部存儲器24操作單元25顯示單元26輸入/輸出單元30控制程序
權利要求
1.一種立體匹配處理設備，包括圖像數據獲取單元，其獲取在多個不同位置拾取的預定區(qū)域的多幅圖像的圖像數據；參考視差設定單元，其設定適用于所述多幅圖像的參考視差；搜索范圍設定單元，其通過參考其間提供了由所述參考視差設定單元設定的所述參考視差的所述圖像中的點，將小于所述圖像的范圍的預定范圍設定為用于立體匹配的搜索范圍；以及搜索單元，其針對所述多幅圖像之一中的任意點，通過參考提供由所述參考視差設定單元設定的所述參考視差的另一圖像中的點，從由所述搜索范圍設定單元設定的所述搜索范圍中搜索出所述另一圖像中與所述任意點匹配的點。
2.根據權利要求1所述的立體匹配處理設備，其中所述參考視差設定單元將所述多幅圖像的每一幅劃分成與在另一圖像中劃分的兩個或更多個區(qū)域分別對應的兩個或更多個區(qū)域，并且針對各區(qū)域設定參考視差，以及所述搜索范圍設定單元通過參考其間提供有針對各區(qū)域設定的所述參考視差的圖像中的點，將小于所述圖像的范圍的預定范圍設定為用于立體匹配的搜索范圍。
3.根據權利要求2所述的立體匹配處理設備，包括地圖數據獲取單元，該地圖數據獲取單元獲取對應于所述多幅圖像的地圖的海拔高度數據，其中所述參考視差設定單元基于由所述地圖數據獲取單元獲取的海拔高度數據來設定所述參考視差。
4.根據權利要求2所述的立體匹配處理設備，其中所述參考視差設定單元通過對以預定方式從所述多幅圖像中選擇的點進行立體匹配來計算視差，并且基于所計算的視差來設定所述參考視差。
5.根據權利要求4所述的立體匹配處理設備，包括參考點輸入單元，該參考點輸入單元獲取所述多幅圖像中將用于計算視差的點的位置，其中所述參考視差設定單元通過對由所述參考點輸入單元獲取的點進行立體匹配來計算視差，并且基于所計算的視差來設定所述參考視差。
6.根據權利要求2所述的立體匹配處理設備，包括匹配對點輸入單元，該匹配對點輸入單元輸入在所述多幅圖像中在立體匹配意義上互相匹配的成對的匹配點，其中所述參考視差設定單元基于在由所述匹配對點輸入單元輸入的所述成對的匹配點之間提供的視差來設定所述參考視差。
7.一種立體匹配處理方法，包括圖像數據獲取步驟，獲取從多個不同位置拾取的預定區(qū)域的多幅圖像的圖像數據；參考視差設定步驟，設定適用于所述多幅圖像的參考視差；搜索范圍設定步驟，通過參考其間提供有在所述參考視差設定步驟中設定的所述參考視差的圖像中的點，將小于所述圖像數據的范圍的預定范圍設定為用于立體匹配的搜索范圍；以及搜索步驟，針對所述多幅圖像之一中的任意點，通過參考提供在所述參考視差設定步驟中設定的所述參考視差的另一圖像中的點，從在所述搜索范圍設定步驟中設定的所述搜索范圍中搜索出所述另一圖像中與所述任意點匹配的點。
8.根據權利要求7所述的立體匹配處理方法，其中在所述參考視差設定步驟中，將要被施加以所述立體匹配的成對圖像劃分為與在所述成對圖像中的另一幅圖像中劃分的兩個或更多個區(qū)域分別對應的兩個或更多個區(qū)域，并且針對各區(qū)域設定所述參考視差，以及在所述搜索范圍設定步驟中，參考其間提供針對各區(qū)域設定的參考視差的圖像中的點，將小于所述圖像的范圍的預定范圍設定為用于立體匹配的搜索范圍。
9.根據權利要求8所述的立體匹配處理方法，包括地圖數據獲取步驟，該地圖數據獲取步驟獲取對應于所述多幅圖像的地圖的海拔高度數據；其中在所述參考視差設定步驟中，基于在所述地圖數據獲取步驟中獲取的海拔高度數據來設定所述參考視差。
10.根據權利要求8所述的立體匹配處理方法，其中在所述參考視差設定步驟中，通過立體匹配來計算針對以預定方式從所述多幅圖像中選擇的點的視差，并基于所計算的視差來設定參考視差。
11.根據權利要求10所述的立體匹配處理方法，包括參考點輸入步驟，該參考點輸入步驟獲取所述多幅圖像中將用于計算視差的點的位置，其中在所述參考視差設定步驟中，通過對在所述參考點輸入步驟中獲取的點進行立體匹配來計算視差，并且基于所計算的視差來設定所述參考視差。
12.根據權利要求8所述的立體匹配處理方法，包括匹配對點輸入步驟，該匹配對點輸入步驟輸入所述多幅圖像中在立體匹配意義上互相匹配的成對的匹配點，以及在所述參考視差設定步驟中，基于在所述匹配對點輸入步驟中輸入的成對的匹配點之間提供的視差設定所述參考視差。
13.一種存儲用于控制計算機發(fā)揮如下所列各項的功能的程序的計算機可讀記錄介質圖像數據獲取單元，其獲取從多個不同位置拾取的預定區(qū)域的多幅圖像的圖像數據；參考視差設定單元，其設定適用于所述多幅圖像的參考視差；搜索范圍設定單元，其通過參考其間提供了由所述參考視差設定單元設定的所述參考視差的圖像中的點，將小于所述圖像的范圍的預定范圍設定為用于立體匹配的搜索范圍；搜索單元，其針對所述多幅圖像之一中的任意點，通過參考提供由所述參考視差設定單元設定的所述參考視差的另一圖像中的點，從由所述搜索范圍設定單元設定的搜索范圍中搜索出所述另一圖像中與所述任意點匹配的點。
全文摘要
圖像數據輸入單元(10)獲取從多個不同位置拾取的預定區(qū)域的多幅圖像的圖像數據。參考視差設定單元(12)設定適用于該多幅圖像的參考視差。搜索范圍設定單元(13)通過參考其間提供了由參考視差設定單元(12)設定的參考視差的圖像中的點而將小于圖像范圍的預定范圍設定為用于立體匹配的搜索范圍。立體匹配單元(11)針對該多幅圖像之一中的任意點，通過參考提供由參考視差設定單元(12)設定的參考視差的另一圖像中的點，從由搜索范圍設定單元(13)設定的搜索范圍中搜索出另一圖像中與該任意點匹配的點。
文檔編號G06T17/05GK102239503SQ20098014721
公開日2011年11月9日 申請日期2009年11月25日 優(yōu)先權日2008年11月25日
發(fā)明者小泉博一, 柳生弘之, 神谷俊之 申請人:Nec軟件系統(tǒng)科技有限公司