作業(yè)車的周圍信息獲取裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及獲取位于作業(yè)車的周圍的物體的三維位置信息的作業(yè)車的周圍信息獲取裝置。
【背景技術(shù)】
[0002]以往，已知的有在作業(yè)設(shè)備的懸臂的前面設(shè)置有立體攝像機，并對位于作業(yè)設(shè)備的前方的作業(yè)對象物進行立體拍攝的立體攝像機裝置(參照專利文獻I)。
[0003]作業(yè)設(shè)備具有下部行駛體、設(shè)置于上述下部行駛體之上的上部旋轉(zhuǎn)體、設(shè)置于上述上部旋轉(zhuǎn)體的可起伏的懸臂(boom)、設(shè)置于上述懸臂的前端部的吊桿(jib)、設(shè)置于吊桿的前端部的臂、設(shè)置于上述臂的前端部的粉碎機、以及設(shè)置于懸臂的前面的一對立體攝像機。
[0004]一對立體攝像機面向前方，并對位于作業(yè)設(shè)備的前方的要粉碎的作業(yè)對象物進行立體拍攝，通過立體拍攝來求出作業(yè)對象的前后方向的進深。
[0005][專利文獻]
[0006]專利文獻1:日本特開2010-248777號公報

【發(fā)明內(nèi)容】

[0007](發(fā)明所要解決的問題)
[0008]然而，在這樣的作業(yè)設(shè)備中，由于僅對位于前方的作業(yè)對象物進行立體拍攝，因此存在無法獲取位于以作業(yè)設(shè)備為中心的周邊的各物體的三維位置信息的問題。
[0009]本發(fā)明的目的在于提供一種能夠獲取位于作業(yè)車的周圍的物體的三維位置信息的作業(yè)車的周圍信息獲取裝置。
[0010](解決問題的措施)
[0011]關(guān)于本發(fā)明所涉及的作業(yè)車的周圍信息獲取裝置，在作業(yè)車的懸臂的前端部設(shè)置有測定上述前端部與物體的位置關(guān)系的三維位置測定裝置，設(shè)置有根據(jù)上述三維位置測定裝置所測定的懸臂前端與物體的位置的測定數(shù)據(jù)求出物體的三維位置信息的三維位置信息獲取裝置，該三維位置信息獲取裝置使上述懸臂移動來獲取位于作業(yè)車的周圍的物體的三維位置信息。
[0012](發(fā)明的效果)
[0013]根據(jù)本發(fā)明，能夠覆蓋大范圍地獲取作業(yè)車的周圍的物體的三維位置信息。
【附圖說明】
[0014]圖1為表示搭載有本發(fā)明的周圍信息獲取裝置的移動式起重機的側(cè)面圖。
[0015]圖2為表示設(shè)置在伸縮懸臂的前端部的立體攝像機的說明圖。
[0016]圖3為表示周圍信息獲取裝置的結(jié)構(gòu)的框圖。
[0017]圖4為表示圖3所示的圖像處理控制器的結(jié)構(gòu)的框圖。
[0018]圖5為表示起重機、立體攝像機和建筑物的位置關(guān)系與坐標系的說明圖。
[0019]圖6為表示起重機的坐標系、立體攝像機的坐標系和建筑物的俯視圖。
[0020]圖7為表示起重機與位于上述起重機的周圍的建筑物的說明圖。
[0021]圖8為表示存儲于存儲器的建筑物的輪廓線與上述輪廓線的特征點的說明圖。
[0022]圖9為表示俯視觀察建筑物的存儲在圖像存儲器的地圖的說明圖。
[0023]圖10為表示監(jiān)視器所顯示的地圖等的說明圖。
[0024]圖11為利用極坐標表不監(jiān)視器所顯不的地圖的情況的說明圖。
[0025]圖12為表示將懸臂的旋轉(zhuǎn)中心的位置以外設(shè)定為原點的情況的說明圖。
[0026]圖13為表不監(jiān)視器的顯不畫面的另一個例子的說明圖。
[0027]圖14為表示到立體攝像機的拍攝對象為止的距離測定的原理的說明圖。
[0028]圖15為利用設(shè)置在起重機的立體攝像機進行高度測定的情況的說明圖。
[0029]圖16為表示第二實施例的周圍信息獲取裝置的結(jié)構(gòu)的框圖。
[0030]圖17為表示監(jiān)視器部所顯示的圖像的一個例子的說明圖。
[0031]圖18為表示對象物體與起重機上的基準對象未同時映于立體攝像機的狀態(tài)的說明圖。
[0032]圖19為表示構(gòu)成第三實施例的立體攝像機的兩個單眼的監(jiān)視攝像機的說明圖。
[0033]圖20為表示第三實施例的周圍信息獲取裝置的結(jié)構(gòu)的框圖。
[0034]圖21A為表示利用配置在遠離駕駛室一側(cè)的監(jiān)視攝像機拍攝到的圖像的說明圖。
[0035]圖21B為表示利用配置在駕駛室一側(cè)的監(jiān)視攝像機拍攝到的圖像的說明圖。
[0036]圖21C為表示將圖21A所示的圖像與圖21B所示的圖像合成的合成圖像的說明圖。
[0037]圖22為表示第四實施例的周圍信息獲取裝置的結(jié)構(gòu)的框圖。
[0038]圖23為表示圖22所示的圖像處理控制器的結(jié)構(gòu)的框圖。
[0039]圖24為表示監(jiān)視攝像機與伸縮懸臂的伸長相應(yīng)地拍攝的位置發(fā)生變化的說明圖。
[0040]圖25中的(A)為表示在圖24所示的第一位置拍攝到的圖像的說明圖，(B)為表示在圖24所示的第二位置拍攝到的圖像的說明圖。
[0041]圖26表示到立體攝像機的拍攝對象為止的距離測定的原理，是表示左右的攝像機的位置關(guān)系與坐標的說明圖。
[0042]圖27為表示三維空間的點與拍攝上述點的左右的攝像機的圖像上的位置的關(guān)系的說明圖。
[0043]圖28為表示能夠求出三維空間的點的位置的說明圖。
[0044]圖29為表示將表示提取的特征點的位置的標記與求出的構(gòu)造物的高度合成顯示的圖像的一個例子的說明圖。
【具體實施方式】
[0045]以下，參照附圖對作為本發(fā)明的作業(yè)車的周圍信息獲取裝置的實施的方式的實施例進行說明。
[0046][實施例]
[0047][第一實施例]
[0048]圖1中作為搭載有周圍信息獲取裝置的起重機(作業(yè)車)示出輪式起重機(roughterrain crane) 10。上述輪式起重機10 (以下記載為起重機)具備:具有行駛功能的作為車輛的主體部分的載運車體(carrier) 11、設(shè)置于上述載運車體11的前側(cè)的左右一對前側(cè)支腿12、設(shè)置于載運車體11的后側(cè)的左右一對后側(cè)支腿13、以能夠水平旋轉(zhuǎn)的方式安裝于載運車體11的上部的旋轉(zhuǎn)臺14、設(shè)置于旋轉(zhuǎn)臺14的駕駛室20、安裝于固定在旋轉(zhuǎn)臺14的托架15上的伸縮懸臂(懸臂，boom) 16等。
[0049]伸縮懸臂16是其基端部經(jīng)由支承軸17而被安裝，并且能夠以支承軸17為中心起伏。在托架15與伸縮懸臂16之間夾裝起伏用缸體18，通過上述起伏用缸體18的伸縮而使伸縮懸臂16起伏。
[0050]伸縮懸臂16具有基體懸臂16A、中間懸臂16B和前端懸臂16C，并按照上述順序從外側(cè)向內(nèi)側(cè)以嵌套的方式組合于基體懸臂16A內(nèi)而構(gòu)成。另外，伸縮懸臂16通過伸縮缸體(未圖示)進行伸縮。
[0051]在前端懸臂16C的前端部(懸臂頭)16Ca上設(shè)置有滑輪(sheave)(未圖示)，在上述滑輪上搭設(shè)有鋼絲繩(以下記做繩)w，通過上述繩W懸掛吊鉤滑車19。吊鉤滑車19安裝有吊鉤21。
[0052]繩W通過未圖示的絞盤(winch)收起或放出。
[0053]如圖2所示，在前端懸臂16C的前端部16Ca，由TV攝像機等構(gòu)成的立體攝像機(三維位置測定裝置)30經(jīng)由未圖示的減振器(damper)安裝于滑輪軸25。立體攝像機30面向正下方，能夠朝傾斜方向與搖攝方向相對于垂直軸線以任意角度傾斜。另外，立體攝像機30構(gòu)成為利用未圖示的減振器而不會因風(fēng)等改變朝向。此外，26為滑輪。
[0054]立體攝像機30的傾斜(朝向)的操作通過設(shè)置于駕駛室20內(nèi)的操作部(未圖示)進行。立體攝像機30的傾斜角度通過傾斜角檢測傳感器SI (參照圖3)與搖攝角檢測傳感器S2來檢測。
[0055]圖3為表示周圍信息獲取裝置100的結(jié)構(gòu)的框圖。
[0056]周圍信息獲取裝置100具有:設(shè)置于伸縮懸臂16的前端部16Ca的立體攝像機30 ；檢測伸縮懸臂16的姿態(tài)的懸臂姿態(tài)檢測傳感器50 ;檢測立體攝像機30的傾斜角度的傾斜角檢測傳感器SI以及搖攝角檢測傳感器S2 ;對從立體攝像機30所輸出的圖像信號進行處理并提取拍攝到的物體的特征點，也可基于該特征點求出各物體的三維位置信息的作為三維位置信息獲取裝置的圖像處理控制器60;基于圖像處理控制器所求出的三維位置信息制作起重機10的周圍的地圖的地圖制作處理部80 ;以及顯示上述地圖制作處理部80所制作成的地圖等的監(jiān)視器(顯示部)51。
[0057][懸臂姿態(tài)檢測傳感器]
[0058]懸臂姿態(tài)檢測傳感器50檢測伸縮懸臂16的伸長的長度、伸縮懸臂16的仰起角和伸縮懸臂16的旋轉(zhuǎn)角，具有分別檢測這些數(shù)據(jù)的各傳感器(未圖示)。
[0059][圖像處理控制器]
[0060]圖像處理控制器60利用立體攝像機30所拍攝的圖像將起重機10的周圍的物體的位置作為三維位置信息來進行處理，在本實施例中所示出的是將周圍物體的特征點當(dāng)作以起重機10的基準點為基準的周圍的物體的三維位置信息來獲取的事例。
[0061]如圖4所示，圖像處理控制器60具有:收集立體攝像機30的左右的單眼攝像機(拍攝單元)30L、30R所拍攝的圖像的第一、第二幀存儲部61L、61R ;從存儲于第一、第二幀存儲部61L、61R的圖像中提取物體的特征點(在圖5的說明中為物體I的特征點Pa)的特征點提取部62L、62R;從存儲于第一、第二幀存儲部61L、61R的圖像中提取標記于起重機10的載運車體11的上表面的例如十字標記的3個基準點P1、P2、P3(參照圖5)的基準點提取部63L、63R ;根據(jù)特征點提取部62L、62R所提取的特征點來計算出立體攝像機30的坐標系中的特征點位置的攝像機坐標系位置計算部64 ;根據(jù)基準點提取部63L、63R所提取的3個基準點來計算出立體攝像機30的坐標系中的3個基準點位置的攝像機坐標系基準點位置計算部65 ;根據(jù)該攝像機坐標系基準點位置計算部65所計算出的3個基準點位置來計算出攝像機坐標系與起重機的坐標系的相關(guān)關(guān)系的相關(guān)關(guān)系計算部66 ;基于相關(guān)關(guān)系計算部66所計算出的相關(guān)關(guān)系，將攝像機坐標系位置計算部64所計算出的特征點的位置變換為起重機的坐標系的位置而求出的起重機坐標系位置計算部67 ;存儲起重機坐標系位置計算部67所計算出的位置的存儲器68 ;以及基于懸臂姿態(tài)檢測傳感器50所檢測出的檢測信號，將單眼攝像機30L、30R的圖像收集到第一、第二幀存儲部61L、61R中的控制部70。
[0062]控制部70進行特征點提取部62L、62R以及基準點提取部63L、63R的提取處理的控制、攝像機坐標系位置計算部64以及攝像機坐標系基準點位置計算部65的運算處理的控制，也可進行相關(guān)關(guān)系計算部66的相關(guān)關(guān)系的計算控制、起重機坐標系位置計算部67的計算控制。
[0063]而且，利用第一、第二幀存儲部61L、61R、特征點提取部62L、62R和攝像機坐標系位置計算部64來構(gòu)成圖像識別單元。
[0064]此外，由于在第三、第五實施例中對能夠根據(jù)立體攝像機所拍攝到的物體的圖像來求出上述物體的三維位置的原理進行說明，因此在此省略。
[0065][地圖制作處理部]
[0066]地圖制作處理部80利用圖像處理控制器60所獲取的三維位置信息來求出起重機10的周圍的物體的高度，并且制作示出上述物體的高度信息的俯視的地圖。然后，將地圖制作處理部80所制作成的地圖顯示于監(jiān)視器51。
[0067]另外，地圖制作處理部80基于存儲于存儲器68的物體的輪廓線、三維位置數(shù)據(jù)來制作將物體形成為俯視的形狀并且用與上述物體的高度相應(yīng)的顏色顯示上述物體的位置與高度的地圖，并且具有存儲所制作成的地圖的圖像存儲器81。
[0068][動作]
[0069]接下來，對于如上述那樣構(gòu)成的周圍信息獲取裝置100的動作進行說明。
[0070]如上所述，在起重機10的載運車體11的上表面標記有3個基準點P1、P2、P3，該基準點P1、P2、P3的位置作為以載運車體11的上表面的伸縮懸臂16的旋轉(zhuǎn)中心的位置為原點的起重機10的X、Y、Z坐標系的位置，如圖6所示，預(yù)先設(shè)定為Pl = (XI，Yl，Z1)、P2=(X2，Y2，Z2)、P3 = (X3，Y3，Z3)。
[0071]首先，如圖1所示，將起重機10固定于作業(yè)位置。接下來，如圖5所示，將伸縮懸臂16仰起并伸長，并利用立體攝像機30進行拍攝。將所拍攝到的一方的圖像顯示于監(jiān)視器51。
[0072]若伸縮懸臂16伸長至規(guī)定的長度，則控制部70將立體攝像機30所拍攝到的圖像收集到第一、第二幀存儲部61L、61R中。
[00