在操作推土機的同時測量和繪制地形的方法和控制系統(tǒng)的制作方法
【專利摘要】在操作推土機的同時測量和繪制地形的方法和控制系統(tǒng)。推土機(1)包括：驅動單元，包括一組驅動輪；電機，與驅動輪中的至少一個連接以提供推土機的可移動性；鏟刀，改變地形的表面；至少一個相機，拍攝環(huán)境的圖像，以已知方式相對于推土機設置并且對準；控制和處理單元，所述方法包括：將推土機在地形中移動，同時通過用至少一個相機拍攝地形片段的圖像序列使得圖像序列中的至少兩個圖像覆蓋地形中的大量相同點來生成圖像數據的集合，地形片段是在移動的同時由至少一個相機的各個位置處的所述相機的視場限定的，向圖像數據的集合應用同時定位和繪制算法或立體攝影測量算法，從而推導地形數據，通過向地形數據應用絕對標度信息來縮放點云。
【專利說明】
在操作推土機的同時測量和繪制地形的方法和控制系統(tǒng)
技術領域
[0001 ]本發(fā)明涉及包括至少一個相機的方法和控制系統(tǒng)，相機用于在正在移動的推土機的幫助下生成地形信息。
【背景技術】
[0002]諸如推土機的一般地理位置改變機器通常包括提供眾多功能的監(jiān)測系統(tǒng)和傳感器，用它們檢測并且避免障礙物并且將機器定位在地形中?，F有的系統(tǒng)主要被設計成向車輛的操作者提供地形信息，其中，該信息是通過監(jiān)測材料運輸和工作周期而推導出的。
[0003]在US 5，964，298和US 5，925，085中得知使用用于確定鏟刀相對于工作地點的位置信息的定位系統(tǒng)的掘土機。在得知工作地點的指定的實際表面輪廓的情況下，重型推土機的駕駛員可見的顯示裝置顯示出工作地點地圖上的兩個表面輪廓之間的差別。位置系統(tǒng)允許將輪廓差別數據與當前位置相關聯(lián)。
[0004]另外，在US5，646，844中得知以下方法:該方法從多個機器提供位置信息，這些位置信息被共用以生成公共的、經動態(tài)更新的地點數據庫，該數據庫表明機器的相對位置和實時的地點進展。
[0005]此外，從US 2011/0169949和US 8，478，492中得知用于施工車輛的控制系統(tǒng)，控制系統(tǒng)包括相機作為基本組件，相機觀察車輛上的器械并且確定其位置和取向。
[0006]這些系統(tǒng)共享地使用衛(wèi)星定位系統(tǒng)中，用于將收集到的數據分派給位置記錄。

【發(fā)明內容】

[0007]本發(fā)明的目的是提供一種用于推土機的改進型工作地點監(jiān)測系統(tǒng)，該監(jiān)測系統(tǒng)使用包括至少一個相機的控制系統(tǒng)，其中，推土機(特別地，推土機的鏟刀)以更有效且更精確地將地形成形的方式來移動。
[0008]此外，本發(fā)明的目的是提供一種改進型推土機，該推土機能夠在應用推土過程的同時推導地形信息，以提供地形中的精確取向和定位。
[0009]本發(fā)明的又一個目的是提供與各個地形片段的相對位置信息相關的地形狀況的有關信息。特別地，地形信息與絕對位置信息關聯(lián)和/或被提供到推土機的操作者。
[0010]本發(fā)明的其它目的是提供用于此推土機的相應導航功能，以使推土機能夠自動受控制地移動。
[0011]此外，本發(fā)明的目的是在不需要操作者干預的情況下使用推土機，特別地，提供對推土機的自發(fā)控制。該目的還是指特別地通過使用地上地形信息來控制和導航推土機。
[0012]這些目的是通過實現獨立權利要求書的特征來實現的。在從屬的專利權利要求中描述了進一步以替代或有利方式開發(fā)本發(fā)明的特征。
[0013]本發(fā)明涉及一種在操作推土機的同時生成縮放(scaled)地形信息的方法，所述推土機包括:
[0014]?驅動單元，其包括
[0015]□—組驅動輪，其特別地是連續(xù)履帶的部分，以及
[0016]□電機，其與所述驅動輪中的至少一個連接，以提供所述推土機的可移動性，
[0017].鏟刀，其用于改變所述地形的表面，
[0018].至少一個相機，其用于拍攝環(huán)境的圖像，特別地所述地形的圖像，所述相機以已知方式相對于所述推土機設置并且對準，以及
[0019]?控制和處理單元，
[0020]其中，所述方法包括:
[0021 ].將所述推土機在所述地形中移動，同時通過用所述至少一個相機拍攝地形片段的圖像序列使得所述圖像序列中的至少兩個圖像特別地連續(xù)圖像覆蓋所述地形中的大量相同點來生成圖像數據的集合，其中，所述地形片段是在移動的同時由所述至少一個相機的各個位置處的所述相機的視場限定的，
[0022].并且向所述圖像數據的集合應用
[0023]□同時定位和繪制(SLAM)算法或者
[0024]□立體攝影測量算法
[0025]從而推導出地形數據，所述地形數據包括
[0026]□點云，其代表拍攝的所述地形，以及
[0027]□位置數據，其與所述地形中的所述推土機的相對位置相關，以及
[0028].通過向所述地形數據應用絕對標度信息來縮放所述點云，特別地，縮放所述位置數據。
[0029]所述位置數據與地形中的推土機的實際(相對)位置相關。拍攝的地形片段中的每個與推土機的各個位置相關，因為用于拍攝這各個圖像的相機的姿勢是已知的并且能從圖像序列推導出推土機的相對位置。換句話講，所述地形數據可包括關于推土機的位置和拍攝的地形片段的位置的位置信息。
[0030]所述位置數據的縮放特別地將被理解為限定坐標系中的相應位置，S卩，根據位置來推導真實坐標(x，y和z)。
[0031]此外，所述位置數據特別地與地形中的推土機的取向相關，因此可提供以推土機為參考的6DoF(六個自由度)信息。
[0032]同時定位和繪制(SLAM)是同時特別地基于環(huán)境內的靜態(tài)特征或地標構建環(huán)境(地形)的地圖并且使用這個地圖來得到車輛(推土機)的位置估計的過程。車輛依賴于自身的能力從通過安裝在推土機上的相機返回的數據中提取有用的導航信息。
[0033]收集地形信息的方法先開始推土機的未知位置并且沒有例如地形中的其位置或地標位置的先驗知識。
[0034]基于視覺的系統(tǒng)用于向SLAM算法提供數據來形成用于推土機的導航系統(tǒng)。也被稱為可視SLAM(VSLAM)的這種技術使用相機進行被動感測，以得到低電力和動態(tài)定位系統(tǒng)。使用圖像處理在相機獲取的圖像中定位特征，特別地，不同(連續(xù))圖像中的地形的相同點。
[0035]這些特征被輸入SLAM算法，SLAM算法然后能夠準確地計算各特征的三維位置，因此特別地能夠隨著推土機圍繞地形移動來開始創(chuàng)建三維地圖。該系統(tǒng)可創(chuàng)建其環(huán)境的地圖，同時使用該地圖來定位它本身。
[0036]推土機的相機可被實現為全景相機，S卩，提供圍繞至少一個軸的直至360°的視場的相機。此相機特別地通過特定光學器件(如同通過具有特定設計的鏡頭)來提供相當大的視場和/或包括某種反射鏡用于將相機的初始視場分開和/或放大。特別地，全景相機包括用于提供直至360°的視場的拋物線或錐形的反射鏡。
[0037]根據本發(fā)明的特定實施方式，通過從所述推土機的傳感器單元接收移動數據來推導所述絕對標度信息，所述傳感器單元提供關于通過移動所述推土機所覆蓋的距離的信息，所述傳感器單元被設計為
[0038].傳感器，其用于檢測所述推土機的所述輪中的至少一個的轉數，和/或
[0039].距離測量單元，特別地，DISTO模塊，其用于通過發(fā)射激光并且接收被所述對象反射的激光來測量與對象的距離，和/或
[0040].測距相機，特別地，RIM相機，和/或[0041 ].慣性測量單元(BlU)，和/或
[0042]?接收單元，其用于
[0043]□全球導航衛(wèi)星系統(tǒng)(GNSS)信號，和/或
[0044]□差分全球導航衛(wèi)星系統(tǒng)(DGNSS)信號。
[0045]根據本發(fā)明的特定實施方式，通過拍攝所述地形中的已知外觀和/或位置的參考主體的參考圖像并且通過基于拍攝的參考圖像中的所述參考主體的外觀和特別地所述相機的已知放大比率進行圖像處理推導絕對標度信息來推導絕對標度信息，特別地，其中，所述參考主體的尺寸、空間取向和/或形狀是預先已知的。
[0046]通過對地標(參考對象)的相對觀察，根據本發(fā)明的方法，提供車輛位置的估計和地標位置的估計的同時計算。在繼續(xù)運動的同時，車輛創(chuàng)建地標的完整地圖并且使用這些來提供車輛位置的連續(xù)估計。通過跟蹤車輛和環(huán)境中的可識別特征(對象)之間的相對位置，可同時估計車輛的位置和特征的位置二者。在沒有關于推土車位置的外部信息的情況下，這個算法表現出具有在未知環(huán)境中進行導航所必需工具的自發(fā)系統(tǒng)。
[0047]關于推土機生成的數據的處理，根據本發(fā)明，將所述圖像數據的集合和/或所述地形數據發(fā)送到數據庫，所述圖像數據的集合和/或所述地形數據被存儲在所述數據庫中，其中，
[0048].所述推土機包括含數據庫的存儲單元，和/或
[0049].用于控制所述推土機的遠程控制單元包括含數據庫的存儲單元，和/或
[0050].所述數據庫是通過數據云來實施的，特別地存儲在遠程服務器上，特別地，其中，
[0051]□基于所述同時定位和繪制(SLAM)算法或所述立體攝影測量算法，通過云計算用所述圖像數據推導所述地形數據，和/或
[0052]□通過云計算來執(zhí)行所述點云的縮放。
[0053]根據本發(fā)明的其它實施方式，
[0054]借助所述工作機器提供的網絡，特別地，分布式網絡，
[0055].將所述圖像數據和/或所述地形數據發(fā)送到位于所述地形中的其它工作機器，和/或
[0056].從位于所述地形中的其它工作機器接收圖像數據和/或地形數據
[0057]其中，各工作機器包括以下用途的裝置
[0058].用于處理所述圖像數據和/或地形數據，以更新當前地形狀態(tài)和/或
[0059]?將所述圖像數據和所述地形數據發(fā)送到數據庫和/或
[0060]?發(fā)送和/或參考與所述地形中的其它工作機器的相對位置相關的位置數據。
[0061]作為工地上的各工作機器將它收集的地形數據發(fā)送到特定中央數據庫的替代方式，工作機器用點對點網絡互連，盡管至少一個數據庫可以是沒有內置于機器或車輛中的部分。這個聯(lián)網布置的主要優(yōu)點是，與網絡連接的所有工作機器-包括至少一個數據庫-實時更新每個個體工作機器收集的地形信息。不同于集中式網絡，在此分布式網絡中，用于使所有點被更新的將連接的點的最少量是I個。這樣可一直保持至少一個數據庫，即使并非所有工作機器與它直接連接。然而，網絡不限于所描述的網絡類型。
[0062]根據本發(fā)明的其它特定實施方式，從所述圖像數據的集合和/或從所述地形數據中提取代表至少一個指定地形片段的實際狀態(tài)的至少一個狀態(tài)參數。然后，將所述至少一個狀態(tài)參數與各個狀態(tài)下的預定閾值進行比較，以及基于所述預定閾值和所述狀態(tài)參數的比較來推導構造信息。
[0063]所述狀態(tài)參數特別地提供地形因子的群組中的至少一個地形因子，所述地形因子的群組包括至少以下的因子:
[0064]?所述地形的粒度，
[0065]?所述地形的質地，
[0066]?所述地形的亮度或顏色，
[0067]?所述地形的濕度，
[0068]?所述地形的平坦度，
[0069].所述地形的體積，以及
[0070].所述地形的高度。
[0071]根據關于構造信息的更特定實施方式，所述構造信息特別地與相關推薦一起被提供到所述推土機的用戶，所述相關推薦關于相應至少一個指定地形片段的建議的推土。
[0072]根據本發(fā)明的其它實施方式，基于所述地形數據，特別地，基于所述點云，移動所述推土機和/或鏟刀，特別地，自動移動，其中，
[0073].所述地形數據代表拍攝的所述地形的至少一種實際形狀，
[0074].提供代表所述地形的目標形狀的構造數據，以及
[0075]?基于所述構造數據來引導所述鏟刀，使得所述地形的實際形狀被轉移到目標形狀。
[0076]特別地，所述推土機基于所述地形數據設置在所述地形中的指定位置和/或基于所述地形數據和所述構造數據根據地形的指定形狀來引導所述鏟刀。
[0077]這個功能性提供了推土機的自主驅動和/或推土機的鏟刀的自動運動。特別地，構造數據被作為代表地面的至少一個指定形狀的數字數據(例如，CAD數據)來提供。優(yōu)選地，用一方面的指定數字地形模型和另一方面的連續(xù)創(chuàng)建和更新的數字地形3D模型(帶有海拔高度信息的數字地形地圖)推導構造數據。
[0078]基于所述點云，特別地基于所述地形數據，特別地基于.通過其它工作機器收集的并且.借助網絡得到的所述地形數據，創(chuàng)建數字地形地圖，特別地，數字地形3D模型。
[0079]因此，本發(fā)明的以上方面還提供了基于推土機的至少一個相機收集的推導出的構造信息來控制地形中的其它工作機器。
[0080]此外，根據本發(fā)明的推土機可包括確定其實際位置。為此，通過將拍攝的至少一個定位圖像的推導出的定位圖像數據與預先知道的圖像數據進行比較來確定推土機的位置。
[0081]特別地，確定推土機的位置，其中，用定位圖像數據，推導限定的特性集合(特別地，限定特性的各個幅度的各個值的集合)，并且將其與參考特性的集合(特別地，特性的相關參考值)進行比較，所述參考特性的集合與預先知道的圖像數據相關，由于參考特性的各集合與地形中定義的位置相關聯(lián)，因此通過進行該比較來推導地形中的推土機位置。
[0082]根據本發(fā)明的另一個實施方式，將識別到這些對象，將從數字地形圖中排除或減去這些對象，特別地，移動對象，特別地，推土機的部分。
[0083]例如，在推土機自主移動的同時，識別構成所述推土機的路徑中，特別地所述推土機的推薦路徑中的障礙物的對象，由此自動地避免所述推土機與識別到的對象發(fā)生碰撞。
[0084]識別還可應用于將從所述數字地形地圖中排除或減去的對象，特別地，移動對象，特別地，所述推土機本身的部分。
[0085]識別保持接收至少一個其它工作機器將提供的處理的地形片段，特別地，所述地形片段的當前狀態(tài)，可致使借助網絡將信號發(fā)送到所述至少一個其它工作機器，特別地，弓丨導所述至少一個其它工作機器在相應地形片段中履行對應的處理。
[0086]本發(fā)明還涉及一種用于推土機的控制系統(tǒng)，所述推土機包括至少驅動單元，所述驅動單元包括:一組驅動輪，其特別地是連續(xù)履帶的部分；以及電機，其與所述驅動輪中的至少一個連接，以提供所述推土機的可移動性；以及鏟刀，其用于改變所述地形的表面，所述控制系統(tǒng)包括至少一個相機，其用于拍攝地形的圖像，所述相機以相對于所述推土機的已知方式設置并且對準；以及控制和處理單元，其用于控制所述推土機。
[0087]此外，用于所述推土機的所述控制系統(tǒng)提供適于通過執(zhí)行分別地控制以下步驟來生成縮放地形信息的功能:
[0088]?在所述地形中移動推土機的同時，同時通過用所述相機拍攝地形片段的圖像序列來生成圖像數據的集合，使得所述圖像序列中的至少兩個圖像特別地連續(xù)圖像覆蓋所述地形中的大量相同點，其中，所述地形片段是在移動的同時在所述相機的各個位置處由所述相機的視場區(qū)域限定的，
[0089].向所述圖像數據的集合應用
[0090]□同時定位和繪制(SLAM)算法或者
[0091]□立體攝影測量算法
[0092]從而推導出地形數據，所述地形數據包括
[0093]□點云，其代表拍攝的所述地形，以及
[0094]□位置數據，其與所述地形中的所述推土機的相對位置相關，以及
[0095]?通過向地形數據應用絕對標度信息來縮放所述點云，特別地，縮放位置數據。
[0096]特別地，用于推土機的所述控制系統(tǒng)被設計成，使得能通過所述控制系統(tǒng)由所述推土機執(zhí)行如上所列出的方法，特別地，其中，通過所述控制和處理單元來提供所述方法的執(zhí)行。
[0097]特別地，所述控制系統(tǒng)包括
[0098]?計數傳感器，其用于對所述推土機的所述輪特別地至少一個驅動輪的轉數進行計數，所述計數傳感器提供所述絕對標度信息，和/或
[0099].距離測量單元，特別地，DISTO模塊，其用于通過發(fā)射激光并且接收被所述對象反射的激光來測量與對象的距離，和/或
[0100].測距相機，特別地，RIM相機，和/或
[0101]?旋轉裝置，其用于旋轉所述相機，使得所述相機能在指定方向上對準，以便拍攝提供所述絕對標度信息的地形片段或參考主體，和/或
[0102].至少一個傾斜傳感器，特別地，陀螺儀，和/或
[0103].羅盤，和/或
[0104].至少一個廓線儀，和/或
[0105].至少一個掃描儀，和/或
[0106].至少一個慣性傳感器，其將設置在所述鏟刀上，和/或
[0107]?接收單元，其用于
[0108]□全球導航衛(wèi)星系統(tǒng)(GNSS)信號，和/或[0?09] □差分全球導航衛(wèi)星系統(tǒng)(DGNSS)信號。
[0110]此外，所述控制系統(tǒng)特別地包括:顯示器，其用于向所述推土機的操作者展示用于改變所述地形的推薦，和/或控制裝置，其用于控制所述推土機的路徑和/或所述鏟刀的位置。
[0111]此外，本發(fā)明涉及一種具有計算機可執(zhí)行指令的計算機程序產品，所述計算機可執(zhí)行指令用于特別地當在根據以上描述的控制系統(tǒng)上運行所述計算機可執(zhí)行指令時控制并且執(zhí)行以上方法。
【附圖說明】
[0112]以下，參照附圖中示意性示出的工作示例，僅僅以舉例的方式，更詳細地描述或說明根據本發(fā)明的方法和裝置。具體地，
[0113]圖1a示出包括相機和控制單元的根據本發(fā)明的推土機；
[0114]圖1b示出包括兩個對準的相機和控制單元的根據本發(fā)明的其它推土機；
[0115]圖1c示出包括兩個對向的相機和控制單元的根據本發(fā)明的其它推土機；
[0116]圖1d示出包括四個相機和控制單元的根據本發(fā)明的其它推土機；
[0117]圖2a示出從空間透視看的根據圖1a的推土機；
[0118]圖2b示出從空間透視看的根據圖1b的推土機；
[0119]圖2c示出從空間透視看的根據圖1c的推土機；
[0120]圖2d示出從空間透視看的根據圖1d的推土機；
[0121]圖3示出從空間透視看的工作地點，包括具有整體數據庫的中間站和工作機器(特別地，推土機)，中間站和工作機器建立了用于交換圖像數據和/或地形數據的分布式網絡。
【具體實施方式】
[0122]圖1a示出具有控制系統(tǒng)的推土機I，該控制系統(tǒng)包括相機2和控制單元3。推土機還包括鏟刀4和帶有輪子6的連續(xù)履帶5。相機2具有視場7并且附接到推土機I的前方，用于在推土機正在地形中移動的同時，拍攝地形(環(huán)境)的圖像(生成圖像數據的集合)。相機2基本上指向推土機I的前方。相機2被設置用于拍攝地形的圖像序列，其中，選擇用于拍攝圖像的速率(幀/秒)，使得兩個(連續(xù))圖像覆蓋地形中的大量相同點，g卩，幀速率特別地能根據推土機I的速率來調節(jié)。
[0123]在進行推土或駕駛到下一個工作的同時連續(xù)改變推土機I的位置(和取向)并且相機2的位置(和取向)也正在改變時，拍攝的各圖像覆蓋不同的地形片段。拍攝的地形片段因此是由相機7的各個姿勢和視場區(qū)域來限定的。
[0124]通過對控制和處理單元3執(zhí)行相應算法，基于一系列(連續(xù))圖像來執(zhí)行SLAM(同時定位和繪制)。處理單元3可與推土機I的控制單元3形成一體或者可被實施為從推土機接收數據(借助無線通信)并且將處理后的數據或控制信號提供到推土機I的遠程單元(未示出)，例如，控制和處理單元3與推土機I的遠程或現場控制器(未示出)形成一體。通過應用SLAM算法來產生地形數據。中央數據庫8(未示出)例如可包括這種遠程單元、遠程控制器或現場控制器。
[0125]在執(zhí)行SLAM算法的背景下，用圖像數據的集合(拍攝的圖像)來計算點云形式的地形的表面的空間表示(地形數據)，例如，3D模型。另選地，-因為繪制和定位的原理對應于SLAM原理-也位于本發(fā)明的范圍內，可通過定義的運動恢復結構(SfM)算法來進行這個計算，其中，該算法可以是用代碼存儲的程序的部分。SLAM或SfM算法可以基于帶有觀察源的透射或仿射相機投影模型，這些觀察源包括圖像對、圖像元組和/或視頻序列、和諸如稀疏特征對應性、稠密光流場、線或曲線、或沒有從圖像中提取任何標記的直接SfM技術的標記類型。
[0126]在本發(fā)明的背景下，SLAM和SfM將被認為是用于生成地形信息的等同方法。
[0127]例如，描述了包括以下步驟的以下算法:發(fā)現圖像數據集合的至少一些圖像中的多個圖像對應性(地形中的相同點)。這是使用諸如SIFT、SURF、BRISK、BRIEF等的特征檢測和匹配算法來進行。另選地，就視頻序列而言，可針對各視頻幀使用跟蹤算法來發(fā)現對應性。可使用例如Kanade-Lucas-Tomasi (KLT)特征跟蹤器或其它跟蹤算法來進行跟蹤。
[0128]使用一對連續(xù)圖像，在本地坐標系中確定相對相機姿勢(S卩，位置和取向)。算法使用魯棒搜索來發(fā)現這對圖像的相機2的3D平移和旋轉，例如，第二圖像相對于第一圖像的相對位置和取向。根據這些位置，使用前方交會法計算這兩個圖像中看到的所有特征的3D位置。這樣提供了這兩個初始圖像(幀)的3D點的集合和位置和取向。
[0129]在下一個步驟中，在現有的重構中添加額外圖像(幀)。通過使用已經重構的3D點，可使用后方交會來計算在拍攝圖像期間相機2呈現的位置和取向。在添加新圖像之后，使用重構幀中的所有測量來精煉3D點的位置。
[0130]特別地，作為最終或中間步驟，使用光束平差法來精煉整體解決方案。算法的這個部分是重新投影誤差的非線性最小平方極小化。這樣將優(yōu)化所有相機位置和所有3D點的位置和取向。
[0131]如果記錄包含同一位置的多個圖像，例如，當推土機停止移動時，將來自同一位置的這些圖像匹配。這樣將增大整體準確度。
[0132]另選地，可使用其它SLAM算法來恢復相機2的位置和取向。為了進一步加速進程，在記錄數據期間，圖像可被傳遞到控制和評價單元3。
[0133]在方法的其它發(fā)展形式中，可通過用諸如稠密匹配算法(例如，深度圖融合或平面掃描)的算法計算稠密點云(例如，各圖像像素的3D坐標)來實現地形表面的空間表示的其它改進。
[0134]在下一個步驟中，在關于已知絕對參考物(例如，塔、建筑物、電線桿或橋)的信息的幫助下，特別地針對所拍攝的地形片段(地形的空間表示)中的每個，縮放點云，特別地，推土機的位置數據。有利地，使用已知的參考主體來確定地形數據的垂直和水平取向二者。
[0135]根據本發(fā)明的特定實施方式，通過拍攝和處理已知形狀和/或結構(特別地，細長的參考主體)的圖像，能夠進行這種地形數據的縮放，細長參考主體例如由于其細長形狀而限定例如長軸并且包括至少兩個定義的可視覺上檢測到的標記，由此，在參考主體上限定至少兩個點。參考主體可被設計為例如標度條或彼此間具有限定距離的兩個或更多個光學標記的條。
[0136]已知至少兩個點之間的絕對距離，特別地，還有這至少兩個點相對于主體長軸的空間關系。這個參考主體被布置在將被進行推土的地形的上面或者旁邊。在相機2的幫助下，對至少一些圖像連同所拍攝地形圖像或者除了所拍攝地形圖像之外進行參考主體的成像。例如，另外，基于SLAM評價，針對這至少兩個點確定相對于地形的至少兩個空間位置。然后，基于確定的至少兩個空間位置之間的測得距離和參考主體的至少兩個點之間的已知絕對距離來測量點云。
[0137]還可通過圖像中能檢測到的具有已知距離的地形中定義的點或對象來形成此參考主體?？赏ㄟ^用諸如測距計(電子測距計，EDM)的測量裝置進行測量，推導出此已知距離，測量裝置可以例如DISTO模塊的形式集成在推土機中?？赏ㄟ^具有與周圍環(huán)境不同的性質的邊緣或點來限定此視覺上能檢測到的點。視覺上能檢測到的點還可包括諸如色斑或如同圓形的幾何形狀的光學標記。例如，因此可通過已知尺寸(諸如，對象或其部分的高度或寬度)的對象來形成參考主體。
[0138]根據本發(fā)明的另一個特定實施方式，通過在生成圖像數據集合的同時(也就是說，在移動的同時)測量推土機I的行進距離來推導絕對標度信息。
[0139]出于此目的，推土機I包括測量單元，測量單元用于檢測推土機I(特別地，連續(xù)履帶5)的輪子6中的至少一個的旋轉或旋轉狀態(tài)。此單元可被實施為計數傳感器，對輪子6或連續(xù)履帶5中的一者的旋轉轉數進行計數，或者可被構建為角度檢測單元，用于連續(xù)確定輪子6之一相對于推土機I的角位置。此單元可被具體制定為角度編碼器。另外，-在推土機包括連續(xù)履帶5的情況下-為了確定行駛距離要檢測并且留意右連續(xù)履帶和左連續(xù)履帶之間的相對移動，通過這種手段，能夠將推土機轉向，以及-在推土機只包括單個輪子的情況下_為了確定行駛距離要檢測并且留意至少一個轉向軸的對準。
[0140]此外，各個輪子6的尺寸(例如，直徑、半徑或周長)是已知的，因此能夠基于輪子旋轉的檢測和輪子6的尺寸來推導推土機I的移動距離。換句話講，提供地形中的推土機I的位置改變的絕對測量。
[0141]將相機拍攝的圖像或各個地形片段與對應測得的移動距離相關聯(lián)。據此，通過將測得距離與推導出的點云和/或與推土機I的位置相關的位置數據進行比較，能縮放基于所拍攝圖像的地形數據(點云)。在其它步驟中，能處理地形的縮放地圖。
[0142]因此，根據用于提供絕對標度的替代形式中的每個，給出用于收集縮放地形信息并同時生成地形地圖的有效方法。因此，推土機I可以是未知地形中的位置，其中，通過基于在推土機I在地形中移動的同時拍攝的圖像執(zhí)行SLAM，能實現推土機I的導航。
[0143]圖1b中的推土機I的控制系統(tǒng)裝配有兩個相機2、2’和控制單元3。相機2具有視場7并且相機2’具有視場7’。視場7和7’重疊，使得相機共享它們都進行拍攝的地形片段。這兩個相機附接到推土機I的前方，用于在推土機在地形中移動(生成圖像數據的集合)的同時拍攝地形(環(huán)境)的圖像。相機2、2’被設置成拍攝地形的圖像序列，其中，用于拍攝圖像的速率(幀/秒)特別地能根據推土機I的速率來調節(jié)。
[0144]在相機2、2’相對于彼此對準并且相機2、2’相對于推土機I的位置已知(攝影基線)的情況下，通過立體攝影測量的一般原理，可測量與目標物的距離，由此，使用所拍攝圖片的特征元素作為進行計算的基礎。
[0145]圖1c示出具有彼此對準的兩個相機2’、2〃的推土機，S卩，一個朝向推土機的前方，一個朝向推土機的后方。對于視場7，相機2具有將被推土的地形片段的視圖10，而對于視場7’，相機2〃具有已經被推土的地形片段的視圖10’。連同關于推土機行進的距離一起，控制單元3可計算已移動的土方量和/或查看是否在給定構造容差的范圍內履行了推土步驟。還可使用第二相機2〃給出對通過推土機的控制系統(tǒng)并且可選地在分配在地形中的其它工作機器的幫助下構建的地圖或3D模型的立即更新。當推土機I實際在向前方向上推土時，這個功能是尤其可應用的。
[0146]圖1d示出本發(fā)明的第四實施方式，S卩，推土機帶有四個相機2、2’、2”、2”’。根據圖lb，一側的相機2和2’和另一側的相機2”和2”’共享它們視場的部分。因此，可視范圍7和7’重疊并且指向推土機的前方，可視范圍7”和7”’重疊并且指向推土機的后方。用這種組裝，控制單元根據圖1b和圖1c的描述提供功能性。
[0147]這個監(jiān)測構思可擴展到推土機周圍的任何其它方向，而在臨界情況下，該構思在控制系統(tǒng)可使用的360°全景監(jiān)測系統(tǒng)中將不再適用。
[0148]圖2a、圖2b、圖2c和圖2d示出相應從從空間透視看的圖la、圖lb、圖1c和圖1d的實施方式。
[0149]相機的觀察范圍不可避免地拍攝到如同例如實際推土機的鏟刀4、快速移動經過推土機前方的同事或其它移動的工作機器一樣的移動或非移動對象，而這些對象并非待創(chuàng)建的地圖或3D模型的部分?？稍趯ο笞R別功能或者通過網絡進行的(移動的工作機器之間的)直接通信過程的幫助下，從相機拍攝的圖像數據或點云中減去這些對象。
[0150]因此，根據本發(fā)明的控制系統(tǒng)可用于避障目的。如有必要，檢測到的和/或識別到的有可能阻擋推土機道路并且造成碰撞的對象會促使推土機生成警報信號和/或停止移動。
[0151]圖3示出從空間透視看的工地(地形)。包括整體數據庫(中央數據庫)的中央局8可以是許多工作機器1、I’、I”、I1生成的分布式網絡的部分，這些工作機器特別地是根據本發(fā)明的推土機。通過雙虛線指示網絡。優(yōu)選地，各網絡點保持與每個其它網絡點的雙向連接。因有障礙物9，9n，所有一些工作機器無法與網絡的其它構件建立連接。通過細單虛線和相應干擾點處的禁止符號來指示這些受干擾或被中斷的連接。除了地球的土堆之外，其它可能的障礙物可以是建筑或森林。通過與范圍內的所有網絡構件共享信息(圖像數據或地形數據)的事實，這種網絡類型對于障礙物是穩(wěn)健的并且即使不與中央站8直接連接，也保持每個網絡構件更新關于共享的信息。例如，因有山丘9，推土機I沒有借助推土機I’、1”和I1與基站8直接連接，而是與其間接連接。
[0152]中央局站8可承擔用借助分布式網絡接收并且隨后被保存在其整體數據庫中的信息來整體管理工地。然而，每個網絡構件(即，根據本發(fā)明的包括控制系統(tǒng)的每個推土機或提供相應信息的其它工作機)可包括此整體數據庫以及處理接收到的數據所必需的處理單元。其它工作機器還可以是諸如挖掘機、運料車、輥壓機或裝載機的土方機器，而非推土機。
[0153]根據本發(fā)明的另一個方面，控制系統(tǒng)通過將地形的實際狀態(tài)與地形的指定形狀進行比較來識別和分派土方工作。如果例如在地形片段被推土之后，下一個構造步驟將是挖洞，可通過控制系統(tǒng)借助網絡請求更適于這個工作的合適的工作機器(挖掘機)。
【主權項】
1.一種在操作推土機(I)的同時生成縮放地形信息的方法，所述推土機(I)包括: ?驅動單元，其包括 □一組驅動輪(5)，其特別地是連續(xù)履帶(6)的部分，以及 □電機，其與所述驅動輪(5)中的至少一個連接，以提供所述推土機(I)的可移動性， ?鏟刀(4)，其用于改變地形(10、10’)的表面， ?至少一個相機(2、2’、2”、2”’)，其用于拍攝環(huán)境的圖像，特別地所述地形(10、10’)的圖像，所述相機(2、2 ’、2”、2” ’)以已知方式相對于所述推土機(I)設置并且對準，以及?控制和處理單元(3)， 其中，所述方法包括: ?將所述推土機(I)在所述地形(10、10’)中移動，同時通過用所述至少一個相機拍攝地形片段的圖像序列、使得所述圖像序列中的至少兩個圖像、特別地連續(xù)圖像、覆蓋所述地形(10、10’)中的大量相同點，來生成圖像數據的集合，其中，所述地形片段是在移動的同時由所述至少一個相機(2、2’、2”、2”’)的各個位置處的所述相機(2、2’、2”、2”’)的視場(7、7’、7”、7”’)限定的， ?并且向所述圖像數據的集合應用 □同時定位和繪制(SLAM)算法或者 □立體攝影測量算法 從而推導出地形數據，所述地形數據包括 □點云，其代表拍攝的所述地形(10、10 ’)，以及 □位置數據，其與所述地形(10、10 ’)中的所述推土機(I)的相對位置相關，以及 ?通過向所述地形數據應用絕對標度信息來縮放所述點云，特別地，縮放所述位置數據。2.根據權利要求1所述的方法，其特征在于，通過從所述推土機(I)的傳感器單元接收移動數據來推導所述絕對標度信息，所述傳感器單元提供關于通過移動所述推土機(I)所覆蓋的距離的信息，所述傳感器單元被設計為 ?傳感器，其用于檢測所述推土機(I)的所述輪(6)中的至少一個的轉數，和/或 ?距離測量單元，特別地，DISTO模塊，其用于通過發(fā)射激光并且接收在對象處反射的 激光來測量與所述對象的距離，和/或 ?測距相機，特別地，RM相機，和/或 ?慣性測量單元(MU)，和/或 ?接收單元，其用于 □全球導航衛(wèi)星系統(tǒng)(GNSS)信號，和/或 □差分全球導航衛(wèi)星系統(tǒng)(DGNSS)信號。3.根據權利要求1至2中的任一項所述的方法，其特征在于，通過拍攝所述地形(10、10’)中的已知外觀和/或位置的參考主體的參考圖像并且基于拍攝的參考圖像中的所述參考主體的外觀和特別地所述相機(2、2’、2”、2”’)的已知放大比率通過圖像處理推導所述絕對標度信息來推導所述絕對標度信息，特別地，其中，所述參考主體的尺寸、空間取向和/或形狀是預先已知的。4.根據權利要求1至3中的任一項所述的方法，其特征在于，將所述圖像數據的集合和/或所述地形數據發(fā)送到數據庫并且將所述數據存儲在所述數據庫中，其中， ?所述推土機(I)包括含所述數據庫的存儲單元，和/或 ?用于控制所述推土機(I)的遠程控制單元包括含所述數據庫的存儲單元，和/或?所述數據庫是通過數據云來實施的，特別地存儲在遠程服務器上，特別地，其中，□基于所述同時定位和繪制(SLAM)算法或所述立體攝影測量算法，通過云計算用所述圖像數據推導所述地形數據，和/或 □通過云計算來執(zhí)行所述點云的縮放。5.根據權利要求1至4中的任一項所述的方法，其特征在于， 借助工作機器(ura'11)提供的網絡，特別地，分布式網絡 ?將所述圖像數據和/或所述地形數據發(fā)送到位于所述地形中的其它工作機器(Γ、1”、10和/或 ?從位于所述地形中的其它工作機器(I ’、Γ、I1)接收圖像數據和/或地形數據 其中，各工作機器(1、I，、I”、I1)包括 ?用于處理所述圖像數據和/或地形數據，以更新當前地形狀態(tài)的裝置，和/或?用于將所述圖像數據和/或地形數據發(fā)送到數據庫的裝置，和/或?用于發(fā)送和/或參考與所述地形(10、10’)中的其它工作機器(I ’、I”、I1)的相對位置相關的位置數據的裝置。6.根據權利要求1至5中的任一項所述的方法，其特征在于， ?從所述圖像數據的集合和/或從所述地形數據中提取代表至少一個指定地形片段的實際狀態(tài)的至少一個狀態(tài)參數， ?將所述狀態(tài)參數與各個狀態(tài)的預定閾值進行比較，以及 ?基于所述預定閾值和所述狀態(tài)參數的比較來推導構造信息， 特別地，其中，所述狀態(tài)參數提供地形因子的群組中的至少一個地形因子，所述地形因子的群組包括至少以下的因子: ?所述地形的粒度， ?所述地形的質地， ?所述地形的亮度或顏色， ?所述地形的濕度， ?所述地形的平坦度， ?所述地形的體積，以及 ?所述地形的高度。7.根據權利要求6所述的方法，其特征在于，所述構造信息特別地與相關推薦一起被提供到所述推土機(I)的用戶，所述相關推薦與相應至少一個指定地形片段的建議的推土有關。8.根據權利要求1至7中的任一項所述的方法，其特征在于，基于所述地形數據，特別地，基于所述點云，移動所述推土機(I)和/或鏟刀(4)，特別地，自主地這樣做，其中， ?所述地形數據代表拍攝的所述地形(10、10’)的至少一種實際形狀， ?提供代表所述地形的目標形狀的構造數據，以及 ?基于所述構造數據來引導所述鏟刀(4)，使得所述地形的實際形狀(10、10’)被轉移到目標形狀， 特別地，其中，所述推土機(I)基于所述地形數據設置在所述地形中的指定位置并且基于所述地形數據和所述構造數據根據地形的指定形狀來引導所述鏟刀(4)。9.根據權利要求1至8中的任一項所述的方法，其特征在于，基于所述點云，特別地基于所述地形數據，特別地基于通過其它工作機器U1)收集的并且借助網絡得到的所述地形數據，創(chuàng)建數字地形地圖，特別地，數字地形3D模型。10.根據權利要求1至9中的任一項所述的方法，其特征在于，識別 ?構成所述推土機(I)的路徑中，特別地所述推土機(I)的推薦路徑中的障礙物的對象，由此自動地避免所述推土機(I)與識別的對象發(fā)生碰撞，和/或 ?將從所述數字地形地圖中排除或減去的對象，特別地，移動對象，特別地，所述推土機(I)的部分，和/或 ?地形片段，特別地，所述地形片段的當前狀態(tài)，其保持接收至少一個其它工作機器將提供的處理，并且借助網絡將信號發(fā)送到所述至少一個其它工作機器，特別地，引導所述至少一個其它工作機器在相應地形片段中履行對應的處理。11.一種用于推土機(I)的控制系統(tǒng)，所述推土機(I)包括至少 ?驅動單元，其包括 □一組驅動輪(6)，其特別地是連續(xù)履帶(5)的部分，以及 □電機，其與所述驅動輪(6)中的至少一個連接，以提供所述推土機(I)的可移動性，以及 ?鏟刀(4)，其用于改變地形的表面， 所述控制系統(tǒng)包括至少 ? 一個相機(2、2’、2”、2”’)，其用于拍攝地形的圖像，所述相機(2、2’、2”、2”’)以已知方式相對于所述推土機(I)設置并且對準，以及?控制和處理單元(3)， 其特征在于， 所述控制系統(tǒng)提供適于通過執(zhí)行分別地控制以下步驟來生成縮放地形信息的功能: ?在所述地形中移動所述推土機(I)的同時，同時通過用所述相機拍攝地形片段的圖像序列來生成圖像數據的集合，使得所述圖像序列中的至少兩個圖像、特別地連續(xù)圖像、覆蓋所述地形中的大量相同點，其中，所述地形片段是在移動的同時在所述相機(2、2’、2”、2” ’)的各個位置處由所述相機(2、2’、2”、2” ’)的觀察區(qū)域限定的， ?向所述圖像數據的集合應用 □同時定位和繪制(SLAM)算法或者 □立體攝影測量算法 從而推導出地形數據，所述地形數據包括 □點云，其代表拍攝的所述地形，以及 □位置數據，其與所述地形中的所述推土機(I)的相對位置相關，以及 ?通過向所述地形數據應用絕對標度信息來縮放所述點云，特別地，縮放所述位置數據。12.根據權利要求11所述的控制系統(tǒng)，其特征在于，所述控制系統(tǒng)被設計成使得能由所述控制系統(tǒng)執(zhí)行根據權利要求1至10中的任一項所述的方法，特別地，其中，通過所述控制和處理單元(3)來提供所述方法的執(zhí)行。13.根據權利要求11至12中的任一項所述的控制系統(tǒng)，其特征在于， 所述控制系統(tǒng)包括 ?計數傳感器，其對所述推土機(I)的輪(5、6)特別地至少一個驅動輪(5)的轉數進行計數，所述計數傳感器提供所述絕對標度信息，和/或 ?距離測量單元，特別地，DISTO模塊，其用于通過發(fā)射激光并且接收在對象處反射的激光來測量與所述對象的距離，和/或?測距相機，特別地，RM相機，和/或 ?旋轉裝置，其用于旋轉所述相機(2、2 ’、2”、2” ’)，使得所述相機(2、2 ’、2”、2” ’)能在 指定方向上對準，以便拍攝所述地形片段或提供所述絕對標度信息的參考主體，和/或 ?至少一個傾斜傳感器，特別地，陀螺儀，和/或 ?羅盤，和/或 ?至少一個廓線儀，和/或 ?至少一個掃描儀，和/或 ?至少一個慣性傳感器，其設置在所述鏟刀(4)上，和/或 ?接收單元，其用于 □全球導航衛(wèi)星系統(tǒng)(GNSS)信號，和/或 □差分全球導航衛(wèi)星系統(tǒng)(DGNSS)信號。14.根據權利要求11至13中的任一項所述的控制系統(tǒng)，其特征在于， 所述控制系統(tǒng)包括 ?顯示器，其用于向所述推土機(I)的操作者展示用于改變所述地形的推薦，和/或 ?控制裝置，其用于控制 □所述推土機(I)的路徑，和/或 □所述鏟刀(4)的位置。15.—種具有計算機可執(zhí)行指令的計算機程序產品，所述計算機可執(zhí)行指令用于特別地當被推土機(I)的控制系統(tǒng)運行時控制并且執(zhí)行權利要求1至11中的一項所述的方法，所述控制系統(tǒng)是根據權利要求11至14中的任一項所述的控制系統(tǒng)。
【文檔編號】G01C11/00GK106066645SQ201610211608
【公開日】2016年11月2日
【申請日】2016年4月7日 公開號201610211608.8, CN 106066645 A, CN 106066645A, CN 201610211608, CN-A-106066645, CN106066645 A, CN106066645A, CN201610211608, CN201610211608.8
【發(fā)明人】波·佩特爾松, 貝內迪克特·澤布霍塞爾
【申請人】赫克斯岡技術中心