校正系統(tǒng)、作業(yè)機(jī)械和校正方法
【專利摘要】一種校正系統(tǒng)，其包括：至少一對拍攝裝置，其設(shè)置于具有作業(yè)機(jī)的作業(yè)機(jī)械，對對象進(jìn)行拍攝；位置檢測器，其檢測上述作業(yè)機(jī)的位置；以及處理部，其使用第一位置信息、第二位置信息和第三位置信息，來求取與至少一對上述拍攝裝置的位置和姿勢相關(guān)的信息、以及用于將由至少一對上述拍攝裝置拍攝的上述對象的位置從第一坐標(biāo)系變換至第二坐標(biāo)系的變換信息，其中，上述第一位置信息是與由至少一對上述拍攝裝置拍攝的上述作業(yè)機(jī)的規(guī)定位置相關(guān)的信息，上述第二位置信息是與在至少一對上述拍攝裝置拍攝上述規(guī)定位置時的上述作業(yè)機(jī)的姿勢下由上述位置檢測器檢測出的上述規(guī)定位置相關(guān)的信息，上述第三位置信息是與由至少一對上述拍攝裝置拍攝的上述作業(yè)機(jī)械外部的規(guī)定位置相關(guān)的信息。
【專利說明】
校正系統(tǒng)、作業(yè)機(jī)械和校正方法
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及用于對作業(yè)機(jī)械具有的用于檢測對象位置的位置檢測部進(jìn)行校正的校正系統(tǒng)、作業(yè)機(jī)械和校正方法。
【背景技術(shù)】
[0002]現(xiàn)有設(shè)置了用于立體方式的三維測量的拍攝裝置來作為檢測對象位置的裝置的作業(yè)機(jī)械(例如專利文獻(xiàn)I)。
[0003]專利文獻(xiàn)I:日本特開2012 — 233353號公報

【發(fā)明內(nèi)容】

[0004]用于立體方式的三維測量的拍攝裝置需要進(jìn)行校正。具有拍攝裝置的作業(yè)機(jī)械例如在從工廠出貨前要進(jìn)行拍攝裝置的校正，但是該校正需要機(jī)器和設(shè)備，因此難以在作業(yè)現(xiàn)場進(jìn)行拍攝裝置的校正。
[0005]本發(fā)明的目的在于，即使在具有執(zhí)行立體方式的三維測量的拍攝裝置的作業(yè)機(jī)械的作業(yè)現(xiàn)場也能夠?qū)崿F(xiàn)拍攝裝置的校正。
[0006]根據(jù)本發(fā)明的第一方式，提供一種校正系統(tǒng)，其包括:至少一對拍攝裝置，其設(shè)置于具有作業(yè)機(jī)的作業(yè)機(jī)械，對對象進(jìn)行拍攝;位置檢測器，其檢測上述作業(yè)機(jī)的位置；以及處理部，其使用第一位置信息、第二位置信息和第三位置信息，來求取與至少一對上述拍攝裝置的位置和姿勢相關(guān)的信息、以及用于將由至少一對上述拍攝裝置拍攝的上述對象的位置從第一坐標(biāo)系變換至第二坐標(biāo)系的變換信息，其中，上述第一位置信息是與由至少一對上述拍攝裝置拍攝的上述作業(yè)機(jī)的規(guī)定位置相關(guān)的信息，上述第二位置信息是與在至少一對上述拍攝裝置拍攝上述規(guī)定位置時的上述作業(yè)機(jī)的姿勢下由上述位置檢測器檢測出的上述規(guī)定位置相關(guān)的信息，上述第三位置信息是與由至少一對上述拍攝裝置拍攝的上述作業(yè)機(jī)械外部的規(guī)定位置相關(guān)的信息。
[0007]根據(jù)本發(fā)明的第二方式，提供一種作業(yè)機(jī)械，其包括:作業(yè)機(jī)；以及第一方式涉及的校正系統(tǒng)。
[0008]根據(jù)本發(fā)明的第三的方式，提供一種校正方法，其包括:檢測步驟，由至少一對拍攝裝置對作業(yè)機(jī)的規(guī)定位置和具有上述作業(yè)機(jī)的作業(yè)機(jī)械周圍的規(guī)定位置進(jìn)行拍攝，并且由與至少一對上述拍攝裝置不同的位置檢測器檢測上述作業(yè)機(jī)械的規(guī)定位置；以及運(yùn)算步驟，使用第一位置信息、第二位置信息和第三位置信息，來求取與至少一對上述拍攝裝置的位置和姿勢相關(guān)的信息、以及用于將由至少一對上述拍攝裝置拍攝的對象的位置從第一坐標(biāo)系變換至第二坐標(biāo)系的變換信息，其中，上述第一位置信息是與由至少一對上述拍攝裝置拍攝的上述作業(yè)機(jī)的規(guī)定位置相關(guān)的信息，上述第二位置信息是與在至少一對上述拍攝裝置拍攝上述規(guī)定位置時的上述作業(yè)機(jī)的姿勢下由上述位置檢測器檢測出的上述規(guī)定位置相關(guān)的信息，上述第三位置信息是與由至少一對上述拍攝裝置拍攝的上述作業(yè)機(jī)械外部的規(guī)定位置相關(guān)的信息。
[0009]本發(fā)明能夠求取變換信息，該變換信息用于將由作業(yè)機(jī)械具備的用于檢測對象位置的裝置檢測出的對象的位置信息變換成用于檢測對象位置的裝置以外的坐標(biāo)系。
[0010]根據(jù)本發(fā)明，即使在具有執(zhí)行立體方式的三維測量的拍攝裝置的作業(yè)機(jī)械的作業(yè)現(xiàn)場也能夠?qū)崿F(xiàn)拍攝裝置的校正。
【附圖說明】
[0011 ]圖1是具有實(shí)施方式涉及的校正系統(tǒng)的液壓挖掘機(jī)的立體圖。
[0012]圖2是實(shí)施方式涉及的液壓挖掘機(jī)的駕駛席付近的立體圖。
[0013]圖3是表示實(shí)施方式涉及的液壓挖掘機(jī)上具有的作業(yè)機(jī)的尺寸和液壓挖掘機(jī)的坐標(biāo)系的圖。
[0014]圖4是表示實(shí)施方式涉及的校正系統(tǒng)的圖。
[0015]圖5是表示在實(shí)施方式涉及的處理裝置執(zhí)行實(shí)施方式涉及的校正方法時由拍攝裝置拍攝的對象的圖。
[0016]圖6是表示由拍攝裝置拍攝的目標(biāo)的圖像的I個示例的圖。
[0017]圖7是表示安裝于鏟斗的鏟齒的目標(biāo)被拍攝裝置拍攝時的位置的立體圖。
[0018]圖8是表示設(shè)置于液壓挖掘機(jī)外部的目標(biāo)被拍攝裝置拍攝時的位置的立體圖。
[0019]圖9是表示實(shí)施方式涉及的處理裝置20執(zhí)行實(shí)施方式涉及的校正方法時的處理示例的流程圖。
[0020]圖10是表示用于得到第三位置信息的目標(biāo)的其他示例的圖。
[0021]圖11是用于說明進(jìn)行對至少一對拍攝裝置的校正的場所的圖。
[0022]圖12是表示在將目標(biāo)設(shè)置于液壓挖掘機(jī)外部時使用的工具的I個示例的圖。
[0023]符號說明
[0024]I 車身
[0025]2作業(yè)機(jī)
[0026]3回轉(zhuǎn)體
[0027]3T 前端
[0028]4駕駛室
[0029]5行走體
[0030]6 動臂[0031 ]7 斗桿
[0032]8 鏟斗
[0033]9、9L、9C、9R 鏟齒
[0034]10動臂缸
[0035]11斗桿缸
[0036]12鏟斗缸
[0037]18A第一角度檢測部
[0038]I SB第二角度檢測部
[0039]18C第三角度檢測部
[0040]20處理裝置[0041 ] 21存儲部
[0042]21處理部
[0043]22存儲部
[0044]23輸入輸出部
[0045]30、30a、30b、30c、30d 拍攝裝置
[0046]50校正系統(tǒng)
[0047]100液壓挖掘機(jī)
[0048]Tg、Tgl、Tg2、Tg3、Tg4、Tg5、Tgl、Tgc、Tgr 目標(biāo)
【具體實(shí)施方式】
[0049]參照附圖對用于實(shí)施本發(fā)明的方式(實(shí)施方式)進(jìn)行詳細(xì)說明。
[0050]液壓挖掘機(jī)的整體結(jié)構(gòu)
[0051]圖1是具有實(shí)施方式涉及的校正系統(tǒng)的液壓挖掘機(jī)100的立體圖。圖2是實(shí)施方式涉及的液壓挖掘機(jī)100的駕駛席附近的立體圖。圖3是表示實(shí)施方式涉及的液壓挖掘機(jī)具有的作業(yè)機(jī)2的尺寸和液壓挖掘機(jī)100的坐標(biāo)系的圖。
[0052]作為作業(yè)機(jī)械的液壓挖掘機(jī)100具有車身I和作業(yè)機(jī)2。車身I具有回轉(zhuǎn)體3、駕駛室4和行走體5?；剞D(zhuǎn)體3可回轉(zhuǎn)地安裝于行走體5上。駕駛室4配置于回轉(zhuǎn)體3的前部。在駕駛室
4內(nèi)配置有圖2所示的操作裝置25。行走體5具有履帶5a、5b，液壓挖掘機(jī)100通過履帶5a、5b的轉(zhuǎn)動而行走。
[0053]作業(yè)機(jī)2安裝在車身I的前部。作業(yè)機(jī)2具有動臂6、斗桿7、作為作業(yè)部件的鏟斗8、動臂缸10、斗桿缸11和鏟斗缸12。在實(shí)施方式中，車身I的前方是從圖2所示的駕駛席4S的靠背4SS朝向操作裝置25的方向。車身I的后方是從操作裝置25朝向駕駛席4S的靠背4SS的方向。車身I的前部是車身I的前方一側(cè)的部分，且是車身I的與配重體WT相反一側(cè)的部分。操作裝置25是用于操作作業(yè)機(jī)2和回轉(zhuǎn)體3的裝置，具有右側(cè)桿25R和左側(cè)桿25L。在駕駛室4內(nèi)，在駕駛席4S的前方設(shè)置有顯示器面板26。
[0054]動臂6的基端部通過動臂銷13安裝于車身I的前部。動臂銷13相當(dāng)于動臂6相對于回轉(zhuǎn)體3的轉(zhuǎn)動中心。斗桿7的基端部通過斗桿銷14安裝于動臂6的前端部。斗桿銷14相當(dāng)于斗桿7相對于動臂6的轉(zhuǎn)動中心。在斗桿7的前端部，通過鏟斗銷15安裝有鏟斗8。鏟斗銷15相當(dāng)于鏟斗8相對于斗桿7的轉(zhuǎn)動中心。
[0055]如圖3所示，動臂6的長度、即動臂銷13與斗桿銷14之間的長度是LI。斗桿7的長度、即斗桿銷14與鏟斗銷15之間的長度是L2。鏟斗8的長度、即鏟斗銷15與鏟斗8的鏟齒9的前端即齒尖P3之間的長度是L3。
[0056]圖1所示的動臂缸10、斗桿缸11和鏟斗缸12分別是通過液壓驅(qū)動的液壓缸。它們是設(shè)置于液壓挖掘機(jī)100的車身I的、使作業(yè)機(jī)2動作的致動機(jī)構(gòu)。動臂缸10的基端部通過動臂缸下部銷(foot pin)10a安裝于回轉(zhuǎn)體3。動臂缸10的前端部通過動臂缸上部銷(top pin)1b安裝于動臂6。動臂缸10通過液壓進(jìn)行伸縮來驅(qū)動動臂6。
[0057]斗桿缸11的基端部通過斗桿缸下部銷Ila安裝于動臂6。斗桿缸11的前端部通過斗桿缸上部銷I Ib安裝于斗桿7。斗桿缸11通過液壓進(jìn)行伸縮來驅(qū)動斗桿7。
[0058]鏟斗缸12的基端部通過鏟斗缸下部銷12a安裝于斗桿7。鏟斗缸12的前端部通過鏟斗缸上部銷12b安裝于第一連桿部件47的一端和第二連桿部件48的一端。第一連桿部件47的另一端通過第一連桿銷47a安裝于斗桿7的前端部。第二連桿部件48的另一端通過第二連桿銷48a安裝于鏟斗8。鏟斗缸12通過液壓進(jìn)行伸縮來驅(qū)動鏟斗8。
[0059]如圖3所示，在動臂缸10、斗桿缸11和鏟斗缸12上分別設(shè)置有第一角度檢測部18A、第二角度檢測部18B和第三角度檢測部18C。第一角度檢測部18A、第二角度檢測部18B和第三角度檢測部18C例如是行程傳感器。它們分別通過檢測動臂缸10、斗桿缸11和鏟斗缸12的行程長度，間接地檢測動臂6相對于車身I的轉(zhuǎn)動角度、斗桿7相對于動臂6的轉(zhuǎn)動角度、鏟斗8相對于斗桿7的轉(zhuǎn)動角度。
[0060]在實(shí)施方式中，第一角度檢測部18A檢測動臂缸10的動作量即行程長度。后述的處理裝置20基于第一角度檢測部18A檢測出的動臂缸10的行程長度，計算動臂6相對于圖3所示的液壓挖掘機(jī)100的坐標(biāo)系(Xm，Ym，Zm)的Zm軸的轉(zhuǎn)動角度δ I。以下，可將液壓挖掘機(jī)100的坐標(biāo)系稱為車身坐標(biāo)系。如圖2所示，車身坐標(biāo)系的原點(diǎn)是動臂銷13的中心。動臂銷13的中央是指用與動臂銷13延伸的方向正交的平面截斷動臂銷13時的截面中心并且是動臂銷13延伸的方向上的中心。車身坐標(biāo)系不限定于實(shí)施方式的示例，例如可以設(shè)回轉(zhuǎn)體3的回轉(zhuǎn)中心為Zm軸，與動臂銷13延伸的方向平行的軸線為Ym軸，與Zm軸及Ym軸正交的軸線為Xm軸。[0061 ]第二角度檢測部18Β檢測斗桿缸11的動作量即行程長度。處理裝置20基于第二角度檢測部18Β檢測出的斗桿缸11的行程長度，計算斗桿7相對于動臂6的轉(zhuǎn)動角度δ2。第三角度檢測部18C檢測鏟斗缸12的動作量即行程長度。處理裝置20基于第三角度檢測部18C檢測出的鏟斗缸12的行程長度，計算鏟斗8相對于斗桿7的轉(zhuǎn)動角度δ3。
[0062]拍攝裝置
[0063]如圖2所示，液壓挖掘機(jī)100例如在駕駛室4內(nèi)具有多個拍攝裝置30a、30b、30c、30d。以下，在不區(qū)分多個拍攝裝置30a、30b、30c、30d的情況下可稱為拍攝裝置30。拍攝裝置30的種類沒有限定，不過在實(shí)施方式中，例如使用具有CCD(Couple Charged Device，電荷親合器)圖像傳感器或CMOS(Complementary Metal Oxide Semiconductor，互補(bǔ)金屬氧化物半導(dǎo)體)圖像傳感器的拍攝裝置。
[0064]在實(shí)施方式中，多個、詳細(xì)而言是4個拍攝裝置30a、30b、30c、30d安裝于液壓挖掘機(jī)100。更詳細(xì)而言，如圖2所示，拍攝裝置30a和拍攝裝置30b隔開規(guī)定間隔且朝向相同方向地配置于例如駕駛室4內(nèi)。拍攝裝置30c和拍攝裝置30d隔開規(guī)定間隔且朝向相同方向地配置于駕駛室4內(nèi)。拍攝裝置30b和拍攝裝置30d有時也會稍稍朝向作業(yè)機(jī)2的方向即稍稍朝向拍攝裝置30a和拍攝裝置30c—側(cè)的方向地配置。將多個拍攝裝置30a、30b、30c、30d中的兩個組合而構(gòu)成立體攝像機(jī)。在實(shí)施方式中，由拍攝裝置30a、30b的組合、以及拍攝裝置30c、30d的組合構(gòu)成立體攝像機(jī)。
[0065]在實(shí)施方式中，液壓挖掘機(jī)100具有4個拍攝裝置30，不過液壓挖掘機(jī)100具有的拍攝裝置30的數(shù)量至少有兩個即一對即可，不限定于4個。這是由于，液壓挖掘機(jī)100由至少一對拍攝裝置30構(gòu)成立體攝像機(jī)，對對象進(jìn)行立體拍攝。
[0066]多個拍攝裝置30a、30b、30c、30d配置于駕駛室4內(nèi)的前上方。上方是指與液壓挖掘機(jī)100具有的履帶5a、5b的接觸地面正交且遠(yuǎn)離接觸地面的方向。履帶5a、5b的接觸地面是履帶5a、5b中的至少一方接觸地面的部分的、由不位于同一直線上的至少3點(diǎn)規(guī)定的平面。多個拍攝裝置30a、30b、30c、30d對位于液壓挖掘機(jī)100的車身I的前方的對象進(jìn)行立體拍攝。對象例如是作業(yè)機(jī)2挖掘的對象。
[0067]圖1和圖2所示的處理裝置20使用至少一對拍攝裝置30的立體拍攝的結(jié)果，對對象進(jìn)行三維測量。即，處理裝置20對至少一對拍攝裝置30拍攝的同一對象的圖像實(shí)施立體方式的圖像處理，對上述對象進(jìn)行三維測量。多個拍攝裝置30a、30b、30c、30d配置的場所不局限于駕駛室4內(nèi)的前上方。
[0068]在實(shí)施方式中，數(shù)量為4個的多個拍攝裝置30a、30b、30c、30d中，將拍攝裝置30c作為4個拍攝裝置即多個拍攝裝置30a、30b、30c、30d的基準(zhǔn)?？蓪⑴臄z裝置30c的坐標(biāo)系(Xs，Ys，Zs)稱為拍攝裝置坐標(biāo)系。拍攝裝置坐標(biāo)系的原點(diǎn)是拍攝裝置30c的中心。拍攝裝置30a、拍攝裝置30b和拍攝裝置30d的各自坐標(biāo)系的原點(diǎn)是各拍攝裝置的中心。
[0069]校正系統(tǒng)
[0070]圖4是表示實(shí)施方式涉及的校正系統(tǒng)50的圖。校正系統(tǒng)50包括多個拍攝裝置30a、30b、30c、30d和處理裝置20。它們?nèi)鐖D1和圖2所示，設(shè)置于液壓挖掘機(jī)100的車身I。多個拍攝裝置30a、30b、30c、30d安裝于作為作業(yè)機(jī)械的液壓挖掘機(jī)100，對對象進(jìn)行拍攝，并將通過拍攝得到的對象的圖像輸出到處理裝置20。
[0071]處理裝置20具有處理部21、存儲部22和輸入輸出部23。處理部21例如通過如CPU(Central Processing Unit，中央處理裝置)這樣的處理器和存儲器實(shí)現(xiàn)。處理裝置20實(shí)現(xiàn)實(shí)施方式涉及的校正方法。在這種情況下，處理部21讀取并執(zhí)行存儲在存儲部22中的計算機(jī)程序。該計算機(jī)程序用于使處理部21執(zhí)行實(shí)施方式涉及的校正方法。
[0072]處理裝置20在執(zhí)行實(shí)施方式涉及的校正方法時，通過對由至少一對拍攝裝置30拍攝的一對圖像執(zhí)行立體方式的圖像處理，來求取對象的位置、具體而言是三維坐標(biāo)系中的對象的坐標(biāo)。這樣，處理裝置20能夠使用由至少一對拍攝裝置30拍攝同一對象而得到的一對圖像，對對象進(jìn)行三維測量。也就是說，至少一對拍攝裝置30和處理裝置20利用立體方式對對象進(jìn)行三維測量。
[0073]在實(shí)施方式中，至少一對拍攝裝置30和處理裝置20設(shè)置于液壓挖掘機(jī)100，相當(dāng)于用來檢測對象位置的第一位置檢測部。在拍攝裝置30具有執(zhí)行立體方式的圖像處理來對對象進(jìn)行三維測量的功能的情況下，該至少一對拍攝裝置30相當(dāng)于第一位置檢測部。
[0074]存儲部22使用RAM(RandomAccess Memory，隨機(jī)存取存儲器)、R0M(Read OnlyMemory，只讀存儲器)、快閃存儲器、EPROM(Erasable Programmable Read Only Memory，可擦可編程只讀存儲器)、EEPR0M(ElectricalIy Erasable Programmable Read OnlyMemory，電可擦可編程只讀存儲器)等非易失性或易失性半導(dǎo)體存儲器、磁盤、軟盤和磁光盤中的至少一種。存儲部22存儲用于使處理部21執(zhí)行實(shí)施方式涉及的校正方法的計算機(jī)程序。
[0075]存儲部22對處理部21執(zhí)行實(shí)施方式涉及的校正方法時所使用的信息進(jìn)行存儲。該信息例如包含各拍攝裝置30的姿勢、拍攝裝置30彼此的位置關(guān)系、作業(yè)機(jī)2等的已知尺寸、表示拍攝裝置30與安裝于液壓挖掘機(jī)100的固定物的位置關(guān)系的已知尺寸、表示從車身坐標(biāo)系的原點(diǎn)至各拍攝裝置30或某一拍攝裝置30的位置關(guān)系的已知尺寸、以及基于作業(yè)機(jī)2的姿勢來求取作業(yè)機(jī)2的部分位置所需的信息。
[0076]輸入輸出部23是用于連接處理裝置20和設(shè)備類的接口電路。輸入輸出部23與集線器(hub)51、輸入裝置52、第一角度檢測部18A、第二角度檢測部18B和第三角度檢測部18C連接。集線器51與多個拍攝裝置30a、30b、30c、30d連接。也可以不使用集線器51而連接拍攝裝置30與處理裝置20。將拍攝裝置30a、30b、30c、30d拍攝得到的結(jié)果經(jīng)由集線器51輸入至輸入輸出部23。處理部21經(jīng)由集線器51和輸入輸出部23獲取由拍攝裝置30a、30b、30c、30d拍攝得到的結(jié)果。輸入裝置52用于對輸入輸出部23提供在處理部21執(zhí)行實(shí)施方式涉及的校正方法時所需的ig息。
[0077]輸入裝置52例如可舉出開關(guān)和觸控面板為示例，不過并不局限于此。在實(shí)施方式中，輸入裝置52設(shè)置于圖2所示的駕駛室4內(nèi)、更詳細(xì)而言是駕駛席4S的附近。輸入裝置52既可以安裝于操作裝置25的右側(cè)桿25R和左側(cè)桿25L中的至少一方，也可以設(shè)置于駕駛室4內(nèi)的顯示器面板26。此外，輸入裝置52既可以是能夠從輸入輸出部23上拆卸的，也可以通過使用電波或紅外線的無線通信將信息提供給輸入輸出部23。
[0078]處理裝置20既可以用專用的硬件實(shí)現(xiàn)，也可以由多個處理電路相配合來實(shí)現(xiàn)處理裝置20的功能。
[0079]基于作業(yè)機(jī)2的各部尺寸和由第一角度檢測部18A、第二角度檢測部18B和第三角度檢測部18(:檢測出的信息即作業(yè)機(jī)2的轉(zhuǎn)動角度61、62、63，求取車身坐標(biāo)系(乂111，￥111，2111)中的作業(yè)機(jī)2的規(guī)定位置?；谧鳂I(yè)機(jī)2的尺寸和轉(zhuǎn)動角度δ1、δ2、δ3求取的作業(yè)機(jī)2的規(guī)定位置包含例如作業(yè)機(jī)2所具有的鏟斗8的鏟齒9的位置、鏟斗銷15的位置、以及第一連桿銷47a的位置。第一角度檢測部18A、第二角度檢測部18B和第三角度檢測部18C相當(dāng)于檢測實(shí)施方式的作業(yè)機(jī)械即液壓挖掘機(jī)100的位置、例如作業(yè)機(jī)2的位置的位置檢測器。
[0080]在校正至少一對拍攝裝置30的情況下，由位置檢測器檢測出的液壓挖掘機(jī)100的規(guī)定位置與作為至少一對拍攝裝置30的拍攝對象的作業(yè)機(jī)2的規(guī)定位置相同。在實(shí)施方式中，由位置檢測器檢測出的液壓挖掘機(jī)100的規(guī)定位置是作業(yè)機(jī)2的規(guī)定位置，但是只要是構(gòu)成液壓挖掘機(jī)100的部件的規(guī)定位置即可，并不限定于作業(yè)機(jī)2的規(guī)定位置。
[0081 ]拍攝裝置30的校正
[0082]在實(shí)施方式中，立體攝像機(jī)分別由圖2所示的一對拍攝裝置30a、30b的組合、以及一對拍攝裝置30c、30d的組合構(gòu)成。液壓挖掘機(jī)100所具有的拍攝裝置30a、30b、30c、30d在液壓挖掘機(jī)100用于實(shí)際的作業(yè)之前進(jìn)行外部校正和車身校正。外部校正是求取一對拍攝裝置30彼此的位置和姿勢的作業(yè)。詳細(xì)而言，外部校正求取一對拍攝裝置30a、30b彼此的位置和姿勢、以及一對拍攝裝置30c、30d彼此的位置和姿勢。如果得不到這些信息，則無法實(shí)現(xiàn)立體方式的三維測量。
[0083]一對拍攝裝置30a、30b彼此的位置和姿勢的關(guān)系由式(I)得到，一對拍攝裝置30c、30d彼此的位置和姿勢的關(guān)系由式(2)得到。Pa是拍攝裝置30a的位置，Pb是拍攝裝置30b的位置，Pc是拍攝裝置30c的位置，Pd是拍攝裝置30d的位置。Rl是用于將位置Pb變換成位置Pa的旋轉(zhuǎn)矩陣，R2是用于將位置Pd變換成位置Pc的旋轉(zhuǎn)矩陣。Tl是用于將位置Pb變換成位置Pa的平移矩陣，R2是用于將位置Pd變換成位置Pc的平移矩陣。
[0084]Pa = Rl.Pb+Tl..(I)
[0085]Pc = R2.Pd+T2..(2)
[0086]車身校正是求取拍攝裝置30與液壓挖掘機(jī)100的車身I的位置關(guān)系的作業(yè)。車身校正也稱為內(nèi)部校正。在實(shí)施方式的車身校正中，求取拍攝裝置30a與車身I的位置關(guān)系、以及拍攝裝置30c與車身I的位置關(guān)系。如果得不到這些位置關(guān)系，則無法將通過立體方式進(jìn)行三維測量而得到的結(jié)果變換至現(xiàn)場坐標(biāo)系。
[0087]拍攝裝置30a與車身I的位置關(guān)系由式(3)得到，拍攝裝置30b與車身I的位置關(guān)系由式(4)得到，拍攝裝置30c與車身I的位置關(guān)系由式(5)得到，拍攝裝置30d與車身I的位置關(guān)系由式(6)得到。Pma是車身坐標(biāo)系中的拍攝裝置30a的位置，Pmb是車身坐標(biāo)系中的拍攝裝置30b的位置，Pmc是車身坐標(biāo)系中的拍攝裝置30c的位置，Pmd是車身坐標(biāo)系中的拍攝裝置30d的位置。R3是用于將位置Pa變換成車身坐標(biāo)系中的位置的旋轉(zhuǎn)矩陣，R4是用于將位置Pb變換成車身坐標(biāo)系中的位置的旋轉(zhuǎn)矩陣，R5是用于將位置Pc變換成車身坐標(biāo)系中的位置的旋轉(zhuǎn)矩陣，R6是用于將位置Pd變換成車身坐標(biāo)系中的位置的旋轉(zhuǎn)矩陣。T3是用于將位置Pa變換成車身坐標(biāo)系中的位置的平移矩陣，T4是用于將位置Pb變換成車身坐標(biāo)系中的位置的平移矩陣，T5是用于將位置Pc變換成車身坐標(biāo)系中的位置的平移矩陣，T6是用于將位置Pd變換成車身坐標(biāo)系中的位置的平移矩陣。
[0088]Pma = R3.Pa+T3..(3)
[0089]Pmb = R4.Pb+T4..(4)
[0090]Pmc = R5.Pc+T5..(5)
[0091]Pmd = R6.Pd+T6..(6)
[0092]處理裝置20求取旋轉(zhuǎn)矩陣R3、R4、R5、R6和平移矩陣T3、T4、T5、T6。求出它們時，將拍攝裝置30a、30b、30c、30d的位置Pa、Pb、Pc、Pd變換成車身坐標(biāo)系中的位置Pma、Pmb、Pmc、Pmd。旋轉(zhuǎn)矩陣R3、R4、R5、R6包含圖2所示的車身坐標(biāo)系(Xm，Ym，Zm)的圍繞Xm軸的旋轉(zhuǎn)角度α、圍繞Ym軸的旋轉(zhuǎn)角度β和圍繞Zm軸的旋轉(zhuǎn)角度γ。平移矩陣T3、T4、T5、T6包含Xm方向上的大小xm、Ym方向上的大小ym和Zm方向上的大小zm。
[0093]作為平移矩陣T3的要素的大小Xm、ym、zm表示車身坐標(biāo)系中的拍攝裝置30a的位置。作為平移矩陣T4的要素的大小xm、y m、zm表示車身坐標(biāo)系中的拍攝裝置30b的位置。作為平移矩陣T5的要素的大小Xm、ym、zm表示車身坐標(biāo)系中的拍攝裝置30c的位置。作為平移矩陣T6的要素的大小xm、ym、zm表示車身坐標(biāo)系中的拍攝裝置30d的位置。
[0094]旋轉(zhuǎn)矩陣R3中包含的旋轉(zhuǎn)角度α、β、γ表示車身坐標(biāo)系中的拍攝裝置30a的姿勢。旋轉(zhuǎn)矩陣R4中包含的旋轉(zhuǎn)角度α、β、γ表示車身坐標(biāo)系中的拍攝裝置30b的姿勢。旋轉(zhuǎn)矩陣R5中包含的旋轉(zhuǎn)角度α、β、γ表示車身坐標(biāo)系中的拍攝裝置30c的姿勢。旋轉(zhuǎn)矩陣R6中包含的旋轉(zhuǎn)角度α、β、γ表示車身坐標(biāo)系中的拍攝裝置30d的姿勢。
[0095]液壓挖掘機(jī)100例如在從工廠出貨前進(jìn)行外部校正和車身校正。它們的結(jié)果存儲在圖4所示的處理裝置20的存儲部22中。在工廠出貨時，外部校正例如使用設(shè)置在工廠的建筑物內(nèi)的、作為專用設(shè)備的腳手架和作為用來校正的設(shè)備的稱為全站儀的測量儀來進(jìn)行。該腳手架是寬度為數(shù)米且高度近10米的、由鋼骨架部件等校正的較大的構(gòu)造物。在液壓挖掘機(jī)100的作業(yè)現(xiàn)場拍攝裝置30的位置發(fā)生偏移或者更換拍攝裝置30的情況下，需要對拍攝裝置30進(jìn)行外部校正。而在作業(yè)現(xiàn)場難以準(zhǔn)備外部校正用的腳手架和全站儀。
[0096]校正系統(tǒng)50通過執(zhí)行實(shí)施方式涉及的校正方法，在液壓挖掘機(jī)100的作業(yè)現(xiàn)場實(shí)現(xiàn)對拍攝裝置30的外部校正和車身校正。詳細(xì)而言，校正系統(tǒng)50使用作業(yè)機(jī)2的規(guī)定位置、在實(shí)施方式中是鏟斗8的鏟齒9的位置，并且使用基于作業(yè)機(jī)2的不同姿勢而得到的多個鏟斗8的鏟齒9的位置、以及液壓挖掘機(jī)100外部的規(guī)定位置，來實(shí)現(xiàn)外部校正和車身校正這兩種校正。關(guān)于液壓挖掘機(jī)100外部的規(guī)定位置，使用后述的圖8等進(jìn)行詳細(xì)說明。
[0097]圖5是表示在實(shí)施方式涉及的處理裝置20執(zhí)行實(shí)施方式涉及的校正方法時由拍攝裝置30拍攝的對象的圖。在對拍攝裝置30進(jìn)行校正的情況下，校正系統(tǒng)50將安裝于鏟斗8的鏟齒9的目標(biāo)Tg的位置作為作業(yè)機(jī)2的規(guī)定位置使用。目標(biāo)Tg是配置于作業(yè)機(jī)2的規(guī)定位置的第一標(biāo)記。目標(biāo)Tg例如安裝于鏟齒9L、9C、9R上。在從駕駛室4觀察鏟斗8時，f產(chǎn)齒9L配置于左端，鏟齒9L配置于右端，鏟齒9C配置于中央。另外，在實(shí)施方式中將對采用具有鏟齒9的鏟斗8的情況進(jìn)行說明，但是液壓挖掘機(jī)100也可以具有不設(shè)置鏟齒9的其他形態(tài)的鏟斗，例如被稱為法面鏟斗這樣的鏟斗。
[0098]由于在至少一對拍攝裝置30的校正中使用目標(biāo)Tg，所以能夠可靠地檢測作業(yè)機(jī)2的規(guī)定位置和液壓挖掘機(jī)100外部的規(guī)定位置。在實(shí)施方式中，目標(biāo)Tg是在白底上繪制黑點(diǎn)而成的。利用這樣的目標(biāo)，由于對比鮮明，所以能夠更可靠地檢測作業(yè)機(jī)2的規(guī)定位置和液壓挖掘機(jī)100外部的規(guī)定位置。
[0099]在實(shí)施方式中，目標(biāo)Tg在與鏟斗8的寬度方向W即鏟斗銷15延伸的方向平行的方向上排列。在實(shí)施方式中，鏟斗8的寬度方向W與一對拍攝裝置30a、30b以及一對拍攝裝置30c、30d中的至少一對排列的方向相同。在實(shí)施方式中，一對拍攝裝置30a、30b以及一對拍攝裝置30c、30d雙方排列的方向相同。在鏟斗8的寬度方向W上的中央的鏟齒9在車身坐標(biāo)系中僅在I個平面、即Xm—Zm平面上移動。中央的鏟齒9的位置難以受到鏟斗8的寬度方向W上的姿勢變動的影響，因此位置精度較高。
[0100]在實(shí)施方式中，在鏟斗8的3個鏟齒9上設(shè)置目標(biāo)Tg，但是目標(biāo)Tg的數(shù)量即作為測量對象的鏟齒9的數(shù)量并不限定于3個。目標(biāo)Tg設(shè)置于至少I個鏟齒9上也可以。但是，為了抑制使用一對拍攝裝置30a、30b以及一對拍攝裝置30c，30d進(jìn)行的立體方式的位置測量的精度降低，在本實(shí)施方式涉及的校正方法中，優(yōu)選在鏟斗8的寬度方向W上分離地設(shè)置有兩個以上的目標(biāo)Tg，這樣能夠獲得較高的測量精度。
[0101]圖6是表示由拍攝裝置30a、30b、30c、30d拍攝的目標(biāo)Tg的圖像IMG的I個示例的圖。圖7是表示安裝于鏟斗8的鏟齒9的目標(biāo)Tg被拍攝裝置30a、30b、30c、30d拍攝時的位置的立體圖。圖8是表示設(shè)置于液壓挖掘機(jī)100外部的目標(biāo)Tg被拍攝裝置30a、30b、30c、30d拍攝時的位置的立體圖。
[0102]當(dāng)拍攝裝置30a、30b、30c、30d拍攝鏟斗8的鏟齒9的目標(biāo)Tg時，在圖像頂G中存在有3個目標(biāo)Tgl、Tgc、Tgr。目標(biāo)Tgl安裝于伊^齒9L。目標(biāo)Tgc安裝于伊^齒9C。目標(biāo)Tgr安裝于伊^齒9R。
[0103]當(dāng)構(gòu)成立體攝像機(jī)的一對拍攝裝置30a、30b拍攝目標(biāo)Tg時，能夠分別從拍攝裝置30a和拍攝裝置30b得到圖像頂G。當(dāng)構(gòu)成立體攝像機(jī)的一對拍攝裝置30c、30d拍攝目標(biāo)Tg時，能夠分別從拍攝裝置30c和拍攝裝置30d得到圖像IMG。由于目標(biāo)Tg安裝于鏟斗8的鏟齒9，所以目標(biāo)Tg的位置表示鏟斗8的鏟齒9的位置即作業(yè)機(jī)2的規(guī)定位置。目標(biāo)Tg的位置信息為第一位置信息，該第一位置信息是與由至少一對拍攝裝置30拍攝到的作業(yè)機(jī)2的規(guī)定位置相關(guān)的信息。目標(biāo)Tg的位置信息是在圖像MG中的位置信息，例如是構(gòu)成圖像MG的像素的位置信息。
[0104]第一位置信息是一對拍攝裝置30a、30b以及一對拍攝裝置30c、30d通過在作業(yè)機(jī)2的不同姿勢下拍攝作為第一標(biāo)記的目標(biāo)Tg的位置而得到的信息。在實(shí)施方式中，如圖7所示，一對拍攝裝置30a、30b以及一對拍攝裝置30c、30d拍攝在位置A、B、C、D、E、F、G、H這8處的目標(biāo)Tg。
[0105]圖7在Xg— Yg—Zg坐標(biāo)系中表示目標(biāo)Tg13Xg軸是與液壓挖掘機(jī)100的車身坐標(biāo)系的Xm軸平行的軸，設(shè)液壓挖掘機(jī)100的回轉(zhuǎn)體3的前端為O13Yg軸是與液壓挖掘機(jī)100的車身坐標(biāo)系的Ym軸平行的軸。Zg軸是與液壓挖掘機(jī)100的車身坐標(biāo)系的Zm軸平行的軸。目標(biāo)Tg在Yg軸方向上的位置YgO、Ygl、Yg2與安裝有目標(biāo)Tg的鏟斗8的鏟齒9L、9C、9R的位置對應(yīng)。Yg軸方向上的位置Ygl是鏟斗8的寬度方向W上的中央位置。
[0106]位置六3、(:在乂8軸方向上的位置是乂81，28軸方向上的位置分別是281、282、283。位置041在乂8軸方向上的位置是乂82，28軸方向上的位置分別是281、282、283。位置6、!1在父8軸方向上的位置是Xg3，Zg軸方向上的位置分別是Zg2、Zg3。按位置Xgl、Xg2、Xg3的順序遠(yuǎn)離液壓挖掘機(jī)100的回轉(zhuǎn)體3。
[0107]在實(shí)施方式中，處理裝置20求取在A、B、C、D、E、F、G、H各位置的配置于鏟斗8的寬度方向W的中央的鏟齒9C的位置。詳細(xì)而言，處理裝置20對A、B、C、D、E、F、G、H各位置獲取第一角度檢測部18A、第二角度檢測部18B和第三角度檢測部18C的檢測值，求取轉(zhuǎn)動角度δ1、δ2、δ3。處理裝置20基于求出的轉(zhuǎn)動角度δ1、δ2、δ3和作業(yè)機(jī)2的長度L1、L2、L3求取鏟齒9C的位置。這樣得到的鏟齒9C的位置是在液壓挖掘機(jī)100的車身坐標(biāo)系中的位置。在位置A、B、C、D、E、F、G、H時得到的車身坐標(biāo)系中的鏟齒9C的位置信息為第二位置信息，該第二位置信息是作為位置檢測器的第一角度檢測部18A、第二角度檢測部18B和第三角度檢測部18C通過在作業(yè)機(jī)2的不同姿勢下檢測作為作業(yè)機(jī)2的規(guī)定位置的鏟齒9C的位置而得到的信息。
[0108]在實(shí)施方式中，如圖8所示，在液壓挖掘機(jī)100外部的規(guī)定位置設(shè)置目標(biāo)Tg。設(shè)置于液壓挖掘機(jī)100外部的目標(biāo)Tg是第二標(biāo)記。在實(shí)施方式中，目標(biāo)Tg例如設(shè)置于液壓挖掘機(jī)100工作的作業(yè)現(xiàn)場。詳細(xì)而言，目標(biāo)Tg設(shè)置于液壓挖掘機(jī)100的前方的地面⑶上。通過將目標(biāo)Tg設(shè)置于液壓挖掘機(jī)100的前方，能夠縮短處理裝置20校正拍攝裝置30所需的時間、更詳細(xì)而言是實(shí)施方式涉及的校正方法的運(yùn)算收斂的時間。
[0109]目標(biāo)Tg在第一方向以及與第一方向正交的第二方向上例如呈方格狀地設(shè)置。在第一方向上，目標(biāo)Tg以液壓挖掘機(jī)100的回轉(zhuǎn)體3的前端3T為基準(zhǔn)，設(shè)置在距離X1、X2、X3的位置處。在第二方向上，目標(biāo)Tg在距離Yl的范圍內(nèi)配置有3個。距離X1、X2、X3、Y1的大小不限定于特定的值，但是優(yōu)選在拍攝裝置30的整個拍攝范圍內(nèi)配置目標(biāo)Tg。此外，與回轉(zhuǎn)體3相隔最遠(yuǎn)的距離X3優(yōu)選大于作業(yè)機(jī)2在最大限度地伸展的狀態(tài)下的長度。
[0110]一對拍攝裝置30a、30b以及一對拍攝裝置30c、30d拍攝設(shè)置于液壓挖掘機(jī)100外部的目標(biāo)Tg。目標(biāo)Tg的位置信息為第三位置信息，該第三位置信息是與由至少一對拍攝裝置30拍攝到的液壓挖掘機(jī)100外部的規(guī)定位置相關(guān)的信息。目標(biāo)Tg的位置信息是由一對拍攝裝置30a、30b以及一對拍攝裝置30c、30d拍攝到的圖像中的位置信息，例如是構(gòu)成圖像的像素的位置信息。
[0111]優(yōu)選設(shè)置于液壓挖掘機(jī)100外部的多個目標(biāo)Tg盡可能地由各拍攝裝置30a、30b、30c、30d共同拍攝。此外，目標(biāo)Tg優(yōu)選以朝向各拍攝裝置30a、30b、30c、30d的方式設(shè)置。因此，可以將目標(biāo)Tg安裝于設(shè)置在地面GD上的臺座上。在校正現(xiàn)場，如果在液壓挖掘機(jī)100的前方有隨著遠(yuǎn)離液壓挖掘機(jī)100其高度逐漸變高的傾斜面，則也可以將目標(biāo)Tg設(shè)置于該傾斜面。此外，在校正現(xiàn)場，如果有建筑物等構(gòu)造物的壁面，則也可以將目標(biāo)Tg設(shè)置于該壁面。在這種情況下，使液壓挖掘機(jī)100移動到設(shè)置有目標(biāo)Tg的壁面的前面即可。這樣設(shè)置目標(biāo)Tg時，目標(biāo)Tg都朝向拍攝裝置30a、30b、30c、30d，因此拍攝裝置30a、30b、30c、30d能夠可靠地拍攝目標(biāo)Tg。在實(shí)施方式中，示出了所設(shè)置的目標(biāo)Tg的數(shù)量為9個的情況，但是目標(biāo)Tg的數(shù)量只要至少為6個即可，也可以為9個以上。
[0112]處理裝置20的處理部21利用第一位置信息、第二位置信息和第三位置信息，求取與一對拍攝裝置30a、30b以及一對拍攝裝置30c、30d的位置和姿勢相關(guān)的信息。處理部21求取用于將由一對拍攝裝置30a、30b以及一對拍攝裝置30c、30d拍攝的對象的位置從第一坐標(biāo)系變換至第二坐標(biāo)系的變換信息。與一對拍攝裝置30a、30b以及一對拍攝裝置30c、30d的位置相關(guān)的信息(以下可稱為位置信息)是平移矩陣X3、X4、X5、X6所包含的大小Xm、ym、zm。與一對拍攝裝置30a、30b以及一對拍攝裝置30c、30d的姿勢相關(guān)的信息(以下可稱為姿勢信息)是旋轉(zhuǎn)矩陣R3、R4、R5、R6所包含的旋轉(zhuǎn)角度α、β、γ。變換信息是旋轉(zhuǎn)矩陣R3、R4、R5、R6。
[0113]處理部21使用光束法處理第一位置信息、第二位置信息和第三位置信息，來求取位置信息、姿勢信息和變換信息。使用光束法求取位置信息、姿勢信息和變換信息的方法與航空攝影測量的方法相同。
[0114]設(shè)圖5所示的目標(biāo)Tg在車身坐標(biāo)系中的位置為Pm(Xm，Ym，Zm)或Pm。設(shè)圖6所示的、由拍攝裝置30拍攝的目標(biāo)Tg在圖像頂G中的位置為Pg(i，j)或Pg。設(shè)拍攝裝置坐標(biāo)系中的目標(biāo)Tg的位置為Ps(XS，Ys，Zs)或Ps。車身坐標(biāo)系和拍攝裝置坐標(biāo)系中的目標(biāo)Tg的位置由三維坐標(biāo)表示，圖像IMG中的目標(biāo)T g的位置由二維坐標(biāo)表示。
[0115]在拍攝裝置坐標(biāo)系中目標(biāo)的位置Ps與在車身坐標(biāo)系中目標(biāo)Tg的位置Pm的關(guān)系由式(7)表示。R是用于將位置Pm變換成位置Ps的旋轉(zhuǎn)矩陣，T是用于將位置Pm變換成位置Ps的平移矩陣。旋轉(zhuǎn)矩陣R和平移矩陣T依拍攝裝置30a、30b、30c、30d而各不相同。在圖像IMG中目標(biāo)Tg的位置Pg與在拍攝裝置坐標(biāo)系中目標(biāo)的位置Ps之間的關(guān)系由式(8)表示。式(8)是將三維拍攝裝置坐標(biāo)系中目標(biāo)的位置Ps變換成二維圖像頂G中目標(biāo)Tg的位置Pg的計算式。
[0116]Ps = R.Pm+T..(7)
[0117](i一cx，j一cx)D=(Xs，Ys)/Zs..(8)
[0?18]式(8)中所含的D是設(shè)焦點(diǎn)距離為Imm時的像素比(mm/pixeI)。此外，(cx，cy)是被稱為圖像中心的位置，表示拍攝裝置30的光軸與圖像IMG的交點(diǎn)的位置。D和cX、cy能夠通過內(nèi)部校正求取。
[0119]關(guān)于由I個拍攝裝置30拍攝的I個目標(biāo)Tg，能夠基于式(7)和式(8)得到式(9)至式
(Il)0
[0120]f(Xm，i，j;R，T)=0..(9)
[0121]f(Ym，i，j;R，T)=0..(10)
[0122]f(zm，i，j;R，T)=0..(11)
[0123]處理部21生成與由拍攝裝置30a、30b、30c、30d拍攝的目標(biāo)Tg的數(shù)量相對應(yīng)的式
(9)至式(11)。對于安裝于鏟斗8在寬度方向W上的中央鏟齒9上的目標(biāo)Tg的位置，處理部21將其作為已知的坐標(biāo)并對其賦予車身坐標(biāo)系中的位置Pm的值。對于安裝于鏟斗8的鏟齒9上的其他目標(biāo)Tg、即安裝于鏟斗8兩端的鏟齒9上的目標(biāo)Tg的位置，處理部21將其處理為坐標(biāo)未知。對于設(shè)置于液壓挖掘機(jī)100外部的目標(biāo)Tg的位置，處理部21也將其處理為坐標(biāo)未知。安裝于鏟斗8在寬度方向W上的中央鏟齒9上的目標(biāo)Tg的位置相當(dāng)于航空攝影測量的基準(zhǔn)點(diǎn)。安裝于鏟斗8兩端的鏟齒9上的目標(biāo)Tg的位置和設(shè)置于液壓挖掘機(jī)100外部的目標(biāo)Tg的位置相當(dāng)于航空攝影測量的路徑點(diǎn)。
[0124]在實(shí)施方式中，設(shè)安裝于鏟斗8在寬度方向W上的中央鏟齒9上的目標(biāo)Tg為8個，安裝于鏟斗8兩端的鏟齒9上的目標(biāo)Tg為16個，設(shè)置于液壓挖掘機(jī)100外部的目標(biāo)Tg中用于校正的目標(biāo)為5個時，對由I個拍攝裝置30拍攝的共計29個目標(biāo)Tg，分別能夠得到式(9)至式
(11)。實(shí)施方式涉及的校正方法通過外部校正來實(shí)現(xiàn)由至少一對拍攝裝置30進(jìn)行的立體匹配，因此處理部21對由一對拍攝裝置30拍攝的共計29個目標(biāo)Tg分別生成式(9)至式(11)。處理部21使用最小二乘法，基于所得到的多個式求取旋轉(zhuǎn)矩陣R和平移矩陣T。
[0125]處理部21使用例如牛頓-拉夫森法求解所得到的多個式，來決定所得到的多個式中的未知數(shù)。此時，處理部21使用例如液壓挖掘機(jī)100從工廠出貨之前進(jìn)行的外部校正和車身校正的結(jié)果作為初始值。此外，關(guān)于坐標(biāo)未知的目標(biāo)Tg，處理部21使用推定值。例如，安裝于鏟斗8兩端的鏟齒9上的目標(biāo)Tg的位置推定值能夠基于安裝于鏟斗8的寬度方向W上的中央鏟齒9上的目標(biāo)Tg的位置和鏟斗8的寬度方向W的尺寸而得到。設(shè)置于液壓挖掘機(jī)100外部的目標(biāo)Tg的位置推定值能夠設(shè)為基于液壓挖掘機(jī)100的車身坐標(biāo)系的原點(diǎn)測量出的值。
[0126]在實(shí)施方式中，將例如液壓挖掘機(jī)100從工廠出貨之前進(jìn)行的外部校正和車身校正的結(jié)果存儲在圖4所示的存儲部22中。設(shè)置于液壓挖掘機(jī)100外部的目標(biāo)Tg的位置推定值由進(jìn)行校正的作業(yè)者、例如維修人員或液壓挖掘機(jī)100的操作員預(yù)先求出并存儲在存儲部22中。在決定所得到的多個式中的未知數(shù)時，處理部21從存儲部22中讀取外部校正的結(jié)果、車身校正的結(jié)果和設(shè)置于液壓挖掘機(jī)100外部的目標(biāo)Tg的位置推定值，并將其設(shè)為求解所得到的多個式時的初始值。
[0127]在設(shè)定初始值之后，處理部21求解所得到的多個式。在求解所得到的多個式的運(yùn)算收斂之后，處理部21將此時的值設(shè)為位置信息、姿勢信息和變換信息。詳細(xì)而言，運(yùn)算收斂時對于各拍攝裝置3(^、3013、300、30(1得到的大小1111、7111、21]1和旋轉(zhuǎn)角度€[、0、γ為各拍攝裝置30a、30b、30c、30d的位置信息和姿勢信息。變換信息是包含旋轉(zhuǎn)角度α、β、γ的旋轉(zhuǎn)矩陣R和以大小xm、ym、zm作為要素的平移矩陣Τ。
[0128]圖9是表示實(shí)施方式涉及的處理裝置20執(zhí)行實(shí)施方式涉及的校正方法時的處理示例的流程圖。在作為檢測步驟的步驟Sll中，處理裝置20的處理部21使一對拍攝裝置30a、30b以及一對拍攝裝置30c、30d在作業(yè)機(jī)2的多個不同的姿勢下拍攝安裝于鏟斗8的鏟齒9上的目標(biāo)Tg。此時，處理部21在作業(yè)機(jī)2的各姿勢時從第一角度檢測部18A、第二角度檢測部18B和第三角度檢測部18C獲取檢測值。然后，處理部21基于所取得的檢測值來求取鏟齒9C的位置。處理部21將求出的鏟齒9C的位置暫時存儲在存儲部22中。處理部21使一對拍攝裝置30a、30b以及一對拍攝裝置30c、30d拍攝設(shè)置于液壓挖掘機(jī)100外部的目標(biāo)Tg。處理部21求取由各拍攝裝置30a、30b、30c、30d拍攝的圖像IMG中的目標(biāo)Tg的位置Pg，并暫時存儲在存儲部22中。
[0129]處理部21使用光束法處理第一位置信息、第二位置信息和第三位置信息，生成用于求取位置信息、姿勢信息和變換信息的多個式。在步驟S12中，處理部21設(shè)定初始值。在作為運(yùn)算步驟的步驟S13中，處理部21執(zhí)行光束法的運(yùn)算。在步驟S14中，處理部21執(zhí)行運(yùn)算的收斂判定。
[0130]在判斷為運(yùn)算不收斂的情況下(步驟S14，“否”)，處理部21前進(jìn)至步驟S15，變更基于光束法的運(yùn)算開始時的初始值，并執(zhí)行步驟SI 3的運(yùn)算和步驟S14的收斂判定。在判斷為運(yùn)算收斂的情況下(步驟S14，“是”)，處理部21結(jié)束校正。在這種情況下，將運(yùn)算收斂時的值設(shè)為位置信息、姿勢信息和變換信息。
[0131]用于得到第三位置信息的目標(biāo)Tg
[0132]圖10是表示用于得到第三位置信息的目標(biāo)Tg的其他示例的圖。如上所述，一對拍攝裝置30a、30b以及一對拍攝裝置30c、30d在作業(yè)機(jī)2的多個不同姿勢下拍攝安裝于鏟斗8的鏟齒9的目標(biāo)Tg。在圖10所示的示例中，使用設(shè)置于液壓挖掘機(jī)100外部的目標(biāo)Tg，使由朝向下方安裝的一對拍攝裝置30c、30d拍攝的圖像中目標(biāo)Tg所占的比例増加。
[0133]這樣，只要使由一對拍攝裝置30c、30d拍攝的圖像中目標(biāo)Tg所占的比例増加即可，所以第三位置信息并不限定于基于設(shè)置在液壓挖掘機(jī)100本體外部的目標(biāo)Tg而得到的信息。例如如圖10所示，目標(biāo)Tg也可以由安裝器具60配置在大于鏟斗8寬度的位置。
[0134]安裝器具60包括:能安裝目標(biāo)Tg的軸部件62、以及安裝于軸部件62的一端部的固定用部件61。固定用部件61具有磁鐵。固定用部件61通過吸附于作業(yè)機(jī)2將例如目標(biāo)Tg和軸部件62安裝于作業(yè)機(jī)2。這樣，固定用部件61能夠安裝于作業(yè)機(jī)2，并且能夠從作業(yè)機(jī)2卸下。在該示例中，固定用部件61吸附于鏟斗銷15，將目標(biāo)Tg和軸部件62固定于作業(yè)機(jī)2。將目標(biāo)Tg安裝于作業(yè)機(jī)2時，該目標(biāo)Tg相比于安裝于鏟斗8的鏟齒9上的目標(biāo)Tg更靠鏟斗8的寬度方向W上的外側(cè)配置。
[0135]在外部校正和車身校正中，處理部21改變作業(yè)機(jī)2的姿勢并使一對拍攝裝置30a、30b以及一對拍攝裝置30c、30d拍攝由安裝器具60安裝于作業(yè)機(jī)2上的目標(biāo)Tg和安裝于鏟斗8的鏟齒9上的目標(biāo)Tg。通過拍攝由安裝器具60安裝于作業(yè)機(jī)2上的目標(biāo)Tg，能夠抑制由朝向下方安裝的一對拍攝裝置30c、30d拍攝的圖像中目標(biāo)Tg所占的比例降低。
[0136]該示例中，在外部校正和車身校正中只要使用安裝器具60將目標(biāo)Tg安裝于作業(yè)機(jī)
2即可，因此不需要將目標(biāo)Tg設(shè)置于液壓挖掘機(jī)100本體的外部。因此，能夠簡化外部校正和車身校正的準(zhǔn)備。
[0137]關(guān)于進(jìn)行校正的場所
[0138]圖11是用于說明進(jìn)行至少一對拍攝裝置30的校正的場所的圖。如圖11所示，液壓挖掘機(jī)100設(shè)置在隨著遠(yuǎn)離液壓挖掘機(jī)100其高度逐漸降低的傾斜面SP的跟前。在以傾斜面SP位于液壓挖掘機(jī)100前方這樣的方式設(shè)置液壓挖掘機(jī)100的狀態(tài)下，可以進(jìn)行至少一對拍攝裝置30的校正。
[0139]在實(shí)施方式的校正中，處理部21改變作業(yè)機(jī)2的姿勢并使一對拍攝裝置30a、30b以及一對拍攝裝置30c、30d拍攝安裝于鏟斗8的鏟齒9上的目標(biāo)Tg。在這種情況下，通過使鏟斗8在傾斜面SP上上下移動，鏟斗8進(jìn)行動作的范圍擴(kuò)展至比設(shè)置有液壓挖掘機(jī)100的表面低的范圍。因此，在鏟斗8位于比設(shè)置有液壓挖掘機(jī)100的表面低的范圍內(nèi)時，朝向下方安裝的一對拍攝裝置30c、30d能夠拍攝安裝于鏟斗8的鏟齒9上的目標(biāo)Tg。其結(jié)果是，能夠抑制由朝向下方安裝的一對拍攝裝置30c、30d拍攝的圖像中目標(biāo)Tg所占的比例降低。
[0140]用于校正準(zhǔn)備的工具的示例
[0141 ]圖12是表示在將目標(biāo)Tg設(shè)置于液壓挖掘機(jī)100外部時使用的工具的I個示例的圖。在設(shè)置目標(biāo)Tg時，作為設(shè)置作業(yè)的輔助工具，例如可以使用具有顯示部的便攜式終端裝置70，該顯示部在畫面71中顯示目標(biāo)Tg的導(dǎo)向信息(guidance)。在該示例中，便攜式終端裝置70從液壓挖掘機(jī)100的處理裝置20獲取作為校正對象的一對拍攝裝置30所拍攝的圖像。然后，便攜式終端裝置70將拍攝裝置30拍攝的圖像與導(dǎo)向框73、74—起顯示在顯示部的畫面71中。
[0142]導(dǎo)向框73、74表示在由一對拍攝裝置30拍攝的一對圖像中能夠用于立體匹配的范圍。在立體匹配中，查找由一對拍攝裝置30拍攝的一對圖像中相對應(yīng)的部分。一對拍攝裝置30各自的拍攝范圍不同，因此一對拍攝裝置30所拍攝的范圍內(nèi)共同的部分為查找的對象、即能夠用于立體匹配(三維測量)的范圍。導(dǎo)向框73、74是表示一對拍攝裝置30所拍攝的范圍內(nèi)的共同部分的圖像。
[0143]在圖12所示的示例中，在畫面71的左側(cè)顯示由I個拍攝裝置30拍攝的圖像，在畫面71的右側(cè)顯示由另I個拍攝裝置30拍攝的圖像。各圖像中分別出現(xiàn)5個目標(biāo)Tgl、Tg2、Tg3、Tg4、Tg5。全部目標(biāo)了81、182、183、184、185都位于導(dǎo)向框73的內(nèi)側(cè)，但是目標(biāo)Tgl位于導(dǎo)向框74的外側(cè)。在這種情況下，目標(biāo)Tg不能用于校正，因而無法確保校正的精度。因此，進(jìn)行校正的作業(yè)者一邊對便攜式終端裝置70的畫面71進(jìn)行視覺確認(rèn)，一邊調(diào)整目標(biāo)Tg5的位置以使目標(biāo)Tg5進(jìn)入導(dǎo)向框74內(nèi)。
[0144]在畫面71中示出了目標(biāo)Tg5移動的狀況，因此進(jìn)行校正的作業(yè)者能夠?qū)⒍鄠€目標(biāo)Tg配置在能夠用于一對拍攝裝置30的立體匹配的范圍內(nèi)，并且能夠?qū)⒛繕?biāo)Tg配置在上述整個范圍內(nèi)。其結(jié)果，能夠提高實(shí)施方式涉及的校正的精度。通過在便攜式終端裝置70的畫面中顯示導(dǎo)向框73、74和由一對拍攝裝置30拍攝的圖像，進(jìn)行校正的作業(yè)者能夠一邊設(shè)置目標(biāo)Tg—邊確認(rèn)結(jié)果，因此能夠提高設(shè)置目標(biāo)Tg時的作業(yè)効率。
[0145]在該示例中，在便攜式終端裝置70具有的顯示部的畫面71中顯示由一對拍攝裝置30拍攝的一對圖像，但是也可以在畫面71中顯示由液壓挖掘機(jī)100具有的一對拍攝裝置30a、30b以及一對拍攝裝置30c、30d拍攝的共計4個圖像。這樣，進(jìn)行校正的作業(yè)者能夠考慮到由液壓挖掘機(jī)100具有的全部拍攝裝置30a、30b、30c、30d拍攝的圖像中的目標(biāo)Tg的配置平衡地設(shè)置目標(biāo)Tg。
[0146]導(dǎo)向框73、74和由一對拍攝裝置30拍攝的圖像也可以顯示在便攜式終端裝置70的畫面71以外的畫面中。例如，也可以在設(shè)置于液壓挖掘機(jī)100的駕駛室4內(nèi)的顯示器面板26中顯示導(dǎo)向框73、74和由一對拍攝裝置30拍攝的圖像。這樣，就不需要便攜式終端裝置70。
[0147]以上，實(shí)施方式涉及的校正系統(tǒng)50和校正方法中，由至少一對拍攝裝置30拍攝作業(yè)機(jī)2的規(guī)定位置，并且基于所得到的圖像求取與作業(yè)機(jī)2的規(guī)定位置相關(guān)的第一位置信息，由與至少一對拍攝裝置30不同的位置檢測器求取與拍攝時的規(guī)定位置相關(guān)的第二位置信息，由至少一對拍攝裝置30拍攝作業(yè)機(jī)械外部的規(guī)定位置，并且基于所得到的圖像求取與作業(yè)機(jī)械外部的規(guī)定位置相關(guān)的第三位置信息。然后，實(shí)施方式涉及的校正系統(tǒng)50和校正方法，使用第一位置信息、第二位置信息和第三位置信息求取與至少一對拍攝裝置30的位置和姿勢相關(guān)的信息、以及用于將由至少一對拍攝裝置30拍攝的對象的位置從第一坐標(biāo)系變換至第二坐標(biāo)系的變換信息。通過這樣的處理，實(shí)施方式涉及的校正系統(tǒng)50和校正方法能夠同時進(jìn)行安裝于作業(yè)機(jī)械的至少一對拍攝裝置30的外部校正和車身校正。此外，實(shí)施方式涉及的校正系統(tǒng)50和校正方法中，由于通過由至少一對拍攝裝置30拍攝作業(yè)機(jī)2的規(guī)定位置和作業(yè)機(jī)械外部的規(guī)定位置而得到校正所需要的信息，所以即使在準(zhǔn)備用于校正的設(shè)備、操作該設(shè)備的人員、以及專用設(shè)備等都很困難的作業(yè)現(xiàn)場，也能夠校正至少一對拍攝裝置30。
[0148]實(shí)施方式涉及的校正系統(tǒng)50和校正方法中，除了安裝于作業(yè)機(jī)2的目標(biāo)Tg以外，還在作業(yè)機(jī)械的外部設(shè)置目標(biāo)Tg，因此能夠使由至少一對拍攝裝置30拍攝的圖像的較大范圍內(nèi)都存在有目標(biāo)Tg。其結(jié)果，能夠在由至少一對拍攝裝置30拍攝的對象的較大范圍內(nèi)提高立體方式的三維測量的精度。此外，由于將目標(biāo)Tg設(shè)置于作業(yè)機(jī)械的外部，所以能夠抑制由朝向下方設(shè)置的一對拍攝裝置30c、30s拍攝的圖像中目標(biāo)Tg所占的比例降低。其結(jié)果，能夠通過立體方式可靠地對地面進(jìn)行三維測量，并且能夠提高測量精度。
[0149]在實(shí)施方式中，通過將第二位置信息設(shè)為與在至少一對拍攝裝置30排列的方向上的、上述作業(yè)機(jī)的中央的位置相關(guān)的信息，能夠抑制車身校正的精度降低。在實(shí)施方式中，第二位置信息只要是在作業(yè)機(jī)2的至少3個不同姿勢下得到的多個信息即可。在實(shí)施方式中，對兩對拍攝裝置30進(jìn)行了校正，但是實(shí)施方式涉及的校正系統(tǒng)50和校正方法也能夠應(yīng)用于一對拍攝裝置30的校正、以及三對以上的拍攝裝置30的校正。
[0150]在實(shí)施方式中，位置檢測器是第一角度檢測部18A、第二角度檢測部18B和第三角度檢測部18C，但是并不局限于此。例如液壓挖掘機(jī)100設(shè)置有RTK — GNSS(Real TimeKinematic-Global Navigat1n Satellite Systems，實(shí)時動態(tài)-全球?qū)Ш叫l(wèi)星系統(tǒng)，GNSS稱為全球?qū)Ш叫l(wèi)星系統(tǒng))用天線，并設(shè)置有通過由GNSS測量天線的位置來檢測自身車輛的位置的位置檢測系統(tǒng)。在這種情況下，將上述位置檢測系統(tǒng)作為位置檢測器，并將GNSS用天線的位置設(shè)為作業(yè)機(jī)械的規(guī)定位置。然后，一邊改變GNSS用天線的位置，一邊由至少一對拍攝裝置30和位置檢測器檢測GNSS用天線的位置，由此得到第一位置信息和第二位置信息。處理部21使用所得到的第一位置信息和第二位置信息、以及基于設(shè)置在作業(yè)機(jī)械外部的目標(biāo)Tg而得到的第三位置信息，來求取位置信息、姿勢信息和變換信息。
[0151]除此以外，通過將可裝卸的GNSS接收器安裝于液壓挖掘機(jī)100的規(guī)定位置、例如行走體5或作業(yè)機(jī)2的規(guī)定位置，并將GNSS接收器作為位置檢測器，能夠與將上述的檢測自身車輛位置的位置檢測系統(tǒng)作為位置檢測器的情況一樣得到變換信息。
[0152]作業(yè)機(jī)械只要具有至少一對拍攝裝置30，并且使用至少一對拍攝裝置30以立體方式對對象進(jìn)行三維測量即可，并不限定于液壓挖掘機(jī)100。作業(yè)機(jī)械只要具有作業(yè)機(jī)即可，例如可以是輪式裝載機(jī)或推土機(jī)這樣的作業(yè)機(jī)械。
[0153]在實(shí)施方式中，在求取位置信息、姿勢信息和變換信息時，將目標(biāo)Tg設(shè)置于鏟齒9，但并不是必須這樣設(shè)置。例如，也可以通過圖4所示的輸入裝置52在由至少一對拍攝裝置30拍攝的對象的圖像內(nèi)指定要由處理部21求取位置的部分、例如鏟斗8的鏟齒9的部分。
[0154]以上，對實(shí)施方式進(jìn)行了說明，但是實(shí)施方式并不局限于上述內(nèi)容。此外，在上述結(jié)構(gòu)要素中包含本領(lǐng)域技術(shù)人員能夠容易想到的結(jié)構(gòu)要素、實(shí)質(zhì)上相同的結(jié)構(gòu)要素、所謂的等同范圍內(nèi)的結(jié)構(gòu)要素。能夠適當(dāng)?shù)亟M合上述結(jié)構(gòu)要素。在不脫離本實(shí)施方式的要旨的范圍內(nèi)，能夠進(jìn)行結(jié)構(gòu)要素的各種省略、置換和變更中的至少一項(xiàng)。
【主權(quán)項(xiàng)】
1.一種校正系統(tǒng)，其特征在于，包括: 至少一對拍攝裝置，其設(shè)置于具有作業(yè)機(jī)的作業(yè)機(jī)械，對對象進(jìn)行拍攝； 位置檢測器，其檢測所述作業(yè)機(jī)的位置；以及 處理部，其使用第一位置信息、第二位置信息和第三位置信息，來求取與至少一對所述拍攝裝置的位置和姿勢相關(guān)的信息、以及用于將由至少一對所述拍攝裝置拍攝的所述對象的位置從第一坐標(biāo)系變換至第二坐標(biāo)系的變換信息，其中，所述第一位置信息是與由至少一對所述拍攝裝置拍攝的所述作業(yè)機(jī)的規(guī)定位置相關(guān)的信息，所述第二位置信息是與在至少一對所述拍攝裝置拍攝所述規(guī)定位置時的所述作業(yè)機(jī)的姿勢下由所述位置檢測器檢測出的所述規(guī)定位置相關(guān)的信息，所述第三位置信息是與由至少一對所述拍攝裝置拍攝的所述作業(yè)機(jī)械外部的規(guī)定位置相關(guān)的信息。2.根據(jù)權(quán)利要求1所述的校正系統(tǒng)，其特征在于: 在所述作業(yè)機(jī)的所述規(guī)定位置配置有第一標(biāo)記，所述第一位置信息是通過由至少一對所述拍攝裝置在所述作業(yè)機(jī)的不同姿勢下拍攝所述第一標(biāo)記的位置而得到的信息，所述第二位置信息是通過由所述位置檢測器在所述作業(yè)機(jī)的不同姿勢下檢測所述規(guī)定位置而得到的信息，所述第三位置信息是設(shè)置于所述作業(yè)機(jī)械外部的第二標(biāo)記的位置信息。3.根據(jù)權(quán)利要求1或2所述的校正系統(tǒng)，其特征在于: 所述第二位置信息是與在至少一對所述拍攝裝置排列的方向上的、所述作業(yè)機(jī)的中央位置相關(guān)的信息，是在所述作業(yè)機(jī)的至少3個不同的姿勢下得到的多個信息。4.根據(jù)權(quán)利要求1或2所述的校正系統(tǒng)，其特征在于: 所述位置檢測器是設(shè)置于所述作業(yè)機(jī)械的傳感器，用于檢測使所述作業(yè)機(jī)進(jìn)行動作的致動機(jī)構(gòu)的動作量。5.一種作業(yè)機(jī)械，其特征在于，包括: 所述作業(yè)機(jī)；以及 權(quán)利要求1至權(quán)利要求4中任一項(xiàng)所述的校正系統(tǒng)。6.一種校正方法，其特征在于，包括: 檢測步驟，由至少一對拍攝裝置對作業(yè)機(jī)的規(guī)定位置和具有所述作業(yè)機(jī)的作業(yè)機(jī)械周圍的規(guī)定位置進(jìn)行拍攝，并且由與至少一對所述拍攝裝置不同的位置檢測器檢測所述作業(yè)機(jī)械的規(guī)定位置;以及 運(yùn)算步驟，使用第一位置信息、第二位置信息和第三位置信息，來求取與至少一對所述拍攝裝置的位置和姿勢相關(guān)的信息、以及用于將由至少一對所述拍攝裝置拍攝的對象的位置從第一坐標(biāo)系變換至第二坐標(biāo)系的變換信息，其中，所述第一位置信息是與由至少一對所述拍攝裝置拍攝的所述作業(yè)機(jī)的規(guī)定位置相關(guān)的信息，所述第二位置信息是與在至少一對所述拍攝裝置拍攝所述規(guī)定位置時的所述作業(yè)機(jī)的姿勢下由所述位置檢測器檢測出的所述規(guī)定位置相關(guān)的信息，所述第三位置信息是與由至少一對所述拍攝裝置拍攝的所述作業(yè)機(jī)械外部的規(guī)定位置相關(guān)的信息。
【文檔編號】E02F9/26GK106029994SQ201680000572
【公開日】2016年10月12日
【申請日】2016年3月29日
【發(fā)明人】山口博義, 厚見彰吾, 川本駿, 菅原大樹
【申請人】株式會社小松制作所