專利名稱：機械手系統、機械手控制裝置以及機械手控制方法
技術領域：
本發(fā)明涉及機械手系統、機械手控制裝置以及機械手控制方法。
背景技術：
在工廠等制造現場，為了實現自動化和人力節(jié)省，使用了多軸控制的工業(yè)用機械 手。在這樣的工業(yè)用機械手中，有一種具有相當于人眼的數字式照相機，通過對移動中拍攝 的圖像進行圖像處理，自行移動到可把持對象物的位置，或在移動時自行躲避障礙物的工 業(yè)用機械手，已經進入實用化階段。特別是，近年來隨著高精細數字式照相機的定位的高精 度化、和工業(yè)用機械手的作業(yè)的高速化，對所拍攝的圖像的模糊修正成為了必要。作為這樣 的模糊修正方法，如下述的專利文獻1和專利文獻2所述，利用設置在工業(yè)用機械手的移動 部的加速度傳感器檢測出與移動物的動作相關的信息，根據檢測出的信息求出表示基于動 作的模糊的特性的點像分布函數(PSF :Point Spread Function)，根據該PSF進行模糊修 正。[專利文獻1]特開2008-118644號公報 [OOO4][專利文獻2]特開2008-11424號公報 但是，由于加速度傳感器被設置在工業(yè)用機械手的移動部，所以，根據不同的作業(yè) 環(huán)境和作業(yè)內容，溫度變動或加速度變化大，從加速度傳感器輸出的信息的可靠性和精度
下降。而且，為了高精度求出PSF，需要使數字式照相機的拍攝時刻與來自加速度傳感器的
信號輸出同步，因此，需要大量的成本和操作。

發(fā)明內容
本發(fā)明為了解決上述問題的至少一部分而提出，能夠作為以下的方式或應用例來 實現。[應用例1]本應用例涉及的機械手系統，其特征在于，具備具有移動部的機械 手；設置于上述移動部的攝影機構；對利用上述攝影機構拍攝目標物和基準標記，將上述 基準標記拍攝成軌跡像的攝影圖像進行輸出的輸出機構；從輸出的上述攝影圖像中提取出 上述軌跡像的提取機構；將提取出的上述軌跡像作為點像分布函數，通過使用了上述點像 分布函數的圖像轉換，從上述攝影圖像取得轉換后的圖像的圖像取得機構；根據取得的上 述圖像計算出上述目標物的位置的計算機構；和根據計算出的上述位置，對用于使上述移 動部向上述目標物移動的上述機械手進行控制的控制機構。 根據這樣的構成，從目標物和基準標記被一起拍攝的攝影圖像、即因在移動部的 移動中被拍攝而閃動的攝影圖像中，提取出基準標記移動的軌跡像，將提取出的軌跡像作 為點像分布函數，通過使用了點像分布函數的圖像轉換，根據閃動的攝影圖像復原減輕了 閃動的圖像。根據復原后的圖像計算出作為移動部的移動目的地的目標物的位置，并為了 根據計算出的位置，使機械手的移動部向目標物移動而進行控制。因此，由于將在攝影圖像 中顯示的基準標記的軌跡像作為點像分布函數，所以，不需要用于取得與移動相關的信息的設備等，可在不影響可靠性和精度的情況下容易地取得位置。[應用例2]在上述應用例涉及的機械手系統中，優(yōu)選上述基準標記的周圍是具有 能夠判別出上述基準標記的亮度差的單色區(qū)域。 根據這樣的構成，提取機構可容易地判別并提取出基準標記。[應用例3]在上述應用例涉及的機械手系統中，優(yōu)選上述單色區(qū)域比在上述攝影 圖像中因上述移動部的移動而形成的閃動區(qū)域大。 根據這樣的構成，在閃動的攝影圖像中，即使在基準標記的附近還顯示了其他物 體像的情況下，提取機構也能夠容易地判別并提取出基準標記。[應用例4]在上述應用例涉及的機械手系統中，優(yōu)選還具有對復原后的上述圖像 中包含的上述基準標記進行視覺確認的視覺確認機構。 根據這樣的構成，通過視覺確認復原后的圖像中包含的基準標記，可確認是否被 正常復原。[應用例5]在上述應用例涉及的機械手系統中，優(yōu)選具有多個上述基準標記，并 且各個的位置為已知。 根據這樣的構成，即使移動部直線移動或旋轉移動，也能夠檢測出。
[應用例6]本應用例涉及的機械手控制裝置，其特征在于，具備具有移動部的機 械手；被設置于上述移動部的攝影機構；輸入拍攝了目標物和基準標記的攝影圖像、即將 上述基準標記拍攝成軌跡像的攝影圖像的輸入機構；從被輸入的上述攝影圖像中提取出上 述軌跡像的提取機構；將提取出的上述軌跡像作為點像分布函數，通過使用了上述點像分 布函數的圖像轉換，從上述攝影圖像取得轉換后的圖像的圖像取得機構；根據取得的上述 圖像，計算出上述目標物的位置的計算機構；和根據計算出的上述位置，對用于使上述移動 部向上述目標物移動的上述機械手進行控制的控制機構。 根據這樣的構成，從目標物和基準標記被一起拍攝的攝影圖像、即因在移動部的 移動中被拍攝而閃動的攝影圖像中，提取出基準標記移動的軌跡像，將提取出的軌跡像作 為點像分布函數，進行使用了點像分布函數的圖像轉換，根據閃動的攝影圖像復原減輕了 閃動的圖像。根據復原后的圖像計算出作為移動部的移動目的地的目標物的位置，為了根 據計算出的位置，使機械手的移動部向目標物移動而進行控制。因此，由于將在攝影圖像中 顯示的基準標記的軌跡像作為點像分布函數，所以，不需要用于取得關于移動的信息的設 備等，可在不影響可靠性和精度的情況下容易地取得位置。[應用例7]本應用例涉及的機械手控制方法，其特征在于，具備機械手所具有的 移動部的移動目的地的目標物；設置在上述移動部的攝影機構；基準標記；輸入上述目標 物和上述基準標記被一起攝影的攝影圖像、即輸入通過上述攝影機構在上述移動部的移動 中進行攝影而將上述基準標記拍攝成軌跡像的上述攝影圖像的步驟；從被輸入的上述攝影 圖像中提取出上述軌跡像的步驟；將提取出的上述軌跡像作為點像分布函數，通過使用了 上述點像分布函數的圖像轉換，從閃動的上述攝影圖像復原減輕了閃動的圖像的步驟；根 據復原后的上述圖像計算出上述目標物的位置的步驟；和根據計算出的上述位置，對為了 使上述移動部向上述目標物移動的上述機械手進行控制的步驟。 根據這樣的方法，從目標物和基準標記被一起拍攝的攝影圖像、即因在移動部的 移動中攝影而閃動的攝影圖像中，提取出基準標記移動的軌跡像，將提取出的軌跡像作為點像分布函數，通過使用了點像分布函數的圖像轉換，從閃動的攝影圖像復原減輕了閃動 的圖像。根據復原后的圖像計算出作為移動部的移動目的地的目標物的位置，根據計算出 的位置，控制機械手的移動部向目標物移動。因此，由于將攝影圖像中顯示的基準標記的軌 跡像作為點像分布函數，所以不需要用于取得與移動相關的信息的設備等，可在不影響可 靠性和精度的情況下容易地取得位置。


圖1是表示本實施方式1涉及的機械手系統的概況的圖。 圖2是表示本實施方式1涉及的機械手系統的功能結構的圖。 圖3是說明拍攝到的標識器和基準圖案的圖。 圖4是表示本實施方式1涉及的機械手系統的處理流程的流程圖。 圖5是說明本實施方式2涉及的標識器和基準圖案的配置的圖。 圖6是說明本實施方式2涉及的標識器和基準圖案的旋轉移動的圖。 圖中5-機械手系統；10-機械手；ll-第l軸；12-第2軸；13-第3軸；14-第4 軸；15-第5軸；16-第6軸；17、17A、17B-臂；18-腕；19-手；20-數字式照相機；25-機械 手基座；30-執(zhí)行元件；50-機械手控制裝置；80-計算機；82_顯示器；84-鍵盤；85-線纜； 100-位置信息取得部；102-圖像輸入部；104-基準圖案提取部；106-圖像復原部；108-復
原確認部;110-位置計算部;115-機械手動作控制部;120-驅動部;130-工件;140、140A、 140B、140C-標識器;150、150A、150B、150C-基準圖案；160-軌跡像。
具體實施例方式
下面，參照附圖，對機械手系統進行說明。
(實施方式1) 圖1是表示機械手系統5的概略外觀的圖。該機械手系統5具有機械手10、和控 制該機械手10的機械手控制裝置50。該機械手10是6軸控制的多關節(jié)工業(yè)用機械手，其 中，作為移動部，具有被設置于設置面的作為基體的機械手基座25、和以與設置面的垂直軸 旋轉的第1軸11、使臂17A以水平軸旋轉的第2軸12、在臂17A的軸方向旋轉的第3軸13、 被固定于臂17A并使臂17B在水平方向旋轉的第4軸14、在臂17B的軸方向旋轉的第5軸 15、及被固定于臂17B并使腕18在水平方向旋轉的第6軸。而且，在該腕18的前端，安裝 有用于把持部件等的手19、和利用如省略了圖示的CCD (Charge Coupled Device)那樣的攝 像元件對手19把持的方向進行拍攝的作為拍攝機構的數字式照相機20。
另外，在本實施方式1中，采用了 6軸控制的多關節(jié)工業(yè)用機械手作為機械手10， 但不限于此，也可以是標量(scalar)型機械手。而且，機械手10的用途不限于基于手19對 部件的把持，也可以把持用于進行焊接或釬焊那樣的加工的工具。并且，不限定于工業(yè)用機 械手，也可以是醫(yī)療用機械手或家庭用機械手。它們的驅動軸構成為都是在基于未圖示的 馬達或空氣壓縮機等而動作的多個執(zhí)行元件30 (圖2)的驅動下轉動，多個執(zhí)行元件30構 成為根據從機械手控制裝置50經由線纜85送來的控制信號進行驅動。另外，數字式照相 機20以規(guī)定的曝光時間進行攝影，將拍攝到的圖像信號通過線纜85送到機械手控制裝置 50。
6
而且，在機械手10的手19所把持的工件130的附近，以規(guī)定的大小配置有具有單 色區(qū)域的1個平板狀標識器140。而且，在該標識器140的大致中心部，刻印有點狀的基準 標記、即基準圖案150。手19和標識器140被配置成數字式照相機20能夠在同一視場內拍 攝到，基準圖案150和標識器140以在數字式照相機20進行拍攝時能夠分別判別的色彩和 大小而形成。在本實施方式1中，標識器140被設定為灰色的單色區(qū)域和黑色的基準圖案 150，但不限定于此，單色區(qū)域只要使亮度、和色度不同到能夠容易識別基準圖案150的程 度即可，可以是任意顏色。機械手控制裝置50具有計算機80、顯示器82和鍵盤84。雖然 未圖示，但計算機80通過由未圖示的CPU(Central Processing Unit) 、 RAM (Random Access Memory) 、 ROM (Read Only Memory) 、 HDD (HardDisk Drive)、序列發(fā)生器、機械手控制器以及 驅動單元等構成的硬件資源、和ROM與HDD等中存儲的各種軟件有機地配合動作，實現了后 述的各功能部的功能。 圖2是表示機械手系統5的功能結構的圖。機械手控制裝置50具有位置信息取 得部100、機械手動作控制部115和驅動部120。而且，位置信息取得部100具有圖像輸入 部102、基準圖案提取部104、圖像復原部106、復原確認部108和位置計算部110，用于取得 工件130的位置信息。其中，在以下的說明中，適當參照圖2和圖3進行說明。圖像輸入部 102是被輸入從數字式照相機20輸出的圖像信號的輸入機構。輸入到該圖像輸入部102中 的圖像信號如圖3(a)所示，是從工件130的上方觀察，在同一視野內包含基準圖案150和 標識器140的圖像的信號，該信號被送到基準圖案提取部104。另外，由于數字式照相機20 被安裝在機械手10的手19上，所以，因在臂17移動時以規(guī)定的曝光時間開放快門進行攝 影，導致產生基于移動的模糊而輸出閃動的閃動圖像。圖3(b)和圖3(c)是表示基準圖案 150的移動的圖，隨著臂17的移動，標識器140A、140B、140C被拍攝成向右上方向移動，同時 如圖3 (c)所示那樣，基準圖案150A、 150B、 150C也被拍攝成向右上方移動。結果，如圖3 (d) 所示，包含對基準圖案150移動的軌跡進行表示的軌跡像160的閃動圖像的信號，被送到基 準圖案提取部104。該情況下，標識器140A、140B、140C成為1個背景區(qū)域。
基準圖案提取部104是分析被輸入的閃動圖像的信號，提取出基準圖案150的軌 跡像160的提取機構，提取出的與軌跡像160相關的信息被送到圖像復原部106。該情況 下，由于軌跡像160和標識器140分別具有容易被識別的不同程度的亮度和色度，所以，通 過以其為基準進行識別，可容易地提取出軌跡像160。此時，可以首先從閃動圖像中基于標 識器140的色成分和形狀等提取出標識器140，然后基于亮度差提取出在該標識器140中包 含的軌跡像160。另外，在由數字式照相機20拍攝的圖像中，當在曝光時間內拍攝的標識器 140A、140B、140C彼此不重疊的背景區(qū)域上，拍攝到任意背景物時，有可能不能正確提取出 軌跡像160。因此，根據數字式照相機20的曝光時間和臂17的移動速度，以在閃動圖像中 基于臂17的移動而產生的標識器140的重復區(qū)域包含軌跡像160的方式，決定標識器140 的大小。即，被決定為比因移動而產生的最大模糊量大。而且，這里提取出的軌跡像160表 示PSF的空間移動量的信息。該情況下，軌跡像160的亮度值的變化與臂17的移動速度對 應變化。即，移動速度越慢，構成軌跡像160的點的亮度值越上升，移動速度越快，構成軌跡 像160的點的亮度值越下降。因此，在本實施方式1中，在預定的移動速度的范圍內調整成 能夠取得線狀的軌跡像160的亮度值的變化。 圖像復原部106是通過對因模糊而閃動的圖像，使用由基準圖案提取部104提取出的軌跡像160所表示的PSF進行圖像轉換(逆轉換)，來修正基于移動的模糊，復原減輕 了閃動并接近原圖像的圖像(復原圖像)的復原機構。其中，這樣的方法例如被記載在特 開2006-279807號公報中。這樣，被修正了模糊的復原圖像被送到位置計算部110。而且， 修正了模糊的結果是，修正前的圖像中包含的軌跡像160如圖3(e)所示，在復原圖像中被 轉換成沒有模糊的1個基準圖案150。復原確認部108是通過將這樣轉換的基準圖案150 顯示到顯示器82上，使用戶確認被正確修正了的情況的確認機構。這里，在用戶根據確認 結果，確認了基準圖案150未被復原為正常的情況下，也可以對位置信息取得部100再次指 示進行圖像的復原。位置計算部110是根據復原圖像計算工件130的位置的計算機構，其 將與計算出的位置相關的信息送到機械手動作控制部115。機械手動作控制部115和驅動 部120是控制臂17等動作部的動作的控制機構。機械手動作控制部115根據被送來的關 于位置的信息，計算出用于使機械手10移動的多個執(zhí)行元件30的驅動量，并將計算出的關 于驅動量的驅動信息送到驅動部120。驅動部120根據從機械手動作控制部115送來的驅 動信息，針對各個執(zhí)行元件30生成驅動信號，并發(fā)送給各個執(zhí)行元件30。結果，能夠將臂 17移動到規(guī)定的位置，使手19把持工件130。 圖4是表示由機械手系統5執(zhí)行的使機械手10把持工件130的處理流程的流程
圖。當執(zhí)行該處理時，首先，因機械手io的移動而產生模糊，被輸入閃動的動作模糊的圖像
(步驟S200)。接著，計算機80的CPU從被輸入的圖像中提取出作為基準圖案的PSF(步驟 S202)。然后，CPU復原根據提取出的PSF修正了模糊的圖像(步驟S204)。接著，判定圖像 是否被正常復原(步驟S206)。這里，在判斷為圖像未被正常復原的情況下(步驟S206中 為否)，CPU返回到從被輸入的圖像中提取出作為基準圖案的PSF的步驟(步驟S202)，再 次復原圖像。另一方面，在判定為圖像被正常復原的情況下(步驟S206中為是)，CPU根據 復原后的圖像計算出工件130的位置(步驟S208)。接下來，CPU指示機械手10，使其移動 到可把持工件130的位置，并把持工件130 (步驟S210)，然后結束一系列的處理。通過以上 的處理，在被輸入的圖像包含因安裝于臂17的數字式照相機20在攝影中移動而產生的模 糊的情況下，可根據標識器140上的基準圖案150的軌跡像160所表示的PSF對該圖像進 行逆轉換，轉換成模糊被修正了的圖像。并且，根據轉換后的圖像計算出工件130的位置， 將臂17移動到計算出的位置。結果，機械手控制裝置50可正確地取得工件130的位置，并 且機械手10能夠可靠地把持工件130。
(實施方式2) 下面，參照圖5，對本發(fā)明的實施方式2進行說明。其中，在以下的說明中，對于與 已經說明的部分相同的部分，標記相同的符號并省略說明。實施方式1中在數字式照相機 20的視野內配置了工件130和1個標識器140，但在本實施方式2中，如圖5(a)所示的圖 像那樣，在與工件130同一平面上的周圍，配置了已知位置關系的4個標識器140。另外，標 識器140只要在數字式照相機20的同一視場內有3個以上即可。圖5(b)是在臂17直線 移動時拍攝的圖像。另外，實際上標識器140也在移動方向上產生模糊，但由于不屬于本發(fā) 明的本質，所以未表示標識器140的模糊。在這樣的直線移動的情況下，通過進行與實施方 式1同樣的處理，可修正因移動引起的模糊。圖6(a)是在臂17以工件130的附近為中心 旋轉移動時所拍攝的圖像。在這樣的情況下，機械手控制裝置50如圖6(b)所示，根據3個 以上的標識器140的移動量，通過進行仿射轉換系數轉換，可求出旋轉中心和移動方向。其中，仿射轉換是將圖像放大、縮小、旋轉或平行移動的公知的轉換方法。結果，在臂17進行 了直線移動或旋轉移動的情況下；或即使進行了隨著定標(scaling)的動作時，也是不隨 著數字式照相機20自身的軸旋轉的移動的情況下，機械手控制裝置50能夠正確復原動作 模糊的圖像。并且，在數字式照相機20的同一視場內有4個以上的標識器140的情況下， 還可以檢測出投影轉換的變化。這樣的實施方式2也可以達到與實施方式1相同的效果。
參照附圖，對本發(fā)明的實施方式進行了說明，但具體的結構不限定于該實施方式， 還包括不超出本發(fā)明宗旨的范圍的設計變更等。例如，標識器140也可以是黑色，并提高基 準圖案150的亮度值。而且，標識器140不限于平板狀，也可以是立體狀。
權利要求
一種機械手系統，其特征在于，具備具有移動部的機械手；設置在上述移動部的攝影機構；對利用上述攝影機構拍攝目標物和基準標記，將上述基準標記拍攝成軌跡像的攝影圖像進行輸出的輸出機構；從輸出的上述攝影圖像中提取出上述軌跡像的提取機構；將提取出的上述軌跡像作為點像分布函數，通過使用了上述點像分布函數的圖像轉換，從上述攝影圖像中取得轉換后的圖像的圖像取得機構；根據取得的上述圖像計算出上述目標物的位置的計算機構；和根據計算出的上述位置，對用于使上述移動部向上述目標物移動的上述機械手進行控制的控制機構。
2. 根據權利要求l所述的機械手系統，其特征在于，上述基準標記的周圍是具有能夠判別出上述基準標記的亮度差的單色區(qū)域。
3. 根據權利要求2所述的機械手系統，其特征在于，上述單色區(qū)域比在上述攝影圖像中基于上述移動部的移動而產生的移動區(qū)域大。
4. 根據權利要求1至3中任意一項所述機械手系統，其特征在于， 還具有對所取得的上述圖像中包含的上述基準標記進行視覺確認的視覺確認機構。
5. 根據權利要求1至4中任意一項所述機械手系統，其特征在于， 上述基準標記具有多個，并且各個的位置為已知。
6. —種機械手控制裝置，其特征在于，具備 具有移動部的機械手； 設置在上述移動部的攝影機構；輸入拍攝有目標物和基準標記的攝影圖像、即將上述基準標記拍攝成軌跡像的攝影圖 像的輸入機構；從被輸入的上述攝影圖像中提取抽出上述軌跡像的提取機構；將提取出的上述軌跡像作為點像分布函數，通過使用了上述點像分布函數的圖像轉 換，從上述攝影圖像中取得轉換后的圖像的圖像取得機構；根據取得的上述圖像計算出上述目標物的位置的計算機構；禾口根據計算出的上述位置，對用于使上述移動部向上述目標物移動的上述機械手進行控 制的控制機構。
7. —種機械手控制方法，其特征在于，具備 機械手所具有的移動部的移動目的地的目標物； 設置在上述移動部的攝影機構；基準標記；輸入上述目標物和上述基準標記被一起攝影的攝影圖像、即輸入通過上述攝影機構在 上述移動部的移動中進行攝影而將上述基準標記拍攝成軌跡像的上述攝影圖像的步驟； 從被輸入的上述攝影圖像中提取出上述軌跡像的步驟；將提取出的上述軌跡像作為點像分布函數，通過使用了上述點像分布函數的圖像轉 換，從上述攝影圖像復原轉換后的圖像的步驟；根據復原后的上述圖像計算出上述目標物的位置的步驟；禾口根據計算出的上述位置，對用于使上述移動部向上述目標物移動的上述機械手進行控 制步驟。
全文摘要
本發(fā)明涉及機械手系統、機械手控制裝置及方法，根據從顯示在閃動的圖像中的標識器推定的PSF，復原不閃動的原圖像，進行機械手的定位。機械手系統(5)包括具有臂的機械手；設置在臂的移動目的地、即工件附近的基準圖案(150)；設置在臂上的數字式照相機，其輸出工件和基準圖案被一同拍攝的拍攝圖像、即輸入通過在臂的移動中拍攝而將基準圖案拍攝成軌跡像的攝影圖像；從攝影圖像中提取軌跡像的基準圖案提取部(104)；通過進將提取出的軌跡像作為PSF的轉換，復原沒有閃動的圖像的圖像復原部(106)；根據復原后的圖像計算工件位置的位置計算部(110)；和為了根據計算出的位置使臂移動而進行控制的機械手動作控制部(115)。
文檔編號H04N5/232GK101733755SQ20091022082
公開日2010年6月16日 申請日期2009年11月6日 優(yōu)先權日2008年11月7日
發(fā)明者稻積滿廣 申請人:精工愛普生株式會社