基于手勢控制的機器人寫字系統(tǒng)及其控制方法
【專利摘要】本發(fā)明涉及一種機器人控制系統(tǒng)及其控制方法，具體為基于手勢控制的機器人寫字系統(tǒng)及其控制方法，計算機通過Kinect獲取操縱者的人體姿態(tài)信息，并通過基于以太網(wǎng)的Modbus協(xié)議來與SCARA機器人進行通信，使用攝像頭來在線獲取SCARA機器人繪制現(xiàn)場的場景。該系統(tǒng)使得操控人員能以非接觸式的自然人機交互方式，實時控制SCARA機器人的運動，讓其在線跟隨操控人員的手掌運動軌跡，從而使其完成寫字繪畫的功能，在必要的情況下，還能控制機器人自動擦除已繪制的軌跡。
【專利說明】
基于手勢控制的機器人寫字系統(tǒng)及其控制方法
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及一種機器人控制系統(tǒng)及其控制方法，具體為基于手勢控制的機器人寫字系統(tǒng)及其控制方法。
【背景技術(shù)】
[0002]隨著機器人技術(shù)的不斷發(fā)展，機器人已經(jīng)廣泛應(yīng)用于工業(yè)領(lǐng)域的焊接、裝配、搬運、噴繪等方面。機器人寫字的功能需要機器臂末端沿指定的軌跡運動，在諸多場合都需要用到此功能。工業(yè)機器人的運動控制可通過離線編程和在線編程兩種方式來實現(xiàn)。離線編程在機器人作業(yè)之前制定好運動的軌跡，然后作業(yè)時按照指定的軌跡運動;在線編程則是在操作人員制定運動軌跡的同時，機器人就沿著當(dāng)前軌跡繪制。
[0003 ]目前，機器人運動軌跡的制定多為手動設(shè)置軌跡點的方式。該編程方式費工費時，且軌跡點的數(shù)目很有限，從而軌跡相對比較簡單。此外，也有通過文字的軌跡來制定機器人寫字的軌跡，但該方式只能讓機器人沿特定字體的文字軌跡進行繪制，缺少個性化和定制化。

【發(fā)明內(nèi)容】

[0004]針對上述技術(shù)問題，本發(fā)明提供一種個性化和定制化的機器人寫字系統(tǒng)和控制方法。
[0005]具體的技術(shù)方案為:
[0006]基于手勢控制的機器人寫字系統(tǒng)，包括Kinect、SCARA機器人、計算機、攝像頭、路由器，Kinect、攝像頭分別與計算機連接，計算機與路由器連接，計算機包括顯示屏;計算機通過Kinect獲取操縱者的人體姿態(tài)信息，并通過基于以太網(wǎng)的Modbus協(xié)議來與SCARA機器人進行通信，使用攝像頭來在線獲取SCARA機器人繪制現(xiàn)場的場景。
[0007]還包括顯示器，顯示器與計算機連接，為操縱者觀察自身圖像、機器人當(dāng)前運動情況、手掌繪制軌跡以及機器人繪制軌跡。
[0008]基于手勢控制的機器人寫字系統(tǒng)的控制方法，當(dāng)程序啟動后，先對Kinect和SCARA機器人進行初始化，打開Kinect彩色信息提取和骨骼信息提取的功能，連接指定IP的SCARA機器人，并對計算機顯示界面進行初始化；
[0009]然后，進入程序的整體循環(huán)，循環(huán)過程中，會判斷是否有擦除、鼠標(biāo)寫字、繪制軌跡文件、保存軌跡鼠標(biāo)事件，若有則執(zhí)行相應(yīng)的子過程，否則調(diào)用Kinect嘗試獲取最新的人體姿態(tài)；
[0010]從Kinect獲取到的信息判斷當(dāng)前是否有用戶在嘗試手勢操控，若有則進行筆畫解析、軌跡規(guī)劃以及界面記錄處理；
[0011]在需要對機器人運動進行控制時，程序會調(diào)用SCARA機器人控制子模塊，從而完成相應(yīng)的動作。
[0012]Kinect是微軟發(fā)布的三維體感傳感器，它能夠獲取環(huán)境的圖像、深度、音頻等信息，且具有動作提取、圖像識別、語音識別等功能。讓用戶通過體感、語音等方式進行人機交互，擺脫傳統(tǒng)接觸式交的束縛。Kinect依靠三只“眼睛”來感知環(huán)境的三維圖像信息，其中彩色攝像頭用來獲取環(huán)境彩色圖像;紅外發(fā)射鏡頭以特殊的方式向環(huán)境發(fā)射無害的紅外激光；紅外攝像頭用來捕捉環(huán)境中的紅外圖像，從而獲取環(huán)境深度信息?；谏疃刃畔ⅲ琄inect能夠較準(zhǔn)確地獲取人體主要關(guān)節(jié)的空間位置，從而得到人體的姿態(tài)信息。
[0013]Kinect是利用深度圖像來獲取人體骨骼信息的，提取過程大致分4個步驟:人體目標(biāo)檢測及分割、身體部位識別、質(zhì)心計算、骨骼模型擬合。首先是檢測出視野內(nèi)的人體目標(biāo)并將其從背景中分割出來，從而得到只包含人體的深度圖像，Kinect使用了隨機森林的方法來實現(xiàn)。第二步則計算人體深度圖中各像素分別屬于頭、頸、手、等部位的概率，然后對每個像素進行分類，進而識別出人體深度圖中的各個身體部位，實現(xiàn)方法和第一步類似。第三步計算各個身體部位的質(zhì)心，得到各部位的三維坐標(biāo)。最后一步則對各部位坐標(biāo)進行平滑輸出以及其他特殊處理，并將其與基于關(guān)節(jié)坐標(biāo)表示的骨架模型進行匹配，最終得到由關(guān)節(jié)坐標(biāo)表示的骨骼信息
[0014]利用彩色圖像來獲取人體姿態(tài)的方法只能獲取人體二維位置，且非常容易受光照、背景、衣服顏色的影響，準(zhǔn)確性和魯棒性都較差。由于深度圖像能反映鏡頭視野內(nèi)各像素的空間位置，故利用深度圖像可得到人體以及多個主要關(guān)節(jié)的三維坐標(biāo)，且不受環(huán)境光照和衣服顏色等因素的影響。
[0015]本發(fā)明提供的基于人體手勢控制的機器人寫字系統(tǒng)，利用微軟體感傳感器Kinect，以非接觸的方式獲取人體姿態(tài)信息;利用人體兩肩的位置構(gòu)建了人體的手掌繪制區(qū)域，使得適應(yīng)不同體形的操控者;根據(jù)人手掌在該區(qū)域的相對位置來控制機器人的繪制軌跡;通過手掌張握狀態(tài)來控制機器人的提筆和落筆動作;并根據(jù)設(shè)定誤差范圍來對手掌繪制軌跡進行處理，進而提高機器人的控制效率。該系統(tǒng)使得操控人員能以非接觸式的自然人機交互方式，實時控制平面關(guān)節(jié)型機器人(SCARA)的運動，讓其在線跟隨操控人員的手掌運動軌跡，從而使其完成寫字繪畫的功能，在必要的情況下，還能控制機器人自動擦除已繪制的軌跡。
【附圖說明】
[0016]圖1是本發(fā)明的系統(tǒng)結(jié)構(gòu)示意圖；
[0017]圖2是實施例的SCARA機器人繪制白板安裝示意圖；
[0018]圖3是實施例的系統(tǒng)的布局；
[0019]圖4是實施例的手掌繪制區(qū)域的示意圖；
[0020]圖5是實施例的軌跡規(guī)劃方法示意圖；
[0021 ]圖6是本發(fā)明的控制流程圖。
【具體實施方式】
[0022]結(jié)合實施例說明本發(fā)明的【具體實施方式】。
[0023]本實施例被控對象是SCARA機器人，它是一種圓柱坐標(biāo)型的工業(yè)機器人，具有四個自由度，依靠三個為轉(zhuǎn)動關(guān)節(jié)和一個平動關(guān)節(jié)來實現(xiàn)。因為三個轉(zhuǎn)動關(guān)節(jié)的都平行于Z軸，而平動關(guān)節(jié)又能實現(xiàn)末端沿Z軸直線移動，故SCARA機器人能夠控制末端沿X、Y、Z軸的平動，以及沿Z軸的轉(zhuǎn)動。前兩個關(guān)節(jié)的旋轉(zhuǎn)范圍分別為±130°和±140°，兩臂長均為250mm，沿Z軸的行程為200mm，最后一個旋轉(zhuǎn)關(guān)節(jié)的轉(zhuǎn)動范圍為土360°。SCARA機器人的工作區(qū)間由多個圓弧組成。SCARA機器人使用以PLC為核心的本體控制器。本體控制器完成機器人關(guān)節(jié)變量的實時控制和反饋，并能檢測和預(yù)警故障。同時，它可通過以太網(wǎng)與上位機進行通信，從而實現(xiàn)電腦對機器人的管理和控制。
[0024]由于Kinect能夠同時獲得環(huán)境的彩色圖像和深度信息，因此利用Kinect可較方便地獲得人體姿態(tài)信息和手掌狀態(tài)。
[0025]如圖1所示，基于手勢控制的機器人寫字系統(tǒng)，包括Kinect、SCARA機器人、計算機、攝像頭、路由器，Kinect、攝像頭分別與計算機連接，計算機與路由器連接，計算機包括顯示屏;計算機通過Kinect獲取操縱者的人體姿態(tài)信息，并通過基于以太網(wǎng)的Modbus協(xié)議來與SCARA機器人進行通信，使用攝像頭來在線獲取SCARA機器人繪制現(xiàn)場的場景。攝像頭為USB攝像頭。
[0026]還包括顯示器，顯示器與計算機連接，為操縱者觀察自身圖像、機器人當(dāng)前運動情況、手掌繪制軌跡以及機器人繪制軌跡。顯示器為液晶電視。
[0027]系統(tǒng)中SCARA機器人繪制平面為白板，繪圖工具為白板筆。如圖2所示，白板筆安裝于SCARA機器人Z軸正下方，和其相鄰的是用于實現(xiàn)擦除軌跡裝置。擦除使用氣壓為動力來源，通過氣動電磁閥來控制白板擦的升降，從而實現(xiàn)繪制模式和擦除模式的程控切換。
[0028]系統(tǒng)的布局如圖3所示，Kinect放置于液晶電視的正上方，操作人員站立位置到Kinect的距離在1.5m_2.1m之間，白板處于SCARA機器人末端的正下方，監(jiān)視SCARA機器人繪制情況的USB攝像頭安裝在白板的斜上方。
[0029]根據(jù)Kinect人體姿態(tài)信息的兩肩位置確定了一個手掌有效繪制區(qū)域，將人體手掌在繪制區(qū)線性映射為機器人的繪制區(qū)域，人體手掌的相對位置就對應(yīng)于SCARA機器人末端畫筆在繪制區(qū)域中的位置。手掌繪制區(qū)域的示意圖如圖4所示。圖中N為頸部位置，Q、S為雙肩位置，P為手掌位置，S和P在活動的那只手臂上。手掌繪制區(qū)域的原點確定為肩部S處，繪制區(qū)域的大小根據(jù)肩寬即Q、S兩點距離來確定，以適應(yīng)多種體型的人。
[0030]在控制SCARA機器人寫字時，程序?qū)⒂绍壽E點表示的目標(biāo)位置發(fā)送給SCARA機器人，當(dāng)其達到該軌跡點時，再發(fā)送運動到下一個軌跡點的命令。從發(fā)送命令到運動完成，每個軌跡點的控制都將耗費一定時間，耗時通常都比Kinect手勢產(chǎn)生軌跡點的周期要長。若采用逐個點運動的控制方式，SCARA機器人的運動和人手掌運動之間將產(chǎn)生相當(dāng)大的延時。因此，本實施例采用了一種軌跡規(guī)劃方法，使得SCARA機器人和人手掌之間軌跡既相似，又不會出現(xiàn)較大的延時。軌跡規(guī)劃方法如圖5所示，其中所有空心圓點和實心圓點均為原始筆畫軌跡，而規(guī)劃后用來控制SCARA機器人的軌跡點為實心圓點。圖中e為設(shè)置的最大誤差范圍，表示原始軌跡點距規(guī)劃后的軌跡最大距離。在軌跡規(guī)劃算法中，假設(shè)當(dāng)前已規(guī)劃出一個點P，則搜索下一個輸出點Q，使得P和Q之間的所有原始軌跡點據(jù)PQ線段的距離都小于e。從圖中可以看出，相比原始軌跡，處理后的軌跡點數(shù)目少得多，這樣可以大大縮短SCARA機器人運動控制時間，提高模仿運動的速度。通過適當(dāng)?shù)卦O(shè)置e，SCARA機器人運動控制的效率和精度這一矛盾得以平衡。
[0031]本發(fā)明的機器人寫字系統(tǒng)要實現(xiàn)的主要功能是讓用戶通過手勢來控制SCARA機器人的動作，使其完成模擬人寫字的功能。除手勢控制的交互方式外，用戶還可用鼠標(biāo)操控或使用軌跡文件來控制SCARA機器人的寫字動作。同時，還需要的功能有擦除軌跡、保存軌跡文件、寫字板監(jiān)視、模板字設(shè)置、界面視頻記錄、記錄回放等功能。
[0032]基于手勢控制的機器人寫字系統(tǒng)的控制方法，如圖6所示，當(dāng)程序啟動后，先對Kinect和SCARA機器人進行初始化，打開Kinect彩色信息提取和骨骼信息提取的功能，連接指定IP的SCARA機器人，并對計算機顯示界面進行初始化；
[0033]然后，進入程序的整體循環(huán)，循環(huán)過程中，會判斷是否有擦除、鼠標(biāo)寫字、繪制軌跡文件、保存軌跡鼠標(biāo)事件，若有則執(zhí)行相應(yīng)的子過程，否則調(diào)用Kinect嘗試獲取最新的人體姿態(tài)；
[0034]從Kinect獲取到的信息判斷當(dāng)前是否有用戶在嘗試手勢操控，若有則進行筆畫解析、軌跡規(guī)劃以及界面記錄處理；
[0035]在需要對機器人運動進行控制時，程序會調(diào)用SCARA機器人控制子模塊，從而完成相應(yīng)的動作。
[0036]SCARA機器人關(guān)節(jié)自由度控制、位置反饋、氣動電磁閥1控制等功能都是由機器人本體控制器實現(xiàn)，而計算機通過建立在以太網(wǎng)之上的Modbus協(xié)議來與SCARA機器人本體控制器通信。利用Modbus協(xié)議，運行于計算機上的程序可以控制機器人的動作以及管理機器人的狀態(tài)。本實施例的計算機上軟件對SCARA機器人末端位置控制、位置檢測、電磁閥1控制等Modbus通信命令進行封裝，供各功能模塊調(diào)用。
【主權(quán)項】
1.基于手勢控制的機器人寫字系統(tǒng)，其特征在于，包括Kinect、、SCARA機器人、計算機、攝像頭、路由器，Kinect、攝像頭分別與計算機連接，計算機與路由器連接，計算機包括顯示屏;計算機通過Kinect獲取操縱者的人體姿態(tài)信息，并通過基于以太網(wǎng)的Modbus協(xié)議來與SCARA機器人進行通信，使用攝像頭來在線獲取SCARA機器人繪制現(xiàn)場的場景。2.根據(jù)權(quán)利要求1所述的基于手勢控制的機器人寫字系統(tǒng)，其特征在于，還包括顯示器，顯示器與計算機連接，為操縱者觀察自身圖像、機器人當(dāng)前運動情況、手掌繪制軌跡以及機器人繪制軌跡。3.根據(jù)權(quán)利要求1或2所述的基于手勢控制的機器人寫字系統(tǒng)的控制方法，其特征在于，包括以下過程:當(dāng)程序啟動后，先對Kinect和SCARA機器人進行初始化，打開Kinect彩色信息提取和骨骼信息提取的功能，連接指定IP的SCARA機器人，并對計算機顯示界面進行初始化； 然后，進入程序的整體循環(huán)，循環(huán)過程中，會判斷是否有擦除、鼠標(biāo)寫字、繪制軌跡文件、保存軌跡鼠標(biāo)事件，若有則執(zhí)行相應(yīng)的子過程，否則調(diào)用Kinect嘗試獲取最新的人體姿態(tài)； 從Kinect獲取到的信息判斷當(dāng)前是否有用戶在嘗試手勢操控，若有則進行筆畫解析、軌跡規(guī)劃以及界面記錄處理； 在需要對機器人運動進行控制時，程序會調(diào)用SCARA機器人控制子模塊，從而完成相應(yīng)的動作。
【文檔編號】B25J9/16GK105945947SQ201610340833
【公開日】2016年9月21日
【申請日】2016年5月20日
【發(fā)明人】董秀成, 唐勇, 王超, 楊邱滟, 古世甫, 鄭海春
【申請人】西華大學(xué)