移動機(jī)器人及其定位方法
【專利摘要】本發(fā)明提供一種移動機(jī)器人及其定位方法，所述方法包括：采集用戶的語音信息，根據(jù)所述語音信息定位所述用戶的方向；轉(zhuǎn)動所述移動機(jī)器人以使圖像定位單元朝向所述方向；采集圖像序列，識別所述圖像序列中所述用戶的特征部位；根據(jù)所述特征部位的位置校準(zhǔn)所述用戶的方向并定位所述用戶的距離。本發(fā)明通過語音定位為圖像采集導(dǎo)向，再通過識別所采集圖像序列中用戶的特征部位，并根據(jù)所述特征部位的位置校準(zhǔn)用戶的方向、定位用戶的距離，從而實(shí)現(xiàn)對作為聲源的用戶的準(zhǔn)確定位；并進(jìn)一步通過識別用戶的召喚或跟蹤命令，在對用戶進(jìn)行準(zhǔn)確定位后驅(qū)動移動機(jī)器人移動至用戶面前。
【專利說明】
移動機(jī)器人及其定位方法
技術(shù)領(lǐng)域
[0001 ]本申請涉及人機(jī)交互技術(shù)領(lǐng)域，具體涉及一種移動機(jī)器人及其定位方法。
【背景技術(shù)】
[0002] 現(xiàn)有的機(jī)器人對說話的用戶進(jìn)行定位的定位方式，通常采用單純的聲源定位方 法，由于聲源定位在實(shí)際應(yīng)用中時常存在一定方向誤差，例如5°-10°的角度誤差，同時無法 準(zhǔn)確定位距離，而導(dǎo)致無法對用戶進(jìn)行準(zhǔn)確定位。
[0003] 進(jìn)一步地，對于服務(wù)類的機(jī)器人，在人機(jī)交互中存在一個非常重要的場景：呼喚機(jī) 器人，讓機(jī)器人知道說話的用戶在什么方向，多遠(yuǎn)的距離。機(jī)器人在獲取方向和距離的定位 信息之后，可以轉(zhuǎn)向用戶，移動至用戶面前，和用戶進(jìn)行面對面的交互。由于現(xiàn)有定位方式 不夠準(zhǔn)確，方向的誤差會導(dǎo)致機(jī)器人向錯誤的方向移動，無法準(zhǔn)確的將機(jī)器人召喚到用戶 面前。

【發(fā)明內(nèi)容】

[0004] 鑒于現(xiàn)有技術(shù)中的上述缺陷或不足，期望提供一種通過結(jié)合圖像和語音定位對用 戶進(jìn)行準(zhǔn)確定位的移動機(jī)器人及其定位方法。
[0005] 第一方面，本發(fā)明提供一種移動機(jī)器人，所述移動機(jī)器人包括：
[0006] 語音定位單元，用于采集用戶的語音信息，根據(jù)所述語音信息定位所述用戶的方 向；
[0007] 驅(qū)動單元，用于轉(zhuǎn)動所述移動機(jī)器人以使圖像定位單元朝向所述方向；
[0008]圖像定位單元，用于采集圖像序列，識別所述圖像序列中所述用戶的特征部位，根 據(jù)所述特征部位的位置校準(zhǔn)所述用戶的方向并定位所述用戶的距離。
[0009] 第二方面，本發(fā)明提供一種移動機(jī)器人的定位方法，所述方法包括：
[0010] 采集用戶的語音信息，根據(jù)所述語音信息定位所述用戶的方向；
[0011] 轉(zhuǎn)動所述移動機(jī)器人以使圖像定位單元朝向所述方向；
[0012] 采集圖像序列，識別所述圖像序列中所述用戶的特征部位；
[0013] 根據(jù)所述特征部位的位置校準(zhǔn)所述用戶的方向并定位所述用戶的距離。
[0014] 本發(fā)明諸多實(shí)施例提供的移動機(jī)器人及其定位方法通過語音定位為圖像采集導(dǎo) 向，再通過識別所采集圖像序列中用戶的特征部位，并根據(jù)所述特征部位的位置校準(zhǔn)用戶 的方向、定位用戶的距離，從而實(shí)現(xiàn)對作為聲源的用戶的準(zhǔn)確定位；
[0015] 本發(fā)明一些實(shí)施例提供的移動機(jī)器人及其定位方法進(jìn)一步通過識別用戶的召喚 或跟蹤命令，在對用戶進(jìn)行準(zhǔn)確定位后驅(qū)動移動機(jī)器人移動至用戶面前；
[0016] 本發(fā)明一些實(shí)施例提供的移動機(jī)器人及其定位方法進(jìn)一步通過結(jié)合基于同步定 位和地圖構(gòu)建生成的環(huán)境定位信息，規(guī)劃移動機(jī)器人前進(jìn)的路線以規(guī)避障礙物等路障；
[0017] 本發(fā)明一些實(shí)施例提供的移動機(jī)器人及其定位方法進(jìn)一步通過預(yù)存用戶的聲紋 和特征部位的對應(yīng)關(guān)系，通過識別語音信息的聲紋識別對應(yīng)的特征信息，實(shí)現(xiàn)了在采集的 圖像序列中存在多個用戶時準(zhǔn)確識別和定位對應(yīng)的用戶。
【附圖說明】
[0018] 通過閱讀參照以下附圖所作的對非限制性實(shí)施例所作的詳細(xì)描述，本申請的其它 特征、目的和優(yōu)點(diǎn)將會變得更明顯：
[0019] 圖1為本發(fā)明一實(shí)施例中移動機(jī)器人的結(jié)構(gòu)示意圖。
[0020] 圖2為本發(fā)明一實(shí)施例中移動機(jī)器人的定位方法的流程圖。
[0021 ]圖3為圖2所示定位方法的一種優(yōu)選實(shí)施方式的流程圖。
[0022] 圖4為圖3所示定位方法的一種優(yōu)選實(shí)施方式的流程圖。
[0023] 圖5為圖2所示定位方法的一種優(yōu)選實(shí)施方式的流程圖。
[0024] 圖6為圖5所示的步驟S73中所述特征部位的水平位置觸發(fā)預(yù)設(shè)的校準(zhǔn)閾值的示意 圖。
[0025] 圖7為圖2所示定位方法的一種優(yōu)選實(shí)施方式中步驟S10的流程圖。
[0026] 圖8為圖1所示移動機(jī)器人的一種優(yōu)選實(shí)施方式的結(jié)構(gòu)示意圖。
[0027] 圖9為圖2所示定位方法的一種優(yōu)選實(shí)施方式的流程圖。
[0028]圖10為圖9所示定位方法的一種優(yōu)選實(shí)施方式中步驟S90的流程圖。
[0029] 圖11為圖10所示的步驟S91中所述特征部位的上下位置觸發(fā)預(yù)設(shè)的前進(jìn)閾值的示 意圖。
[0030] 圖12為圖8所示移動機(jī)器人的一種優(yōu)選實(shí)施方式的結(jié)構(gòu)示意圖。
[0031]圖13為圖10所示步驟S90的一種優(yōu)選實(shí)施方式的流程圖。
【具體實(shí)施方式】
[0032]下面結(jié)合附圖和實(shí)施例對本申請作進(jìn)一步的詳細(xì)說明?？梢岳斫獾氖?，此處所描 述的具體實(shí)施例僅僅用于解釋相關(guān)發(fā)明，而非對該發(fā)明的限定。另外還需要說明的是，為了 便于描述，附圖中僅示出了與發(fā)明相關(guān)的部分。
[0033]需要說明的是，在不沖突的情況下，本申請中的實(shí)施例及實(shí)施例中的特征可以相 互組合。下面將參考附圖并結(jié)合實(shí)施例來詳細(xì)說明本申請。
[0034] 圖1為本發(fā)明一實(shí)施例中移動機(jī)器人的結(jié)構(gòu)示意圖。
[0035] 如圖1所示，在本實(shí)施例中，本發(fā)明提供的移動機(jī)器人10包括語音定位單元11、驅(qū) 動單元12和圖像定位單元13。
[0036] 語音定位單元11用于采集用戶的語音信息，根據(jù)所述語音信息定位所述用戶的方 向；驅(qū)動單元12用于轉(zhuǎn)動移動機(jī)器人10以使圖像定位單元13朝向所述方向；圖像定位單元 13用于采集圖像序列，識別所述圖像序列中所述用戶的特征部位，根據(jù)所述特征部位的位 置校準(zhǔn)所述用戶的方向并定位所述用戶的距離。
[0037] 圖2為本發(fā)明一實(shí)施例中移動機(jī)器人的定位方法的流程圖。圖2所示的定位方法可 對應(yīng)應(yīng)用于圖1所示的移動機(jī)器人中。
[0038] 如圖2所示，在本實(shí)施例中，本發(fā)明提供的移動機(jī)器人的定位方法包括：
[0039] S10:采集用戶的語音信息，根據(jù)所述語音信息定位所述用戶的方向；
[0040] S30:轉(zhuǎn)動所述移動機(jī)器人以使圖像定位單元朝向所述方向；
[0041] S50:采集圖像序列，識別所述圖像序列中所述用戶的特征部位；
[0042] S70:根據(jù)所述特征部位的位置校準(zhǔn)所述用戶的方向并定位所述用戶的距離。
[0043] 具體地，在本實(shí)施例中，語音定位單元11包括用于采集用戶語音信息的麥克風(fēng)陣 列，和用于根據(jù)所述語音信息定位所述用戶的方向的語音定位子單元。圖像定位單元13包 括用于采集圖像序列的攝像頭，和用于識別所述圖像序列中所述用戶的特征部位、根據(jù)所 述特征部位的位置校準(zhǔn)所述用戶的方向并定位所述用戶的距離的圖像定位子單元。
[0044] 在更多實(shí)施例中，語音定位單元11可根據(jù)實(shí)際需求采用不同的聲音采集裝置，圖 像定位單元13可根據(jù)實(shí)際需求采用不同的圖像采集裝置，只要聲音采集裝置能通過至少兩 點(diǎn)不同位置的采集終端采集語音信息，以供語音定位子單元定位用戶的方向，圖像采集裝 置能采集圖像序列，即可實(shí)現(xiàn)相同的技術(shù)效果，未超出上述技術(shù)方案的設(shè)計(jì)思想和保護(hù)范 圍。
[0045] 在本實(shí)施例中，步驟S10中，當(dāng)用戶甲說話時，語音定位單元11中的麥克風(fēng)陣列采 集用戶甲的語音信息，語音定位子單元根據(jù)所述語音信息定位用戶甲的第一方向；
[0046] 步驟S30中，驅(qū)動單元12轉(zhuǎn)動移動機(jī)器人10以使圖像定位單元13朝向所述第一方 向；
[0047] 步驟S50中，圖像定位單元13的攝像頭采集所述第一方向的圖像序列，圖像定位子 單元識別所述圖像序列中用戶甲的臉部；
[0048] 步驟S70中，所述圖像定位子單元根據(jù)用戶甲的臉部的位置判斷出所述第一方向 與用戶甲的實(shí)際方向存在偏差角度，通過控制驅(qū)動單元12轉(zhuǎn)動移動機(jī)器人10以使圖像定位 單元13對準(zhǔn)用戶甲的實(shí)際方向以實(shí)現(xiàn)校準(zhǔn)所述第一方向，并根據(jù)用戶甲的臉部的位置定位 用戶甲與移動機(jī)器人10之間的距離。
[0049] 在本實(shí)施例中，步驟S70中通過控制驅(qū)動單元12轉(zhuǎn)動移動機(jī)器人10,使圖像定位單 元13對準(zhǔn)用戶甲的實(shí)際方向以實(shí)現(xiàn)校準(zhǔn)所述第一方向，在更多實(shí)施例中，圖像定位單元13 還可通過先計(jì)算出所述第一方向與用戶甲的實(shí)際方向之間的偏差角度，再控制驅(qū)動單元12 驅(qū)動移動機(jī)器人10旋轉(zhuǎn)所述偏差角度，以實(shí)現(xiàn)校準(zhǔn)所述第一方向，可實(shí)現(xiàn)相同的技術(shù)效果。
[0050] 上述實(shí)施例通過語音定位為圖像采集導(dǎo)向，再通過識別所采集圖像序列中用戶的 特征部位，并根據(jù)所述特征部位的位置校準(zhǔn)用戶的方向、定位用戶的距離，從而實(shí)現(xiàn)對作為 聲源的用戶的準(zhǔn)確定位。
[0051]在一優(yōu)選實(shí)施例中，驅(qū)動單元12還用于在圖像定位單元13未識別出所述特征部位 時驅(qū)動移動機(jī)器人10向所述方向前進(jìn)，直至圖像定位單元13識別出所述特征部位或驅(qū)動單 元12根據(jù)預(yù)設(shè)策略停止驅(qū)動前進(jìn)。
[0052] 圖3為圖2所示定位方法的一種優(yōu)選實(shí)施方式的流程圖。圖3所示的定位方法可對 應(yīng)應(yīng)用于上述優(yōu)選實(shí)施例的移動機(jī)器人中。
[0053] 如圖3所示，在一優(yōu)選實(shí)施例中，步驟S50之后還包括：
[0054] 若未識別出所述特征部位，執(zhí)行步驟S53:驅(qū)動所述移動機(jī)器人向所述方向前進(jìn)， 直至識別出所述特征部位或根據(jù)預(yù)設(shè)策略停止驅(qū)動前進(jìn)。
[0055] 具體地，當(dāng)移動機(jī)器人10與用戶甲距離較遠(yuǎn)時，由于攝像頭的采集范圍有限，可能 無法采集到用戶甲的圖像，導(dǎo)致圖像定位單元13無法從采集的圖像序列中識別出用戶甲的 特征部位。此時驅(qū)動單元12驅(qū)動移動機(jī)器人10向所述方向前進(jìn)，直至圖像定位單元13在持 續(xù)采集的圖像序列中識別出用戶甲的特征部位，或者根據(jù)預(yù)設(shè)策略判斷停止驅(qū)動前進(jìn)。所 述預(yù)設(shè)策略具體包括通過環(huán)境定位判斷出無法繼續(xù)前進(jìn)(例如已到墻邊），或因接收到新的 語音命令而中斷當(dāng)前定位等。
[0056] 在一優(yōu)選實(shí)施例中，圖像定位單元13還用于在未識別出所述特征部位時識別移動 機(jī)器人10轉(zhuǎn)動過程中所采集的圖像序列中的所述用戶的特征部位。
[0057] 圖4為圖3所示定位方法的一種優(yōu)選實(shí)施方式的流程圖。圖4所示的定位方法可對 應(yīng)應(yīng)用在上述優(yōu)選實(shí)施例的移動機(jī)器人中。
[0058] 如圖4所示，在一優(yōu)選實(shí)施例中，步驟S53之前還包括：
[0059] S51:識別所述移動機(jī)器人轉(zhuǎn)動過程中所采集的圖像序列中的所述用戶的特征部 位:若識別出，則跳轉(zhuǎn)至步驟S70。
[0060] 具體地，圖像定位單元13未識別出用戶甲的特征部位的另一種可能的原因在于所 述方向與用戶甲的實(shí)際方向之間的偏差角度較大，因此在驅(qū)動單元12驅(qū)動移動機(jī)器人10向 所述方向前進(jìn)之前先對步驟S30的轉(zhuǎn)動過程中，圖像定位單元13所采集的圖像進(jìn)行識別，可 以有效的提尚定位的成功率。
[0061] 在一優(yōu)選實(shí)施例中，所述根據(jù)所述特征部位的位置校準(zhǔn)所述用戶的方向并定位所 述用戶的距離包括：
[0062] 根據(jù)所述特征部位在所述圖像序列中的水平位置校準(zhǔn)所述用戶的方向；判斷所述 水平位置是否觸發(fā)預(yù)設(shè)的校準(zhǔn)閾值:若觸發(fā)，則轉(zhuǎn)動所述移動機(jī)器人以使圖像定位單元朝 向校準(zhǔn)后的方向；根據(jù)所述特征部位在所述圖像序列中的位置定位所述用戶的距離。
[0063] 圖5為圖2所示定位方法的一種優(yōu)選實(shí)施方式的流程圖。圖5所示的定位方法可對 應(yīng)應(yīng)用在上述優(yōu)選實(shí)施例的移動機(jī)器人中。
[0064] 如圖5所示，在一優(yōu)選實(shí)施例中，步驟S70包括：
[0065] S71:根據(jù)所述特征部位在所述圖像序列中的水平位置校準(zhǔn)所述用戶的方向；
[0066] S73:判斷所述水平位置是否觸發(fā)預(yù)設(shè)的校準(zhǔn)閾值:若觸發(fā)，則跳轉(zhuǎn)至步驟S30以使 以使圖像定位單元朝向校準(zhǔn)后的方向；
[0067] S75:根據(jù)所述特征部位在所述圖像序列中的位置定位所述用戶的距離。
[0068] 具體地，在步驟S71中，當(dāng)所述方向與用戶甲的實(shí)際方向之間存在偏差角度，即所 述特征部位的水平位置不位于圖像序列的中央位置時，根據(jù)所述水平位置校準(zhǔn)所述方向。 [0069]在本實(shí)施例中，攝像頭的分辨率為640*480、鏡頭視角為58°，圖像定位子單元根據(jù) 以下公式計(jì)算語音定位的方向與所述用戶的實(shí)際方向之間的偏差角度angle: int angle = (int) C-FOV / 2 + FOV * box,centerX〇 / 640); if (angle < 0)
[0070] " angle H-= 360; return angle;
[0071 ]其中，box. centerX()為所述特征部位的中心點(diǎn)的橫坐標(biāo)，在本實(shí)施例中即用戶甲 的臉部的中心點(diǎn)橫坐標(biāo);F0V為圖像采集裝置的鏡頭視角，在本實(shí)施例中即攝像頭的鏡頭視 角。
[0072]例如，當(dāng)檢測到用戶甲的臉部的水平位置位于圖像序列的中央位置，其中心點(diǎn)橫 坐標(biāo)為320時，通過上述公式計(jì)算得到angle = 0°，無需對所述方向進(jìn)行校準(zhǔn)；
[0073] 當(dāng)檢測到用戶甲的臉部的水平位置位于圖像序列的右側(cè)位置，其中心點(diǎn)橫坐標(biāo)為 480時，通過上述公式計(jì)算得到angle = 14.5°，從而對所述方向采取(移動機(jī)器人10視角的 順時針方向的）14.5°的方向校準(zhǔn)。
[0074] 當(dāng)檢測到用戶甲的臉部的水平位置位于圖像序列的左側(cè)位置，其中心點(diǎn)橫坐標(biāo)為 160時，通過上述公式計(jì)算得到angle = 345.5°，從而對所述方向采取(移動機(jī)器人10視角的 順時針方向的）345.5°的方向校準(zhǔn)。
[0075]在本實(shí)施例中，攝像頭的分辨率為640*480、鏡頭視角為58°，采用上述公式對語音 定位的方向進(jìn)行校準(zhǔn)，在更多實(shí)施例中，可根據(jù)實(shí)際需求采用不同分辨率和不同鏡頭視角 的圖像采集裝置，以及不同的公式對語音定位的方向進(jìn)行校準(zhǔn)，應(yīng)具有相同的技術(shù)效果，未 超出本發(fā)明技術(shù)方案的設(shè)計(jì)構(gòu)思和保護(hù)范圍。
[0076] 圖6為圖5所示的步驟S73中所述特征部位的水平位置觸發(fā)預(yù)設(shè)的校準(zhǔn)閾值的示意 圖。如圖6所示，本實(shí)施例中預(yù)設(shè)的校準(zhǔn)閾值如圖6中的中央虛線區(qū)域所示。
[0077] 在步驟S73中，當(dāng)圖像定位單元13檢測到所識別的人臉的水平位置偏出中央虛線 區(qū)域，即觸發(fā)了預(yù)設(shè)的校準(zhǔn)閾值，跳轉(zhuǎn)至步驟S30,控制驅(qū)動單元12轉(zhuǎn)動移動機(jī)器人10,使圖 像定位單元13對準(zhǔn)用戶甲的實(shí)際方向。
[0078] 在步驟S75中，圖像定位單元13根據(jù)人臉在圖像序列中的位置定位用戶甲和移動 機(jī)器人10之間的距離。
[0079] 在一優(yōu)選實(shí)施例中，移動機(jī)器人10預(yù)存有用戶的聲紋和特征部位的對應(yīng)關(guān)系。語 音定位單元11還用于識別所述語音信息的聲紋。所述識別所述圖像序列中所述用戶的特征 部位包括:識別所述圖像序列中對應(yīng)于所識別出聲紋的特征部位。
[0080] 圖7為圖2所示定位方法的一種優(yōu)選實(shí)施方式中步驟S10的流程圖。圖7所示的定位 方法可對應(yīng)應(yīng)用在上述優(yōu)選實(shí)施例的移動機(jī)器人中。
[0081] 如圖7所示，在一優(yōu)選實(shí)施例中，所述移動機(jī)器人預(yù)存有用戶的聲紋和特征部位的 對應(yīng)關(guān)系，步驟S10包括：
[0082] S11:采集用戶的語音信息；
[0083] S13:識別所述語音信息的聲紋；
[0084] S15:根據(jù)所述語音信息定位所述用戶的方向。
[0085] 具體地，步驟S13和S15不存在固定的先后順序，在不同實(shí)施例中可以互換先后順 序，也可以同時執(zhí)行。
[0086] 在本實(shí)施例的場景中，圖像定位單元13所采集的圖像序列中同時存在用戶甲和 乙。通過步驟13對采集的語音信息進(jìn)行聲紋識別，識別出該語音信息是用戶甲發(fā)出的，在步 驟S50中調(diào)用用戶甲的人臉特征信息對采集的圖像序列進(jìn)行識別，從而實(shí)現(xiàn)了對圖像序列 中同時存在的甲和乙進(jìn)行區(qū)分。
[0087] 上述實(shí)施例進(jìn)一步通過預(yù)存用戶的聲紋和特征部位的對應(yīng)關(guān)系，通過識別語音信 息的聲紋識別對應(yīng)的特征信息，實(shí)現(xiàn)了在采集的圖像序列中存在多個用戶時準(zhǔn)確識別和定 位對應(yīng)的用戶。
[0088] 圖8為圖1所示移動機(jī)器人的一種優(yōu)選實(shí)施方式的結(jié)構(gòu)示意圖。
[0089] 如圖8所示，在一優(yōu)選實(shí)施例中，語音定位單元11還用于根據(jù)所述語音信息識別所 述用戶的命令。
[0090] 移動機(jī)器人10還包括：
[0091] 交互單元14,用于根據(jù)所述命令生成交互信息并輸出，執(zhí)行所述命令。
[0092] 圖9為圖2所示定位方法的一種優(yōu)選實(shí)施方式的流程圖。圖9所示的定位方法可對 應(yīng)應(yīng)用在上述優(yōu)選實(shí)施例的移動機(jī)器人中。
[0093] 如圖9所示，在一優(yōu)選實(shí)施例中，步驟S10還包括:根據(jù)所述語音信息識別所述用戶 的命令。
[0094] 步驟S70之后還包括：
[0095] S90:執(zhí)行所述命令。
[0096]具體地，在一優(yōu)選實(shí)施例中，步驟S10中識別出用戶的命令之后，還可以實(shí)時輸出 響應(yīng)信息，以通知用戶已收到命令。例如輸出語音信息"好噠"、"收到"等，或以其它各類不 同方式通知用戶。
[0097]在一優(yōu)選實(shí)施例中，所述命令為召喚命令或跟蹤命令，例如"過來"或"跟我來"等。 所述執(zhí)行所述命令包括:控制圖像定位單元13判斷所述特征部位在所述圖像序列中的上下 位置是否觸發(fā)預(yù)設(shè)的前進(jìn)閾值:若未觸發(fā)，驅(qū)動單元12驅(qū)動移動機(jī)器人10向校準(zhǔn)后的方向 前進(jìn);若觸發(fā)，驅(qū)動單元12停止驅(qū)動移動機(jī)器人10前進(jìn)。
[0098]圖10為圖9所示定位方法的一種優(yōu)選實(shí)施方式中步驟S90的流程圖。圖10所示定位 方法可對應(yīng)應(yīng)用于上述優(yōu)選實(shí)施例的移動機(jī)器人中。
[00"] 如圖10所示，在一優(yōu)選實(shí)施例中，所述命令為召喚命令或跟蹤命令，步驟S90包括： [0100] S91:判斷所述特征部位在所述圖像序列中的上下位置是否觸發(fā)預(yù)設(shè)的前進(jìn)閾值：
[0101 ]若未觸發(fā)，執(zhí)行步驟S93:驅(qū)動所述移動機(jī)器人向校準(zhǔn)后的方向前進(jìn)；
[0102] 若觸發(fā)，執(zhí)行步驟S95:停止驅(qū)動所述移動機(jī)器人前進(jìn)。
[0103] 圖11為圖10所示的步驟S91中所述特征部位的上下位置觸發(fā)預(yù)設(shè)的前進(jìn)閾值的示 意圖。
[0104] 如圖11所示，在步驟S91中，當(dāng)移動機(jī)器人10距離用戶甲較遠(yuǎn)時，人臉在圖像序列 中的位置靠近下方，未觸發(fā)虛線所示的前進(jìn)閾值，執(zhí)行步驟S93,控制驅(qū)動單元12驅(qū)動移動 機(jī)器人10向校準(zhǔn)后的方向前進(jìn)；
[0105] 當(dāng)移動機(jī)器人10移動至用戶甲附近，距離用戶甲較近時，人臉在圖像序列中的位 置靠近上方，超出預(yù)設(shè)的前進(jìn)閾值，執(zhí)行步驟S95,控制驅(qū)動單元12停止驅(qū)動移動機(jī)器人10 前進(jìn)。
[0106] 上述實(shí)施例進(jìn)一步通過識別用戶的召喚或跟蹤命令，在對用戶進(jìn)行準(zhǔn)確定位后驅(qū) 動移動機(jī)器人移動至用戶面前。
[0107] 圖12為圖8所示移動機(jī)器人的一種優(yōu)選實(shí)施方式的結(jié)構(gòu)示意圖。
[0108]如圖12所示，在一優(yōu)選實(shí)施例中，移動機(jī)器人10還包括：
[0109] 環(huán)境定位單元15,用于通過同步定位和地圖構(gòu)建生成環(huán)境定位信息；
[0110]路線規(guī)劃單元16,用于根據(jù)所述環(huán)境定位信息、校準(zhǔn)后的方向和定位的距離規(guī)劃 移動機(jī)器人10前進(jìn)的路線。
[0111]圖13為圖10所示步驟S90的一種優(yōu)選實(shí)施方式的流程圖。圖13所示的定位方法可 對應(yīng)應(yīng)用于圖12所示的移動機(jī)器人中。
[0112]如圖13所示，在一優(yōu)選實(shí)施例中，步驟S93之前還包括：
[0113] S92:通過同步定位和地圖構(gòu)建生成環(huán)境定位信息，根據(jù)所述環(huán)境定位信息、校準(zhǔn) 后的方向和定位的距離規(guī)劃所述移動機(jī)器人前進(jìn)的路線。
[0114] 具體地，在本實(shí)施例中，環(huán)境定位單元15為即時定位與地圖構(gòu)建（simultaneous localization and mapping，簡稱SLAM)單元，在更多實(shí)施例中可根據(jù)實(shí)際需求采用其它生 成環(huán)境定位信息的裝置或組件。
[0115] 上述實(shí)施例進(jìn)一步通過結(jié)合基于同步定位和地圖構(gòu)建生成的環(huán)境定位信息，規(guī)劃 移動機(jī)器人前進(jìn)的路線以規(guī)避障礙物等路障。
[0116] 附圖中的流程圖和框圖，圖示了按照本發(fā)明各種實(shí)施例的系統(tǒng)、方法和計(jì)算機(jī)程 序產(chǎn)品的可能實(shí)現(xiàn)的體系架構(gòu)、功能和操作。在這點(diǎn)上，流程圖或框圖中的每個方框可以代 表一個模塊、程序段、或代碼的一部分，所述模塊、程序段、或代碼的一部分包含一個或多個 用于實(shí)現(xiàn)規(guī)定的邏輯功能的可執(zhí)行指令。也應(yīng)當(dāng)注意，在有些作為替換的實(shí)現(xiàn)中，方框中所 標(biāo)注的功能也可以以不同于附圖中所標(biāo)注的順序發(fā)生。例如，兩個接連地表示的方框?qū)嶋H 上可以基本并行地執(zhí)行，它們有時也可以按相反的順序執(zhí)行，這根據(jù)所涉及的功能而定。也 要注意的是，框圖和/或流程圖中的每個方框、以及框圖和/或流程圖中的方框的組合，可以 通過執(zhí)行規(guī)定的功能或操作的專用的基于硬件的系統(tǒng)來實(shí)現(xiàn)，或者可以通過專用硬件與計(jì) 算機(jī)指令的組合來實(shí)現(xiàn)。
[0117] 描述于本申請實(shí)施例中所涉及到的單元或模塊可以通過軟件的方式實(shí)現(xiàn)，也可以 通過硬件的方式來實(shí)現(xiàn)。所描述的單元或模塊也可以設(shè)置在處理器中，例如，語音定位子單 元和圖像定位子單元可以是設(shè)置在移動機(jī)器人處理單元中的軟件程序，也可以是單獨(dú)進(jìn)行 語音定位和單獨(dú)進(jìn)行圖像定位的硬件芯片。其中，這些單元或模塊的名稱在某種情況下并 不構(gòu)成對該單元或模塊本身的限定，例如，圖像定位單元13還可以被描述為"用于定位跟蹤 用戶的跟蹤攝像單元"。
[0118] 作為另一方面，本申請還提供了一種計(jì)算機(jī)可讀存儲介質(zhì)，該計(jì)算機(jī)可讀存儲介 質(zhì)可以是上述實(shí)施例中所述裝置中所包含的計(jì)算機(jī)可讀存儲介質(zhì)；也可以是單獨(dú)存在，未 裝配入設(shè)備中的計(jì)算機(jī)可讀存儲介質(zhì)。計(jì)算機(jī)可讀存儲介質(zhì)存儲有一個或者一個以上程 序，所述程序被一個或者一個以上的處理器用來執(zhí)行描述于本申請的公式輸入方法。
[0119] 以上描述僅為本申請的較佳實(shí)施例以及對所運(yùn)用技術(shù)原理的說明。本領(lǐng)域技術(shù)人 員應(yīng)當(dāng)理解，本申請中所涉及的發(fā)明范圍，并不限于上述技術(shù)特征的特定組合而成的技術(shù) 方案，同時也應(yīng)涵蓋在不脫離所述發(fā)明構(gòu)思的情況下，由上述技術(shù)特征或其等同特征進(jìn)行 任意組合而形成的其它技術(shù)方案。例如上述特征與本申請中公開的(但不限于)具有類似功 能的技術(shù)特征進(jìn)行互相替換而形成的技術(shù)方案。
【主權(quán)項(xiàng)】
1. 一種移動機(jī)器人，其特征在于，所述移動機(jī)器人包括： 語音定位單元，用于采集用戶的語音信息，根據(jù)所述語音信息定位所述用戶的方向； 驅(qū)動單元，用于轉(zhuǎn)動所述移動機(jī)器人以使圖像定位單元朝向所述方向； 圖像定位單元，用于采集圖像序列，識別所述圖像序列中所述用戶的特征部位，根據(jù)所 述特征部位的位置校準(zhǔn)所述用戶的方向并定位所述用戶的距離。2. 根據(jù)權(quán)利要求1所述的移動機(jī)器人，其特征在于，所述驅(qū)動單元還用于在所述圖像定 位單元未識別出所述特征部位時驅(qū)動所述移動機(jī)器人向所述方向前進(jìn)，直至所述圖像定位 單元識別出所述特征部位或所述驅(qū)動單元根據(jù)預(yù)設(shè)策略停止驅(qū)動前進(jìn)。3. 根據(jù)權(quán)利要求2所述的移動機(jī)器人，其特征在于，所述圖像定位單元還用于在未識別 出所述特征部位時識別所述移動機(jī)器人轉(zhuǎn)動過程中所采集的圖像序列中的所述用戶的特 征部位。4. 根據(jù)權(quán)利要求1所述的移動機(jī)器人，其特征在于，所述根據(jù)所述特征部位的位置校準(zhǔn) 所述用戶的方向并定位所述用戶的距離包括： 根據(jù)所述特征部位在所述圖像序列中的水平位置校準(zhǔn)所述用戶的方向； 判斷所述水平位置是否觸發(fā)預(yù)設(shè)的校準(zhǔn)閾值:若觸發(fā)，則轉(zhuǎn)動所述移動機(jī)器人以使圖 像定位單元朝向校準(zhǔn)后的方向； 根據(jù)所述特征部位在所述圖像序列中的位置定位所述用戶的距離。5. 根據(jù)權(quán)利要求1所述的移動機(jī)器人，其特征在于，所述移動機(jī)器人預(yù)存有用戶的聲紋 和特征部位的對應(yīng)關(guān)系； 所述語音定位單元還用于識別所述語音信息的聲紋； 所述識別所述圖像序列中所述用戶的特征部位包括:識別所述圖像序列中對應(yīng)于所識 別出聲紋的特征部位。6. 根據(jù)權(quán)利要求1-5任一項(xiàng)所述的移動機(jī)器人，其特征在于，所述語音定位單元還用于 根據(jù)所述語音信息識別所述用戶的命令； 所述移動機(jī)器人還包括： 交互單元，用于根據(jù)所述命令生成交互信息并輸出，執(zhí)行所述命令。7. 根據(jù)權(quán)利要求6所述的移動機(jī)器人，其特征在于，所述命令為召喚命令或跟蹤命令； 所述執(zhí)行所述命令包括： 控制所述圖像定位單元判斷所述特征部位在所述圖像序列中的上下位置是否觸發(fā)預(yù) 設(shè)的前進(jìn)閾值:若未觸發(fā)，所述驅(qū)動單元驅(qū)動所述移動機(jī)器人向校準(zhǔn)后的方向前進(jìn);若觸 發(fā)，所述驅(qū)動單元停止驅(qū)動所述移動機(jī)器人前進(jìn)。8. 根據(jù)權(quán)利要求7所述的移動機(jī)器人，其特征在于，所述移動機(jī)器人還包括： 環(huán)境定位單元，用于通過同步定位和地圖構(gòu)建生成環(huán)境定位信息； 路線規(guī)劃單元，用于根據(jù)所述環(huán)境定位信息、校準(zhǔn)后的方向和定位的距離規(guī)劃所述移 動機(jī)器人前進(jìn)的路線。9. 一種移動機(jī)器人的定位方法，其特征在于，所述方法包括： 采集用戶的語音信息，根據(jù)所述語音信息定位所述用戶的方向； 轉(zhuǎn)動所述移動機(jī)器人以使圖像定位單元朝向所述方向； 采集圖像序列，識別所述圖像序列中所述用戶的特征部位； 根據(jù)所述特征部位的位置校準(zhǔn)所述用戶的方向并定位所述用戶的距離。10. 根據(jù)權(quán)利要求9所述的定位方法，其特征在于，所述采集圖像序列，識別所述圖像序 列中所述用戶的特征部位之后還包括： 若未識別出所述特征部位，驅(qū)動所述移動機(jī)器人向所述方向前進(jìn)，直至識別出所述特 征部位或根據(jù)預(yù)設(shè)策略停止驅(qū)動前進(jìn)。11. 根據(jù)權(quán)利要求10所述的定位方法，其特征在于，所述驅(qū)動所述移動機(jī)器人向所述方 向前進(jìn)之前還包括： 識別所述移動機(jī)器人轉(zhuǎn)動過程中所采集的圖像序列中的所述用戶的特征部位:若識別 出，則跳轉(zhuǎn)至所述根據(jù)所述特征部位的位置校準(zhǔn)所述用戶的方向并定位所述用戶的距離。12. 根據(jù)權(quán)利要求9所述的定位方法，其特征在于，所述根據(jù)所述特征部位的位置校準(zhǔn) 所述用戶的方向并定位所述用戶的距離包括： 根據(jù)所述特征部位在所述圖像序列中的水平位置校準(zhǔn)所述用戶的方向； 判斷所述水平位置是否觸發(fā)預(yù)設(shè)的校準(zhǔn)閾值:若觸發(fā)，則轉(zhuǎn)動所述移動機(jī)器人以使圖 像定位單元朝向校準(zhǔn)后的方向； 根據(jù)所述特征部位在所述圖像序列中的位置定位所述用戶的距離。13. 根據(jù)權(quán)利要求9所述的定位方法，其特征在于，所述移動機(jī)器人預(yù)存有用戶的聲紋 和特征部位的對應(yīng)關(guān)系； 所述采集用戶的語音信息，根據(jù)所述語音信息定位所述用戶的方向還包括:識別所述 語音信息的聲紋； 所述識別所述圖像序列中所述用戶的特征部位包括:識別所述圖像序列中對應(yīng)于所識 別出聲紋的特征部位。14. 根據(jù)權(quán)利要求9-13任一項(xiàng)所述的定位方法，其特征在于，所述采集用戶的語音信 息，根據(jù)所述語音信息定位所述用戶的方向還包括： 根據(jù)所述語音信息識別所述用戶的命令； 所述根據(jù)所述特征部位的位置校準(zhǔn)所述用戶的方向并定位所述用戶的距離之后還包 括： 執(zhí)行所述命令。15. 根據(jù)權(quán)利要求14所述的定位方法，其特征在于，所述命令為召喚命令或跟蹤命令； 所述執(zhí)行所述命令包括： 判斷所述特征部位在所述圖像序列中的上下位置是否觸發(fā)預(yù)設(shè)的前進(jìn)閾值： 若未觸發(fā)，驅(qū)動所述移動機(jī)器人向校準(zhǔn)后的方向前進(jìn)； 若觸發(fā)，停止驅(qū)動所述移動機(jī)器人前進(jìn)。16. 根據(jù)權(quán)利要求15所述的定位方法，其特征在于，所述驅(qū)動所述移動機(jī)器人向校準(zhǔn)后 的方向前進(jìn)之前還包括： 通過同步定位和地圖構(gòu)建生成環(huán)境定位信息，根據(jù)所述環(huán)境定位信息、校準(zhǔn)后的方向 和定位的距離規(guī)劃所述移動機(jī)器人前進(jìn)的路線。
【文檔編號】B25J19/02GK105929827SQ201610341566
【公開日】2016年9月7日
【申請日】2016年5月20日
【發(fā)明人】陳本東, 徐厚暢, 程烈, 張芊, 牛建偉, 都大龍, 潘復(fù)平
【申請人】北京地平線機(jī)器人技術(shù)研發(fā)有限公司