本發(fā)明涉及一種遠(yuǎn)程呈現(xiàn)交互方式的設(shè)計，尤其涉及一種可觸摸現(xiàn)場實時視頻圖像的遠(yuǎn)程呈現(xiàn)交互方法和系統(tǒng)，屬于人機交互技術(shù)領(lǐng)域。

背景技術(shù)：

如今我們可以通過網(wǎng)絡(luò)相機獲取世界任意地點的現(xiàn)場實時視頻圖像(Live Video Image)，并與該地點的人們進行交流，與該地點中的設(shè)備進行交互，就好像我們在現(xiàn)場一樣。目前，有很多遠(yuǎn)程交互方式和系統(tǒng)，例如視頻會議、遠(yuǎn)程操作機器人、遠(yuǎn)程健康護理以及遠(yuǎn)程呈現(xiàn)機器人(telepresence robot)等。這些系統(tǒng)多是采用傳統(tǒng)的遠(yuǎn)程交互方式，即用戶在遠(yuǎn)程空間(remote space)中的用戶界面上通過鍵盤、鼠標(biāo)、操作桿以及圖形界面來與本地空間(local space)進行交互。這些系統(tǒng)通常是為特定的任務(wù)設(shè)計并且需要經(jīng)過訓(xùn)練的操作員進行操作。

觸屏技術(shù)的發(fā)展，為實現(xiàn)更加自然且更加普適的人機交互提供了支撐。觸屏交互擺脫了輸入設(shè)備的限制，實現(xiàn)了人與設(shè)備的直觀交互。觸屏技術(shù)讓計算機、手機、Pad等設(shè)備變成了可觸摸交互的智能設(shè)備，用戶可以直接用手指點擊屏幕從而便捷地完成操作。一些遠(yuǎn)程交互系統(tǒng)也采用掌上計算機或平板電腦、智能手機以及其他移動裝置作為交互設(shè)備，在現(xiàn)場視頻圖像上疊加圖形用戶界面，通過點擊圖形用戶界面上的虛擬按鈕來進行交互操作。

上述已有的遠(yuǎn)程交互技術(shù)雖然可以實現(xiàn)遠(yuǎn)程交互，但是這些遠(yuǎn)程交互技術(shù)無法直接利用現(xiàn)有裝置成熟的、符合人體工效學(xué)的控制面板，需要設(shè)計額外的圖形用戶界面，并且用戶使用時需要預(yù)先進行相應(yīng)的訓(xùn)練，限制了遠(yuǎn)程呈現(xiàn)交互的應(yīng)用范圍，降低了遠(yuǎn)程交互的效果和用戶體驗。

為了實現(xiàn)更好的遠(yuǎn)程交互效果和用戶體驗，本發(fā)明設(shè)計了一種可觸摸現(xiàn)場實時視頻圖像的用戶界面，簡稱TIUI(Touchable live video Image based User Inter face)，實現(xiàn)遠(yuǎn)程呈現(xiàn)交互。具體通過遠(yuǎn)程呈現(xiàn)機器人獲取本地空間現(xiàn)場實時視頻圖像，用戶在遠(yuǎn)程空間通過TIUI直接觸摸本地空間的現(xiàn)場實時視頻圖像，實現(xiàn)與本地空間中物體和環(huán)境交互，稱為遠(yuǎn)程呈現(xiàn)交互方法。通過直接觸摸現(xiàn)場實時視頻圖像進行遠(yuǎn)程呈現(xiàn)交互，可以直接利用現(xiàn)有裝置成熟的、符合人體工效學(xué)的控制面板,無需設(shè)計額外的圖形用戶界面；可以給用戶身臨其境的用戶體驗；并且，借助于智能手機、平板等掌上電腦設(shè)備，可以在移動的情況下隨時隨地的進行遠(yuǎn)程呈現(xiàn)交互。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的是克服現(xiàn)有遠(yuǎn)程交互方法和系統(tǒng)在易用性以及用戶體驗方面的技術(shù)缺陷，進一步提升遠(yuǎn)程交互的效果和用戶體驗，提出了一種可觸摸現(xiàn)場實時視頻圖像的遠(yuǎn)程呈現(xiàn)交互方法和系統(tǒng)。

一種可觸摸現(xiàn)場實時視頻圖像的遠(yuǎn)程呈現(xiàn)交互方法和系統(tǒng)，包括一種可觸摸現(xiàn)場實時視頻圖像的遠(yuǎn)程呈現(xiàn)交互方法(簡稱本方法)和一種可觸摸現(xiàn)場實時視頻圖像的遠(yuǎn)程呈現(xiàn)交互系統(tǒng)，(簡稱本系統(tǒng))；

其中，本系統(tǒng)包括本地空間和遠(yuǎn)程空間；本地空間中包含遠(yuǎn)程呈現(xiàn)機器人和遠(yuǎn)程可交互裝置；遠(yuǎn)程空間中包括用戶、帶有觸摸屏的計算裝置和TIUI；

其中，帶有觸摸屏的計算裝置至少可以為掌上電腦和智能手機；本地空間和遠(yuǎn)程空間通過無線網(wǎng)絡(luò)連接；

其中，TIUI是一種基于可觸摸現(xiàn)場實時視頻圖像的用戶界面，用于觸摸帶有觸摸屏的計算裝置；計算裝置包括遠(yuǎn)程空間無線通信網(wǎng)絡(luò)模塊；

遠(yuǎn)程可交互裝置和智能家居(或智能辦公裝置)的主要區(qū)別是前者每一個裝置是完全獨立的，由遠(yuǎn)程直接控制，該裝置的識別主要通過計算機視覺方法或/和條形碼標(biāo)簽方法實現(xiàn)；后者裝置需要事先固定，并連接到本地中央控制單元，由本地控制單元接收遠(yuǎn)程控制；

遠(yuǎn)程可交互裝置也可以是遠(yuǎn)程呈現(xiàn)機器人；遠(yuǎn)程呈現(xiàn)機器人由計算機、移動底座和機器人頭部組成；其中，機器人頭部包括呈現(xiàn)用戶的顯示屏、前視攝像頭、俯視廣角攝像頭、揚聲器、麥克風(fēng)、云臺和升降桿；

遠(yuǎn)程可交互裝置包括標(biāo)識(id)、驅(qū)動器(actuator)和本地空間無線通信網(wǎng)絡(luò)模塊；其中，標(biāo)識是指獨一無二的特征，可以用計算機視覺的方法識別，也可以用二維條形碼標(biāo)簽來標(biāo)識；比如，家里的空調(diào)、監(jiān)控攝像機、窗簾、照明燈，都可以用計算機視覺的方法識別外觀，同人的視覺識別方法一樣；也可以用他們的二維碼進行區(qū)分；計算機視覺技術(shù)在識別外觀相同的兩個裝置時，還要識別裝置所處的位置，以區(qū)分這兩個裝置，或用定位技術(shù)獲取裝置的位置參數(shù)：比如，室內(nèi)有兩個窗簾，可以通過定位技術(shù)區(qū)分不同位置的窗簾，實現(xiàn)不同窗簾的控制；驅(qū)動器是指電機、繼電器為主的電能到機械能或其它能量形式的轉(zhuǎn)化裝置；本地空間無線通信網(wǎng)絡(luò)模塊，比如WIFI模塊，是實現(xiàn)遠(yuǎn)程可交互裝置與互聯(lián)網(wǎng)連接的重要工具；

本系統(tǒng)中各組成部分的功能如下：

遠(yuǎn)程可交互裝置的功能是實現(xiàn)遠(yuǎn)程交互；其中，標(biāo)識的功能是用于區(qū)分兩個裝置；驅(qū)動器的功能是實現(xiàn)自動控制；無線通信網(wǎng)絡(luò)的功能是實現(xiàn)遠(yuǎn)程可交互裝置與互聯(lián)網(wǎng)連接；

遠(yuǎn)程呈現(xiàn)機器人中的升降桿的功能是使遠(yuǎn)程呈現(xiàn)機器人根據(jù)不用的應(yīng)用場景調(diào)節(jié)頭部高度；云臺的功能是使遠(yuǎn)程呈現(xiàn)機器人左右和上下運動頭部，更便捷地獲取現(xiàn)場實時視頻圖像；

一種可觸摸現(xiàn)場實時視頻圖像的遠(yuǎn)程呈現(xiàn)交互方法(簡稱本方法)，包括如下步驟：

步驟一、遠(yuǎn)程呈現(xiàn)機器人利用計算機視覺的方法，直接識別遠(yuǎn)程可交互裝置或通過遠(yuǎn)程可交互裝置的二維碼標(biāo)簽識別該裝置，具體為：

步驟1.1遠(yuǎn)程呈現(xiàn)機器人利用計算機視覺的方法直接識別遠(yuǎn)程可交互裝置，并根據(jù)是否識別了遠(yuǎn)程可交互裝置，決定是否進行步驟1.2的操作，若已經(jīng)識別，直接跳到步驟二；若未識別，跳至步驟1.2；

其中，通過計算機視覺的方法識別遠(yuǎn)程可交互裝置通常是通過提取圖像特征進行識別，比如顏色、紋理、表觀和形狀；

步驟1.2當(dāng)通過計算機視覺的方法無法準(zhǔn)確識別遠(yuǎn)程可交互裝置時，本發(fā)明使用二維碼作為遠(yuǎn)程可交互裝置的標(biāo)識進行識別，此種識別方法簡單，計算效率高，識別率達(dá)到100％；

其中，二維碼包含了裝置名稱、裝置位置、連接接口、操作指令為主的信息；

步驟二、遠(yuǎn)程呈現(xiàn)機器人在本地空間中移動來獲取本地空間的現(xiàn)場實時視頻圖像，具體為：

2.1遠(yuǎn)程呈現(xiàn)機器人通過機器人頭部的前視攝像頭獲取本地空間的現(xiàn)場實時視頻圖像用于遠(yuǎn)程呈現(xiàn)交互；

2.2機器人頭部的俯視廣角攝像頭獲取機器人底座及其周圍環(huán)境圖像，用于用戶操作遠(yuǎn)程呈現(xiàn)機器人運動的反饋視覺信息；

步驟三、計算機將兩個攝像頭采集的視頻圖像實時拼接，形成的拼接視頻圖像作為現(xiàn)場實時視頻圖像，通過本地空間無線通信網(wǎng)絡(luò)模塊傳輸給遠(yuǎn)程空間的TIUI；

其中，拼接視頻圖像分為上下兩部分，上部分為前視攝像機采集的本地空間視頻圖像，下部分來自俯視廣角攝像頭采集的機器人底座及周圍環(huán)境圖像；步驟四、用戶在TIUI上觸摸步驟三輸出的拼接視頻圖像，實現(xiàn)與本地空間中的遠(yuǎn)程可交互裝置的交互及控制遠(yuǎn)程呈現(xiàn)機器人在本地空間的運動，具體為：

4.1用戶觸摸拼接視頻圖像的上部分，完成用戶與遠(yuǎn)程可交互裝置的交互任務(wù)，也能控制云臺轉(zhuǎn)動，轉(zhuǎn)動前視攝像頭獲取左右上下方位的圖像，能控制升降桿上下運動，調(diào)整機器人高度；

4.2用戶觸摸拼接視頻圖像的下部分，完成遠(yuǎn)程呈現(xiàn)機器人的運動，也可以對導(dǎo)航路徑、障礙物、安全區(qū)域、目的地為主的信息進行標(biāo)記；

其中，為了便于用戶區(qū)分和使用方便，針對4.1和4.2的不同操作定義了單手指觸摸手勢和雙手指觸摸手勢兩類觸摸手勢；

其中，單手指觸摸手勢用于操作遠(yuǎn)程可交互裝置，具體用于標(biāo)記地面導(dǎo)航路徑和障礙物；

具體為：當(dāng)步驟一中識別遠(yuǎn)程可交互裝置采用步驟1.2，即二維碼識別時，用戶在TIUI上用單手指觸摸遠(yuǎn)程可交互裝置的二維碼圖像，本系統(tǒng)自動識別二維碼，并自動跟蹤移動中的二維碼，建立TIUI上遠(yuǎn)程可交互裝置的圖像與實際遠(yuǎn)程可交互裝置的對應(yīng)關(guān)系，然后用戶通過TIUI直接觸摸遠(yuǎn)程可交互裝置的控制面板圖像，如同觸摸真實裝置的控制面板，比如，觸摸本地空間中的門禁系統(tǒng)密碼健面板圖像，如同用戶在本地空間直接觸摸密碼鍵；

由于TIUI上的密碼健圖像和遠(yuǎn)程可交互裝置建立了對應(yīng)關(guān)系，因此，觸摸一個遠(yuǎn)程可交互裝置的圖像，就是通過無線網(wǎng)絡(luò)向該裝置的驅(qū)動器發(fā)送對應(yīng)的控制指令，使該裝置完成相應(yīng)動作，實現(xiàn)通過TIUI的遠(yuǎn)程呈現(xiàn)交互；

根據(jù)單手指觸摸手勢及手勢所在的TIUI上下部區(qū)域，將手勢分為四個模式：

1)單手指上部模式：單手指觸摸手勢作用于TIUI的上部圖像區(qū)域中，用于操作本地空間中的遠(yuǎn)程可交互裝置；

2)雙手指上部模式：雙手指觸摸手勢作用于TIUI的上部圖像區(qū)域中，用于控制云臺上下左右運動，控制升降桿的升降運動；

3)單手指下部模式：單手指觸摸手勢作用于TIUI的下部圖像區(qū)域中，用于標(biāo)記機器人的運動軌跡和地面上的障礙物；

4)雙手指下部模式：雙手指觸摸手勢作用于TIUI的下部圖像區(qū)域中，用于遠(yuǎn)程控制機器人的運動；

雙手指觸摸手勢用于操作遠(yuǎn)程呈現(xiàn)機器人的自身運動，包括機器人底座前后和左右運動，機器人頭部前視和俯視攝像機左右上下運動，升降桿的升降運動；

至此，從步驟一到步驟四，完成了一種可觸摸現(xiàn)場實時視頻圖像的遠(yuǎn)程呈現(xiàn)交互方法。

有益效果

一種可觸摸現(xiàn)場實時視頻圖像的遠(yuǎn)程呈現(xiàn)交互方法和系統(tǒng)，與現(xiàn)有技術(shù)相比，具有如下有益效果：

(1)本發(fā)明通過遠(yuǎn)程呈現(xiàn)機器人在本地空間中移動，獲取本地空間的現(xiàn)場實時視頻圖像，與固定攝像頭獲取視頻的方式相比，有效的解決遮擋問題；本地空間可以在室內(nèi)，也可以在室外，擴大了使用范圍；

(2)遠(yuǎn)程呈現(xiàn)機器人在本地空間中呈現(xiàn)用戶的面部表情及聲音，可以給用戶更好的體驗；遠(yuǎn)程呈現(xiàn)機器人與固定攝像頭相比，遵循“我看到你，你看到我”，可以更好的保護用戶隱私；

(3)本發(fā)明采用的用戶界面TIUI，能在掌上電腦、智能手機等移動計算設(shè)備使用，可以隨時隨地與本地空間進行遠(yuǎn)程呈現(xiàn)交互；

(4)本發(fā)明采用的用戶界面TIUI,采用單手指觸摸手勢直接觸摸圖像中遠(yuǎn)程可交互裝置的控制面板，完成與遠(yuǎn)程可交互裝置的交互操作；利用現(xiàn)有裝置成熟的、符合人體工效學(xué)的控制面板,無需設(shè)計額外的圖形用戶界面，給用戶提供身臨其境的交互體驗；

(5)采用雙手指觸摸手勢操作遠(yuǎn)程呈現(xiàn)機器人，包括控制云臺、控制升降桿等,為用戶提供簡單直觀的操作方式；

(6)本發(fā)明中的TIUI上的現(xiàn)場實時視頻圖像由遠(yuǎn)程呈現(xiàn)機器人上的前視攝像機獲取的前視場景圖像和俯視攝像機獲取的俯視圖像實時拼接組成，使得用戶在遠(yuǎn)程呈現(xiàn)交互過程中始終關(guān)注一個視頻圖像界面，增強了用戶體驗，提高了交互效率。

附圖說明

圖1是本發(fā)明一種可觸摸現(xiàn)場實時視頻圖像的遠(yuǎn)程呈現(xiàn)交互方法和系統(tǒng)的本系統(tǒng)組成示意圖；

圖2是本發(fā)明一種可觸摸現(xiàn)場實時視頻圖像的遠(yuǎn)程呈現(xiàn)交互方法和系統(tǒng)的本系統(tǒng)中遠(yuǎn)程呈現(xiàn)機器人的組成示意圖；

圖3是本發(fā)明一種可觸摸現(xiàn)場實時視頻圖像的遠(yuǎn)程呈現(xiàn)交互方法中的圖像拼接示意圖；

圖4是本發(fā)明一種可觸摸現(xiàn)場實時視頻圖像的遠(yuǎn)程呈現(xiàn)交互方法中的圖像校正示意圖；

圖5是本發(fā)明一種可觸摸現(xiàn)場實時視頻圖像的遠(yuǎn)程呈現(xiàn)交互方法與系統(tǒng)中的基于可觸摸現(xiàn)場實時視頻圖像用戶界面；

圖6是本發(fā)明一種可觸摸現(xiàn)場實時視頻圖像的遠(yuǎn)程呈現(xiàn)交互方法中的雙手指觸摸手勢；

圖7是本發(fā)明一種可觸摸現(xiàn)場實時視頻圖像的遠(yuǎn)程呈現(xiàn)交互方法中的單手指觸摸手勢；

其中，圖1中101是遠(yuǎn)程呈現(xiàn)機器人所處的本地空間，102是用戶所處的遠(yuǎn)程空間，103和104分別為本地空間無線通信網(wǎng)絡(luò)模塊和遠(yuǎn)程空間無線通信網(wǎng)絡(luò)模塊、遠(yuǎn)程空間無線網(wǎng)絡(luò)模塊，105是互聯(lián)網(wǎng)，106是本地空間中的遠(yuǎn)程可交互裝置，107是遠(yuǎn)程呈現(xiàn)機器人，108是帶有觸摸屏的計算裝置，109是用戶；

圖2中201是呈現(xiàn)用戶的顯示屏，202是麥克風(fēng)，203是揚聲器，204是云臺，205是前視攝像頭，206是俯視廣角攝像頭，207是升降桿，208是計算機，209是移動底座；

圖3中301為前視攝像頭采集的圖像，302為俯視廣角攝像頭采集的圖像，303和304為在圖像上選擇的六個特征點，305為合成的現(xiàn)場實時視頻圖像，合成的圖像中只包含一組選擇的六個點；

圖4中401為俯視攝像頭采集原始圖像，402為校正后的圖像，403為手選特征點序列；404為將原始圖像的部分區(qū)域進行裁剪的畸變矯正過程；

圖5中501為帶有觸摸屏的計算裝置，502為用戶手指，503為現(xiàn)場實時視頻上部圖像區(qū)域，504為現(xiàn)場實時視頻下部圖像區(qū)域。。

具體實施方式

下面結(jié)合附圖和具體實施例，對本發(fā)明所提出的一種可觸摸現(xiàn)場實時視頻圖像的遠(yuǎn)程呈現(xiàn)交互方法和系統(tǒng)進行詳細(xì)描述。

實施例1

本實施例具體闡述了本發(fā)明所提出方法和系統(tǒng)的系統(tǒng)組成和工作過程。

圖1為本發(fā)明一種可觸摸現(xiàn)場實時視頻圖像的遠(yuǎn)程呈現(xiàn)交互方法和系統(tǒng)中本系統(tǒng)的組成。

從圖1可以看出：本系統(tǒng)包含101是遠(yuǎn)程呈現(xiàn)機器人所處的本地空間，102是用戶所處的遠(yuǎn)程空間，103和104分別為本地空間無線通信網(wǎng)絡(luò)模塊和遠(yuǎn)程空間無線通信網(wǎng)絡(luò)模塊、遠(yuǎn)程空間無線網(wǎng)絡(luò)模塊，105是互聯(lián)網(wǎng)，106是本地空間中的遠(yuǎn)程可交互裝置，107是遠(yuǎn)程呈現(xiàn)機器人，108是帶有觸摸屏的計算裝置，109是用戶。

本系統(tǒng)包括本地空間中的遠(yuǎn)程呈現(xiàn)機器人和遠(yuǎn)程可交互裝置，遠(yuǎn)程空間中用戶使用的掌上電腦或智能手機中包含104和TIUI(即108)。

進一步的，本發(fā)明通過遠(yuǎn)程呈現(xiàn)機器人在本地空間中移動以獲取本地空間的現(xiàn)場實時視頻圖像。遠(yuǎn)程呈現(xiàn)機器人由計算機、機器人頭部和移動底座組成，如圖2所示。

從圖2可以看出，遠(yuǎn)程呈現(xiàn)機器人包括201：呈現(xiàn)用戶的顯示屏，202：麥克風(fēng)，203：揚聲器，204：云臺，205：前視攝像頭，206：俯視廣角攝像頭，207：升降桿，208：計算機，209：移動底座。

其中，呈現(xiàn)用戶的顯示屏、前視攝像頭、俯視廣角攝像頭、揚聲器、麥克風(fēng)、云臺和升降桿，包含在機器人頭部中；升降桿的功能是使得機器人可以根據(jù)不用的應(yīng)用場景調(diào)節(jié)自身高度；云臺的功能是：使得機器人可以更便捷的獲取環(huán)境圖像。

通過機器人頭部的前視攝像頭采集遠(yuǎn)程環(huán)境圖像用于遠(yuǎn)程呈現(xiàn)交互；通過機器人頭部的俯視廣角攝像頭采集移動底座周圍環(huán)境圖像，用于輔助用戶操作遠(yuǎn)程呈現(xiàn)機器人的運動；將兩個攝像頭采集的視頻圖像進行實時拼接，形成拼接視頻圖像作為現(xiàn)場實時視頻圖像。拼接視頻圖像分為上下兩部分，上部圖像區(qū)域為前視攝像機采集的本地空間場景圖像，是用戶與遠(yuǎn)程可交互裝置進行遠(yuǎn)程呈現(xiàn)交互的區(qū)域，也是控制云臺運動和控制升降桿高度的操作區(qū)域；下部圖像區(qū)域為俯視攝像機采集的移動底座和周圍地面的圖像，是用戶遠(yuǎn)程操作機器人運動、標(biāo)記地面導(dǎo)航路徑、標(biāo)記障礙物的操作區(qū)域。

實施例2

本實施例闡述了本發(fā)明所提出的一種可觸摸現(xiàn)場實時視頻圖像的遠(yuǎn)程呈現(xiàn)交互方法對現(xiàn)場實時視頻圖像的拼接過程，對應(yīng)發(fā)明內(nèi)容中的步驟三，如圖3所示。

從圖3可以看出，301為前視攝像頭采集的圖像，302為俯視攝廣角像頭采集的圖像，303和304為在圖像上選擇的六個特征點，305為合成的現(xiàn)場實時視頻圖像，合成的圖像中只包含一組選擇的六個點。

具體到本實施例，采用交互方式完成圖像拼接所需的攝像頭參數(shù)標(biāo)定；具體為：通過觸摸現(xiàn)場實時視頻圖像用戶界面，手工在前視攝像機和俯視攝像機采集圖像的公共區(qū)域中選擇特征點進行匹配；圖3中303和304為攝像機拍攝到的手工選擇的6個特征點，1和2兩個圖像中均包含這6個特征點；圖像合成的過程首先采用匹配算法對1和2中的特征點進行匹配，匹配完成后上下拼接合成305這一單一圖像，305中只有一組特征點306。

為采集更多的機器人運行場景信息，俯視廣角攝像頭采集的圖像會產(chǎn)生一定程度的畸變，具體如圖4所示。

圖像401為俯視攝像頭采集的原始圖像，其中的特征點序列會因為圖像畸變而使得排列更加緊湊，并不是真實情況的還原。在得到特征點的匹配結(jié)果之后，進行圖像合成之前，需進行畸變矯正。這一過程主要由原始圖像的初步畸變校正和拼接前的圖像變換組成。初步的畸變校正中攝像頭的內(nèi)外參數(shù)采用基于標(biāo)定模板的方法事先獲取，根據(jù)攝像頭的內(nèi)外參數(shù)得到畸變系數(shù)。對于俯視攝像頭采集的每一幀的圖像進行初步的畸變校正，為拼接前的圖像變換做好準(zhǔn)備?；兂C正的過程將原始圖像的部分區(qū)域(圖4中的404區(qū)域)進行裁剪，剩余部分又由上至下進行不同程度的畸變矯正。根據(jù)6個特征點的匹配關(guān)系和上下不同的畸變系數(shù)得到一組參數(shù)生成變換矩陣，對于初步校正后的每一幀圖像通過這一變換矩陣的變換得到圖4中的目標(biāo)圖像402，最后用此圖像與前視攝像頭采集的圖像進行拼接。

實施例3

本實施例闡述了本發(fā)明所提方法與系統(tǒng)中的TIUI，示意圖為圖5所示。從圖5可以看出，基于可觸摸現(xiàn)場實時視頻圖像的用戶界面TIUI，501為帶有觸摸屏的計算裝置，即：操作控制設(shè)備，包括平板電腦，智能手機等帶有觸摸屏的設(shè)備，502為用戶手指，503為現(xiàn)場實時視頻上部圖像區(qū)域，504為現(xiàn)場實時視頻下部圖像區(qū)域。

本發(fā)明中所述的用戶界面是一種基于可觸摸現(xiàn)場實時視頻圖像的用戶界面TIUI。通過遠(yuǎn)程呈現(xiàn)機器人獲取本地空間的現(xiàn)場實時視頻圖像，通過無線網(wǎng)絡(luò)將視頻圖像實時傳送到遠(yuǎn)程空間，用戶在遠(yuǎn)程空間中的TIUI上控制遠(yuǎn)程呈現(xiàn)機器人在本地空間中的運動，并與本地空間中的可交互裝置進行遠(yuǎn)程呈現(xiàn)交互。

TIUI的主要部分是本地空間的現(xiàn)場實時視頻圖像，此圖像由遠(yuǎn)程呈現(xiàn)機器人的前視攝像機和俯視攝像機采集的視頻圖像實時拼接而成。拼接視頻圖像分為上下兩部分，上部圖像來自前視攝像機，下部圖像來自俯視攝像機。

為了便于用戶區(qū)分和使用方便，在用戶界面上部和下部圖像區(qū)域上針對不同操作定義了2類觸摸手勢：單手指觸摸手勢和雙手指觸摸手勢。雙手指觸摸手勢用于操作遠(yuǎn)程呈現(xiàn)機器人自身運動，包括機器人底座前后和左右運動，機器人頭部前視和俯視攝像機左右上下運動，升降桿的升降運動。單手指觸摸手勢用于操作遠(yuǎn)程可交互裝置，以及標(biāo)記地面導(dǎo)航路徑和障礙物。根據(jù)手勢及手勢所在的TIUI上下部區(qū)域，將手勢分為四個模式：

1)單手指上部模式：單手指觸摸手勢作用于TIUI的上部圖像區(qū)域中，用于操作本地空間中的遠(yuǎn)程可交互裝置；

2)雙手指上部模式：雙手指觸摸手勢作用于TIUI的上部圖像區(qū)域中，用于控制云臺上下左右運動，控制升降桿的升降運動。

3)單手指下部模式：單手指觸摸手勢作用于TIUI的下部圖像區(qū)域中，用于標(biāo)記機器人的運動軌跡和地面上的障礙物；

4)雙手指下部模式：雙手指觸摸手勢作用于TIUI的下部圖像區(qū)域中，用于遠(yuǎn)程控制機器人的運動。

本發(fā)明設(shè)計的用于操作遠(yuǎn)程呈現(xiàn)機器人的雙手指觸摸手勢源于對游泳、劃船項目中人們動作的觀察，人們向后、向前擺動雙臂或是雙槳就能讓自己前進或后退，同時當(dāng)兩只手臂或是兩個船槳的擺動速度不一樣時，身體或船身便會向速度較慢的方向轉(zhuǎn)動。參考上述運動規(guī)律，本發(fā)明設(shè)計的以用戶為中心的基于運動規(guī)律的觸摸手勢，能在讓遠(yuǎn)程呈現(xiàn)機器人友好呈現(xiàn)用戶的同時，讓用戶獲得在本地空間中真實存在、前進、后退、左轉(zhuǎn)和右轉(zhuǎn)的交互體驗。本發(fā)明設(shè)計的雙手指觸摸手勢如圖6所示。

同時本發(fā)明設(shè)計了單手指觸摸手勢，使得用戶可以便捷、靈活地與本地空間中的可交互裝置進行遠(yuǎn)程呈現(xiàn)交互，這與人們在觸屏設(shè)備上的操作習(xí)慣一致。本發(fā)明設(shè)計的單手指觸摸手勢如圖7所示。圖7中所定義單手指觸摸手勢，如點擊(tap)、按(press)、拖(drag)、圈(lasso)等手勢在操作本地空間中不同裝置時對應(yīng)不同的操作指令，這些對應(yīng)關(guān)系都被保存在遠(yuǎn)程可交互裝置的二維碼中，當(dāng)裝置被系統(tǒng)識別后，這些對應(yīng)關(guān)系將被系統(tǒng)讀入，并在TIUI上顯示對用戶的操作提示，用戶通過以上不同的手勢操作可交互裝置完成不同的遠(yuǎn)程操作。

實施例4

本實施例具體闡述了本發(fā)明所提方法與系統(tǒng)中用于通過TIUI進行遠(yuǎn)程呈現(xiàn)交互的過程。

用戶在遠(yuǎn)程空間通過TIUI，直接觸摸遠(yuǎn)程可交互裝置的現(xiàn)場實時視頻圖像，完成與遠(yuǎn)程可交互裝置的遠(yuǎn)程呈現(xiàn)交互。本發(fā)明利用計算機視覺的方法，直接識別遠(yuǎn)程可交互裝置，或通過遠(yuǎn)程可交互裝置的二維碼識別該裝置。通過計算機視覺的方法識別遠(yuǎn)程可交互裝置通常是通過提取圖像特征進行識別，比如顏色、紋理、表觀和形狀。當(dāng)通過計算機視覺的方法無法準(zhǔn)確識別遠(yuǎn)程可交互裝置時，本發(fā)明使用二維碼作為遠(yuǎn)程可交互裝置的標(biāo)識進行識別，這種識別方法簡單，計算效率高，識別率達(dá)到100％。二維碼包含了裝置名稱、裝置位置、連接接口、操作指令等信息。用戶在TIUI上用單手指觸摸遠(yuǎn)程可交互裝置的二維碼圖像，系統(tǒng)自動識別二維碼，并自動跟蹤移動中的二維碼，建立TIUI上遠(yuǎn)程可交互裝置的圖像與實際遠(yuǎn)程可交互裝置的對應(yīng)關(guān)系，然后用戶通過TIUI直接觸摸遠(yuǎn)程可交互裝置的控制面板圖像，如同觸摸真實裝置的控制面板，比如，觸摸本地空間中的門禁系統(tǒng)密碼健面板圖像，如同用戶在本地空間直接觸摸密碼鍵。由于TIUI上的密碼健圖像和遠(yuǎn)程可交互裝置建立了對應(yīng)關(guān)系，因此，觸摸一個遠(yuǎn)程可交互裝置的圖像，就是通過WiFi向該裝置的驅(qū)動器發(fā)送對應(yīng)的控制指令，使該裝置完成相應(yīng)動作，實現(xiàn)通過TIUI的遠(yuǎn)程呈現(xiàn)交互。

實施例5

本實施例具體闡述了采用本發(fā)明所提出的方法和系統(tǒng)應(yīng)用于遠(yuǎn)程陪護。用戶通過雙手指觸摸手勢，在TIUI的下部圖像區(qū)域中，控制遠(yuǎn)程呈現(xiàn)機器人移動至帶有密碼鎖的房門門口；通過單手指觸摸手勢，在TIUI的上部圖像區(qū)域中，點擊密碼鎖的二維碼圖像，系統(tǒng)自動識別二維碼，并建立TIUI上密碼鎖的圖像與實際密碼鎖的對應(yīng)關(guān)系；然后用戶在TIUI的上部圖像區(qū)域中使用點手指點擊密碼鎖按鍵的圖像，系統(tǒng)通過WiFi向密碼鎖的驅(qū)動器發(fā)送對應(yīng)的控制指令，當(dāng)用戶輸入正確的密碼后，可以打開房門。

用戶通過雙手指觸摸手勢，在TIUI的下部圖像區(qū)域中，控制遠(yuǎn)程呈現(xiàn)機器人進入房間，移動至燈的開關(guān)前；在TIUI的上部圖像區(qū)域中，點擊開關(guān)的二維碼圖像，然后點擊開關(guān)的圖像，可以打開房間中的燈。

此外，本發(fā)明所述方法還可應(yīng)用于遠(yuǎn)程陪護，遠(yuǎn)程醫(yī)療，遠(yuǎn)程教育等領(lǐng)域。

以上所述為本發(fā)明的較佳實施例而已，本發(fā)明不應(yīng)該局限于該實施例和附圖所公開的內(nèi)容。凡是不脫離本發(fā)明所公開的精神下完成的等效或修改，都落入本發(fā)明保護的范圍。