1.一種可觸摸現(xiàn)場(chǎng)實(shí)時(shí)視頻圖像的遠(yuǎn)程呈現(xiàn)交互方法和系統(tǒng),其特征在于:包括一種可觸摸現(xiàn)場(chǎng)實(shí)時(shí)視頻圖像的遠(yuǎn)程呈現(xiàn)交互方法(簡(jiǎn)稱本方法)和一種可觸摸現(xiàn)場(chǎng)實(shí)時(shí)視頻圖像的遠(yuǎn)程呈現(xiàn)交互系統(tǒng),簡(jiǎn)稱本系統(tǒng);
其中,本系統(tǒng)包括本地空間和遠(yuǎn)程空間;本地空間中包含遠(yuǎn)程呈現(xiàn)機(jī)器人和遠(yuǎn)程可交互裝置;遠(yuǎn)程空間中包括用戶、帶有觸摸屏的計(jì)算裝置和TIUI;
其中,帶有觸摸屏的計(jì)算裝置至少可以為掌上電腦和智能手機(jī);本地空間和遠(yuǎn)程空間通過無線網(wǎng)絡(luò)連接;
其中,TIUI是一種基于可觸摸現(xiàn)場(chǎng)實(shí)時(shí)視頻圖像的用戶界面,用于觸摸帶有觸摸屏的計(jì)算裝置;計(jì)算裝置包括遠(yuǎn)程空間無線通信網(wǎng)絡(luò)模塊;
遠(yuǎn)程可交互裝置和智能家居(或智能辦公裝置)的主要區(qū)別是前者每一個(gè)裝置是完全獨(dú)立的,由遠(yuǎn)程直接控制,該裝置的識(shí)別主要通過計(jì)算機(jī)視覺方法或/和條形碼標(biāo)簽方法實(shí)現(xiàn);后者裝置需要事先固定,并連接到本地中央控制單元,由本地控制單元接收遠(yuǎn)程控制;
遠(yuǎn)程可交互裝置也可以是遠(yuǎn)程呈現(xiàn)機(jī)器人;遠(yuǎn)程呈現(xiàn)機(jī)器人由計(jì)算機(jī)、移動(dòng)底座和機(jī)器人頭部組成;其中,機(jī)器人頭部包括呈現(xiàn)用戶的顯示屏、前視攝像頭、俯視廣角攝像頭、揚(yáng)聲器、麥克風(fēng)、云臺(tái)和升降桿。
2.根據(jù)權(quán)利要求1所述的一種可觸摸現(xiàn)場(chǎng)實(shí)時(shí)視頻圖像的遠(yuǎn)程呈現(xiàn)交互方法和系統(tǒng),其特征還在于:遠(yuǎn)程可交互裝置包括標(biāo)識(shí)(id)、驅(qū)動(dòng)器(actuator)和本地空間無線通信網(wǎng)絡(luò)模塊;其中,標(biāo)識(shí)是指獨(dú)一無二的特征,可以用計(jì)算機(jī)視覺的方法識(shí)別,也可以用二維條形碼標(biāo)簽來標(biāo)識(shí);比如,家里的空調(diào)、監(jiān)控?cái)z像機(jī)、窗簾、照明燈,都可以用計(jì)算機(jī)視覺的方法識(shí)別外觀,同人的視覺識(shí)別方法一樣;也可以用他們的二維碼進(jìn)行區(qū)分;計(jì)算機(jī)視覺技術(shù)在識(shí)別外觀相同的兩個(gè)裝置時(shí),還要識(shí)別裝置所處的位置,以區(qū)分這兩個(gè)裝置,或用定位技術(shù)獲取裝置的位置參數(shù):比如,室內(nèi)有兩個(gè)窗簾,可以通過定位技術(shù)區(qū)分不同位置的窗簾,實(shí)現(xiàn)不同窗簾的控制;驅(qū)動(dòng)器是指電機(jī)、繼電器為主的電能到機(jī)械能或其它能量形式的轉(zhuǎn)化裝置;本地空間無線通信網(wǎng)絡(luò)模塊,比如WIFI模塊,是實(shí)現(xiàn)遠(yuǎn)程可交互裝置與互聯(lián)網(wǎng)連接的重要工具。
3.根據(jù)權(quán)利要求1所述的一種可觸摸現(xiàn)場(chǎng)實(shí)時(shí)視頻圖像的遠(yuǎn)程呈現(xiàn)交互方法和系統(tǒng),其特征還在于:本系統(tǒng)中各組成部分的功能如下:
遠(yuǎn)程可交互裝置的功能是實(shí)現(xiàn)遠(yuǎn)程交互;其中,標(biāo)識(shí)的功能是用于區(qū)分兩個(gè)裝置;驅(qū)動(dòng)器的功能是實(shí)現(xiàn)自動(dòng)控制;無線通信網(wǎng)絡(luò)的功能是實(shí)現(xiàn)遠(yuǎn)程可交互裝置與互聯(lián)網(wǎng)連接;
遠(yuǎn)程呈現(xiàn)機(jī)器人中的升降桿的功能是使遠(yuǎn)程呈現(xiàn)機(jī)器人根據(jù)不用的應(yīng)用場(chǎng)景調(diào)節(jié)頭部高度;云臺(tái)的功能是使遠(yuǎn)程呈現(xiàn)機(jī)器人左右和上下運(yùn)動(dòng)頭部,更便捷地獲取現(xiàn)場(chǎng)實(shí)時(shí)視頻圖像。
4.根據(jù)權(quán)利要求1所述的一種可觸摸現(xiàn)場(chǎng)實(shí)時(shí)視頻圖像的遠(yuǎn)程呈現(xiàn)交互方法和系統(tǒng),其特征還在于:一種可觸摸現(xiàn)場(chǎng)實(shí)時(shí)視頻圖像的遠(yuǎn)程呈現(xiàn)交互方法(簡(jiǎn)稱本方法),包括如下步驟:
步驟一、遠(yuǎn)程呈現(xiàn)機(jī)器人利用計(jì)算機(jī)視覺的方法,直接識(shí)別遠(yuǎn)程可交互裝置或通過遠(yuǎn)程可交互裝置的二維碼標(biāo)簽識(shí)別該裝置;
步驟二、遠(yuǎn)程呈現(xiàn)機(jī)器人在本地空間中移動(dòng)來獲取本地空間的現(xiàn)場(chǎng)實(shí)時(shí)視頻圖像;
步驟三、計(jì)算機(jī)將兩個(gè)攝像頭采集的視頻圖像實(shí)時(shí)拼接,形成的拼接視頻圖像作為現(xiàn)場(chǎng)實(shí)時(shí)視頻圖像,通過本地空間無線通信網(wǎng)絡(luò)模塊傳輸給遠(yuǎn)程空間的TIUI;
步驟四、用戶在TIUI上觸摸步驟三輸出的拼接視頻圖像,實(shí)現(xiàn)與本地空間中的遠(yuǎn)程可交互裝置的交互及控制遠(yuǎn)程呈現(xiàn)機(jī)器人在本地空間的運(yùn)動(dòng);
至此,從步驟一到步驟四,完成了一種可觸摸現(xiàn)場(chǎng)實(shí)時(shí)視頻圖像的遠(yuǎn)程呈現(xiàn)交互方法。
5.根據(jù)權(quán)利要求4所述的一種可觸摸現(xiàn)場(chǎng)實(shí)時(shí)視頻圖像的遠(yuǎn)程呈現(xiàn)交互方法和系統(tǒng),其特征還在于:
步驟一,具體為:
步驟1.1遠(yuǎn)程呈現(xiàn)機(jī)器人利用計(jì)算機(jī)視覺的方法直接識(shí)別遠(yuǎn)程可交互裝置,并根據(jù)是否識(shí)別了遠(yuǎn)程可交互裝置,決定是否進(jìn)行步驟1.2的操作,若已經(jīng)識(shí)別,直接跳到步驟二;若未識(shí)別,跳至步驟1.2;
其中,通過計(jì)算機(jī)視覺的方法識(shí)別遠(yuǎn)程可交互裝置通常是通過提取圖像特征進(jìn)行識(shí)別,比如顏色、紋理、表觀和形狀;
步驟1.2當(dāng)通過計(jì)算機(jī)視覺的方法無法準(zhǔn)確識(shí)別遠(yuǎn)程可交互裝置時(shí),本發(fā)明使用二維碼作為遠(yuǎn)程可交互裝置的標(biāo)識(shí)進(jìn)行識(shí)別,此種識(shí)別方法簡(jiǎn)單,計(jì)算效率高,識(shí)別率達(dá)到100%;
其中,二維碼包含了裝置名稱、裝置位置、連接接口、操作指令為主的信息。
6.根據(jù)權(quán)利要求4所述的一種可觸摸現(xiàn)場(chǎng)實(shí)時(shí)視頻圖像的遠(yuǎn)程呈現(xiàn)交互方法和系統(tǒng),其特征還在于:
步驟二,具體為:
2.1遠(yuǎn)程呈現(xiàn)機(jī)器人通過機(jī)器人頭部的前視攝像頭獲取本地空間的現(xiàn)場(chǎng)實(shí)時(shí)視頻圖像用于遠(yuǎn)程呈現(xiàn)交互;
2.2機(jī)器人頭部的俯視廣角攝像頭獲取機(jī)器人底座及其周圍環(huán)境圖像,用于用戶操作遠(yuǎn)程呈現(xiàn)機(jī)器人運(yùn)動(dòng)的反饋視覺信息。
7.根據(jù)權(quán)利要求4所述的一種可觸摸現(xiàn)場(chǎng)實(shí)時(shí)視頻圖像的遠(yuǎn)程呈現(xiàn)交互方法和系統(tǒng),其特征還在于:
步驟三中,拼接視頻圖像分為上下兩部分,上部分為前視攝像機(jī)采集的本地空間視頻圖像,下部分來自俯視廣角攝像頭采集的機(jī)器人底座及周圍環(huán)境圖像。
8.根據(jù)權(quán)利要求4所述的一種可觸摸現(xiàn)場(chǎng)實(shí)時(shí)視頻圖像的遠(yuǎn)程呈現(xiàn)交互方法和系統(tǒng),其特征還在于:
步驟四,具體為:
4.1用戶觸摸拼接視頻圖像的上部分,完成用戶與遠(yuǎn)程可交互裝置的交互任務(wù),也能控制云臺(tái)轉(zhuǎn)動(dòng),轉(zhuǎn)動(dòng)前視攝像頭獲取左右上下方位的圖像,能控制升降桿上下運(yùn)動(dòng),調(diào)整機(jī)器人高度;
4.2用戶觸摸拼接視頻圖像的下部分,完成遠(yuǎn)程呈現(xiàn)機(jī)器人的運(yùn)動(dòng),也可以對(duì)導(dǎo)航路徑、障礙物、安全區(qū)域、目的地為主的信息進(jìn)行標(biāo)記;
其中,為了便于用戶區(qū)分和使用方便,針對(duì)4.1和4.2的不同操作定義了單手指觸摸手勢(shì)和雙手指觸摸手勢(shì)兩類觸摸手勢(shì);
其中,單手指觸摸手勢(shì)用于操作遠(yuǎn)程可交互裝置,具體用于標(biāo)記地面導(dǎo)航路徑和障礙物;
具體為:當(dāng)步驟一中識(shí)別遠(yuǎn)程可交互裝置采用步驟1.2,即二維碼識(shí)別時(shí),用戶在TIUI上用單手指觸摸遠(yuǎn)程可交互裝置的二維碼圖像,本系統(tǒng)自動(dòng)識(shí)別二維碼,并自動(dòng)跟蹤移動(dòng)中的二維碼,建立TIUI上遠(yuǎn)程可交互裝置的圖像與實(shí)際遠(yuǎn)程可交互裝置的對(duì)應(yīng)關(guān)系,然后用戶通過TIUI直接觸摸遠(yuǎn)程可交互裝置的控制面板圖像,如同觸摸真實(shí)裝置的控制面板,比如,觸摸本地空間中的門禁系統(tǒng)密碼健面板圖像,如同用戶在本地空間直接觸摸密碼鍵;
由于TIUI上的密碼健圖像和遠(yuǎn)程可交互裝置建立了對(duì)應(yīng)關(guān)系,因此,觸摸一個(gè)遠(yuǎn)程可交互裝置的圖像,就是通過無線網(wǎng)絡(luò)向該裝置的驅(qū)動(dòng)器發(fā)送對(duì)應(yīng)的控制指令,使該裝置完成相應(yīng)動(dòng)作,實(shí)現(xiàn)通過TIUI的遠(yuǎn)程呈現(xiàn)交互;
根據(jù)單手指觸摸手勢(shì)及手勢(shì)所在的TIUI上下部區(qū)域,將手勢(shì)分為四個(gè)模式:
1)單手指上部模式:?jiǎn)问种赣|摸手勢(shì)作用于TIUI的上部圖像區(qū)域中,用于操作本地空間中的遠(yuǎn)程可交互裝置;
2)雙手指上部模式:雙手指觸摸手勢(shì)作用于TIUI的上部圖像區(qū)域中,用于控制云臺(tái)上下左右運(yùn)動(dòng),控制升降桿的升降運(yùn)動(dòng);
3)單手指下部模式:?jiǎn)问种赣|摸手勢(shì)作用于TIUI的下部圖像區(qū)域中,用于標(biāo)記機(jī)器人的運(yùn)動(dòng)軌跡和地面上的障礙物;
4)雙手指下部模式:雙手指觸摸手勢(shì)作用于TIUI的下部圖像區(qū)域中,用于遠(yuǎn)程控制機(jī)器人的運(yùn)動(dòng);
雙手指觸摸手勢(shì)用于操作遠(yuǎn)程呈現(xiàn)機(jī)器人的自身運(yùn)動(dòng),包括機(jī)器人底座前后和左右運(yùn)動(dòng),機(jī)器人頭部前視和俯視攝像機(jī)左右上下運(yùn)動(dòng),升降桿的升降運(yùn)動(dòng)。