一種基于Kinect的公共信息終端的制作方法
【專利摘要】一種基于Kinect的公共信息終端，它涉及人機(jī)交互領(lǐng)域。Kinect感應(yīng)設(shè)備和顯示屏均與后臺專用計算機(jī)連接，后臺專用計算機(jī)內(nèi)設(shè)置有交互系統(tǒng)，所述Kinect感應(yīng)設(shè)備將感應(yīng)到的圖像以及粗略的人體識別信息發(fā)送到交互系統(tǒng)；所述后臺專用計算機(jī)內(nèi)安裝有包含公共信息服務(wù)的交互系統(tǒng)，該系統(tǒng)包括人體識別模塊、骨骼跟蹤模塊以及交互界面模塊，人體識別模塊與骨骼跟蹤模塊連接，骨骼跟蹤模塊與交互界面模塊連接。Kinect感應(yīng)設(shè)備可以識別6個人，解決了共享問題；Kinect感應(yīng)設(shè)備采用非接觸感應(yīng)，很大程度上解決了衛(wèi)生問題；Kinect感應(yīng)設(shè)備非接觸感應(yīng)的機(jī)制也更不易出現(xiàn)故障，維護(hù)成本也相對較低。
【專利說明】—種基于Kinect的公共信息終端

【技術(shù)領(lǐng)域】
:
[0001]本發(fā)明涉及人機(jī)交互領(lǐng)域，具體涉及一種基于Kinect的公共信息終端。

【背景技術(shù)】
:
[0002]在城市信息化建設(shè)的過程中，公共信息終端扮演著重要的角色，人們隨時隨地查詢特定種類信息的需求，促成了公共信息終端的產(chǎn)生與發(fā)展。但是目前的公共信息終端還存在操作不便、容易損壞、共享性不好等問題。如能設(shè)計一種新的公共信息終端，有效解決此類問題，將對信息化建設(shè)起到重要作用。
[0003]最初的公共信息終端，采用特定配置的計算機(jī)來實現(xiàn)。這種公共信息終端直接使用計算機(jī)界面，與用戶存在隔閡，不熟悉計算機(jī)操作的人使用上存在困難；并且查詢不同的信息需要不同的軟件，由于計算機(jī)軟件的復(fù)雜性，軟件故障率較高，時常會出現(xiàn)軟件故障，需要專業(yè)人員介入維護(hù)。
[0004]隨著觸摸屏技術(shù)的發(fā)展與普及，出現(xiàn)了基于觸摸屏的公共信息終端，并廣泛應(yīng)用。觸摸屏公共信息終端與計算機(jī)終端相比，操作相對方便，并且由于軟件的嵌入化、專業(yè)化，軟件故障率也有所降低。但其不足之處是硬件故障率較高，觸摸屏在過多或不適當(dāng)?shù)挠|摸，以及環(huán)境干擾下，容易出現(xiàn)靈敏度與準(zhǔn)確度下降，或者劃傷導(dǎo)致的硬件故障，從而仍然需要專業(yè)人員介入維護(hù),維護(hù)成本較高。
[0005]并且，以上兩種傳統(tǒng)的公共信息終端都存在兩個共同問題:一是共享性差，不便多人使用。二是此類接觸式公共設(shè)備由不確定的人反復(fù)接觸，衛(wèi)生成為用戶所擔(dān)憂的問題之一，并且制約了這種設(shè)備在某些對衛(wèi)生要求高的場合的應(yīng)用。


【發(fā)明內(nèi)容】

:
[0006]本發(fā)明的目的是提供一種基于Kinect的公共信息終端，它解決基于觸摸屏的公共信息終端共享性差、維護(hù)成本高、衛(wèi)生條件差的問題。
[0007]為了解決【背景技術(shù)】所存在的問題，本發(fā)明是采用以下技術(shù)方案:它包括Kinect感應(yīng)設(shè)備a、顯示屏b和后臺專用計算機(jī)c,Kinect感應(yīng)設(shè)備a和顯示屏b均與后臺專用計算機(jī)c連接，后臺專用計算機(jī)c內(nèi)設(shè)置有交互系統(tǒng)d。
[0008]所述Kinect感應(yīng)設(shè)備a將感應(yīng)到的圖像以及粗略的人體識別信息發(fā)送到交互系統(tǒng)d。
[0009]所述后臺專用計算機(jī)c內(nèi)安裝有包含公共信息服務(wù)的交互系統(tǒng)d，該系統(tǒng)包括人體識別模塊1、骨骼跟蹤模塊2以及交互界面模塊3，人體識別模塊I與骨骼跟蹤模塊2連接，骨骼跟蹤模塊2與交互界面模塊3連接。
[0010]所述人體識別模塊I處理Kinect感應(yīng)設(shè)備a得到的粗略人體信息，判斷是否有人與終端進(jìn)行交互；所述骨骼跟蹤模塊2當(dāng)用戶處于交互狀態(tài)時，識別與跟蹤人體姿態(tài)；所述交互界面模塊3接受骨骼跟蹤模塊2的交互信息，實現(xiàn)信息查詢、切換等功能，并在顯示屏b上顯示。
[0011]本發(fā)明具有以下有益效果=Kinect感應(yīng)設(shè)備可以識別6個人，解決了共享問題；Kinect感應(yīng)設(shè)備采用非接觸感應(yīng),很大程度上解決了衛(wèi)生問題；Kinect感應(yīng)設(shè)備非接觸感應(yīng)的機(jī)制也更不易出現(xiàn)故障，只要注意不要受強(qiáng)烈震動以及日常保潔即可，維護(hù)成本也相對較低。

【專利附圖】

【附圖說明】
:
[0012]圖1為本發(fā)明的結(jié)構(gòu)框圖，
[0013]圖2為本發(fā)明的流程圖。

【具體實施方式】
:
[0014]參照圖1，本【具體實施方式】采用以下技術(shù)方案:它包括Kinect感應(yīng)設(shè)備a、顯示屏b和后臺專用計算機(jī)c,Kinect感應(yīng)設(shè)備a和顯示屏b均與后臺專用計算機(jī)c連接,后臺專用計算機(jī)c內(nèi)設(shè)置有交互系統(tǒng)d。
[0015]所述Kinect感應(yīng)設(shè)備a將感應(yīng)到的圖像以及粗略的人體識別信息發(fā)送到交互系統(tǒng)d。
[0016]所述后臺專用計算機(jī)c內(nèi)安裝有包含公共信息服務(wù)的交互系統(tǒng)d，該系統(tǒng)包括人體識別模塊1、骨骼跟蹤模塊2以及交互界面模塊3，人體識別模塊I與骨骼跟蹤模塊2連接，骨骼跟蹤模塊2與交互界面模塊3連接。
[0017]所述人體識別模塊I處理Kinect感應(yīng)設(shè)備a得到的粗略人體信息，判斷是否有人與終端進(jìn)行交互；所述骨骼跟蹤模塊2當(dāng)用戶處于交互狀態(tài)時，識別與跟蹤人體姿態(tài)；所述交互界面模塊3接受骨骼跟蹤模塊2的交互信息，實現(xiàn)信息查詢、切換等功能，并在顯示屏b上顯示。
[0018]參照圖2，所述人體識別模塊I分為以下步驟:
[0019]步驟A,讀取Kinect感應(yīng)設(shè)備a提供的帶有粗略人體劃分的深度圖像；
[0020]步驟B，對人體深度信息進(jìn)行去噪與統(tǒng)計；
[0021]步驟C，識別啟動交互的人體，并將其傳遞到骨骼跟蹤模塊。
[0022]Kinect感應(yīng)設(shè)備a提供的深度圖像，本身已經(jīng)經(jīng)過了粗略的人體分割，每個像素都帶有玩家索引信息。玩家索引為O表示該像素不是人體，1-6代表不同的人體。該人體分割是較為粗略的，會將人體邊緣一些背景像素劃分到人體范圍中。在所述步驟A中，讀取Kinect感應(yīng)設(shè)備a的深度圖像,并根據(jù)Kinect感應(yīng)設(shè)備a的人體分割,將不同人體的深度圖像分離。
[0023]在所述步驟B中，首先對每個人體深度圖像進(jìn)行形態(tài)學(xué)腐蝕操作，以去除邊緣的錯誤劃分像素。然后，統(tǒng)計每個人體像素的平均位置與平均深度值，以及最小深度值及其所處位置。
[0024]在所述步驟C中，根據(jù)步驟B中的統(tǒng)計信息，識別是否有人體處于啟動交互狀態(tài)。用戶以慣用手向前伸出的姿態(tài)，表示開始與終端進(jìn)行交互。為識別這一姿態(tài)，首先判斷人體的最小深度值，與平均深度值之間的差值，如超過一定閾值，判斷可能為手前伸姿態(tài)，進(jìn)入下一步；然后判斷最小深度值所處位置，如在人體平均位置的右側(cè)偏上，則判斷為右手向前伸出，將該人體傳給骨骼跟蹤模塊，并保存交互手為右手；如在人體平均位置的左側(cè)偏上，則判斷為左手向前伸出，將該人體傳給骨骼跟蹤模塊，并保存交互手為左手；如在其它位置，則判斷不是手部向前伸出姿態(tài)，不傳遞該人體到骨骼跟蹤模塊。
[0025]所述骨骼跟蹤模塊2，分為以下步驟:
[0026]步驟I，提取用戶雙手的位置；
[0027]步驟II，將交互手的位置與狀態(tài)在屏幕上顯示；
[0028]步驟III，根據(jù)雙手位置與用戶姿態(tài)，調(diào)用交互界面模塊執(zhí)行相應(yīng)動作。
[0029]在所述步驟I中，讀取Kinect感應(yīng)設(shè)備a獲得的用戶的骨骼數(shù)據(jù)，得到用戶雙手的物理位置。如用戶的交互手已經(jīng)持續(xù)處于不可見狀態(tài)達(dá)到預(yù)設(shè)時間閥值，則判斷用戶退出交互。
[0030]在所述步驟II中，將用戶的交耳手位置通過線性變換，映射到交互界面上的位置，并在交耳界面上顯示手勢光標(biāo)。
[0031]在所述步驟III中，由用戶的雙手位置，可能還包括骨骼數(shù)據(jù)所確定的用戶身體姿勢，來判斷用戶的交互行為。
[0032]用戶的非交互手位置，用于輔助交互界面操作。當(dāng)非交互手向身體側(cè)向伸出時，如交耳手指向界面上的一個有效按鈕，則這一手勢表示點擊該按鈕。使用該雙手操作表示點擊按鈕，可以使點擊按鈕這一操作更有效，也更準(zhǔn)確。
[0033]當(dāng)捕捉到點擊動作時，改變手勢光標(biāo)的顏色或形狀以提供反饋，并將點擊操作發(fā)送給交互界面模塊，執(zhí)行相應(yīng)動作。當(dāng)捕捉到交互手處于交互界面模塊所設(shè)定的可觸發(fā)交耳的位置時，或用戶身體姿勢符合交互界面模塊所設(shè)定的交互姿勢時，也將該信息發(fā)送給交互界面模塊，并執(zhí)行相應(yīng)動作。
[0034]所述交互界面模塊3使用現(xiàn)有的自然用戶界面(NUI)設(shè)計技術(shù)，以菜單、按鈕、姿勢控制等界面元素，將信息終端所提供的信息服務(wù)組織起來。該模塊的結(jié)構(gòu)隨應(yīng)用領(lǐng)域不同而有不同，需要注意的是界面元素應(yīng)該足夠大，使用戶的手方便準(zhǔn)確操作。
[0035]本【具體實施方式】具有以下有益效果=Kinect感應(yīng)設(shè)備可以識別6個人，解決了共享問題；Kinect感應(yīng)設(shè)備采用非接觸感應(yīng),很大程度上解決了衛(wèi)生問題；Kinect感應(yīng)設(shè)備非接觸感應(yīng)的機(jī)制也更不易出現(xiàn)故障，只要注意不要受強(qiáng)烈震動以及日常保潔即可，維護(hù)成本也相對較低。
【權(quán)利要求】
1.一種基于Kinect的公共信息終端,其特征在于它包括Kinect感應(yīng)設(shè)備(a)、顯示屏(b)和后臺專用計算機(jī)(c) ,Kinect感應(yīng)設(shè)備(a)和顯示屏(b)均與后臺專用計算機(jī)(C)連接，后臺專用計算機(jī)(C)內(nèi)設(shè)置有交互系統(tǒng)(d)，所述Kinect感應(yīng)設(shè)備(a)將感應(yīng)到的圖像以及粗略的人體識別信息發(fā)送到交互系統(tǒng)(d);所述后臺專用計算機(jī)(C)內(nèi)安裝有包含公共信息服務(wù)的交互系統(tǒng)(d)，該系統(tǒng)包括人體識別模塊(I)、骨骼跟蹤模塊(2)以及交互界面模塊(3)，人體識別模塊(I)與骨骼跟蹤模塊(2)連接，骨骼跟蹤模塊(2)與交互界面模塊⑶連接。
2.根據(jù)權(quán)利要求1所述的一種基于Kinect的公共信息終端，其特征在于所述人體識別模塊(I)處理Kinect感應(yīng)設(shè)備a得到的粗略人體信息，判斷是否有人與終端進(jìn)行交互:所述骨骼跟蹤模塊(2)當(dāng)用戶處于交互狀態(tài)時，識別與跟蹤人體姿態(tài)；所述交互界面模塊(3)接受骨骼跟蹤模塊(2)的交互信息，實現(xiàn)信息查詢、切換等功能，并在顯示屏(b)上顯示。
3.根據(jù)權(quán)利要求1所述的一種基于Kinect的公共信息終端，其特征在于所述人體識別模塊⑴分為以下步驟: 步驟(A)，讀取Kinect感應(yīng)設(shè)備a提供的帶有粗略人體劃分的深度圖像； 步驟(B)，對人體深度信息進(jìn)行去噪與統(tǒng)計； 步驟(C)，識別啟動交互的人體，并將其傳遞到骨骼跟蹤模塊； Kinect感應(yīng)設(shè)備(a)提供的深度圖像，本身已經(jīng)經(jīng)過了粗略的人體分割，每個像素都帶有玩家索引信息，玩家索引為O表示該像素不是人體，1-6代表不同的人體，該人體分割是較為粗略的，會將人體邊緣一些背景像素劃分到人體范圍中，在所述步驟(A)中，讀取Kinect感應(yīng)設(shè)備(a)的深度圖像,并根據(jù)Kinect感應(yīng)設(shè)備(a)的人體分割,將不同人體的深度圖像分離； 在所述步驟(B)中，首先對每個人體深度圖像進(jìn)行形態(tài)學(xué)腐蝕操作，以去除邊緣的錯誤劃分像素，然后，統(tǒng)計每個人體像素的平均位置與平均深度值，以及最小深度值及其所處位置； 在所述步驟(C)中，根據(jù)步驟(B)中的統(tǒng)計信息，識別是否有人體處于啟動交互狀態(tài)，用戶以慣用手向前伸出的姿態(tài)，表示開始與終端進(jìn)行交互，為識別這一姿態(tài)，首先判斷人體的最小深度值，與平均深度值之間的差值，如超過一定閾值，判斷可能為手前伸姿態(tài)，進(jìn)入下一步；然后判斷最小深度值所處位置，如在人體平均位置的右側(cè)偏上，則判斷為右手向前伸出，將該人體傳給骨骼跟蹤模塊，并保存交互手為右手；如在人體平均位置的左側(cè)偏上，則判斷為左手向前伸出，將該人體傳給骨骼跟蹤模塊，并保存交互手為左手；如在其它位置，則判斷不是手部向前伸出姿態(tài)，不傳遞該人體到骨骼跟蹤模塊。
4.根據(jù)權(quán)利要求1所述的一種基于Kinect的公共信息終端，其特征在于所述骨骼跟蹤模塊(2)，分為以下步驟: 步驟(I)，提取用戶雙手的位置； 步驟(II)，將交互手的位置與狀態(tài)在屏幕上顯示； 步驟(III)，根據(jù)雙手位置與用戶姿態(tài)，調(diào)用交互界面模塊執(zhí)行相應(yīng)動作； 在所述步驟(I)中，讀取Kinect感應(yīng)設(shè)備(a)獲得的用戶的骨骼數(shù)據(jù)，得到用戶雙手的物理位置，如用戶的交互手已經(jīng)持續(xù)處于不可見狀態(tài)達(dá)到預(yù)設(shè)時間閾值，則判斷用戶退出交互； 在所述步驟(II)中，將用戶的交互手位置通過線性變換，映射到交互界面上的位置，并在交互界面上顯示手勢光標(biāo)； 在所述步驟(III)中，由用戶的雙手位置，可能還包括骨骼數(shù)據(jù)所確定的用戶身體姿勢，來判斷用戶的交互行為； 用戶的非交互手位置，用于輔助交互界面操作，當(dāng)非交互手向身體側(cè)向伸出時，如交互手指向界面上的一個有效按鈕，則這一手勢表示點擊該按鈕，使用該雙手操作表示點擊按鈕，可以使點擊按鈕這一操作更有效，也更準(zhǔn)確； 當(dāng)捕捉到點擊動作時，改變手勢光標(biāo)的顏色或形狀以提供反饋，并將點擊操作發(fā)送給交互界面模塊，執(zhí)行相應(yīng)動作，當(dāng)捕捉到交互手處于交互界面模塊所設(shè)定的可觸發(fā)交互的位置時，或用戶身體姿勢符合交互界面模塊所設(shè)定的交互姿勢時，也將該信息發(fā)送給交互界面模塊，并執(zhí)行相應(yīng)動作。
5.根據(jù)權(quán)利要求1所述的一種基于Kinect的公共信息終端，其特征在于所述交互界面模塊(3)使用現(xiàn)有的自然用戶界面設(shè)計技術(shù)，以菜單、按鈕、姿勢控制等界面元素，將信息終端所提供的信息服務(wù)組織起來。
【文檔編號】G06K9/60GK104375630SQ201310514369
【公開日】2015年2月25日 申請日期:2013年10月22日 優(yōu)先權(quán)日:2013年10月22日
【發(fā)明者】陳擁權(quán), 張羽, 李梁 申請人:安徽寰智信息科技股份有限公司