專利名稱：移動終端及其響應(yīng)操作的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及移動通訊領(lǐng)域，尤其涉及一種移動終端及其響應(yīng)操作的方法。
背景技術(shù)：
人機交互技術(shù)(human-computer interaction techniques)是指通過獲取機設(shè)備的輸入、輸入裝置，以有效的方式實現(xiàn)人與獲取設(shè)備對話，是獲取機用戶界面設(shè)計中的重要內(nèi)容之一，它與認知學(xué)、人機工程學(xué)、心理學(xué)等學(xué)科領(lǐng)域有密切的聯(lián)系，主要包括機器通過輸出或顯示設(shè)備同向人提供大量信息及提示請示、用戶通過輸入設(shè)備向機器輸入 信息及提示請示，以及人通過輸入設(shè)備向機器輸入有關(guān)信息回答問題等方面的內(nèi)容?，F(xiàn)有的移動終端的人機交互技術(shù)，均是通過實體按鍵或者是觸摸方式實現(xiàn)，上述交互方式通過與移動終端進行接觸才能實現(xiàn)交互，因此需要提供ー種不通過接觸移動終端即可響應(yīng)用戶操作的移動終端及方法。

發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問題是提供一種移動終端及其響應(yīng)操作的方法，不用接觸移動終端即可響應(yīng)用戶操作。為了解決上述問題，本發(fā)明提供一種移動終端，包括檢測模塊，檢測與顯示屏相隔預(yù)定距離的指示物的運動軌跡；控制模塊，根據(jù)所述指示物的運動軌跡控制所述移動終端。進ー步的，上述運動軌跡包括在平行于顯示屏的第一平面上沿第一方向，第二方向，第三方向，第四方向移動的第一運動軌跡，所述第一運動軌跡用于移動操作對象；以及在垂直于顯示屏的第二平面上且沿第五方向移動的第二運動軌跡，所述第二運動軌跡用于打開或者關(guān)閉所述操作對象對應(yīng)的程序或功能；其中，所述第一方向、第二方向、第三方向、第四方向，以及第五方向兩兩之間形成ー夾角，所述第五方向指向顯示屏。進ー步的，上述控制模塊還用于當(dāng)所述指示物在第一預(yù)設(shè)時間范圍內(nèi)只沿所述第一運動軌跡運動，則根據(jù)所述第一運動軌跡的起點的空間坐標對應(yīng)于所述顯示屏的坐標，確定所述第一運動軌跡在所述顯示屏上對應(yīng)的操作對象；當(dāng)所述指示物在第二預(yù)設(shè)時間范圍內(nèi)首先沿所述第一運動軌跡運動，再在第二預(yù)設(shè)時間范圍內(nèi)沿所述第二運動軌跡運動，則根據(jù)所述第二運動軌跡的終點的空間坐標對應(yīng)于所述顯示屏的坐標，確定所述顯示屏上的操作對象；當(dāng)所述指示物在第三預(yù)設(shè)時間范圍內(nèi)只沿所述第二運動軌跡運動，則根據(jù)所述第二運動軌跡的終點的空間坐標對應(yīng)于所述顯示屏的坐標，確定所述顯示屏上的操作對象；當(dāng)所述指示物在第四預(yù)設(shè)時間范圍內(nèi)首先沿所述第二運動軌跡運動，再沿所述第一運動軌跡運動，則根據(jù)所述第二運動軌跡的終點的空間坐標對應(yīng)于所述顯示屏的坐標，確定所述顯示屏上的操作対象。進ー步的，上述控制模塊還用于根據(jù)預(yù)設(shè)距離范圍及所述指示物的運動軌跡控制所述移動終端，所述預(yù)設(shè)距離范圍包括第一預(yù)設(shè)距離范圍、第二預(yù)設(shè)距離范圍、第三預(yù)設(shè)距離范圍、第四預(yù)設(shè)距離范圍、第五預(yù)設(shè)距離范圍。進ー步的，上述控制模塊還用于當(dāng)所述指示物只沿所述第二軌跡運動，且運動距離在第一預(yù)設(shè)距離范圍之內(nèi)時，則打開或關(guān)閉所述操作對象對應(yīng)的程序或功能。進ー步的，上述控制模塊還用干當(dāng)所述指示物首先在第一預(yù)設(shè)距離范圍之內(nèi)沿所述第二軌跡運動，且在所述第二軌跡的終點停留第五預(yù)定時間，再在第二預(yù)設(shè)距離范圍之內(nèi)沿所述第一軌跡運動，則以菜單列表切換的方式響應(yīng)所述指示物運動；
當(dāng)所述指示物首先在第三預(yù)設(shè)距離范圍之內(nèi)沿所述第二軌跡運動，再在第四預(yù)設(shè)距離范圍之內(nèi)沿所述第一軌跡運動，則以打開或關(guān)閉所述操作對象對應(yīng)的程序或功能的方式響應(yīng)所述指示物運動。進ー步的，上述控制模塊還用干當(dāng)所述指示物首先在第一預(yù)設(shè)距離范圍之內(nèi)沿所述第二軌跡運動，再在第五預(yù)設(shè)距離范圍之內(nèi)沿所述第一軌跡運動，則以菜單列表進行小幅彈動的方式響應(yīng)所述指示物運動。 進ー步的，上述檢測模塊為深度照相機，用于通過獲取包含指示物的深度信息的圖像序列檢測所述指示物的運動軌跡。進ー步的，上述檢測模塊包括骨架模型獲取子模塊，用于通過所述圖像序列獲取所述手指的骨架模型，根據(jù)距離顯示屏最近的手指的運動軌跡控制所述移動終端。進ー步的，上述檢測模塊還用于獲取指示物的圖像幀序列，井根據(jù)所述圖像幀序列獲取所述指示物的運動軌跡。進ー步的，上述檢測模塊還用于獲取指示物的時空表觀模型，并根據(jù)所述時空表觀模型識別所述指示物的運動軌跡。進ー步的，上述檢測模塊還用于根據(jù)指示物的運動信息和指示物的顔色信息進行指示物分割。本發(fā)明還提供一種移動終端響應(yīng)操作的方法，包括檢測與顯示屏相隔預(yù)定距離的指示物的運動軌跡；根據(jù)所述指示物的運動軌跡控制所述移動終端。進ー步的，上述運動軌跡包括在平行于顯示屏的第一平面上沿第一方向，第二方向，第三方向，第四方向移動的第一運動軌跡，所述第一運動軌跡用于移動操作對象；以及在垂直于顯示屏的第二平面上且沿第五方向移動的第二運動軌跡，所述第二運動軌跡用于打開或者關(guān)閉所述操作對象對應(yīng)的程序或功能；其中，所述第一方向、第二方向、第三方向、第四方向，以及第五方向兩兩之間形成ー夾角，所述第五方向指向顯示屏。進ー步的，上述移動終端響應(yīng)操作的方法，還包括當(dāng)所述指示物在第一預(yù)設(shè)時間范圍內(nèi)只沿所述第一運動軌跡運動，則根據(jù)所述第一運動軌跡的起點的空間坐標對應(yīng)于所述顯示屏的坐標，確定所述第一運動軌跡在所述顯示屏上對應(yīng)的操作對象；當(dāng)所述指示物在第二預(yù)設(shè)時間范圍內(nèi)首先沿所述第一運動軌跡運動，再在第二預(yù)設(shè)時間范圍內(nèi)沿所述第ニ運動軌跡運動，則根據(jù)所述第二運動軌跡的終點的空間坐標對應(yīng)于所述顯示屏的坐標，確定所述顯示屏上的操作對象；當(dāng)所述指示物在第三預(yù)設(shè)時間范圍內(nèi)只沿所述第二運動軌跡運動，則根據(jù)所述第二運動軌跡的終點的空間坐標對應(yīng)于所述顯示屏的坐標，確定所述顯示屏上的操作對象；當(dāng)所述指示物在第四預(yù)設(shè)時間范圍內(nèi)首先沿所述第二運動軌跡運動，再沿所述第一運動軌跡運動，則根據(jù)所述第二運動軌跡的終點的空間坐標對應(yīng)于所述顯示屏的坐標，確定所述顯示屏上的操作対象。
進ー步的，上述移動終端響應(yīng)操作的方法，還包括根據(jù)預(yù)設(shè)距離范圍及所述指示物的運動軌跡控制所述移動終端，所述預(yù)設(shè)距離范圍包括第一預(yù)設(shè)距離范圍、第二預(yù)設(shè)距離范圍、第三預(yù)設(shè)距離范圍、第四預(yù)設(shè)距離范圍、第五預(yù)設(shè)距離范圍。進ー步的，當(dāng)所述指示物只沿所述第二軌跡運動，且運動距離在第一預(yù)設(shè)距離范圍之內(nèi)時，則打開或關(guān)閉所述操作對象對應(yīng)的程序或功能。進ー步的，上述移動終端響應(yīng)操作的方法,還包括當(dāng)所述指示物首先在第一預(yù)設(shè)距離范圍之內(nèi)沿所述第二軌跡運動，且在所述第二軌跡的終點停留第五預(yù)定時間，再在第二預(yù)設(shè)距離范圍之內(nèi)沿所述第一軌跡運動，則以菜單列表切換的方式響應(yīng)所述指示物運動；當(dāng)所述指示物首先在第三預(yù)設(shè)距離范圍之內(nèi)沿所述第二軌跡運動，再在第四預(yù)設(shè)距離范圍之內(nèi)沿所述第一軌跡運動，則以打開或關(guān)閉所述操作對象對應(yīng)的程序或功能的方式響應(yīng)所述指示物運動。進ー步的，上述移動終端響應(yīng)操作的方法，還包括當(dāng)所述指示物首先在第一預(yù)設(shè)距離范圍之內(nèi)沿所述第二軌跡運動，再在第五預(yù)設(shè)距離范圍之內(nèi)沿所述第一軌跡運動，則 以菜單列表以小幅彈動的方式響應(yīng)所述指示物運動。進ー步的，上述移動終端響應(yīng)操作的方法，通過獲取指示物的包含深度信息的圖像序列檢測所述指示物的運動軌跡。進ー步的，上述移動終端響應(yīng)操作的方法，還包括獲取指示物的圖像幀序列，根據(jù)所述圖像幀序列獲取所述指示物的運動軌跡；其中，所述獲取指示物的圖像幀序列，根據(jù)所述圖像幀序列獲取所述指示物的運動軌跡包括獲取指示物的時空表觀模型，并根據(jù)所述時空表觀模型識別所述指示物的運動軌跡。進ー步的，上述獲取指示物的圖像幀序列，根據(jù)所述圖像幀序列獲取所述指示物的運動軌跡包括根據(jù)指示物的運動信息和指示物的顔色信息進行指示物分割。本發(fā)明還提供一種移動終端，包括檢測單元，用于檢測并獲取移動終端的環(huán)境信息；分析単元，分析所述環(huán)境信息，并從所述環(huán)境信息中提取外界動作信息；數(shù)據(jù)單元，存儲標準動作信息；判斷単元，將外界動作信息與所述數(shù)據(jù)庫內(nèi)的標準動作信息進行比較，并進行判斷；控制單元，接收所述判斷単元的判斷結(jié)果，井根據(jù)所述判斷結(jié)果，對移動終端進ィ丁指令控制。進ー步的，上述判斷単元包括獲取單元，用于獲取外界動作信息的第一運動參數(shù)；所述獲取單元包括外界動作信息分解單元，數(shù)值獲取單元、及動作分類單元；所述標準動作信息包括第二運動參數(shù)；所述第一運動參數(shù)包括速度、加速度、運動方向、運動位移、運動路徑之一或組合；所述第二運動參數(shù)包括速度、加速度、運動方向、運動位移、運動路徑之ー或組合。進ー步的，上述判斷単元通過將第一運動參數(shù)和第二運動參數(shù)進行比較，獲取比較差值，根據(jù)所述比較差值判斷所述分析單元獲得的動作信息是否為有效的動作信息；所述判斷単元設(shè)置容忍區(qū)間，當(dāng)所述外界動作信息與所述標準動作信息的比較差值位于所述容忍范圍內(nèi)，則所述外界動作為有效動作；若位于所述容忍范圍外，則判斷結(jié)果為無效動作。進ー步的，當(dāng)動作信息為有效動作時，則控制單元根據(jù)所述有效動作，對所述移動終端進行指令控制；所述標準動作信息包括單個標準動作信息及合成標準動作信息；所述數(shù)據(jù)單元還存儲有指令，該指令包括與所述單個標準動作信息對應(yīng)的單個標準動作指令，及與所述合成標準動作信息對應(yīng)的合成標準動作合成指令。本發(fā)明還提供一種移動終端響應(yīng)操作的方法，包括檢測并獲取移動終端的環(huán)境信息；分析所述環(huán)境信息，并從所述環(huán)境信息中提取外界動作信息；存儲標準動作信息；將外界動作信息與所述數(shù)據(jù)庫內(nèi)的標準動作信息進行比較，并進行判斷；接收判斷結(jié)果，井根據(jù)所述判斷結(jié)果，對移動終端進行指令控制。本發(fā)明移動終端及其響應(yīng)操作的方法，不用通過實體按鍵或者是觸摸實現(xiàn)，即可與移動終端進行交互。


圖I所示為本發(fā)明移動終端的第一模塊圖； 圖2所示為本發(fā)明移動終端的第二模塊 圖3所示為本發(fā)明移動終端的第三模塊 圖4所示為本發(fā)明移動終端的第四模塊 圖5所示為本發(fā)明移動終端的第五模塊 圖6所示為本發(fā)明移動終端響應(yīng)操作的方法一種實施例的流程 圖7所示為本發(fā)明移動終端響應(yīng)操作的方法另ー種實施例的流程圖。
具體實施例方式為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚明白，下文中將結(jié)合附圖對本發(fā)明的實施例進行詳細說明。需要說明的是，在不沖突的情況下，本申請中的實施例及實施例中的特征可以相互任意組合。圖I所示為本發(fā)明移動終端的第一模塊圖。本發(fā)明移動終端，包括檢測模塊101，檢測與顯示屏相隔預(yù)定距離的指示物的運動軌跡；控制模塊102，根據(jù)指示物的運動軌跡控制移動終端。本發(fā)明的檢測模塊101可以為傳感器，也可以為深度照相機。傳感器用于對距離移動終端預(yù)定距離內(nèi)的指示物的運動軌跡進行檢測。深度照相機，用于通過獲取包含指示物的深度信息的圖像序列檢測所述指示物的運動軌跡。傳感器與照相機可結(jié)合使用，也可以分別單獨進行使用，本發(fā)明對此不作限定。本發(fā)明中的指示物可以為手掌，手指，或者戴有數(shù)據(jù)手套的手指或手掌。在本發(fā)明ー實施中，移動終端也可以不預(yù)設(shè)操作模式，而直接通過檢測指示物的運動軌跡響應(yīng)指示物的操作，具體為
在簡單的手機操作中，可將指示物的運動軌跡劃分為第一運動軌跡、第二運動軌跡，以及第ー運動軌跡和第二運動軌跡的組合。其中，在平行于顯示屏的第一平面上沿第一方向，第二方向，第三方向，第四方向移動定義為第一運動軌跡，該第一運動軌跡用于移動操作對象；在垂直于顯示屏的第二平面上且沿第五方向移動定義為第二運動軌跡，該第二運動軌跡用于打開或者關(guān)閉該操作對象對應(yīng)的程序或功能；第一方向、第二方向、第三方向、第四方向，以及第五方向兩兩之間形成ー夾角，第五方向指向顯不屏。為了根據(jù)指示物的運動軌跡控制移動終端，在本實施例中，檢測模塊101首先獲取指示物相對于移動終端的顯示屏的空間坐標，然后再根據(jù)指示物相對于顯示屏的空間坐標確定指示物所要操作的操作対象?？刂颇K102還用于根據(jù)指示物的運動軌跡控制移動終端，控制模塊102控制的方式主要包括當(dāng)指示物在第一預(yù)設(shè)時間范圍內(nèi)只沿第一運動軌跡運動，則根據(jù)第一運動軌跡的起點的空間坐標對應(yīng)于顯示屏的坐標，確定第一運動軌跡在顯示屏上對應(yīng)的操作對象；當(dāng)指示物在第二預(yù)設(shè)時間范圍內(nèi)首先沿第一運動軌跡運動，再在第二預(yù)設(shè)時間范圍內(nèi)沿第二運動軌跡運動，則根據(jù)第二運動軌跡的終點的空間坐標對應(yīng)于顯示屏的坐標，確定顯示屏上的操作對象；當(dāng)指示物在第三預(yù)設(shè)時間范圍內(nèi)只沿第二運動軌跡運動，則根據(jù)第ニ運動軌跡的終點的空間坐標對應(yīng)于顯示屏的坐標，確定顯示屏上的操作對象；當(dāng)指示物在第四預(yù)設(shè)時間范圍內(nèi)首先沿第二運動軌跡運動，再沿第一運動軌跡運動，則根據(jù)第二運動軌跡的終點的空間坐標對應(yīng)于顯示屏的坐標，確定顯示屏上的操作対象。在本實施例中，上述控制模塊102還用于根據(jù)預(yù)設(shè)距離范圍及指示物的運動軌跡控制移動終端，該預(yù)設(shè)距離范圍主要包括五類預(yù)設(shè)距離范圍，分別為第一預(yù)設(shè)距離范圍、第ニ預(yù)設(shè)距離范圍、第三預(yù)設(shè)距離范圍、第四預(yù)設(shè)距離范圍、第五預(yù)設(shè)距離范圍。根據(jù)上述預(yù)設(shè)的距離范圍，為了獲得更好的操作體驗，減少操作的失誤率，本實施例的控制模塊102還用于當(dāng)指示物只沿第二軌跡運動，且運動距離在第一預(yù)設(shè)距離范圍之內(nèi)時，則打開或關(guān)閉操作對象對應(yīng)的程序或功能；當(dāng)指示物首先在第一預(yù)設(shè)距離范圍之內(nèi)沿述第二軌跡運動，且在第二軌跡的終點停留第五預(yù)定時間，再在第二預(yù)設(shè)距離范圍之內(nèi)沿第一軌跡運動，則以菜單列表切換的方式響應(yīng)指示物運動；當(dāng)指示物首先在第三預(yù)設(shè)距離范圍之內(nèi)沿第二軌跡運動，再在第四預(yù)設(shè)距離范圍之內(nèi)沿第一軌跡運動，則以打開或關(guān)閉操作對象對應(yīng)的程序或功能的方式響應(yīng)指示物運動；當(dāng)指示物首先在第一預(yù)設(shè)距離范圍之內(nèi)沿第二軌跡運動，再在第五預(yù)設(shè)距離范圍之內(nèi)沿所述第一軌跡運動，則以菜單列表 進行小幅彈動的方式響應(yīng)指示物的運動。如圖2所示，當(dāng)指示物為手指時，本實施例的檢測模塊101還設(shè)置有骨架模型獲取子模塊1010，用于通過圖像序列獲取手指的骨架模型，根據(jù)距離顯示屏最近的手指的運動軌跡控制所述移動終端。此時檢測模塊101優(yōu)選為深度照相機，通過該深度照相機首先獲取指示物的圖像幀序列，再根據(jù)所述圖像幀序列獲取所述指示物的運動軌跡。檢測模塊101在根據(jù)圖像幀序列獲取指示物的運動軌跡時，首先獲取指示物的時空表觀模型，然后根據(jù)時空表觀模型識別指示物的運動軌跡。具體而言，檢測模塊101還用于獲取指示物的圖像幀序列，根據(jù)圖像幀序列獲取指示物的運動軌跡，檢測模塊101獲取指示物的運動軌跡主要包括如下方式
其中ー種方式為獲取圖像視頻序列；對圖像視頻序列進行指示物區(qū)域檢測，差分運動分析，以及邊緣檢測；對指示物區(qū)域檢測的結(jié)果，差分運動分析的結(jié)果，以及邊緣檢測的結(jié)果，進行與運算；將與運算后的圖像視頻序列進行開運算；通過歸ー化的傅立葉描述子對開運算后的圖像視頻序列進行傅立葉運算，提取輪廓及區(qū)域標識，分割出指示物區(qū)域。每一幀圖像中的分割后的指示物區(qū)域即為某ー時刻指示物在該時刻的軌跡，一連串的圖像幀序列中的分割后的指示物區(qū)域即為指示物在某一時間段內(nèi)的運動軌跡。另外ー種方式為根據(jù)指示物的運動信息和指示物的顔色信息進行指示物分割。具體為，獲取指示物的彩色圖像序列；將所述彩色圖像序列轉(zhuǎn)換為256級灰度圖像序列；將所述256級灰度圖像序列轉(zhuǎn)換為粗略ニ值運動圖像序列；將所述256級灰度圖像序列與所述粗略ニ值運動圖像序列的對應(yīng)圖像幀進行與運算，ニ值指示物運動區(qū)域圖像序列。其中，上述根據(jù)指示物的運動信息和指示物的顔色信息進行指示物分割還包括將所述彩色圖像序列轉(zhuǎn)換為ニ值指示物色訊圖像序列；通過種子算法獲取所述ニ值指示物運動區(qū)域圖像序列的參考塊；將所述參考塊映射至ニ值指示物運動區(qū)域圖像序列對應(yīng)區(qū)域；以所述對應(yīng)區(qū)域為中心通過種子算法，將所述對應(yīng)區(qū)域擴展得到指示物區(qū)域圖像序列。在根據(jù)指示物區(qū)域圖像序列獲取幀間運動表觀參數(shù)和幀內(nèi)形狀表觀參數(shù)后，可根據(jù)幀間運動表觀參數(shù)和幀內(nèi)形狀表觀參數(shù)獲取時空表觀模型；并根據(jù)動態(tài)時空規(guī)整算法對時空表觀模型進行規(guī)整，獲取時間長度相等的表觀模式，并根據(jù)時間長度相等的表觀模型識別指示物的運動軌跡。如圖3所示，在本發(fā)明另一個實施例中，移動終端預(yù)設(shè)有操作模式，該操作模式包括用戶界面操作模式，游戲模式，文字輸入模式。相應(yīng)的，移動終端還設(shè)置有存儲模塊103，用于存儲指示物的運動軌跡模型，該運動軌跡模型與用戶界面操作模式，游戲模式，文字輸 入模式對應(yīng)，并通過將指示物的運動軌跡與運動軌跡模型進行匹配，控制所述移動終端。上述兩個實施例的移動終端可進行相互結(jié)合，本發(fā)明對此不作限定。圖4所示為本發(fā)明移動終端的第四模塊圖。移動終端，包括檢測單元201，用于檢測并獲取移動終端的環(huán)境信息；分析単元202，分析環(huán)境信息，并從環(huán)境信息中提取外界動作信息；數(shù)據(jù)單元203，存儲標準動作信息；判斷単元204，將外界動作信息與數(shù)據(jù)庫內(nèi)的標準動作信息進行比較，并進行判斷；控制単元205，接收判斷単元204的判斷結(jié)果，并根據(jù)判斷結(jié)果，對移動終端進行指令控制。如圖5所示，判斷単元204包括獲取單元2040，用于獲取外界動作信息的第一運動參數(shù)。獲取單元2040包括外界動作信息分解單元2041,數(shù)值獲取單元2042、及動作分類單元2043。數(shù)據(jù)單元203存儲的標準動作信息包括第二運動參數(shù)。其中，第一運動參數(shù)包括速度、加速度、運動方向、運動位移、運動路徑之ー或組合；第二運動參數(shù)包括速度、加速度、運動方向、運動位移、運動路徑之ー或組合。判斷単元204通過將第一運動參數(shù)和第二運動參數(shù)進行比較，獲取比較差值，根據(jù)比較差值判斷分析単元202獲得的動作信息是否為有效的動作信息。判斷単元204設(shè)置容忍區(qū)間，當(dāng)外界動作信息與標準動作信息的比較差值位于容忍范圍內(nèi)，則外界動作為有效動作；若位于容忍范圍外，則判斷結(jié)果為無效動作。當(dāng)動作信息為有效動作時，則根據(jù)有效動作，對移動終端進行指令控制。標準動作信息包括動作信息、文字信息、符號信息。標準動作信息包括“向上”、“向下”、“向左”、“向右”及“確認”之ー或組合。標準動作信息中的“確認”為打勾、畫圈、或使用者設(shè)定的圖形。標準動作信息包括單個標準動作信息及合成標準動作信息。數(shù)據(jù)單元203還存儲有指令，該指令包括與單個標準動作信息對應(yīng)的單個標準動作指令，及與合成標準動作信息對應(yīng)的合成標準動作合成指令。移動終端還包括顯示裝置206,顯示裝置206上同步顯示與指令對應(yīng)的動作信息對應(yīng)的標識。檢測單元201為照相機，照相機通過獲取指示物的深度圖像檢測所述指示物的運動軌跡。檢測單元201還可以為傳感器，對距離移動終端預(yù)定距離內(nèi)的指示物的運動軌跡進行檢測。圖I至圖5中的移動終端也可根據(jù)實際需要進行相互組合，本發(fā)明對此不作限定。圖6所示為本發(fā)明移動終端響應(yīng)操作的方法一種實施例的流程圖。
步驟S101，檢測與顯示屏相隔預(yù)定距離的指示物的運動軌跡；
步驟S102，根據(jù)指示物的運動軌跡控制所述移動終端。移動終端預(yù)設(shè)有操作模式，所述操作模式包括用戶界面操作模式，游戲模式，文字輸入模式。移動終端還存儲有指示物的運動軌跡模型，運動軌跡模型與用戶界面操作模式，游戲模式，文字輸入模式對應(yīng)，并通過將指示物的運動軌跡與所述運動軌跡模型進行匹配，控制所述移動終端。指示物的運動軌跡包括在平行于顯示屏的第一平面上沿第一方向，第二方向，第三方向，第四方向移動的第一運動軌跡，第一運動軌跡用于移動操作對象；以及在垂直于顯示屏的第二平面上且沿第五方向移動的第二運動軌跡，第二運動軌跡用于打開或者關(guān)閉操 作對象對應(yīng)的程序或功能；其中，第一方向、第二方向、第三方向、第四方向，以及第五方向兩兩之間形成ー夾角，第五方向指向顯示屏。當(dāng)所述指示物在第一預(yù)設(shè)時間范圍內(nèi)只沿第一運動軌跡運動，則根據(jù)第一運動軌跡的起點的空間坐標對應(yīng)于顯示屏的坐標，確定第一運動軌跡在顯示屏上對應(yīng)的操作對象；當(dāng)指示物在第二預(yù)設(shè)時間范圍內(nèi)首先沿第一運動軌跡運動，再在第二預(yù)設(shè)時間范圍內(nèi)沿第二運動軌跡運動，則根據(jù)第二運動軌跡的終點的空間坐標對應(yīng)于顯示屏的坐標，確定顯示屏上的操作對象；
當(dāng)指示物在第三預(yù)設(shè)時間范圍內(nèi)只沿第二運動軌跡運動，則根據(jù)第二運動軌跡的終點的空間坐標對應(yīng)于顯示屏的坐標，確定顯示屏上的操作對象；
當(dāng)指示物在第四預(yù)設(shè)時間范圍內(nèi)首先沿第二運動軌跡運動，再沿第一運動軌跡運動，則根據(jù)第二運動軌跡的終點的空間坐標對應(yīng)于顯示屏的坐標，確定顯示屏上的操作対象。其中，根據(jù)預(yù)設(shè)距離范圍及指示物的運動軌跡控制移動終端，該預(yù)設(shè)距離范圍包括第一預(yù)設(shè)距離范圍、第二預(yù)設(shè)距離范圍、第三預(yù)設(shè)距離范圍、第四預(yù)設(shè)距離范圍、第五預(yù)設(shè)距離范圍。當(dāng)指示物只沿第二軌跡運動，且運動距離在第一預(yù)設(shè)距離范圍之內(nèi)時，則打開或關(guān)閉操作對象對應(yīng)的程序或功能。當(dāng)指示物首先在第一預(yù)設(shè)距離范圍之內(nèi)沿第二軌跡運動，且在第二軌跡的終點停留第五預(yù)定時間，再在第二預(yù)設(shè)距離范圍之內(nèi)沿第一軌跡運動，則以菜單列表切換的方式響應(yīng)指示物運動；
當(dāng)指示物首先在第三預(yù)設(shè)距離范圍之內(nèi)沿第二軌跡運動，再在第四預(yù)設(shè)距離范圍之內(nèi)沿第一軌跡運動，則以打開或關(guān)閉操作對象對應(yīng)的程序或功能的方式響應(yīng)指示物運動。當(dāng)指示物首先在第一預(yù)設(shè)距離范圍之內(nèi)沿第二軌跡運動，再在第五預(yù)設(shè)距離范圍之內(nèi)沿第一軌跡運動，則以菜單列表以小幅彈動的方式響應(yīng)指示物運動。本實施例是通過獲取指示物的包含深度信息的圖像序列檢測指示物的運動軌跡。當(dāng)該指示物為手指吋，則通過圖像序列獲取手指的骨架模型，根據(jù)骨架模型檢測距離顯示屏最近的手指，根據(jù)距離顯示屏最近的手指的運動軌跡控制移動終端。對于所有的指示物而言，均可通過獲取指示物的圖像幀序列，根據(jù)圖像幀序列獲取指示物的運動軌跡。本實施例，可通過獲取指示物的時空表觀模型，井根據(jù)時空表觀模型識別指示物的運動軌跡。具體而言，上述獲取指示物的圖像幀序列，根據(jù)所述圖像幀序列獲取所述指示物的運動軌跡包括獲取圖像視頻序列；對圖像視頻序列進行指示物區(qū)域檢測，差分運動分祈，以及邊緣檢測；對指示物區(qū)域檢測的結(jié)果，差分運動分析的結(jié)果，以及邊緣檢測的結(jié)果，進行與運算；將與運算后的圖像視頻序列進行開運算；通過歸ー化的傅立葉描述子對開運算后的圖像視頻序列進行傅立葉運算，提取輪廓及區(qū)域標識，分割出指示物區(qū)域。在其它實施例中，上述獲取指示物的圖像幀序列，根據(jù)圖像幀序列獲取指示物的運動軌跡包括根據(jù)指示物的運動信息和指示物的顔色信息進行指示物分割。上述根據(jù)指示物的運動信息和指示物的顔色信息進行指示物分割包括獲取指示物的彩色圖像序列；將所述彩色圖像序列轉(zhuǎn)換為256級灰度圖像序列；將所述256級灰度圖像序列轉(zhuǎn)換為粗略ニ值運動圖像序列；將所述256級灰度圖像序列與所述粗略ニ值運動圖像序列的對應(yīng)圖像幀進行與運算，ニ值指示物運動區(qū)域圖像序列。上述根據(jù)指示物的運動信息和指示物的顔色信息進行指示物分割還包括將彩色圖像序列轉(zhuǎn)換為ニ值指示物色訊圖像序列；通過種子算法獲取ニ值指示物運動區(qū)域圖像序列的參考塊；將參考塊映射至ニ值指示物運動區(qū)域圖像序列對應(yīng)區(qū)域；以對應(yīng)區(qū)域為中心 通過種子算法，將對應(yīng)區(qū)域擴展得到指示物區(qū)域圖像序列。為了更好的識別指示物的運動軌跡，本實施例還可根據(jù)指示物區(qū)域圖像序列獲取幀間運動表觀參數(shù)和幀內(nèi)形狀表觀參數(shù)，井根據(jù)幀間運動表觀參數(shù)和幀內(nèi)形狀表觀參數(shù)獲取時空表觀模型。獲得時空表觀模型之后，還可根據(jù)動態(tài)時空規(guī)整算法對時空表觀模型進行規(guī)整，獲取時間長度相等的表觀模式，并根據(jù)時間長度相等的表觀模型識別指示物的運動軌跡。圖7所示為本發(fā)明移動終端響應(yīng)操作的方法另ー種實施例的流程圖。本實施例移動終端響應(yīng)操作的方法，包括
步驟S201，檢測并獲取移動終端的環(huán)境信息；
步驟S202，分析環(huán)境信息，并從環(huán)境信息中提取外界動作信息；
步驟S203，存儲標準動作信息；
步驟S204，將外界動作信息與數(shù)據(jù)庫內(nèi)的標準動作信息進行比較，并進行判斷；
步驟S205，接收判斷結(jié)果，并根據(jù)判斷結(jié)果，對移動終端進行指令控制。在將外界動作信息與數(shù)據(jù)庫內(nèi)的標準動作信息進行比較，并進行判斷時，首先獲取外界動作信息的第一運動參數(shù)。第一運動參數(shù)包括速度、加速度、運動方向、運動位移、運動路徑之ー或組合；第二運動參數(shù)包括速度、加速度、運動方向、運動位移、運動路徑之ー或組合。標準動作信息包括第二運動參數(shù)；
將外界動作信息與數(shù)據(jù)庫內(nèi)的標準動作信息進行比較即是通過將第一運動參數(shù)和第ニ運動參數(shù)進行比較，獲取比較差值，根據(jù)比較差值判斷分析單元獲得的動作信息是否為有效的動作信息。在將外界動作信息與數(shù)據(jù)庫內(nèi)的標準動作信息進行比較之前，可以首先設(shè)置容忍區(qū)間，當(dāng)外界動作信息與標準動作信息的比較差值位于容忍范圍內(nèi)，則外界動作為有效動作；若位于容忍范圍外，則判斷結(jié)果為無效動作。當(dāng)動作信息為有效動作時，則根據(jù)有效動作，對移動終端進行指令控制。標準動作信息包括動作信息、文字信息、符號信息，還可以包括“向上”、“向下”、“向左”、“向右”及“確認”之ー或組合。標準動作信息中的“確認”為打勾、畫圈、或使用者設(shè)定的圖形。標準動作信息還可以包括單個標準動作信息及合成標準動作信息。本實施例中，移動終端還可以設(shè)置有指令，該指令包括與單個標準動作信息對應(yīng)的單個標準動作指令，及與合成標準動作信息對應(yīng)的合成標準動作合成指令。合成標準動作可由多個單個標準動作組合而成，相應(yīng)的合成標準動作指令可由多個單個標準動作指令組合而成。本發(fā)明移動終端及其響應(yīng)操作的方法，不用通過實體按鍵或者是觸摸實現(xiàn)，即可與移動終端進行交互。以上所述僅為本發(fā)明的優(yōu)選實施例而已，并不用于限制本發(fā)明，對于本領(lǐng)域的技 術(shù)人員來說，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。
權(quán)利要求
1.一種移動終端，其特征在于，包括 檢測模塊，檢測與顯示屏相隔預(yù)定距離的指示物的運動軌跡； 控制模塊，根據(jù)所述指示物的運動軌跡控制所述移動終端。
2.如權(quán)利要求I所述的移動終端，其特征在于，所述運動軌跡包括 在平行于顯示屏的第一平面上沿第一方向，第二方向，第三方向，第四方向移動的第一運動軌跡，所述第一運動軌跡用于移動操作對象；以及 在垂直于顯示屏的第二平面上且沿第五方向移動的第二運動軌跡，所述第二運動軌跡用于打開或者關(guān)閉所述操作對象對應(yīng)的程序或功能； 其中，所述第一方向、第二方向、第三方向、第四方向，以及第五方向兩兩之間形成一夾角，所述第五方向指向顯示屏。
3.如權(quán)利要求2所述的移動終端，其特征在于，控制模塊還用于 當(dāng)所述指示物在第一預(yù)設(shè)時間范圍內(nèi)只沿所述第一運動軌跡運動，則根據(jù)所述第一運動軌跡的起點的空間坐標對應(yīng)于所述顯示屏的坐標，確定所述第一運動軌跡在所述顯示屏上對應(yīng)的操作對象； 當(dāng)所述指示物在第二預(yù)設(shè)時間范圍內(nèi)首先沿所述第一運動軌跡運動，再在第二預(yù)設(shè)時間范圍內(nèi)沿所述第二運動軌跡運動，則根據(jù)所述第二運動軌跡的終點的空間坐標對應(yīng)于所述顯示屏的坐標，確定所述顯示屏上的操作對象； 當(dāng)所述指示物在第三預(yù)設(shè)時間范圍內(nèi)只沿所述第二運動軌跡運動，則根據(jù)所述第二運動軌跡的終點的空間坐標對應(yīng)于所述顯示屏的坐標，確定所述顯示屏上的操作對象； 當(dāng)所述指示物在第四預(yù)設(shè)時間范圍內(nèi)首先沿所述第二運動軌跡運動，再沿所述第一運動軌跡運動，則根據(jù)所述第二運動軌跡的終點的空間坐標對應(yīng)于所述顯示屏的坐標，確定所述顯示屏上的操作對象。
4.如權(quán)利要求I至3任一項所述的移動終端，其特征在于，所述控制模塊還用于根據(jù)預(yù)設(shè)距離范圍及所述指示物的運動軌跡控制所述移動終端，所述預(yù)設(shè)距離范圍包括第一預(yù)設(shè)距離范圍、第二預(yù)設(shè)距離范圍、第三預(yù)設(shè)距離范圍、第四預(yù)設(shè)距離范圍、第五預(yù)設(shè)距離范圍。
5.如權(quán)利要求4所述的移動終端，其特征在于，控制模塊還用于當(dāng)所述指示物只沿所述第二軌跡運動，且運動距離在第一預(yù)設(shè)距離范圍之內(nèi)時，則打開或關(guān)閉所述操作對象對應(yīng)的程序或功能。
6.如權(quán)利要求5所述的移動終端，其特征在于，控制模塊還用于 當(dāng)所述指示物首先在第一預(yù)設(shè)距離范圍之內(nèi)沿所述第二軌跡運動，且在所述第二軌跡的終點停留第五預(yù)定時間，再在第二預(yù)設(shè)距離范圍之內(nèi)沿所述第一軌跡運動，則以菜單列表切換的方式響應(yīng)所述指示物運動； 當(dāng)所述指示物首先在第三預(yù)設(shè)距離范圍之內(nèi)沿所述第二軌跡運動，再在第四預(yù)設(shè)距離范圍之內(nèi)沿所述第一軌跡運動，則以打開或關(guān)閉所述操作對象對應(yīng)的程序或功能的方式響應(yīng)所述指示物運動。
7.如權(quán)利要求6所述的移動終端，其特征在于，控制模塊還用于 當(dāng)所述指示物首先在第一預(yù)設(shè)距離范圍之內(nèi)沿所述第二軌跡運動，再在第五預(yù)設(shè)距離范圍之內(nèi)沿所述第一軌跡運動，則以菜單列表進行小幅彈動的方式響應(yīng)所述指示物運動。
8.如權(quán)利要求7所述的移動終端，其特征在于，所述檢測模塊為深度照相機，用于通過獲取包含指示物的深度信息的圖像序列檢測所述指示物的運動軌跡。
9.如權(quán)利要求8所述的移動終端，其特征在于，所述檢測模塊包括骨架模型獲取子模塊，用于通過所述圖像序列獲取所述手指的骨架模型，根據(jù)距離顯示屏最近的手指的運動軌跡控制所述移動終端。
10.如權(quán)利要求I所述的移動終端，其特征在于，檢測模塊還用于獲取指示物的圖像幀序列，并根據(jù)所述圖像幀序列獲取所述指示物的運動軌跡。
11.如權(quán)利要求10所述的移動終端，其特征在于，所述檢測模塊還用于獲取指示物的時空表觀模型，并根據(jù)所述時空表觀模型識別所述指示物的運動軌跡。
12.如權(quán)利要求11所述的移動終端，其特征在于，所述檢測模塊還用于根據(jù)指示物的運動信息和指示物的顏色信息進行指示物分割。
13.一種移動終端響應(yīng)操作的方法，其特征在于，包括 檢測與顯示屏相隔預(yù)定距離的指示物的運動軌跡； 根據(jù)所述指示物的運動軌跡控制所述移動終端。
14.如權(quán)利要求13所述的移動終端響應(yīng)操作的方法，其特征在于，所述運動軌跡包括 在平行于顯示屏的第一平面上沿第一方向，第二方向，第三方向，第四方向移動的第一運動軌跡，所述第一運動軌跡用于移動操作對象；以及 在垂直于顯示屏的第二平面上且沿第五方向移動的第二運動軌跡，所述第二運動軌跡用于打開或者關(guān)閉所述操作對象對應(yīng)的程序或功能； 其中，所述第一方向、第二方向、第三方向、第四方向，以及第五方向兩兩之間形成一夾角，所述第五方向指向顯示屏。
15.如權(quán)利要求14所述的移動終端響應(yīng)操作的方法，其特征在于 當(dāng)所述指示物在第一預(yù)設(shè)時間范圍內(nèi)只沿所述第一運動軌跡運動，則根據(jù)所述第一運動軌跡的起點的空間坐標對應(yīng)于所述顯示屏的坐標，確定所述第一運動軌跡在所述顯示屏上對應(yīng)的操作對象； 當(dāng)所述指示物在第二預(yù)設(shè)時間范圍內(nèi)首先沿所述第一運動軌跡運動，再在第二預(yù)設(shè)時間范圍內(nèi)沿所述第二運動軌跡運動，則根據(jù)所述第二運動軌跡的終點的空間坐標對應(yīng)于所述顯示屏的坐標，確定所述顯示屏上的操作對象； 當(dāng)所述指示物在第三預(yù)設(shè)時間范圍內(nèi)只沿所述第二運動軌跡運動，則根據(jù)所述第二運動軌跡的終點的空間坐標對應(yīng)于所述顯示屏的坐標，確定所述顯示屏上的操作對象； 當(dāng)所述指示物在第四預(yù)設(shè)時間范圍內(nèi)首先沿所述第二運動軌跡運動，再沿所述第一運動軌跡運動，則根據(jù)所述第二運動軌跡的終點的空間坐標對應(yīng)于所述顯示屏的坐標，確定所述顯示屏上的操作對象。
16.如權(quán)利要求15所述的移動終端響應(yīng)操作的方法，其特征在于，還包括根據(jù)預(yù)設(shè)距離范圍及所述指示物的運動軌跡控制所述移動終端，所述預(yù)設(shè)距離范圍包括第一預(yù)設(shè)距離范圍、第二預(yù)設(shè)距離范圍、第三預(yù)設(shè)距離范圍、第四預(yù)設(shè)距離范圍、第五預(yù)設(shè)距離范圍。
17.如權(quán)利要求16所述的移動終端響應(yīng)操作的方法，其特征在于，當(dāng)所述指示物只沿所述第二軌跡運動，且運動距離在第一預(yù)設(shè)距離范圍之內(nèi)時，則打開或關(guān)閉所述操作對象對應(yīng)的程序或功能。
18.如權(quán)利要求17所述的移動終端響應(yīng)操作的方法，其特征在于當(dāng)所述指示物首先在第一預(yù)設(shè)距離范圍之內(nèi)沿所述第二軌跡運動，且在所述第二軌跡的終點停留第五預(yù)定時間，再在第二預(yù)設(shè)距離范圍之內(nèi)沿所述第一軌跡運動，則以菜單列表切換的方式響應(yīng)所述指示物運動； 當(dāng)所述指示物首先在第三預(yù)設(shè)距離范圍之內(nèi)沿所述第二軌跡運動，再在第四預(yù)設(shè)距離范圍之內(nèi)沿所述第一軌跡運動，則以打開或關(guān)閉所述操作對象對應(yīng)的程序或功能的方式響應(yīng)所述指示物運動。
19.如權(quán)利要求18所述的移動終端響應(yīng)操作的方法，其特征在于 當(dāng)所述指示物首先在第一預(yù)設(shè)距離范圍之內(nèi)沿所述第二軌跡運動，再在第五預(yù)設(shè)距離范圍之內(nèi)沿所述第一軌跡運動，則以菜單列表以小幅彈動的方式響應(yīng)所述指示物運動。
20.如權(quán)利要求13至19任一項所述的移動終端響應(yīng)操作的方法，其特征在于，通過獲取指示物的包含深度信息的圖像序列檢測所述指示物的運動軌跡。
21.如權(quán)利要求20所述的移動終端響應(yīng)操作的方法，其特征在于，還包括獲取指示物的圖像幀序列，根據(jù)所述圖像幀序列獲取所述指示物的運動軌跡；其中，所述獲取指示物的圖像幀序列，根據(jù)所述圖像幀序列獲取所述指示物的運動軌跡包括獲取指示物的時空表觀模型，并根據(jù)所述時空表觀模型識別所述指示物的運動軌跡。
22.如權(quán)利要求21所述的移動終端響應(yīng)操作的方法，其特征在于，所述獲取指示物的圖像幀序列，根據(jù)所述圖像幀序列獲取所述指示物的運動軌跡包括根據(jù)指示物的運動信息和指示物的顔色信息進行指示物分割。
23.—種移動終端，其特征在于，包括 檢測單元，用于檢測并獲取移動終端的環(huán)境信息； 分析単元，分析所述環(huán)境信息，并從所述環(huán)境信息中提取外界動作信息； 數(shù)據(jù)單元，存儲標準動作信息； 判斷単元，將外界動作信息與所述數(shù)據(jù)庫內(nèi)的標準動作信息進行比較，并進行判斷； 控制單元，接收所述判斷単元的判斷結(jié)果，井根據(jù)所述判斷結(jié)果，對移動終端進行指令控制。
24.如權(quán)利要求23所述的移動終端，其特征在于，所述判斷単元包括獲取單元，用于獲取外界動作信息的第一運動參數(shù)；所述獲取單元包括外界動作信息分解單元，數(shù)值獲取單元、及動作分類單元；所述標準動作信息包括第二運動參數(shù)；所述第一運動參數(shù)包括速度、加速度、運動方向、運動位移、運動路徑之ー或組合；所述第二運動參數(shù)包括速度、カロ速度、運動方向、運動位移、運動路徑之ー或組合。
25.如權(quán)利要求24所述的移動終端，其特征在干，所述判斷単元通過將第一運動參數(shù)和第二運動參數(shù)進行比較，獲取比較差值，根據(jù)所述比較差值判斷所述分析單元獲得的動作信息是否為有效的動作信息；所述判斷単元設(shè)置容忍區(qū)間，當(dāng)所述外界動作信息與所述標準動作信息的比較差值位于所述容忍范圍內(nèi)，則所述外界動作為有效動作；若位于所述容忍范圍外，則判斷結(jié)果為無效動作。
26.如權(quán)利要求25所述的移動終端，其特征在于，當(dāng)動作信息為有效動作吋，則控制單元根據(jù)所述有效動作，對所述移動終端進行指令控制；所述標準動作信息包括單個標準動作信息及合成標準動作信息；所述數(shù)據(jù)単元還存儲有指令，該指令包括與所述單個標準動作信息對應(yīng)的單個標準動作指令，及與所述合成標準動作信息對應(yīng)的合成標準動作合成指令。
27.ー種移動終端響應(yīng)操作的方法，其特征在于，包括 檢測并獲取移動終端的環(huán)境信息； 分析所述環(huán)境信息，并從所述環(huán)境信息中提取外界動作信息； 存儲標準動作信息； 將外界動作信息與所述數(shù)據(jù)庫內(nèi)的標準動作信息進行比較，并進行判斷； 接收判斷結(jié)果，井根據(jù)所述判斷結(jié)果，對移動終端進行指令控制。
全文摘要
本發(fā)明提供一種移動終端，包括檢測模塊，檢測與顯示屏相隔預(yù)定距離的指示物的運動軌跡；控制模塊，根據(jù)所述指示物的運動軌跡控制所述移動終端。本發(fā)明還提供一種移動終端響應(yīng)操作的方法。本發(fā)明移動終端及其響應(yīng)操作的方法，不用通過實體按鍵或者是觸摸實現(xiàn)，即可與移動終端進行交互。
文檔編號G06F3/048GK102693084SQ20121013923
公開日2012年9月26日 申請日期2012年5月8日 優(yōu)先權(quán)日2012年5月8日
發(fā)明者鄧力 申請人:上海鼎為軟件技術(shù)有限公司