基于紅外傳感器的讀屏應(yīng)用指令輸入方法及裝置的制造方法
【專利摘要】本發(fā)明實施例公開了一種基于紅外傳感器的讀屏應(yīng)用指令輸入方法，包括：通過紅外傳感器獲取紅外視頻圖像，提取所述紅外視頻圖像的人體動作數(shù)據(jù)；獲取所述人體動作數(shù)據(jù)的特征數(shù)據(jù)；在預(yù)設(shè)的動作/手勢數(shù)據(jù)庫中查找與所述特征數(shù)據(jù)匹配的目標(biāo)動作/手勢；確定與所述目標(biāo)動作/手勢對應(yīng)的讀屏功能操作，執(zhí)行所述讀屏功能操作。另外，本發(fā)明實施例還公開了一種基于紅外傳感器的讀屏應(yīng)用指令輸入裝置。采用本發(fā)明，可提高讀屏應(yīng)用的指令輸入的操作便利性。
【專利說明】
基于紅外傳感器的讀屏應(yīng)用指令輸入方法及裝置
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及人機(jī)交互技術(shù)領(lǐng)域，尤其涉及一種基于紅外傳感器的讀屏應(yīng)用指令輸入方法及裝置。
【背景技術(shù)】
[0002]隨著智能手機(jī)、個人電腦等計算機(jī)設(shè)備的快速普及，各種移動互聯(lián)網(wǎng)應(yīng)用也層出不窮，越來越多的用戶能夠真實感受到移動互聯(lián)技術(shù)帶來的生活便利和無線樂趣;但是，社會中還有一部分特殊群體也需要使用智能手機(jī)等計算機(jī)設(shè)備，那就是有一定功能障礙的人群，例如視障人群，尤其是全盲的視障群體，完全是靠耳朵聽取聲音來操作計算機(jī)。
[0003]在使用智能手機(jī)、平板電腦、個人電腦等終端設(shè)備的輔助操作功能(包括但不限于Voiceover、Talkback等讀屏軟件和其他類似功能的應(yīng)用)時，用戶界面元素及其功能會被提取出來并通過TTS(Text to Speech，文字轉(zhuǎn)語音技術(shù))把所選擇的文字用語音播放出來，以幫助用戶了解手機(jī)屏幕當(dāng)前顯示的內(nèi)容;并且，用戶可以通過在觸摸屏上進(jìn)行點(diǎn)擊、滑動等操作，對終端進(jìn)行操作，給用戶帶來了更全面更豐富的使用體驗，尤其是使得存在一定功能障礙的人群(例如視覺障礙的殘障人員、老年人等特殊群體)能夠無障礙的使用智能手機(jī)等終端設(shè)備。
[0004]也就是說，用戶必須手持智能手機(jī)、鼠標(biāo)等輸入設(shè)備才能對終端進(jìn)行操作。以智能手機(jī)為例，對于用戶來講，就算有語音的輔助，也需要用戶用手指在顯示界面上進(jìn)行多次點(diǎn)擊或者滑動操作。另外，若手機(jī)不在身邊，則無法進(jìn)行操作，使得用戶使用智能手機(jī)等終端設(shè)備的使用體驗不佳。進(jìn)一步地，對于存在一定功能障礙的人群(例如視覺障礙的殘障人員、老年人等特殊群體)來講，要準(zhǔn)確快速的尋找手機(jī)也存在一定的問題，這就造成了存在一定功能障礙的人群(例如視覺障礙的殘障人員、老年人等特殊群體)在使用手機(jī)時操作的便利性不足。

【發(fā)明內(nèi)容】

[0005]基于此，為解決傳統(tǒng)技術(shù)中的智能手機(jī)等終端設(shè)備的操作方式存在操作的便利性不足的技術(shù)問題，特提出了一種基于紅外傳感器的讀屏應(yīng)用指令輸入方法。
[0006]—種基于紅外傳感器的讀屏應(yīng)用指令輸入方法，包括:
[0007]通過紅外傳感器獲取紅外視頻圖像，提取所述紅外視頻圖像的人體動作數(shù)據(jù)；
[0008]獲取所述人體動作數(shù)據(jù)的特征數(shù)據(jù)；
[0009]在預(yù)設(shè)的動作/手勢數(shù)據(jù)庫中查找與所述特征數(shù)據(jù)匹配的目標(biāo)動作/手勢；
[0010]確定與所述目標(biāo)動作/手勢對應(yīng)的讀屏功能操作，執(zhí)行所述讀屏功能操作。
[0011]可選的，在其中一個實施例中，所述執(zhí)行所述讀屏功能操作的步驟之后還包括:獲取所述讀屏功能操作的執(zhí)行結(jié)果;在所述預(yù)設(shè)的語音數(shù)據(jù)庫中查找與所述讀屏功能操作的執(zhí)行結(jié)果對應(yīng)的語音提示消息;播放所述語音提示消息。
[0012]可選的，在其中一個實施例中，所述在預(yù)設(shè)的動作/手勢數(shù)據(jù)庫中查找與所述特征數(shù)據(jù)匹配的目標(biāo)動作/手勢的步驟之后還包括:獲取終端的當(dāng)前顯示界面，獲取所述當(dāng)前顯示界面的讀屏功能選中框;所述確定與所述目標(biāo)動作/手勢對應(yīng)的讀屏功能操作的步驟具體為:根據(jù)所述當(dāng)前顯示界面的讀屏功能選中框確定與所述目標(biāo)動作/手勢對應(yīng)的讀屏功能操作。
[0013]可選的，在其中一個實施例中，所述讀屏功能操作為音頻應(yīng)用開啟操作;所述執(zhí)行所述讀屏功能操作的步驟具體為:根據(jù)所述音頻應(yīng)用開啟操作啟動與所述音頻應(yīng)用開啟操作對應(yīng)的音頻應(yīng)用。
[0014]可選的，在其中一個實施例中，所述確定與所述目標(biāo)動作/手勢對應(yīng)的讀屏功能操作的步驟具體為:將所述目標(biāo)動作/手勢發(fā)送給讀屏應(yīng)用，所述讀屏應(yīng)用用于根據(jù)所述目標(biāo)動作/手勢在所述預(yù)設(shè)的讀屏功能操作數(shù)據(jù)庫中查找與所述目標(biāo)動作/手勢匹配的讀屏功能操作。
[0015]可選的，在其中一個實施例中，所述通過紅外傳感器獲取紅外視頻圖像的步驟之前還包括:接收用戶輸入的讀屏應(yīng)用開啟指令，所述讀屏應(yīng)用開啟指令與所述讀屏應(yīng)用對應(yīng)，根據(jù)所述讀屏應(yīng)用開啟指令啟動所述讀屏應(yīng)用。
[0016]可選的，在其中一個實施例中，所述在預(yù)設(shè)的動作/動作/手勢數(shù)據(jù)庫中查找與所述特征數(shù)據(jù)匹配的目標(biāo)動作/動作/手勢的步驟之后還包括:獲取用戶輸入的針對所述目標(biāo)動作/動作/手勢的反饋信息;或獲取所述特征數(shù)據(jù)與所述目標(biāo)動作/動作/手勢的匹配參考值，根據(jù)所述匹配參考值生成針對所述目標(biāo)動作/動作/手勢的反饋信息;所述方法還包括:根據(jù)所述反饋信息確定所述預(yù)設(shè)的動作/動作/手勢數(shù)據(jù)庫的更新數(shù)據(jù);根據(jù)所述更新數(shù)據(jù)刷新所述預(yù)設(shè)的動作/動作/手勢數(shù)據(jù)庫。
[0017]此外，為解決傳統(tǒng)技術(shù)中的智能手機(jī)等終端設(shè)備的操作方式存在操作的便利性不足的技術(shù)問題，還提出了一種基于紅外傳感器的讀屏應(yīng)用指令輸入裝置。
[0018]一種基于紅外傳感器的讀屏應(yīng)用指令輸入裝置，包括:
[0019]人體動作數(shù)據(jù)獲取模塊，用于通過紅外傳感器獲取紅外視頻圖像，提取所述紅外視頻圖像的人體動作數(shù)據(jù)；
[0020]特征數(shù)據(jù)獲取模塊，用于獲取所述人體動作數(shù)據(jù)的特征數(shù)據(jù)；
[0021 ]目標(biāo)動作/手勢查找模塊，用于在預(yù)設(shè)的動作/手勢數(shù)據(jù)庫中查找與所述特征數(shù)據(jù)匹配的目標(biāo)動作/手勢；
[0022]操作確定執(zhí)行模塊，用于確定與所述目標(biāo)動作/手勢對應(yīng)的讀屏功能操作，執(zhí)行所述讀屏功能操作。
[0023]可選的，在其中一個實施例中，所述裝置還包括語音提示消息播放模塊，用于:獲取所述讀屏功能操作的執(zhí)行結(jié)果;在所述預(yù)設(shè)的語音數(shù)據(jù)庫中查找與所述讀屏功能操作的執(zhí)行結(jié)果對應(yīng)的語音提示消息;播放所述語音提示消息。
[0024]可選的，在其中一個實施例中，所述裝置還包括顯示界面獲取模塊，用于獲取終端的當(dāng)前顯示界面，獲取所述當(dāng)前顯示界面的讀屏功能選中框;所述操作確定執(zhí)行模塊還用于根據(jù)所述當(dāng)前顯示界面的讀屏功能選中框確定與所述目標(biāo)動作/手勢對應(yīng)的讀屏功能操作。
[0025]可選的，在其中一個實施例中，所述讀屏功能操作為音頻應(yīng)用開啟操作;所述操作確定執(zhí)行模塊還用于:根據(jù)所述音頻應(yīng)用開啟操作啟動與所述音頻應(yīng)用開啟操作對應(yīng)的音頻應(yīng)用。
[0026]可選的，在其中一個實施例中，所述操作確定執(zhí)行模塊還用于:將所述目標(biāo)動作/動作/手勢發(fā)送給讀屏應(yīng)用，所述讀屏應(yīng)用用于根據(jù)所述目標(biāo)動作/動作/手勢在所述預(yù)設(shè)的讀屏功能操作數(shù)據(jù)庫中查找與所述目標(biāo)動作/動作/手勢匹配的讀屏功能操作。
[0027]可選的，在其中一個實施例中，所述裝置還包括讀屏應(yīng)用開啟模塊，用于接收用戶輸入的讀屏應(yīng)用開啟指令，所述讀屏應(yīng)用開啟指令與所述讀屏應(yīng)用對應(yīng)，根據(jù)所述讀屏應(yīng)用開啟指令啟動所述讀屏應(yīng)用。
[0028]可選的，在其中一個實施例中，所述裝置還包括反饋信息獲取模塊和數(shù)據(jù)庫更新模塊，其中:所述反饋信息獲取模塊用于:獲取用戶輸入的針對所述目標(biāo)動作/動作/手勢的反饋信息；或獲取所述特征數(shù)據(jù)與所述目標(biāo)動作/動作/手勢的匹配參考值，根據(jù)所述匹配參考值生成針對所述目標(biāo)動作/動作/手勢的反饋信息;所述數(shù)據(jù)庫更新模塊用于:根據(jù)所述反饋信息確定所述預(yù)設(shè)的動作/動作/手勢數(shù)據(jù)庫的更新數(shù)據(jù);根據(jù)所述更新數(shù)據(jù)刷新所述預(yù)設(shè)的動作/動作/手勢數(shù)據(jù)庫。
[0029]實施本發(fā)明實施例，將具有如下有益效果:
[0030]采用了上述基于紅外傳感器的讀屏應(yīng)用指令輸入方法及裝置之后，用戶可以通過手部動作或者身體動作等運(yùn)動操作數(shù)據(jù)，在紅外傳感器的覆蓋范圍下，用戶的手部動作或者身體動作均可以被識別并被轉(zhuǎn)化為對應(yīng)的動作/手勢操作，從而確定用戶需要輸入的與讀屏應(yīng)用對應(yīng)的操作指令完成讀屏應(yīng)用的指令的輸入并由讀屏軟件將相應(yīng)的操作指令發(fā)送給計算機(jī)對應(yīng)的裝置進(jìn)行執(zhí)行，實現(xiàn)了用戶通過運(yùn)動操作數(shù)據(jù)向終端的讀屏應(yīng)用輸入指令和讀屏軟件將操作指令的輸出，相較于傳統(tǒng)技術(shù)中用戶必須通過終端的實體按鍵或觸控屏輸入指令的方案來講，可提高指令輸入的操作便利性;進(jìn)一步地，上述方案還實現(xiàn)了在用戶不手持終端的情況下也可操作終端，對讀屏應(yīng)用發(fā)送指令進(jìn)行相關(guān)操作，進(jìn)一步的提高了用戶使用讀屏應(yīng)用的操作便利性;尤其是針對存在一定功能障礙的人群(例如視覺障礙的殘障人員、老年人等特殊群體)來講，其操作便利性的提高尤為明顯。
【附圖說明】
[0031]為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0032]其中:
[0033]圖1為一個實施例中一種基于紅外傳感器的讀屏應(yīng)用指令輸入方法的流程示意圖；
[0034]圖2為另一個實施例中一種基于紅外傳感器的讀屏應(yīng)用指令輸入方法的流程示意圖；
[0035]圖3為一個實施例中動作/手勢數(shù)據(jù)庫的反饋更新方法的流程示意圖；
[0036]圖4為一個實施例中一種基于紅外傳感器的讀屏應(yīng)用指令輸入裝置的結(jié)構(gòu)示意圖；
[0037]圖5為一個實施例中運(yùn)行前述基于紅外傳感器的讀屏應(yīng)用指令輸入方法的計算機(jī)設(shè)備的結(jié)構(gòu)示意圖。
【具體實施方式】
[0038]下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護(hù)的范圍。
[0039]為解決傳統(tǒng)技術(shù)中的智能手機(jī)等終端設(shè)備的操作方式存在操作的便利性不足的技術(shù)問題，在本實施例中，特提出了一種基于紅外傳感器的讀屏應(yīng)用指令輸入方法，該方法的實現(xiàn)可依賴于計算機(jī)程序，該計算機(jī)程序可運(yùn)行于基于馮諾依曼體系的計算機(jī)系統(tǒng)之上，該計算機(jī)程序可以是與基于紅外傳感器的體感識別功能對應(yīng)的與Voiceover、Talkback等讀屏軟件和其他類似功能的應(yīng)用、與輔助操作功能(包括但不限于Voiceover、Talkback等讀屏軟件和其他類似功能的應(yīng)用)關(guān)聯(lián)的與紅外傳感器對應(yīng)的體感識別/動作識別的應(yīng)用程序。該計算機(jī)系統(tǒng)可以是安裝了紅外傳感器或者可以與外設(shè)的包含了紅外傳感器的設(shè)備連接的智能手機(jī)、平板電腦、掌上電腦、筆記本電腦或個人電腦等計算機(jī)設(shè)備。
[0040]需要說明的是，終端的讀屏應(yīng)用，有些是用戶安裝的，有些也可能是原先就內(nèi)置的:例如基于1S系統(tǒng)的voiceover就是內(nèi)置的，基于windows系統(tǒng)的NVDA就是用戶安裝的第三方軟件。
[0041]具體的，如圖1所示，上述基于可穿戴設(shè)備的讀屏應(yīng)用指令輸入方法包括如下步驟:
[0042]步驟SlOl:通過紅外傳感器獲取紅外視頻圖像，提取所述紅外視頻圖像的人體動作數(shù)據(jù)。
[0043]在本實施例中，紅外傳感器可以是終端內(nèi)置的裝置，也可以是與終端相連的外設(shè)的紅外傳感器。具體的，上述紅外傳感器包括了紅外線信號輸出模塊和紅外圖像采集模塊，且紅外線信號輸出模塊用于向外發(fā)射紅外線信號，例如，紅外線信號輸出模塊可以由一個或者多個紅外二極管構(gòu)成;另外，紅外圖像采集模塊用于采集紅外視頻圖像。
[0044]例如，若紅外傳感器是與終端相連的外設(shè)紅外傳感器時，該紅外傳感器包括了通信模塊，紅外傳感器通過該通信模塊與終端通過WIFI或藍(lán)牙等無線通信連接的方式或者有線通信連接的方式進(jìn)行連接，并且通過上述連接傳輸數(shù)據(jù)，例如紅外傳感器通過上述通信連接向終端發(fā)送獲取到的紅外視頻圖像。
[0045]在本步驟中，終端采集到的紅外視頻圖像之后，對該紅外視頻圖像進(jìn)行圖像處理，獲取該紅外視頻圖像中的人體動作數(shù)據(jù)，獲取人體動作數(shù)據(jù)的過程即為圖像識別的過程。
[0046]具體的，在本實施例中，上述人體動作數(shù)據(jù)可以是用戶的手部動作信息(即手勢操作)，也可以是用戶的肢體動作信息(即動作操作)，在其他實施例中，人體動作數(shù)據(jù)還可以是其他可以表示與用戶對應(yīng)的人體動作對應(yīng)的數(shù)據(jù)或信息。
[0047]在一個實施例中，上述人體動作數(shù)據(jù)獲取的過程可以是:根據(jù)紅外視頻圖像的每一個圖像幀，獲取每個圖像幀中的手部區(qū)域或人像區(qū)域以及與該區(qū)域?qū)?yīng)的外部輪廓，該外部輪廓可以根據(jù)紅外視頻圖像的圖像中的熱成像獲取，通過幀間編碼獲取手部區(qū)域或人像區(qū)域以及與該區(qū)域?qū)?yīng)的外部輪廓在每個圖像幀之間的變化，從而獲取用戶手部的運(yùn)動軌跡或者肢體動作。
[0048]在另一個實施例中，上述人體動作數(shù)據(jù)獲取的過程還可以是，獲取紅外視頻圖像的每一個圖像幀，根據(jù)預(yù)設(shè)的手部結(jié)構(gòu)樣本，在每個圖像幀中確定手部的待測特征點(diǎn)，并根據(jù)紅外視頻圖像中的每個圖像幀的手部待測特征點(diǎn)，確定用戶雙手的動作軌跡/動作名稱和/或位置。
[0049]需要說明的是，在本實施例中，上述人體動作數(shù)據(jù)獲取的過程的具體實現(xiàn)方式不限于上述給出的具體人體動作數(shù)據(jù)獲取的方式，還可以包括其他可提取紅外視頻圖像中用戶手部動作或肢體動作的任意圖像識別算法，在這里不一一列舉。
[0050]步驟S102:獲取所述人體動作數(shù)據(jù)的特征數(shù)據(jù)。
[0051]在本實施例中，將人體動作數(shù)據(jù)與預(yù)設(shè)的參數(shù)進(jìn)行匹配時，是通過對人體動作數(shù)據(jù)的特征參數(shù)進(jìn)行比對的，例如，在人體動作數(shù)據(jù)為用戶手部的運(yùn)動軌跡時，需要對該運(yùn)動軌跡的預(yù)設(shè)數(shù)量的特征點(diǎn)的位置以及該運(yùn)動軌跡的形成時長進(jìn)行比對，因此，在獲取到人體動作數(shù)據(jù)之后，需要對該人體動作數(shù)據(jù)進(jìn)行數(shù)據(jù)分析和/或特征提取，獲取與該人體動作數(shù)據(jù)對應(yīng)的特征參數(shù)。
[0052]例如，特征數(shù)據(jù)可以是用戶手部動作的運(yùn)動軌跡或者用戶手部的指尖動作的運(yùn)動軌跡對應(yīng)的特征點(diǎn)的位置信息、運(yùn)動軌跡的形成時長，也可以是動作幅度大小等信息。特征數(shù)據(jù)是用來與預(yù)設(shè)的動作/手勢數(shù)據(jù)庫中的動作/手勢樣本中的相關(guān)參數(shù)進(jìn)行比對的。
[0053]步驟S103:在預(yù)設(shè)的動作/手勢數(shù)據(jù)庫中查找與特征數(shù)據(jù)匹配的目標(biāo)動作/手勢。
[0054]在本實施例中，讀屏應(yīng)用可識別的動作/手勢包括但不限于左劃、右劃、上下滑動、雙擊、單擊等，用戶可根據(jù)需要設(shè)置多個動作/手勢，例如雙指縮放。
[0055]動作/手勢數(shù)據(jù)庫是讀屏應(yīng)用中預(yù)設(shè)的操作動作/手勢，也就是說，當(dāng)檢測到與動作/手勢數(shù)據(jù)庫中的操作動作/手勢匹配的操作動作/手勢時，即可將該操作動作/手勢判定為有效動作/手勢，否則判定為無效操作動作/手勢。
[0056]在本實施例中，需預(yù)先設(shè)定動作/手勢數(shù)據(jù)庫中的操作動作/手勢與通過攝像頭識別的用戶的人體動作數(shù)據(jù)之間的對應(yīng)關(guān)系，也即設(shè)定動作/手勢數(shù)據(jù)庫中的操作動作/手勢與通過步驟SlOl中識別的人體動作數(shù)據(jù)的特征數(shù)據(jù)之間的對應(yīng)關(guān)系。在上述對應(yīng)關(guān)系建立之后，可通過該對應(yīng)關(guān)系在預(yù)設(shè)的動作/手勢數(shù)據(jù)庫中查找與特征數(shù)據(jù)對應(yīng)的目標(biāo)動作/手勢，即與攝像頭采集到的視頻圖像中與用戶相關(guān)的人體動作數(shù)據(jù)通過可穿戴設(shè)備輸入的人體動作數(shù)據(jù)對應(yīng)的目標(biāo)動作/手勢。
[0057]需要說明的是，在本實施例中，在目標(biāo)動作/手勢與特征數(shù)據(jù)的匹配關(guān)系是根據(jù)特征數(shù)據(jù)確定的。例如，在特征數(shù)據(jù)是特征點(diǎn)信息時，上述匹配關(guān)系可以是與目標(biāo)動作/手勢對應(yīng)的預(yù)設(shè)軌跡上的特征點(diǎn)與運(yùn)動軌跡數(shù)據(jù)上的特征點(diǎn)的匹配度超過預(yù)設(shè)值，在其他實施例中，在特征數(shù)據(jù)是運(yùn)動軌跡的幅度、長度、時長等信息時，上述匹配關(guān)系還可以是運(yùn)動軌跡的幅度、長度、時長等參數(shù)滿足與目標(biāo)動作/手勢對應(yīng)的預(yù)設(shè)值。
[0058]步驟S104:確定與目標(biāo)動作/手勢對應(yīng)的讀屏功能操作。
[0059]步驟S105:執(zhí)行讀屏功能操作。
[0060]具體實現(xiàn)中，在讀屏應(yīng)用中，每一個操作動作/手勢均對應(yīng)了一個具體的操作指令，例如，可以設(shè)置“單擊”對應(yīng)的選中觸摸點(diǎn)所在的按鈕/區(qū)域并播放與該按鈕/區(qū)域?qū)?yīng)的語音消息，還可以設(shè)置“雙擊”對應(yīng)打開當(dāng)前選中框?qū)?yīng)的鏈接/頁面。
[0061]在本實施例中，目標(biāo)動作/手勢對應(yīng)的讀屏功能操作包括但不限于打開讀屏應(yīng)用、打開某個頁面、改變讀屏選中框的位置等。并且，目標(biāo)動作/手勢對應(yīng)的讀屏功能操作可以根據(jù)預(yù)設(shè)的對應(yīng)關(guān)系進(jìn)行確定，例如，當(dāng)步驟SlOl中輸入的運(yùn)動操作數(shù)據(jù)為晃動兩下時，對應(yīng)的目標(biāo)動作/手勢可以為輕點(diǎn)兩下，對應(yīng)的讀屏功能操作為打開當(dāng)前讀屏選中框?qū)?yīng)的頁面/鏈接。
[0062]可選的，在一個實施例中，在步驟S105之后，針對讀屏功能操作的執(zhí)行結(jié)果，用戶還可以通過語音播放的形式獲知相關(guān)的指令執(zhí)行結(jié)果，以便用戶在不用查看終端的顯示屏幕上的相關(guān)內(nèi)容的情況下，通過聲音獲知相關(guān)的讀屏功能操作的執(zhí)行情況。
[0063]具體的，如圖2所示，在步驟S105中，執(zhí)行所述讀屏功能操作之后還包括如下步驟:
[0064]步驟S106:獲取所述讀屏功能操作的執(zhí)行結(jié)果；
[0065]步驟S107:在所述預(yù)設(shè)的語音數(shù)據(jù)庫中查找與所述讀屏功能操作的執(zhí)行結(jié)果對應(yīng)的語音提示消息；
[0066]步驟S108:播放所述語音提示消息。
[0067]讀屏功能操作的執(zhí)行結(jié)果包括了執(zhí)行成功、執(zhí)行失敗，并且執(zhí)行成功還包括了該讀屏功能指令的具體指令結(jié)果，例如，選中了當(dāng)前顯示界面的某個空間或者圖片等信息，還例如，移動了當(dāng)前顯示界面上的徐中框所在的位置，再例如，打開了一個新的操作頁面等。
[0068]例如，當(dāng)讀屏功能操作打開了QQ音樂的操作頁面時，語音提示消息可以是:QQ音樂已被打開。再例如，當(dāng)讀屏功能操作的執(zhí)行結(jié)果對應(yīng)的是選中了當(dāng)前顯示界面中的“刪除”按鈕，則語音提示消息可以是:選中按鈕“返回”。
[0069]在一個實施例中，可以根據(jù)終端的顯示界面上的具體內(nèi)容確定步驟S105中所執(zhí)行的讀屏功能操作的具體內(nèi)容。
[0070]具體的，上述步驟S103:在預(yù)設(shè)的動作/手勢數(shù)據(jù)庫中查找與特征數(shù)據(jù)匹配的目標(biāo)動作/手勢的步驟之后還包括:獲取終端的當(dāng)前顯示界面，獲取當(dāng)前顯示界面的讀屏功能選中框;并且，步驟S104:確定與目標(biāo)動作/手勢對應(yīng)的讀屏功能操作的步驟具體為:根據(jù)當(dāng)前顯示界面的讀屏功能選中框確定與目標(biāo)動作/手勢對應(yīng)的讀屏功能操作。
[0071]終端的當(dāng)前顯示界面即在終端的顯示界面展示的相關(guān)內(nèi)容。讀屏功能選中框為顯示界面上與讀屏應(yīng)用對應(yīng)的選中框，一般來講，在終端的顯示界面上的讀屏功能選中框的數(shù)量為一個，讀屏功能選中框可以對應(yīng)一個按鈕，也可以對應(yīng)一個圖標(biāo)、或者一個控件、或者一段文字、或者一個鏈接等。
[0072]需要說明的是，在本實施例中，若讀屏功能選中框?qū)?yīng)的是一個可操作的按鈕，則針對該讀屏功能選中框的操作包括但不限于點(diǎn)擊進(jìn)去、移動選中框、返回上一級目錄等;若讀屏功能選中框?qū)?yīng)的是一段不可操作的文字，則針對該讀屏功能選中框的操作可以是移動選中框，卻不能是點(diǎn)擊進(jìn)入等操作。因此，針對讀屏功能選中框?qū)?yīng)的具體內(nèi)容不同，目標(biāo)動作/手勢對應(yīng)的操作指令也會隨之發(fā)生改變。
[0073]具體的，根據(jù)當(dāng)前顯示界面的讀屏功能選中框，確定與目標(biāo)動作/手勢對應(yīng)的讀屏功能操作，并在步驟S105中執(zhí)行該讀屏功能操作。
[0074]在另一個實施例中，上述讀屏功能操作的具體內(nèi)容由讀屏應(yīng)用來確定。具體的，上述步驟S104:確定與所述目標(biāo)動作/手勢對應(yīng)的讀屏功能操作具體為:將目標(biāo)動作/手勢發(fā)送給讀屏應(yīng)用，所述讀屏應(yīng)用用于根據(jù)所述目標(biāo)動作/手勢在所述預(yù)設(shè)的讀屏功能操作數(shù)據(jù)庫中查找與所述目標(biāo)動作/手勢匹配的讀屏功能操作。
[0075]也就是說，在步驟S103中查找到目標(biāo)動作/手勢之后，將該目標(biāo)動作/手勢發(fā)送給讀屏應(yīng)用，讀屏應(yīng)用在接收到該目標(biāo)動作/手勢之后，根據(jù)該目標(biāo)動作/手勢在讀屏應(yīng)用的讀屏功能操作數(shù)據(jù)庫中，根據(jù)操作動作/手勢與讀屏功能操作之間的對應(yīng)關(guān)系，查找與目標(biāo)動作/手勢對應(yīng)的讀屏功能操作。主要說明的是，在本實施例中，目標(biāo)動作/手勢對應(yīng)的讀屏功能操作是唯一的，且若沒有查找到對應(yīng)的讀屏功能操作，則將對應(yīng)的目標(biāo)動作/手勢判定為無效操作動作/手勢。即對于讀屏應(yīng)用來講，本實施例所公開的內(nèi)容并不需要改變讀屏應(yīng)用本身的結(jié)果，只需要一個對應(yīng)的目標(biāo)動作/手勢接收的接口即可，通過可穿戴設(shè)備輸入的相關(guān)數(shù)據(jù)的接收和提取均可由其他應(yīng)用完成。
[0076]在一個實施例中，讀屏功能操作為音頻應(yīng)用開啟操作;上述步驟S105:執(zhí)行讀屏功能操作的步驟具體為:根據(jù)音頻應(yīng)用開啟操作啟動與音頻應(yīng)用開啟操作對應(yīng)的音頻應(yīng)用。
[0077]也就是說，用戶可以預(yù)先設(shè)置音頻應(yīng)用的開啟條件，即與音頻應(yīng)用開啟操作對應(yīng)的目標(biāo)動作/手勢以及與目標(biāo)動作/手勢對應(yīng)的人體動作數(shù)據(jù)的特征數(shù)據(jù)應(yīng)該滿足的要求，或者與音頻應(yīng)用開啟操作對應(yīng)的目標(biāo)動作/手勢與運(yùn)動操作的特征數(shù)據(jù)之間的對應(yīng)關(guān)系；從而使得用戶可以在任意界面均可以直接開啟音頻應(yīng)用，這對于視覺障礙的殘障人員來講，可以更便捷地開啟使用頻率最高的音頻應(yīng)用，提高了操作的便利性。
[0078]在本實施例中，如圖2所示，可選的步驟還包括:在步驟SlOI之前還包括步驟SlOO:接收用戶輸入的讀屏應(yīng)用開啟指令，讀屏應(yīng)用開啟指令與讀屏應(yīng)用對應(yīng)，根據(jù)讀屏應(yīng)用開啟指令啟動讀屏應(yīng)用。
[0079]讀屏應(yīng)用開啟指令即為與終端中安裝的讀屏應(yīng)用對應(yīng)的應(yīng)用開啟指令，對于視覺障礙的殘障人員來講，使用手機(jī)的第一步就需要開啟讀屏應(yīng)用，將手機(jī)設(shè)置了讀屏模式以方便使用。用戶可預(yù)先設(shè)置讀屏應(yīng)用開啟指令的具體操作或者系統(tǒng)也可以進(jìn)行相關(guān)的設(shè)定，例如，連續(xù)點(diǎn)擊Home鍵3次，當(dāng)終端檢測到用戶輸入的讀屏應(yīng)用開啟指令時，根據(jù)檢測到的讀屏應(yīng)用開啟指令啟動讀屏應(yīng)用，將終端設(shè)置為讀屏模式。
[0080]可選的，在一個實施例中，還可以根據(jù)用戶每次輸入的運(yùn)動操作對數(shù)據(jù)庫進(jìn)行矯正，也就是說，根據(jù)用戶每次輸入的運(yùn)動操作和用戶的輸入習(xí)慣，建立與用戶對應(yīng)的個性化動作/手勢數(shù)據(jù)庫，使得用戶在下一次輸入操作的過程中，與樣本數(shù)據(jù)庫的比對更為快速和精準(zhǔn)。
[0081]具體的，如圖3所示，在所述在預(yù)設(shè)的動作/手勢數(shù)據(jù)庫中查找與所述特征數(shù)據(jù)匹配的目標(biāo)動作/手勢的步驟之后，上述方法還包括如下步驟:
[0082]步驟S2011:獲取用戶輸入的針對所述目標(biāo)動作/手勢的反饋信息；
[0083]或
[0084]步驟S2012:獲取所述特征數(shù)據(jù)與所述目標(biāo)動作/手勢的匹配參考值，根據(jù)所述匹配參考值生成針對所述目標(biāo)動作/手勢的反饋信息；
[0085]步驟S202:根據(jù)所述反饋信息確定所述預(yù)設(shè)的動作/手勢數(shù)據(jù)庫的更新數(shù)據(jù)；
[0086]步驟S203:根據(jù)所述更新數(shù)據(jù)刷新所述預(yù)設(shè)的動作/手勢數(shù)據(jù)庫。
[0087]反饋信息包括了目標(biāo)動作/手勢的查找結(jié)果不符合用戶預(yù)期時用戶在相應(yīng)的反饋頁面輸入的反饋信息，還包括了用戶輸入的運(yùn)動操作的具體的操作參數(shù)與預(yù)設(shè)的動作/手勢數(shù)據(jù)庫中的樣本參數(shù)之間的匹配程度確定的用戶輸入習(xí)慣的反饋信息，也就是說，反饋信息可以是用戶手動反饋的，也可以終端根據(jù)用戶的操作習(xí)慣確定的。
[0088]在反饋信息獲取到之后，根據(jù)反饋信息的具體內(nèi)容，對預(yù)設(shè)的動作/手勢數(shù)據(jù)庫中的樣本參數(shù)、以及樣本參數(shù)與操作參數(shù)之間的對應(yīng)關(guān)系進(jìn)行修正，然后更新動作/手勢數(shù)據(jù)庫，以便下一次用戶輸入相應(yīng)操作時使用的動作/手勢數(shù)據(jù)庫為更新后的數(shù)據(jù)庫。
[0089]此外，為解決傳統(tǒng)技術(shù)中的智能手機(jī)等終端設(shè)備的操作方式存在的操作的便利性不足的技術(shù)問題，在一個實施例中，還提出了一種基于紅外傳感器的讀屏應(yīng)用指令輸入裝置，如圖4所示，上述裝置包括人體動作數(shù)據(jù)獲取模塊101、特征數(shù)據(jù)獲取模塊102、目標(biāo)動作/手勢查找模塊103以及操作確定執(zhí)行模塊104。
[0090]具體的，人體動作數(shù)據(jù)獲取模塊101，用于通過紅外傳感器獲取紅外視頻圖像，提取所述紅外視頻圖像的人體動作數(shù)據(jù)。
[0091]在本實施例中，紅外傳感器可以是終端內(nèi)置的裝置，也可以是與終端相連的外設(shè)的紅外傳感器。具體的，上述紅外傳感器包括了紅外線信號輸出模塊和紅外圖像采集模塊，且紅外線信號輸出模塊用于向外發(fā)射紅外線信號，例如，紅外線信號輸出模塊可以由一個或者多個紅外二極管構(gòu)成;另外，紅外圖像采集模塊用于采集紅外視頻圖像。
[0092]例如，若紅外傳感器是與終端相連的外設(shè)紅外傳感器時，該紅外傳感器包括了通信模塊，紅外傳感器通過該通信模塊與終端通過WIFI或藍(lán)牙等無線通信連接的方式或者有線通信連接的方式進(jìn)行連接，并且通過上述連接傳輸數(shù)據(jù)，例如紅外傳感器通過上述通信連接向終端發(fā)送獲取到的紅外視頻圖像。
[0093]人體動作數(shù)據(jù)獲取模塊101采集到的紅外視頻圖像之后，對該紅外視頻圖像進(jìn)行圖像處理，獲取該紅外視頻圖像中的人體動作數(shù)據(jù)，獲取人體動作數(shù)據(jù)的過程即為圖像識別的過程。
[0094]具體的，在本實施例中，上述人體動作數(shù)據(jù)可以是用戶的手部動作信息(即手勢操作)，也可以是用戶的肢體動作信息(即動作操作)，在其他實施例中，人體動作數(shù)據(jù)還可以是其他可以表示與用戶對應(yīng)的人體動作對應(yīng)的數(shù)據(jù)或信息。
[0095]在一個實施例中，上述人體動作數(shù)據(jù)獲取的過程可以是:人體動作數(shù)據(jù)獲取模塊101根據(jù)紅外視頻圖像的每一個圖像幀，獲取每個圖像幀中的手部區(qū)域或人像區(qū)域以及與該區(qū)域?qū)?yīng)的外部輪廓，該外部輪廓可以根據(jù)紅外視頻圖像的圖像中的熱成像獲取，通過幀間編碼獲取手部區(qū)域或人像區(qū)域以及與該區(qū)域?qū)?yīng)的外部輪廓在每個圖像幀之間的變化，從而獲取用戶手部的運(yùn)動軌跡或者肢體動作。
[0096]在另一個實施例中，上述人體動作數(shù)據(jù)獲取的過程還可以是，人體動作數(shù)據(jù)獲取模塊101獲取紅外視頻圖像的每一個圖像幀，根據(jù)預(yù)設(shè)的手部結(jié)構(gòu)樣本，在每個圖像幀中確定手部的待測特征點(diǎn)，并根據(jù)紅外視頻圖像中的每個圖像幀的手部待測特征點(diǎn)，確定用戶雙手的動作軌跡/動作名稱和/或位置。
[0097]需要說明的是，在本實施例中，上述人體動作數(shù)據(jù)獲取的過程的具體實現(xiàn)方式不限于上述給出的具體人體動作數(shù)據(jù)獲取的方式，還可以包括其他可提取紅外視頻圖像中用戶手部動作或肢體動作的任意圖像識別算法，在這里不一一列舉。
[0098]特征數(shù)據(jù)獲取模塊102，用于獲取所述人體動作數(shù)據(jù)的特征數(shù)據(jù).
[0099]在本實施例中，將人體動作數(shù)據(jù)與預(yù)設(shè)的參數(shù)進(jìn)行匹配時，是通過對人體動作數(shù)據(jù)的特征參數(shù)進(jìn)行比對的，例如，在人體動作數(shù)據(jù)為用戶手部的運(yùn)動軌跡時，需要對該運(yùn)動軌跡的預(yù)設(shè)數(shù)量的特征點(diǎn)的位置以及該運(yùn)動軌跡的形成時長進(jìn)行比對，因此，在人體動作數(shù)據(jù)獲取模塊101獲取到人體動作數(shù)據(jù)之后，特征數(shù)據(jù)獲取模塊102需要對該人體動作數(shù)據(jù)進(jìn)行數(shù)據(jù)分析和/或特征提取，獲取與該人體動作數(shù)據(jù)對應(yīng)的特征參數(shù)。
[0100]例如，特征數(shù)據(jù)可以是用戶手部動作的運(yùn)動軌跡或者用戶手部的指尖動作的運(yùn)動軌跡對應(yīng)的特征點(diǎn)的位置信息、運(yùn)動軌跡的形成時長，也可以是動作幅度大小等信息。特征數(shù)據(jù)是用來與預(yù)設(shè)的動作/手勢數(shù)據(jù)庫中的動作/手勢樣本中的相關(guān)參數(shù)進(jìn)行比對的。
[0101]目標(biāo)動作/手勢查找模塊103，用于在預(yù)設(shè)的動作/手勢數(shù)據(jù)庫中查找與所述特征數(shù)據(jù)匹配的目標(biāo)動作/手勢。
[0102]在本實施例中，讀屏應(yīng)用可識別的動作/手勢包括但不限于左劃、右劃、上下滑動、雙擊、單擊等，用戶可根據(jù)需要設(shè)置多個動作/手勢，例如雙指縮放。
[0103]動作/手勢數(shù)據(jù)庫是讀屏應(yīng)用中預(yù)設(shè)的操作動作/手勢，也就是說，當(dāng)檢測到與動作/手勢數(shù)據(jù)庫中的操作動作/手勢匹配的操作動作/手勢時，即可將該操作動作/手勢判定為有效動作/手勢，否則判定為無效操作動作/手勢。
[0104]在本實施例中，需預(yù)先設(shè)定動作/手勢數(shù)據(jù)庫中的操作動作/手勢與通過攝像頭識別的用戶的人體動作數(shù)據(jù)之間的對應(yīng)關(guān)系，也即設(shè)定動作/手勢數(shù)據(jù)庫中的操作動作/手勢與人體動作數(shù)據(jù)獲取模塊101識別的人體動作數(shù)據(jù)的特征數(shù)據(jù)之間的對應(yīng)關(guān)系。在上述對應(yīng)關(guān)系建立之后，可通過該對應(yīng)關(guān)系在預(yù)設(shè)的動作/手勢數(shù)據(jù)庫中查找與特征數(shù)據(jù)對應(yīng)的目標(biāo)動作/手勢，即與攝像頭采集到的視頻圖像中與用戶相關(guān)的人體動作數(shù)據(jù)通過可穿戴設(shè)備輸入的人體動作數(shù)據(jù)對應(yīng)的目標(biāo)動作/手勢。
[0105]需要說明的是，在本實施例中，在目標(biāo)動作/手勢與特征數(shù)據(jù)的匹配關(guān)系是根據(jù)特征數(shù)據(jù)確定的。例如，在特征數(shù)據(jù)是特征點(diǎn)信息時，上述匹配關(guān)系可以是與目標(biāo)動作/手勢對應(yīng)的預(yù)設(shè)軌跡上的特征點(diǎn)與運(yùn)動軌跡數(shù)據(jù)上的特征點(diǎn)的匹配度超過預(yù)設(shè)值，在其他實施例中，在特征數(shù)據(jù)是運(yùn)動軌跡的幅度、長度、時長等信息時，上述匹配關(guān)系還可以是運(yùn)動軌跡的幅度、長度、時長等參數(shù)滿足與目標(biāo)動作/手勢對應(yīng)的預(yù)設(shè)值。
[0106]操作確定執(zhí)行模塊104，用于確定與所述目標(biāo)動作/手勢對應(yīng)的讀屏功能操作，執(zhí)行所述讀屏功能操作。
[0107]具體實現(xiàn)中，在讀屏應(yīng)用中，每一個操作動作/手勢均對應(yīng)了一個具體的操作指令，例如，可以設(shè)置“單擊”對應(yīng)的選中觸摸點(diǎn)所在的按鈕/區(qū)域并播放與該按鈕/區(qū)域?qū)?yīng)的語音消息，還可以設(shè)置“雙擊”對應(yīng)打開當(dāng)前選中框?qū)?yīng)的鏈接/頁面。
[0108]在本實施例中，目標(biāo)動作/手勢對應(yīng)的讀屏功能操作包括但不限于打開讀屏應(yīng)用、打開某個頁面、改變讀屏選中框的位置等。并且，目標(biāo)動作/手勢對應(yīng)的讀屏功能操作可以根據(jù)預(yù)設(shè)的對應(yīng)關(guān)系進(jìn)行確定，例如，當(dāng)人體動作數(shù)據(jù)獲取模塊101獲取的運(yùn)動操作數(shù)據(jù)為晃動兩下時，對應(yīng)的目標(biāo)動作/手勢可以為輕點(diǎn)兩下，對應(yīng)的讀屏功能操作為打開當(dāng)前讀屏選中框?qū)?yīng)的頁面/鏈接。
[0109]可選的，在一個實施例中，針對讀屏功能操作的執(zhí)行結(jié)果，用戶還可以通過語音播放的形式獲知相關(guān)的指令執(zhí)行結(jié)果，以便用戶在不用查看終端的顯示屏幕上的相關(guān)內(nèi)容的情況下，通過聲音獲知相關(guān)的讀屏功能操作的執(zhí)行情況。
[0110]具體的，如圖4所示，所述裝置還包括語音提示消息播放模塊105，用于:獲取所述讀屏功能操作的執(zhí)行結(jié)果;在所述預(yù)設(shè)的語音數(shù)據(jù)庫中查找與所述讀屏功能操作的執(zhí)行結(jié)果對應(yīng)的語音提示消息;播放所述語音提示消息。
[0111]讀屏功能操作的執(zhí)行結(jié)果包括了執(zhí)行成功、執(zhí)行失敗，并且執(zhí)行成功還包括了該讀屏功能指令的具體指令結(jié)果，例如，選中了當(dāng)前顯示界面的某個空間或者圖片等信息，還例如，移動了當(dāng)前顯示界面上的徐中框所在的位置，再例如，打開了一個新的操作頁面等。
[0112]例如，當(dāng)讀屏功能操作打開了QQ音樂的操作頁面時，語音提示消息播放模塊105播放的語音提示消息可以是:QQ音樂已被打開。再例如，當(dāng)讀屏功能操作的執(zhí)行結(jié)果對應(yīng)的是選中了當(dāng)前顯示界面中的“刪除”按鈕，則語音提示消息播放模塊105播放的語音提示消息可以是:選中按鈕“返回”。
[0113]在一個實施例中，可以根據(jù)終端的顯示界面上的具體內(nèi)容確定操作確定執(zhí)行模塊104所執(zhí)行的讀屏功能操作的具體內(nèi)容。
[0114]具體的，如圖4所示，所述裝置還包括顯示界面獲取模塊106，用于獲取終端的當(dāng)前顯示界面，獲取所述當(dāng)前顯示界面的讀屏功能選中框;所述操作確定執(zhí)行模塊104還用于根據(jù)所述當(dāng)前顯示界面的讀屏功能選中框確定與所述目標(biāo)動作/手勢對應(yīng)的讀屏功能操作。
[0115]終端的當(dāng)前顯示界面即在終端的顯示界面展示的相關(guān)內(nèi)容。讀屏功能選中框為顯示界面上與讀屏應(yīng)用對應(yīng)的選中框，一般來講，在終端的顯示界面上的讀屏功能選中框的數(shù)量為一個，讀屏功能選中框可以對應(yīng)一個按鈕，也可以對應(yīng)一個圖標(biāo)、或者一個控件、或者一段文字、或者一個鏈接等。
[0116]需要說明的是，在本實施例中，若讀屏功能選中框?qū)?yīng)的是一個可操作的按鈕，則針對該讀屏功能選中框的操作包括但不限于點(diǎn)擊進(jìn)去、移動選中框、返回上一級目錄等;若讀屏功能選中框?qū)?yīng)的是一段不可操作的文字，則針對該讀屏功能選中框的操作可以是移動選中框，卻不能是點(diǎn)擊進(jìn)入等操作。因此，針對讀屏功能選中框?qū)?yīng)的具體內(nèi)容不同，目標(biāo)動作/手勢對應(yīng)的操作指令也會隨之發(fā)生改變。
[0117]具體的，操作確定執(zhí)行模塊104根據(jù)當(dāng)前顯示界面的讀屏功能選中框，確定與目標(biāo)動作/手勢對應(yīng)的讀屏功能操作，執(zhí)行該讀屏功能操作。
[0118]在另一個實施例中，上述讀屏功能操作的具體內(nèi)容由讀屏應(yīng)用來確定。
[0119]具體的，所述操作確定執(zhí)行模塊104還用于:將所述目標(biāo)動作/動作/手勢發(fā)送給讀屏應(yīng)用，所述讀屏應(yīng)用用于根據(jù)所述目標(biāo)動作/動作/手勢在所述預(yù)設(shè)的讀屏功能操作數(shù)據(jù)庫中查找與所述目標(biāo)動作/動作/手勢匹配的讀屏功能操作。
[0120]也就是說，在目標(biāo)動作/手勢查找模塊103查找到目標(biāo)動作/手勢之后，操作確定執(zhí)行模塊104將該目標(biāo)動作/手勢發(fā)送給讀屏應(yīng)用，讀屏應(yīng)用在接收到該目標(biāo)動作/手勢之后，根據(jù)該目標(biāo)動作/手勢在讀屏應(yīng)用的讀屏功能操作數(shù)據(jù)庫中，根據(jù)操作動作/手勢與讀屏功能操作之間的對應(yīng)關(guān)系，查找與目標(biāo)動作/手勢對應(yīng)的讀屏功能操作。需要說明的是，在本實施例中，目標(biāo)動作/手勢對應(yīng)的讀屏功能操作是唯一的，且若沒有查找到對應(yīng)的讀屏功能操作，則將對應(yīng)的目標(biāo)動作/手勢判定為無效操作動作/手勢。即對于讀屏應(yīng)用來講，本實施例所公開的內(nèi)容并不需要改變讀屏應(yīng)用本身的結(jié)果，只需要一個對應(yīng)的目標(biāo)動作/手勢接收的接口即可，通過可穿戴設(shè)備輸入的相關(guān)數(shù)據(jù)的接收和提取均可由其他應(yīng)用完成。
[0121]在一個實施例中，讀屏功能操作為音頻應(yīng)用開啟操作;所述操作確定執(zhí)行模塊104還用于:根據(jù)所述音頻應(yīng)用開啟操作啟動與所述音頻應(yīng)用開啟操作對應(yīng)的音頻應(yīng)用。
[0122]也就是說，用戶可以預(yù)先設(shè)置音頻應(yīng)用的開啟條件，即與音頻應(yīng)用開啟操作對應(yīng)的目標(biāo)動作/手勢以及與目標(biāo)動作/手勢對應(yīng)的人體動作數(shù)據(jù)的特征數(shù)據(jù)應(yīng)該滿足的要求，或者與音頻應(yīng)用開啟操作對應(yīng)的目標(biāo)動作/手勢與運(yùn)動操作的特征數(shù)據(jù)之間的對應(yīng)關(guān)系；從而使得用戶可以在任意界面均可以直接開啟音頻應(yīng)用，這對于視覺障礙的殘障人員來講，可以更便捷地開啟使用頻率最高的音頻應(yīng)用，提高了操作的便利性。
[0123]在本實施例中，可選的，如圖4所示，所述裝置還包括讀屏應(yīng)用開啟模塊107，用于接收用戶輸入的讀屏應(yīng)用開啟指令，所述讀屏應(yīng)用開啟指令與所述讀屏應(yīng)用對應(yīng)，根據(jù)所述讀屏應(yīng)用開啟指令啟動所述讀屏應(yīng)用。
[0124]讀屏應(yīng)用開啟指令即為與終端中安裝的讀屏應(yīng)用對應(yīng)的應(yīng)用開啟指令，對于視覺障礙的殘障人員來講，使用手機(jī)的第一步就需要開啟讀屏應(yīng)用，將手機(jī)設(shè)置了讀屏模式以方便使用。用戶可預(yù)先設(shè)置讀屏應(yīng)用開啟指令的具體操作或者系統(tǒng)也可以進(jìn)行相關(guān)的設(shè)定，例如，連續(xù)點(diǎn)擊Home鍵3次，當(dāng)讀屏應(yīng)用開啟模塊107檢測到用戶輸入的讀屏應(yīng)用開啟指令時，根據(jù)檢測到的讀屏應(yīng)用開啟指令啟動讀屏應(yīng)用，將終端設(shè)置為讀屏模式。
[0125]可選的，在一個實施例中，還可以根據(jù)用戶每次輸入的運(yùn)動操作對數(shù)據(jù)庫進(jìn)行矯正，也就是說，根據(jù)用戶每次輸入的運(yùn)動操作和用戶的輸入習(xí)慣，建立與用戶對應(yīng)的個性化動作/手勢數(shù)據(jù)庫，使得用戶在下一次輸入操作的過程中，與樣本數(shù)據(jù)庫的比對更為快速和精準(zhǔn)。
[0126]具體的，如圖4所示，所述裝置還包括反饋信息獲取模塊108和數(shù)據(jù)庫更新模塊109，其中:所述反饋信息獲取模塊108用于:獲取用戶輸入的針對所述目標(biāo)動作/動作/手勢的反饋信息；或獲取所述特征數(shù)據(jù)與所述目標(biāo)動作/動作/手勢的匹配參考值，根據(jù)所述匹配參考值生成針對所述目標(biāo)動作/動作/手勢的反饋信息;所述數(shù)據(jù)庫更新模塊109用于:根據(jù)所述反饋信息確定所述預(yù)設(shè)的動作/動作/手勢數(shù)據(jù)庫的更新數(shù)據(jù);根據(jù)所述更新數(shù)據(jù)刷新所述預(yù)設(shè)的動作/動作/手勢數(shù)據(jù)庫。
[0127]反饋信息包括了目標(biāo)動作/手勢的查找結(jié)果不符合用戶預(yù)期時用戶在相應(yīng)的反饋頁面輸入的反饋信息，還包括了用戶輸入的運(yùn)動操作的具體的操作參數(shù)與預(yù)設(shè)的動作/手勢數(shù)據(jù)庫中的樣本參數(shù)之間的匹配程度確定的用戶輸入習(xí)慣的反饋信息，也就是說，反饋信息獲取模塊108獲取的反饋信息可以是用戶手動反饋的，也可以終端根據(jù)用戶的操作習(xí)慣確定的。
[0128]在反饋信息獲取模塊108獲取的反饋信息獲取到之后，數(shù)據(jù)庫更新模塊109根據(jù)反饋信息的具體內(nèi)容，對預(yù)設(shè)的動作/手勢數(shù)據(jù)庫中的樣本參數(shù)、以及樣本參數(shù)與操作參數(shù)之間的對應(yīng)關(guān)系進(jìn)行修正，然后更新動作/手勢數(shù)據(jù)庫，以便下一次用戶輸入相應(yīng)操作時使用的動作/手勢數(shù)據(jù)庫為更新后的數(shù)據(jù)庫。
[0129]實施本發(fā)明實施例，將具有如下有益效果:
[0130]采用了上述基于紅外傳感器的讀屏應(yīng)用指令輸入方法及裝置之后，用戶可以通過手部動作或者身體動作等運(yùn)動操作數(shù)據(jù)，在紅外傳感器的覆蓋范圍下，用戶的手部動作或者身體動作均可以被識別并被轉(zhuǎn)化為對應(yīng)的動作/手勢操作，從而確定用戶需要輸入的與讀屏應(yīng)用對應(yīng)的操作指令完成讀屏應(yīng)用的指令的輸入，實現(xiàn)了用戶通過運(yùn)動操作數(shù)據(jù)向終端的讀屏應(yīng)用輸入指令，相較于傳統(tǒng)技術(shù)中用戶必須通過終端的實體按鍵或觸控屏輸入指令的方案來講，可提高指令輸入的操作便利性;進(jìn)一步地，上述方案還實現(xiàn)了在用戶不手持終端的情況下也可操作終端，對讀屏應(yīng)用發(fā)送指令進(jìn)行相關(guān)操作，進(jìn)一步的提高了用戶使用讀屏應(yīng)用的操作便利性;尤其是針對存在一定功能障礙的人群(例如視覺障礙的殘障人員、老年人等特殊群體)來講，其操作便利性的提高尤為明顯。
[0131]在一個實施例中，如圖5所示，圖5展示了一種運(yùn)行上述基于紅外傳感器的讀屏應(yīng)用指令輸入方法的基于馮諾依曼體系的計算機(jī)系統(tǒng)的終端。該計算機(jī)系統(tǒng)可以是與可穿戴設(shè)備連接的智能手機(jī)、平板電腦、掌上電腦，筆記本電腦或個人電腦等終端設(shè)備。具體的，可包括通過系統(tǒng)總線連接的外部輸入接口 1001、處理器1002、存儲器1003和輸出接口 1004。其中，外部輸入接口 1001可選的可至少包括網(wǎng)絡(luò)接口 10012。存儲器1003可包括外存儲器10032(例如硬盤、光盤或軟盤等)和內(nèi)存儲器10034。輸出接口 1004可至少包括顯示屏10042等設(shè)備。
[0132]在本實施例中，本方法的運(yùn)行基于計算機(jī)程序，該計算機(jī)程序的程序文件存儲于前述基于馮諾依曼體系的計算機(jī)系統(tǒng)的外存儲器10032中，在運(yùn)行時被加載到內(nèi)存儲器10034中，然后被編譯為機(jī)器碼之后傳遞至處理器1002中執(zhí)行，從而使得基于馮諾依曼體系的計算機(jī)系統(tǒng)中形成邏輯上的人體動作數(shù)據(jù)獲取模塊101、特征數(shù)據(jù)獲取模塊102、目標(biāo)動作/手勢查找模塊103、操作確定執(zhí)行模塊104、語音提示消息播放模塊105、顯示界面獲取模塊106、讀屏應(yīng)用開啟模塊107、反饋信息獲取模塊108以及數(shù)據(jù)庫更新模塊109。且在上述基于紅外傳感器的讀屏應(yīng)用指令輸入方法執(zhí)行過程中，輸入的參數(shù)均通過外部輸入接口 1001接收，并傳遞至存儲器1003中緩存，然后輸入到處理器1002中進(jìn)行處理，處理的結(jié)果數(shù)據(jù)或緩存于存儲器1003中進(jìn)行后續(xù)地處理，或被傳遞至輸出接口 1004進(jìn)行輸出。
[0133]以上所揭露的僅為本發(fā)明較佳實施例而已，當(dāng)然不能以此來限定本發(fā)明之權(quán)利范圍，因此依本發(fā)明權(quán)利要求所作的等同變化，仍屬本發(fā)明所涵蓋的范圍。
【主權(quán)項】
1.一種基于紅外傳感器的讀屏應(yīng)用指令輸入方法，其特征在于，包括: 通過紅外傳感器獲取紅外視頻圖像，提取所述紅外視頻圖像的人體動作數(shù)據(jù)； 獲取所述人體動作數(shù)據(jù)的特征數(shù)據(jù)； 在預(yù)設(shè)的動作/手勢數(shù)據(jù)庫中查找與所述特征數(shù)據(jù)匹配的目標(biāo)動作/手勢； 確定與所述目標(biāo)動作/手勢對應(yīng)的讀屏功能操作，執(zhí)行所述讀屏功能操作。2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述執(zhí)行所述讀屏功能操作的步驟之后還包括: 獲取所述讀屏功能操作的執(zhí)行結(jié)果； 在所述預(yù)設(shè)的語音數(shù)據(jù)庫中查找與所述讀屏功能操作的執(zhí)行結(jié)果對應(yīng)的語音提示消息; 播放所述語音提示消息。3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述在預(yù)設(shè)的動作/手勢數(shù)據(jù)庫中查找與所述特征數(shù)據(jù)匹配的目標(biāo)動作/手勢的步驟之后還包括: 獲取終端的當(dāng)前顯示界面，獲取所述當(dāng)前顯示界面的讀屏功能選中框； 所述確定與所述目標(biāo)動作/手勢對應(yīng)的讀屏功能操作的步驟具體為: 根據(jù)所述當(dāng)前顯示界面的讀屏功能選中框確定與所述目標(biāo)動作/手勢對應(yīng)的讀屏功能操作。4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述讀屏功能操作為音頻應(yīng)用開啟操作； 所述執(zhí)行所述讀屏功能操作的步驟具體為: 根據(jù)所述音頻應(yīng)用開啟操作啟動與所述音頻應(yīng)用開啟操作對應(yīng)的音頻應(yīng)用。5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述確定與所述目標(biāo)動作/手勢對應(yīng)的讀屏功能操作的步驟具體為: 將所述目標(biāo)動作/手勢發(fā)送給讀屏應(yīng)用，所述讀屏應(yīng)用用于根據(jù)所述目標(biāo)動作/手勢在所述預(yù)設(shè)的讀屏功能操作數(shù)據(jù)庫中查找與所述目標(biāo)動作/手勢匹配的讀屏功能操作。6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述通過紅外傳感器獲取紅外視頻圖像的步驟之前還包括: 接收用戶輸入的讀屏應(yīng)用開啟指令，所述讀屏應(yīng)用開啟指令與所述讀屏應(yīng)用對應(yīng)，根據(jù)所述讀屏應(yīng)用開啟指令啟動所述讀屏應(yīng)用。7.根據(jù)權(quán)利要求1至6任一所述的方法，其特征在于，所述在預(yù)設(shè)的動作/動作/手勢數(shù)據(jù)庫中查找與所述特征數(shù)據(jù)匹配的目標(biāo)動作/動作/手勢的步驟之后還包括: 獲取用戶輸入的針對所述目標(biāo)動作/動作/手勢的反饋信息； 或 獲取所述特征數(shù)據(jù)與所述目標(biāo)動作/動作/手勢的匹配參考值，根據(jù)所述匹配參考值生成針對所述目標(biāo)動作/動作/手勢的反饋信息； 所述方法還包括: 根據(jù)所述反饋信息確定所述預(yù)設(shè)的動作/動作/手勢數(shù)據(jù)庫的更新數(shù)據(jù)； 根據(jù)所述更新數(shù)據(jù)刷新所述預(yù)設(shè)的動作/動作/手勢數(shù)據(jù)庫。8.一種基于紅外傳感器的讀屏應(yīng)用指令輸入裝置，其特征在于，包括: 人體動作數(shù)據(jù)獲取模塊，用于通過紅外傳感器獲取紅外視頻圖像，提取所述紅外視頻圖像的人體動作數(shù)據(jù)； 特征數(shù)據(jù)獲取模塊，用于獲取所述人體動作數(shù)據(jù)的特征數(shù)據(jù)； 目標(biāo)動作/手勢查找模塊，用于在預(yù)設(shè)的動作/手勢數(shù)據(jù)庫中查找與所述特征數(shù)據(jù)匹配的目標(biāo)動作/手勢； 操作確定執(zhí)行模塊，用于確定與所述目標(biāo)動作/手勢對應(yīng)的讀屏功能操作，執(zhí)行所述讀屏功能操作。9.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述裝置還包括語音提示消息播放模塊，用于: 獲取所述讀屏功能操作的執(zhí)行結(jié)果； 在所述預(yù)設(shè)的語音數(shù)據(jù)庫中查找與所述讀屏功能操作的執(zhí)行結(jié)果對應(yīng)的語音提示消息; 播放所述語音提示消息。10.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述裝置還包括顯示界面獲取模塊，用于獲取終端的當(dāng)前顯示界面，獲取所述當(dāng)前顯示界面的讀屏功能選中框； 所述操作確定執(zhí)行模塊還用于根據(jù)所述當(dāng)前顯示界面的讀屏功能選中框確定與所述目標(biāo)動作/手勢對應(yīng)的讀屏功能操作。11.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述讀屏功能操作為音頻應(yīng)用開啟操作； 所述操作確定執(zhí)行模塊還用于:根據(jù)所述音頻應(yīng)用開啟操作啟動與所述音頻應(yīng)用開啟操作對應(yīng)的音頻應(yīng)用。12.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述操作確定執(zhí)行模塊還用于:將所述目標(biāo)動作/動作/手勢發(fā)送給讀屏應(yīng)用，所述讀屏應(yīng)用用于根據(jù)所述目標(biāo)動作/動作/手勢在所述預(yù)設(shè)的讀屏功能操作數(shù)據(jù)庫中查找與所述目標(biāo)動作/動作/手勢匹配的讀屏功能操作。13.根據(jù)權(quán)利要求12所述的裝置，其特征在于，所述裝置還包括讀屏應(yīng)用開啟模塊，用于接收用戶輸入的讀屏應(yīng)用開啟指令，所述讀屏應(yīng)用開啟指令與所述讀屏應(yīng)用對應(yīng)，根據(jù)所述讀屏應(yīng)用開啟指令啟動所述讀屏應(yīng)用。14.根據(jù)權(quán)利要求8至13任一所述的裝置，其特征在于，所述裝置還包括反饋信息獲取模塊和數(shù)據(jù)庫更新模塊，其中: 所述反饋信息獲取模塊用于: 獲取用戶輸入的針對所述目標(biāo)動作/動作/手勢的反饋信息； 或 獲取所述特征數(shù)據(jù)與所述目標(biāo)動作/動作/手勢的匹配參考值，根據(jù)所述匹配參考值生成針對所述目標(biāo)動作/動作/手勢的反饋信息； 所述數(shù)據(jù)庫更新模塊用于: 根據(jù)所述反饋信息確定所述預(yù)設(shè)的動作/動作/手勢數(shù)據(jù)庫的更新數(shù)據(jù)； 根據(jù)所述更新數(shù)據(jù)刷新所述預(yù)設(shè)的動作/動作/手勢數(shù)據(jù)庫。
【文檔編號】G06F3/01GK105824429SQ201610313247
【公開日】2016年8月3日
【申請日】2016年5月12日
【發(fā)明人】梁振宇, 張昆
【申請人】深圳市聯(lián)諦信息無障礙有限責(zé)任公司