一種基于視覺手勢(shì)的點(diǎn)讀方法和裝置制造方法
【專利摘要】本發(fā)明提供一種基于視覺手勢(shì)的點(diǎn)讀方法和裝置，方法包括：用戶通過手指在書本上需點(diǎn)讀區(qū)域畫圈；攝像頭捕捉手指畫圈動(dòng)作，圖像處理模塊根據(jù)輪廓分析算法獲取指尖位置且得出軌跡上下左右四個(gè)方向邊緣端點(diǎn)，根據(jù)上下左右四個(gè)端點(diǎn)擬合成矩形，從而對(duì)矩形區(qū)域內(nèi)容進(jìn)行文字或圖形等內(nèi)容識(shí)別；而后進(jìn)行語(yǔ)音合成技術(shù)并將語(yǔ)音信息反饋給用戶實(shí)現(xiàn)點(diǎn)讀功能。所述裝置可戴在用戶頭上，包括一個(gè)攝像頭，安裝在裝置兩邊的骨傳導(dǎo)耳機(jī)。該裝置結(jié)合了先進(jìn)的可穿戴理念，使用戶在學(xué)習(xí)的時(shí)候擺脫了手持電子設(shè)備的束縛，可基于現(xiàn)實(shí)的普通書本獲得智能點(diǎn)讀的學(xué)習(xí)指導(dǎo)。
【專利說明】一種基于視覺手勢(shì)的點(diǎn)讀方法和裝置

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種頭戴式的電子學(xué)習(xí)裝置，具體涉及一種可配合普通印刷物識(shí)別與 播放指定區(qū)域文字或圖像等內(nèi)容相對(duì)應(yīng)的基于視覺手勢(shì)的點(diǎn)讀方法和裝置。

【背景技術(shù)】
[0002] 點(diǎn)讀機(jī)作為一種新型助學(xué)工具，在幫助人們學(xué)習(xí)語(yǔ)言等方面具有重要的作用。目 前市面上的點(diǎn)讀機(jī)主要有以下兩種 ： 一種是由一個(gè)和筆記本電腦相似的殼體的內(nèi)部敷設(shè)縱橫交錯(cuò)的導(dǎo)電網(wǎng)膜，夕卜配一只可 以感應(yīng)或發(fā)送無線信號(hào)的點(diǎn)讀筆。使用時(shí)將書本平鋪在上述殼體上，并設(shè)置好對(duì)應(yīng)的頁(yè)碼， 點(diǎn)讀筆點(diǎn)擊課本上有文字的位置時(shí)，點(diǎn)讀筆發(fā)出的無線信號(hào)被上述殼體內(nèi)部的導(dǎo)電網(wǎng)板所 接收，并以此確定對(duì)應(yīng)書本內(nèi)容的經(jīng)緯位置，從而根據(jù)預(yù)先存儲(chǔ)在點(diǎn)讀機(jī)里的對(duì)應(yīng)語(yǔ)音數(shù) 據(jù)讀取出來，以實(shí)現(xiàn)"點(diǎn)讀"功能。
[0003] 另一種是不需要上述殼體，直接利用在書本上加印的二維碼，使用時(shí)只需要將一 支基于光學(xué)識(shí)別（0ID)的點(diǎn)讀筆對(duì)所需點(diǎn)讀內(nèi)容進(jìn)行"掃描"，則點(diǎn)讀筆通過筆頭上裝配的 高速攝像頭識(shí)別書本上的二維碼從而讀出對(duì)應(yīng)內(nèi)容的聲音文件，實(shí)現(xiàn)"點(diǎn)讀"功能。
[0004] 以上兩種點(diǎn)讀方案都有缺點(diǎn)。
[0005] -是都必須采用特定的書本，經(jīng)過錄入信息或者是專門經(jīng)過印刷處理的書本，這 無疑增加了制作成本以及限制了學(xué)習(xí)者的學(xué)習(xí)范圍。
[0006] 二是點(diǎn)讀內(nèi)容都是固定的，且不能通過網(wǎng)絡(luò)進(jìn)行知識(shí)擴(kuò)展，若學(xué)習(xí)者對(duì)于某一內(nèi) 容想要深入了解時(shí)，不能馬上得到幫助，降低了學(xué)習(xí)效率。
[0007] 三是學(xué)習(xí)者在使用過程中都必須手持點(diǎn)讀筆，而若需要在書本上做筆記時(shí)，需要 交替拿筆，顯得略為麻煩； 隨著科學(xué)技術(shù)的發(fā)展，人們對(duì)于智能設(shè)備的使用越來越頻繁，依賴也越來越大，而目前 越來越多的可穿戴設(shè)備重要作用就是要使人們的雙手?jǐn)[脫手持電子設(shè)備的束縛，以追求更 加智能、便捷的體驗(yàn)。
[0008] 綜上，結(jié)合可穿戴設(shè)備的點(diǎn)讀學(xué)習(xí)方式是未來點(diǎn)讀學(xué)習(xí)設(shè)備的重要發(fā)展方向。


【發(fā)明內(nèi)容】

[0009] 本發(fā)明的目的在于克服現(xiàn)有技術(shù)存在的上述不足，提供一種基于視覺手勢(shì)的點(diǎn)讀 方法和裝置，該裝置為可穿戴式設(shè)備，可以使用戶在學(xué)習(xí)時(shí)擺脫手持電子設(shè)備的束縛，可獲 得面向普通印刷資料的智能點(diǎn)讀學(xué)習(xí)指導(dǎo)。
[0010] 本發(fā)明的目的通過如下技術(shù)方案實(shí)現(xiàn)。
[0011] 一種基于視覺手勢(shì)的點(diǎn)讀方法，其包括如下步驟： 1) 采用攝像頭捕捉手指畫圈動(dòng)作，所述畫圈動(dòng)作是指用戶使用手指對(duì)需點(diǎn)讀區(qū)域進(jìn)行 畫圈； 2) 圖像處理模塊根據(jù)手指軌跡形成矩形區(qū)域； 3) 圖像處理模塊通過識(shí)別上述矩形區(qū)域中文字或圖形； 4) 語(yǔ)音處理模塊根據(jù)識(shí)別的結(jié)果或者對(duì)識(shí)別結(jié)果進(jìn)行網(wǎng)絡(luò)搜索的結(jié)果進(jìn)行語(yǔ)音合成， 并通過播放設(shè)備進(jìn)行播放。
[0012] 進(jìn)一步改進(jìn)的，步驟4)還包括用戶通過語(yǔ)音命令對(duì)指定詞匯或者內(nèi)容進(jìn)行網(wǎng)絡(luò)檢 索。
[0013] 進(jìn)一步改進(jìn)的，所述語(yǔ)音處理模塊還識(shí)別用戶對(duì)發(fā)出命令的固定語(yǔ)句。
[0014] 進(jìn)一步改進(jìn)的，步驟2)中，圖像處理模塊首先通過膚色分割算法分析攝像頭圖像， 檢測(cè)攝像頭中是否出現(xiàn)人手，若無，則繼續(xù)使用膚色分割算法分析攝像頭圖像，若有，攝像 頭捕捉手指畫圈動(dòng)作，圖像處理模塊利用輪廓分析算法獲取指尖位置，且獲取軌跡上下左 右四個(gè)方向邊緣端點(diǎn)，然后，根據(jù)端點(diǎn)產(chǎn)生軌跡擬合形成矩形區(qū)域。
[0015] 一種實(shí)現(xiàn)所述基于視覺手勢(shì)的點(diǎn)讀方法的裝置，其包括主體外殼、攝像頭、骨傳聲 模塊及位于主體外殼中的圖像處理模塊、語(yǔ)音處理模塊、Wifi網(wǎng)絡(luò)模塊和嵌入式微處理器模 塊；攝像頭安裝在主體外殼上或者嵌入在主體外殼中，骨傳聲模塊位于主體外殼的兩端且 能貼于耳朵上方顴骨上；所述攝像頭的攝像范圍能覆蓋用戶前方需點(diǎn)讀的范圍，用于獲取 手指畫圈圖像和待識(shí)別內(nèi)容圖像； 所述圖像處理模塊通過攝像頭獲取的圖像識(shí)別攝像范圍內(nèi)用戶手指移動(dòng)軌跡并擬合 成矩形，并對(duì)擬合后的矩形區(qū)域內(nèi)的內(nèi)容進(jìn)行智能識(shí)別； 所述語(yǔ)音處理模塊根據(jù)圖像處理模塊識(shí)別的結(jié)果或者網(wǎng)絡(luò)搜索結(jié)果進(jìn)行語(yǔ)音合成，同 時(shí)還能識(shí)別用戶對(duì)發(fā)出命令的固定語(yǔ)句； 骨傳聲模塊根據(jù)語(yǔ)音處理模塊的輸出結(jié)果以骨傳導(dǎo)方式對(duì)用戶進(jìn)行學(xué)習(xí)指導(dǎo)和語(yǔ)音 提示； wifi網(wǎng)絡(luò)模塊用于接入局域網(wǎng)或因特網(wǎng)后，語(yǔ)音處理模塊通過識(shí)別用戶語(yǔ)音命令對(duì)指 定詞匯或者內(nèi)容進(jìn)行網(wǎng)絡(luò)檢索；語(yǔ)音處理模塊對(duì)語(yǔ)音指令識(shí)別后，將指定內(nèi)容發(fā)送至局域 網(wǎng)或互聯(lián)網(wǎng)數(shù)據(jù)庫(kù)服務(wù)器，進(jìn)行擴(kuò)展內(nèi)容檢索； 嵌入式微處理器模塊內(nèi)嵌嵌入式微處理器，負(fù)責(zé)調(diào)控前述各模塊的通信與工作時(shí)序。
[0016] 進(jìn)一步改進(jìn)的，所述骨傳聲模塊采用骨傳導(dǎo)耳機(jī)實(shí)現(xiàn)。
[0017] 進(jìn)一步改進(jìn)所述主體外殼外形為能戴于額頭前方及后腦勺部位的頭箍狀，攝像頭 位于頭箍中間。所述主體外殼為頭箍樣式，戴于額頭前方及后腦勺部位，材質(zhì)為環(huán)保復(fù)合樹 脂。
[0018] 所述攝像頭為150度廣角攝像頭，在正常的學(xué)習(xí)姿勢(shì)中攝像范圍能覆蓋用戶前方 桌面。
[0019] 與現(xiàn)有技術(shù)相比，本發(fā)明具有如下優(yōu)點(diǎn)和技術(shù)效果： 1) 不必采用特定課本。本發(fā)明是一種可配合普通印刷物識(shí)別與播放指定區(qū)域文字或圖 像等內(nèi)容相對(duì)應(yīng)的聲音數(shù)據(jù)的頭戴式點(diǎn)讀裝置，降低了課本制作的成本以及擴(kuò)大了學(xué)習(xí)者 的學(xué)習(xí)范圍； 2) 點(diǎn)讀內(nèi)容可調(diào)節(jié)。通過視覺手勢(shì)技術(shù)以及互聯(lián)網(wǎng)技術(shù)，就可以將識(shí)別的內(nèi)容進(jìn)行聯(lián) 網(wǎng)查詢并且反饋； 3) 該設(shè)備是只需戴在頭上，使用戶在學(xué)習(xí)時(shí)擺脫了手持電子設(shè)備的束縛，提高了學(xué)習(xí) 效率。

【專利附圖】

【附圖說明】
[0020] 圖1為實(shí)例中基于視覺手勢(shì)的點(diǎn)讀裝置的外部結(jié)構(gòu)示意圖； 圖2為實(shí)例中基于視覺手勢(shì)的點(diǎn)讀裝置的模塊構(gòu)成示意圖； 圖3為實(shí)例中基于視覺手勢(shì)的點(diǎn)讀方法的流程圖； 圖4為實(shí)例中基于視覺手勢(shì)的點(diǎn)讀方法中圖像處理流程圖； 圖5a和圖5b為實(shí)例中基于視覺手勢(shì)的點(diǎn)讀方法中基于手指軌跡調(diào)節(jié)識(shí)別內(nèi)容范圍的 過程示意圖。

【具體實(shí)施方式】
[0021] 下面將結(jié)合附圖和【具體實(shí)施方式】對(duì)本發(fā)明作進(jìn)一步詳細(xì)說明。
[0022] 如圖1所示，該頭戴式裝置外形如一頭箍，外部結(jié)構(gòu)包括主體外殼即頭箍外殼01、 廣角攝像頭02、兩個(gè)骨傳導(dǎo)耳機(jī)03。頭箍外殼01材質(zhì)為環(huán)保復(fù)合樹脂，健康無毒，可貼皮 膚使用。廣角攝像頭具體為150度廣角攝像頭，佩戴頭箍時(shí)攝像頭視角能覆蓋桌面書本。骨 傳導(dǎo)耳機(jī)03在頭箍的左右兩側(cè)各一，佩戴頭箍時(shí)，骨傳導(dǎo)耳機(jī)恰好貼于耳朵上方顴骨上。
[0023] 本實(shí)例基于視覺手勢(shì)的點(diǎn)讀裝置，如圖2所示，包括以下主要模塊： 1)嵌入式微處理模塊，該模塊內(nèi)嵌嵌入式微處理器，負(fù)責(zé)綜合調(diào)控本設(shè)備的各模塊通 信與工作時(shí)序等。
[0024] 2)圖像處理模塊，該模塊識(shí)別攝像頭攝像范圍內(nèi)用戶手指移動(dòng)軌跡并擬合成矩 形，并對(duì)擬合后的矩形區(qū)域內(nèi)的內(nèi)容進(jìn)行智能識(shí)別。
[0025] 3)語(yǔ)音處理模塊，該模塊可以根據(jù)上述智能識(shí)別的結(jié)果或者網(wǎng)絡(luò)搜索結(jié)果進(jìn)行 TTS語(yǔ)音合成，和識(shí)別用戶對(duì)該設(shè)備發(fā)出命令的固定語(yǔ)句。
[0026] 4)wifi網(wǎng)絡(luò)模塊，該模塊接入局域網(wǎng)或因特網(wǎng)后，用戶可通過語(yǔ)音命令對(duì)指定詞匯 或者內(nèi)容進(jìn)行網(wǎng)絡(luò)檢索。語(yǔ)音處理模塊對(duì)語(yǔ)音指令識(shí)別后，將指定內(nèi)容發(fā)送至局域網(wǎng)或互 聯(lián)網(wǎng)數(shù)據(jù)庫(kù)服務(wù)器，進(jìn)行擴(kuò)展內(nèi)容檢索。
[0027] 5)骨傳聲模塊，該模塊可以根據(jù)語(yǔ)音處理模塊結(jié)果通過骨傳導(dǎo)方式對(duì)用戶進(jìn)行學(xué) 習(xí)指導(dǎo)和語(yǔ)音提示。
[0028] 本實(shí)例基于視覺手勢(shì)的點(diǎn)讀方法，如圖3所示，包括如下步驟： 1)用戶通過語(yǔ)音命令啟動(dòng)頭箍。該語(yǔ)音命令為系統(tǒng)本身預(yù)設(shè)命令，舉例可以為"Start Please''。
[0029] 2)用戶通過手指在點(diǎn)讀區(qū)域畫圈。此步驟中，用戶所用手指一般為手指，其余四指 握住即可，且在需點(diǎn)讀區(qū)域畫圈時(shí)需為勻速畫圈，速度不宜過快。
[0030] 3)攝像頭捕捉手指畫圈動(dòng)作，若用戶操作不規(guī)范，例如畫圈速度過快導(dǎo)致攝像頭 無法正確識(shí)別手指，則系統(tǒng)通過骨傳導(dǎo)耳機(jī)對(duì)用戶進(jìn)行語(yǔ)音提示，舉例為"Error，Please restart，'。
[0031] 4)圖像處理模塊根據(jù)手指軌跡形成矩形區(qū)域。此步驟的具體處理過程如圖4、圖 5所示。
[0032] 檢測(cè)開始時(shí)，圖像處理模塊首先通過膚色分割算法分析攝像頭圖像，檢測(cè)攝像頭 中是否出現(xiàn)人手。若無，則繼續(xù)使用膚色分割算法分析攝像頭圖像。若有，攝像頭捕捉手指 畫圈動(dòng)作，圖像處理模塊利用輪廓分析算法獲取指尖位置，且獲取軌跡上下左右四個(gè)方向 邊緣端點(diǎn)，如圖5a所示。然后，根據(jù)端點(diǎn)產(chǎn)生軌跡擬合矩形，如圖5b所示。
[0033] 5)攝像頭采集上述矩形區(qū)域內(nèi)的文字或圖像信息，圖像處理模塊通過智能識(shí)別技 術(shù)(例如OCR文字識(shí)別技術(shù)、基于神經(jīng)網(wǎng)絡(luò)的圖像識(shí)別技術(shù)等)識(shí)別攝像頭采集到的信息，并 將識(shí)別內(nèi)容轉(zhuǎn)化為文字發(fā)送至微控制器。
[0034] 6)語(yǔ)音處理模塊進(jìn)行TTS技術(shù)進(jìn)行語(yǔ)音合成，且通過骨傳導(dǎo)耳機(jī)將語(yǔ)音信息反饋 給用戶。
[0035] 7)用戶通過語(yǔ)音命令對(duì)上述識(shí)別結(jié)果進(jìn)一步咨詢。此步驟中的語(yǔ)音命令為預(yù)設(shè)的 一些固定的命令，舉例為 "I want to learn more about it"。
[0036] 8)設(shè)備聯(lián)網(wǎng)查詢相關(guān)內(nèi)容，并通過骨傳導(dǎo)耳機(jī)進(jìn)行反饋。系統(tǒng)通過wifi網(wǎng)絡(luò)模塊 接入網(wǎng)絡(luò)進(jìn)行查詢相關(guān)內(nèi)容，并且對(duì)不需要的內(nèi)容進(jìn)行過濾，最后將需反饋的內(nèi)容通過骨 傳導(dǎo)技術(shù)反饋給用戶。
[0037] 可見，本發(fā)明的裝置是一種可穿戴裝置，可戴在用戶頭上，裝置上的攝像頭可在用 戶需要點(diǎn)讀時(shí)，識(shí)別用戶的手指軌跡并擬合成一矩形，再對(duì)矩形區(qū)域內(nèi)內(nèi)容進(jìn)行智能識(shí)別， 將識(shí)別的文字內(nèi)容進(jìn)行TTS語(yǔ)音合成之后通過骨傳聲技術(shù)反饋給用戶。并且，若用戶需要 進(jìn)一步了解識(shí)別內(nèi)容相關(guān)信息，可通過語(yǔ)音命令啟動(dòng)設(shè)備進(jìn)行聯(lián)網(wǎng)查詢相關(guān)內(nèi)容，最后用 骨傳聲技術(shù)反饋給用戶。該裝置結(jié)合了先進(jìn)的可穿戴理念，使用戶在學(xué)習(xí)的時(shí)候擺脫了手 持電子設(shè)備的束縛，可獲得面向普通印刷資料的智能點(diǎn)讀學(xué)習(xí)指導(dǎo)。
【權(quán)利要求】
1. 一種基于視覺手勢(shì)的點(diǎn)讀方法，其特征在于，包括如下步驟： 1) 采用攝像頭捕捉手指畫圈動(dòng)作，所述畫圈動(dòng)作是指用戶使用手指對(duì)需點(diǎn)讀區(qū)域進(jìn)行 畫圈； 2) 圖像處理模塊根據(jù)手指軌跡形成矩形區(qū)域； 3) 圖像處理模塊通過識(shí)別上述矩形區(qū)域中文字或圖形； 4) 語(yǔ)音處理模塊根據(jù)識(shí)別的結(jié)果或者對(duì)識(shí)別結(jié)果進(jìn)行網(wǎng)絡(luò)搜索的結(jié)果進(jìn)行語(yǔ)音合成， 并通過播放設(shè)備進(jìn)行播放。
2. 根據(jù)權(quán)利要求1所述的一種基于視覺手勢(shì)的點(diǎn)讀方法，其特征在于，步驟4)還包括 用戶通過語(yǔ)音命令對(duì)指定詞匯或者內(nèi)容進(jìn)行網(wǎng)絡(luò)檢索。
3. 根據(jù)權(quán)利要求1所述的一種基于視覺手勢(shì)的點(diǎn)讀方法，其特征在于，所述語(yǔ)音處理 模塊還識(shí)別用戶對(duì)發(fā)出命令的固定語(yǔ)句。
4. 根據(jù)權(quán)利要求1所述的一種基于視覺手勢(shì)的點(diǎn)讀方法，其特征在于，步驟2)中，圖像 處理模塊首先通過膚色分割算法分析攝像頭圖像，檢測(cè)攝像頭中是否出現(xiàn)人手，若無，則繼 續(xù)使用膚色分割算法分析攝像頭圖像，若有，攝像頭捕捉手指畫圈動(dòng)作，圖像處理模塊利用 輪廓分析算法獲取指尖位置，且獲取軌跡上下左右四個(gè)方向邊緣端點(diǎn)，然后，根據(jù)端點(diǎn)產(chǎn)生 軌跡擬合形成矩形區(qū)域。
5. -種實(shí)現(xiàn)權(quán)利要求1~4任一項(xiàng)所述基于視覺手勢(shì)的點(diǎn)讀方法的裝置，其特征在于包 括主體外殼、攝像頭、骨傳聲模塊及位于主體外殼中的圖像處理模塊、語(yǔ)音處理模塊、wifi網(wǎng) 絡(luò)模塊和嵌入式微處理器模塊；攝像頭安裝在主體外殼上或者嵌入在主體外殼中，骨傳聲 模塊位于主體外殼的兩端且能貼于耳朵上方顴骨上；所述攝像頭的攝像范圍能覆蓋用戶前 方需點(diǎn)讀的范圍，用于獲取手指畫圈圖像和待識(shí)別內(nèi)容圖像； 所述圖像處理模塊通過攝像頭獲取的圖像識(shí)別攝像范圍內(nèi)用戶手指移動(dòng)軌跡并擬合 成矩形，并對(duì)擬合后的矩形區(qū)域內(nèi)的內(nèi)容進(jìn)行智能識(shí)別； 所述語(yǔ)音處理模塊根據(jù)圖像處理模塊識(shí)別的結(jié)果或者網(wǎng)絡(luò)搜索結(jié)果進(jìn)行語(yǔ)音合成，同 時(shí)還能識(shí)別用戶對(duì)發(fā)出命令的固定語(yǔ)句； 骨傳聲模塊根據(jù)語(yǔ)音處理模塊的輸出結(jié)果以骨傳導(dǎo)方式對(duì)用戶進(jìn)行學(xué)習(xí)指導(dǎo)和語(yǔ)音 提示； wifi網(wǎng)絡(luò)模塊用于接入局域網(wǎng)或因特網(wǎng)后，語(yǔ)音處理模塊通過識(shí)別用戶語(yǔ)音命令對(duì)指 定詞匯或者內(nèi)容進(jìn)行網(wǎng)絡(luò)檢索；語(yǔ)音處理模塊對(duì)語(yǔ)音指令識(shí)別后，將指定內(nèi)容發(fā)送至局域 網(wǎng)或互聯(lián)網(wǎng)數(shù)據(jù)庫(kù)服務(wù)器，進(jìn)行擴(kuò)展內(nèi)容檢索； 嵌入式微處理器模塊內(nèi)嵌嵌入式微處理器，負(fù)責(zé)調(diào)控前述各模塊的通信與工作時(shí)序。
6. 根據(jù)權(quán)利要求5所述的裝置，其特征在于所述骨傳聲模塊采用骨傳導(dǎo)耳機(jī)實(shí)現(xiàn)。
7. 根據(jù)權(quán)利要求5所述的裝置，其特征在于所述主體外殼外形為能戴于額頭前方及后 腦勺部位的頭箍狀，攝像頭位于頭箍中間。
【文檔編號(hào)】G06K9/00GK104217197SQ201410424962
【公開日】2014年12月17日 申請(qǐng)日期:2014年8月27日 優(yōu)先權(quán)日:2014年8月27日
【發(fā)明者】許望, 徐向民, 邢曉芬 申請(qǐng)人:華南理工大學(xué)