一種檢測用戶背誦的方法及裝置制造方法
【專利摘要】本發(fā)明公開了一種檢測用戶背誦的方法及裝置。該方法包括：獲取文檔顯示裝置中顯示區(qū)域外部的至少一幀圖像，作為第一圖像序列；對第一圖像序列進(jìn)行圖像識別，以判斷第一圖像序列是否與預(yù)設(shè)的背誦開啟動作相適配；在判斷第一圖像序列與預(yù)設(shè)的背誦開啟動作相適配的情況下，獲取用戶語音信息，并根據(jù)第一圖像序列所對應(yīng)顯示區(qū)域獲取背誦比對信息；根據(jù)背誦比對信息對用戶語音信息進(jìn)行識別分析生成背誦檢測結(jié)果。本發(fā)明提出的技術(shù)方案能夠幫助用戶能夠及時發(fā)現(xiàn)背誦過程存在的問題，提高用戶的背誦效率。
【專利說明】—種檢測用戶背誦的方法及裝置
【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明實施例涉及計算機【技術(shù)領(lǐng)域】，尤其涉及一種檢測用戶背誦的方法及裝置。【背景技術(shù)】
[0002]閱讀書籍不僅僅能夠讓人們學(xué)到豐富的知識，開闊眼界，還可以使人進(jìn)步，尤其是對于正處于成長過程當(dāng)中的兒童而言，書籍更是必不可少。對于書籍中比較優(yōu)美或者重要的語段時，通常需要兒童進(jìn)行背誦。如果是一個人單獨進(jìn)行背誦，則不能夠及時、準(zhǔn)確的發(fā)現(xiàn)背誦的內(nèi)容是否存在遺漏或者文字發(fā)音是否準(zhǔn)確等一些問題。
[0003]目前，所采取的一種背誦方式是:通過家長來檢驗孩子背誦的書籍中的內(nèi)容是否準(zhǔn)確無誤；另一種背誦方式是:使用MP3或者復(fù)讀機等工具對背誦的內(nèi)容進(jìn)行錄音，然后人為的對比書籍上相應(yīng)的文字內(nèi)容查看背誦的準(zhǔn)確度。但是，上述兩種方式仍不能夠?qū)Ρ痴b的內(nèi)容發(fā)音是否準(zhǔn)確或者遺漏等問題進(jìn)行直觀、準(zhǔn)確的度量與評價。
【發(fā)明內(nèi)容】
[0004]本發(fā)明實施例提供一種檢測用戶背誦的方法及裝置，以幫助用戶能夠及時發(fā)現(xiàn)背誦過程存在的問題，提高用戶的背誦效率。
[0005]第一方面，本發(fā)明實施例提供了一種檢測用戶背誦的方法，該方法包括:
[0006]獲取文檔顯示裝置中顯示區(qū)域外部的至少一幀圖像，作為第一圖像序列；
[0007]對所述第一圖像序列進(jìn)行圖像識別，以判斷所述第一圖像序列是否與預(yù)設(shè)的背誦開啟動作相適配；
[0008]在判斷所述第一圖像序列與預(yù)設(shè)的背誦開啟動作相適配的情況下，獲取用戶語音信息，并根據(jù)所述第一圖像序列所對應(yīng)顯示區(qū)域獲取背誦比對信息；
[0009]根據(jù)所述背誦比對信息對所述用戶語音信息進(jìn)行識別分析生成背誦檢測結(jié)果。
[0010]第二方面，本發(fā)明實施例還提供了一種檢測用戶背誦的裝置，該裝置包括:
[0011]圖像獲取單元，用于獲取文檔顯示裝置中顯示區(qū)域外部的至少一幀圖像，作為第一圖像序列；
[0012]背誦判斷單元，用于對所述第一圖像序列進(jìn)行圖像識別，以判斷所述第一圖像序列是否與預(yù)設(shè)的背誦開啟動作相適配；
[0013]信息獲取單元，用于在判斷所述第一圖像序列與預(yù)設(shè)的背誦開啟動作相適配的情況下，獲取用戶語音信息，并根據(jù)所述第一圖像序列所對應(yīng)顯示區(qū)域獲取背誦比對信息；
[0014]背誦檢測單元，用于根據(jù)所述背誦比對信息對所述用戶語音信息進(jìn)行識別分析生成背誦檢測結(jié)果。
[0015]本發(fā)明實施例提出的技術(shù)方案通過識別文檔顯示裝置中顯示區(qū)域外部的圖像來開啟背誦檢測，通過獲取用戶語音信息，根據(jù)背誦比對信息對用戶語音信息進(jìn)行識別分析來實現(xiàn)對用戶背誦的檢測，從而能夠幫助用戶能夠及時發(fā)現(xiàn)背誦過程存在的問題，提高用戶的背誦效率?！緦＠綀D】
【附圖說明】
[0016]圖1是本發(fā)明實施例一提供的一種檢測用戶背誦的方法的流程示意圖；
[0017]圖2是本發(fā)明實施例二提供的一種檢測用戶背誦的方法的流程示意圖；
[0018]圖3是本發(fā)明實施例三提供的一種檢測用戶背誦的裝置的結(jié)構(gòu)示意圖；
[0019]圖4(a)本發(fā)明實施例一提供的一種圖像采集裝置捕捉的用戶未對文檔顯示裝置中的顯示區(qū)域進(jìn)行操作時的圖像示意圖；
[0020]圖4(b)本發(fā)明實施例一提供的一種圖像采集裝置捕捉的用戶對文檔顯示裝置中的顯示區(qū)域進(jìn)行手勢動作時的圖像示意圖。
【具體實施方式】
[0021]下面結(jié)合附圖和實施例對本發(fā)明作進(jìn)一步的詳細(xì)說明?？梢岳斫獾氖?，此處所描述的具體實施例僅僅用于解釋本發(fā)明，而非對本發(fā)明的限定。另外還需要說明的是，為了便于描述，附圖中僅示出了與本發(fā)明相關(guān)的部分而非全部結(jié)構(gòu)。
[0022]實施例一
[0023]圖1是本發(fā)明實施例一提供的一種檢測用戶背誦的方法的流程示意圖，該方法可以由檢測用戶背誦的裝置來執(zhí)行。所述裝置可內(nèi)置在學(xué)習(xí)機、智能手機、平板電腦、個人數(shù)字助理或者其他任何電子設(shè)備中，由軟件和/或硬件實現(xiàn)。所述裝置可配合圖像采集裝置和語音采集裝置來實現(xiàn)檢測用戶背誦的方法。參見圖1，檢測用戶背誦的方法具體包括如下步驟:
[0024]110、獲取文檔顯示裝置中顯示區(qū)域外部的至少一幀圖像，作為第一圖像序列。
[0025]在本實施例中，文檔顯示裝置可以是紙質(zhì)的書本，也可以是能夠顯示文檔內(nèi)容的電子顯示屏幕。文檔顯示裝置中的顯示區(qū)域顯示有待背誦的文檔內(nèi)容。第一圖像序列的獲取過程可具體為:通過控制圖像采集裝置每隔固定時間在文檔顯示裝置中顯示區(qū)域的外部捕捉一次圖像，得到預(yù)設(shè)時間長度上或預(yù)設(shè)捕捉次數(shù)下的第一圖像序列。外部捕捉的圖像實際上體現(xiàn)了用戶對顯示區(qū)域的操作，例如，圖4所示的用戶遮擋顯示區(qū)域的手勢動作，圖4 (a)示出了圖像采集裝置捕捉的用戶未對文檔顯示裝置中的顯示區(qū)域進(jìn)行操作時的圖像示意圖，圖4 (b)示出了圖像采集裝置捕捉的用戶對文檔顯示裝置中的顯示區(qū)域進(jìn)行手勢動作時的圖像示意圖。
[0026]其中，圖像采集裝置包括但不限于內(nèi)嵌于檢測用戶背誦的裝置中的攝像頭；固定時間、預(yù)設(shè)時間長度或捕捉次數(shù)可根據(jù)不同的應(yīng)用場景進(jìn)行設(shè)定，也可在檢測用戶背誦的裝置出廠時被設(shè)定為固定值。當(dāng)?shù)谝粓D像序列包含至少兩幀圖像時，例如設(shè)定固定時間為I秒，預(yù)設(shè)時間長度為5秒，或者預(yù)設(shè)捕捉次數(shù)為5次。特別的，當(dāng)?shù)谝粓D像序列中只包含有一幀圖像時，固定時間可設(shè)定為無窮大，預(yù)設(shè)捕捉次數(shù)為一次，即僅在文檔顯示裝置中顯示區(qū)域的外部捕捉一次圖像。
[0027]120、對第一圖像序列進(jìn)行圖像識別，以判斷第一圖像序列是否與預(yù)設(shè)的背誦開啟動作相適配。
[0028]在獲取到第一圖像序列之后，對第一圖像序列進(jìn)行圖像識別，判斷第一圖像序列是否與預(yù)設(shè)的背誦開啟動作相適配，可包括:根據(jù)預(yù)先存儲的模板特征信息對第一圖像序列中的圖像進(jìn)行目標(biāo)物識別，根據(jù)目標(biāo)物識別結(jié)果判斷第一圖像序列是否與預(yù)設(shè)的背誦開啟動作相適配。即為，首先對第一圖像序列中的各圖像進(jìn)行特征提取，然后將所提取的特征信息與預(yù)先存儲的模板特征信息進(jìn)行匹配實現(xiàn)對第一圖像序列中目標(biāo)物的識別；進(jìn)而根據(jù)對第一圖像序列中目標(biāo)物的識別情況來判斷第一圖像序列是否與預(yù)設(shè)的背誦開啟動作相適配。其中，目標(biāo)物可以是人體的手部，特征信息包括但不限于手部輪廓區(qū)域、指甲區(qū)域及其指甲區(qū)域?qū)?yīng)的顏色信息等。
[0029]具體的，如果預(yù)先設(shè)定為僅控制圖像采集裝置在文檔顯示裝置中顯示區(qū)域的外部捕捉一次圖像，即第一圖像序列為單幀圖像，則根據(jù)目標(biāo)物識別結(jié)果判斷第一圖像序列是否與預(yù)設(shè)的背誦開啟動作相適配，可包括:在識別出單幀圖像存在目標(biāo)物的情況下，判斷第一圖像序列與預(yù)設(shè)的背誦開啟動作相適配。
[0030]如果預(yù)先設(shè)定為控制圖像采集裝置在文檔顯示裝置中顯示區(qū)域的外部至少捕捉兩次圖像，即第一圖像序列為至少兩幀圖像，則根據(jù)目標(biāo)物識別結(jié)果判斷第一圖像序列是否與預(yù)設(shè)的背誦開啟動作相適配，可包括:根據(jù)目標(biāo)物識別結(jié)果以及相鄰幀圖像之間的差異值判斷第一圖像序列是否與預(yù)設(shè)的背誦開啟動作相適配。
[0031]在本實施例的一個具體的實施方式中，在第一圖像序列為至少兩幀圖像的情況下，根據(jù)目標(biāo)物識別結(jié)果判斷第一圖像序列是否與預(yù)設(shè)的背誦開啟動作相適配，可包括:在識別出存在目標(biāo)物的情況下，將存在目標(biāo)物的圖像與相鄰幀圖像進(jìn)行比對；當(dāng)比對結(jié)果滿足設(shè)定條件時，判斷第一圖像序列與預(yù)設(shè)的背誦開啟動作相適配。
[0032]其中，設(shè)定條件可根據(jù)第一圖像序列中相鄰幀圖像的間隔時間和/或圖像幀數(shù)來確定。例如，在第一圖像序列中相鄰幀圖像所間隔的固定時間較短，圖像幀數(shù)較多的情形下，可在識別到連續(xù)多幀圖像存在目標(biāo)物且目標(biāo)物在圖像中的位置幾乎沒有變化后判斷為第一圖像序列與預(yù)設(shè)的背誦開啟動作相適配，此時設(shè)定條件可為存在目標(biāo)物的圖像與相鄰幀圖像之間的相似度小于等于設(shè)定的第一閾值；在第一圖像序列中相鄰幀圖像所間隔的固定時間較長，圖像幀數(shù)較多的情形下，可在識別前一幀圖像未存在目標(biāo)物而后一幀圖像存在目標(biāo)物時判斷為第一圖像序列與預(yù)設(shè)的背誦開啟動作相適配，此時設(shè)定條件可為存在目標(biāo)物的圖像的平均灰度值與前一幀圖像的平均灰度值之間的差大于等于設(shè)定的第二閾值。
[0033]當(dāng)然，當(dāng)?shù)谝粓D像序列為至少兩幀圖像時，還可通過其它方式來實現(xiàn)判斷第一圖像序列是否與預(yù)設(shè)的背誦開啟動作相適配，例如:獲取第一圖像序列中的第一幀圖像以及最后一幀圖像；將所獲取的第一幀圖像和最后一幀圖像進(jìn)行比對，根據(jù)比對結(jié)果判斷第一圖像序列是否與預(yù)設(shè)的背誦開啟動作相適配。這樣，僅通過比對首末兩幀圖像之間的差異來判斷第一圖像序列是否與預(yù)設(shè)的背誦開啟動作相適配能夠減少資源消耗，提高檢測速度。
[0034]130、在判斷第一圖像序列與預(yù)設(shè)背誦開啟動作相適配的情況下，獲取用戶語音信息，并根據(jù)第一圖像序列所對應(yīng)顯示區(qū)域獲取背誦比對信息。
[0035]在本實施例中，可通過控制語音采集裝置來實現(xiàn)用戶語音信息的獲取。具體的，可控制語音采集裝置獲取設(shè)定時間長度的用戶語音信息，也可在判斷第一圖像序列與預(yù)設(shè)的背誦開啟動作相適配的情況下，開啟語音采集裝置實時采集用戶語音信息，在檢測到存在背誦停止指令的情況下，停止采集用戶語音信息。
[0036]在本實施例中，在第一圖像序列為至少兩幀圖像的情況下，根據(jù)第一圖像序列所對應(yīng)顯示區(qū)域獲取背誦比對信息，具體包括:采用圖像識別技術(shù)識別第一圖像序列中圖像在所述顯示區(qū)域所對應(yīng)的文本內(nèi)容；獲取比對結(jié)果滿足設(shè)定條件時目標(biāo)物在對應(yīng)圖像中的輪廓區(qū)域，根據(jù)所述輪廓區(qū)域和所述文本內(nèi)容確定待背誦的文本內(nèi)容范圍；從本地或服務(wù)器獲取與所確定的待背誦的文本內(nèi)容范圍相對應(yīng)的背誦比對信息。
[0037]在第一圖像序列為單幀圖像的情況下，根據(jù)第一圖像序列所對應(yīng)顯示區(qū)域獲取背誦比對信息，具體包括:根據(jù)用戶輸入指令獲取文檔顯示裝置中顯示區(qū)域所對應(yīng)的文本內(nèi)容；獲取目標(biāo)物在單幀圖像中的輪廓區(qū)域，根據(jù)所述輪廓區(qū)域和所述文本內(nèi)容確定待背誦的文本內(nèi)容范圍；從本地或服務(wù)器獲取與所確定的待背誦的文本內(nèi)容范圍相對應(yīng)的背誦比對信息。其中，據(jù)用戶輸入指令獲取文檔顯示裝置中顯示區(qū)域所對應(yīng)的文本內(nèi)容可為:向用戶提供一交互界面，接收作用在該交互界面上的輸入指令，根據(jù)該指令得到第一圖像序列中圖像在所述顯示區(qū)域所對應(yīng)的文本內(nèi)容。
[0038]在上述兩種獲取背誦比對信息情況中，根據(jù)所述輪廓區(qū)域確定待背誦的文本內(nèi)容范圍可為:將輪廓區(qū)域所覆蓋的段落或者語句作為待背誦的文本內(nèi)容范圍；所述服務(wù)器可以是云服務(wù)器；背誦比對信息包括但不限于:文本比對內(nèi)容和/或語音比對信息。
[0039]綜上，本實施例可通過上述兩種不同的技術(shù)方案來實現(xiàn)背誦開啟動作相的判斷和待背誦文本內(nèi)容范圍的確定。
[0040]一種技術(shù)方案是，當(dāng)前文檔顯示裝置中顯示區(qū)域?qū)?yīng)的文本內(nèi)容能夠根據(jù)用戶輸入指令直接獲取得到，此情況下第一圖像序列可僅僅包括一幀圖像，進(jìn)而通過識別該幀圖像是否包括目標(biāo)物來判斷第一圖像序列是否與預(yù)設(shè)的背誦開啟動作相適配，通過識別該幀圖像的輪廓區(qū)域以及文檔顯示裝置中顯示區(qū)域?qū)?yīng)的文本內(nèi)容確定待背誦的文本內(nèi)容范圍。
[0041]另一種技術(shù)方案是，當(dāng)前文檔顯示裝置中顯示區(qū)域?qū)?yīng)的文本內(nèi)容根據(jù)圖像序列中圖像所對應(yīng)顯示區(qū)域獲取得到，此情況下第一圖像序列包括至少兩幀圖像，以通過對第一圖像序列中各圖像的目標(biāo)物識別結(jié)果來判斷第一圖像序列是否與預(yù)設(shè)的背誦開啟動作相適配，以及根據(jù)第一圖像序列中的圖像確定文檔顯示裝置中顯示區(qū)域?qū)?yīng)的文本內(nèi)容，進(jìn)而確定待背誦的文本內(nèi)容范圍。
[0042]140、根據(jù)背誦比對信息對用戶語音信息進(jìn)行識別分析生成背誦檢測結(jié)果。
[0043]在本實施例中，如果背誦比對信息包括文本比對內(nèi)容，則根據(jù)背誦比對信息對所述用戶語音信息進(jìn)行識別分析生成背誦檢測結(jié)果，包括:對用戶語音信息進(jìn)行語音識別生成用戶背誦的文本內(nèi)容；將用戶背誦的文本內(nèi)容與文本比對內(nèi)容進(jìn)行匹配，根據(jù)匹配結(jié)果生成背誦檢測結(jié)果。
[0044]如果背誦比對信息包括語音比對信息，則根據(jù)背誦比對信息對用戶語音信息進(jìn)行識別分析生成背誦檢測結(jié)果，包括:將用戶語音信息與語音比對信息進(jìn)行匹配，根據(jù)匹配結(jié)果生成背誦檢測結(jié)果。
[0045]其中，背誦檢測結(jié)果可包括用戶背誦所遺漏、增多和/或發(fā)音錯誤的內(nèi)容，該內(nèi)容可以以文本形式進(jìn)行表示，也可以以語音信息的形式進(jìn)行表示。
[0046]本實施例提出的技術(shù)方案，通過識別文檔顯示裝置中顯示區(qū)域外部的圖像來開啟背誦檢測，通過獲取用戶語音信息，根據(jù)背誦比對信息對用戶語音信息進(jìn)行識別分析來實現(xiàn)對用戶背誦的檢測，從而能夠幫助用戶能夠及時發(fā)現(xiàn)背誦過程存在的問題，提高用戶的背誦效率。
[0047]實施例二
[0048]圖2是本發(fā)明實施例二提供的一種檢測用戶背誦的方法的流程示意圖。本實施例在實施例一的基礎(chǔ)上，對獲取用戶語音信息的步驟做進(jìn)一步優(yōu)化。參見圖2，該檢測用戶背誦的方法具體包括如下步驟:
[0049]210、獲取文檔顯示裝置中顯示區(qū)域外部的至少一幀圖像，作為第一圖像序列；
[0050]220、對第一圖像序列進(jìn)行圖像識別，以判斷第一圖像序列是否與預(yù)設(shè)的背誦開啟動作相適配；
[0051]230、在判斷第一圖像序列與預(yù)設(shè)的背誦開啟動作相適配的情況下，并向語音采集裝置發(fā)送采集開啟指令，以指示語音采集裝置實時采集用戶語音信息；
[0052]240、獲取文檔顯示裝置中顯示區(qū)域外部的至少一幀圖像，作為第二圖像序列；
[0053]250、對第二圖像序列進(jìn)行識別，以判斷第二圖像序列是否與預(yù)設(shè)的背誦停止動作相適配；
[0054]260、在判斷第二圖像序列與預(yù)設(shè)的背誦停止動作相適配的情況下，向語音采集裝置發(fā)送采集停止指令，獲取語音采集裝置在接收到所述采集開啟指令之后所采集到的所有用戶語音信息；
[0055]270、根據(jù)第一圖像序列所對應(yīng)顯示區(qū)域獲取背誦比對信息；
[0056]280、根據(jù)背誦比對信息對用戶語音信息進(jìn)行識別分析生成背誦檢測結(jié)果。
[0057]在本實施例中，獲取第二圖像序列的過程與獲取第二圖像序列的過程類似，都是通過獲取文檔顯示裝置中顯示區(qū)域外部的至少一幀圖像得到，具體細(xì)節(jié)可參見實施例一，這里不再贅述。
[0058]在本實施例中，可根據(jù)預(yù)先存儲的模板特征信息對第一圖像序列或者第二圖像序列中的圖像進(jìn)行目標(biāo)物識別，根據(jù)目標(biāo)物識別結(jié)果判斷第一圖像序列是否與預(yù)設(shè)的背誦開啟動作或者背誦停止操作相適配。具體的，在第一圖像序列與第二圖像序列均為至少兩幀圖像的情況下，判斷第一圖像序列是否與預(yù)設(shè)的背誦開啟動作相適配的過程可包括:在識別出第一圖像序列中存在目標(biāo)物的情況下，將存在目標(biāo)物的圖像與相鄰幀圖像進(jìn)行比對；當(dāng)比對結(jié)果滿足設(shè)定條件時，判斷第一圖像序列與預(yù)設(shè)的背誦開啟動作相適配。
[0059]相應(yīng)的，判斷第二圖像序列是否與預(yù)設(shè)的背誦停止動作相適配的過程可包括:在識別出第二圖像序列中不存在目標(biāo)物的情況下，將未存在目標(biāo)物的圖像與相鄰幀圖像進(jìn)行比對；當(dāng)比對結(jié)果滿足設(shè)定條件時，判斷第二圖像序列與預(yù)設(shè)的背誦停止動作相適配。在第一圖像序列與第二圖像序列均為至少單幀圖像的情況下，根據(jù)目標(biāo)物識別結(jié)果判斷第一圖像序列是否與預(yù)設(shè)的背誦開啟動作相適配，可包括:在識別出第一圖像序列所對應(yīng)的單幀圖像存在目標(biāo)物的情況下，判斷第一圖像序列與預(yù)設(shè)的背誦開啟動作相適配。
[0060]相應(yīng)的，判斷第二圖像序列是否與預(yù)設(shè)的背誦停止動作相適配的過程可包括:在識別出第二圖像序列所對應(yīng)的單幀圖像未存在目標(biāo)物的情況下，判斷第二圖像序列與預(yù)設(shè)的背誦停止動作相適配。
[0061]需要說明的是，上述技術(shù)方案僅僅是關(guān)于檢測用戶背誦的方法的一個具體的實例，本實施例對獲取用戶語音信息的步驟230-260與獲取背誦比對信息的步驟270這兩者之間的執(zhí)行順序不做限定，步驟270在判斷第一圖像序列與背誦開啟動作相適配的情況下，也可先于步驟230-260執(zhí)行。
[0062]本實施例提出的技術(shù)方案，首先在識別出背誦開啟動作時開啟語音采集裝置實時采集用戶語音信息，在識別出背誦停止動作時停止采集用戶語音信息；之后通過將采集的用戶語音信息與背誦比對內(nèi)容進(jìn)行匹配來實現(xiàn)對用戶背誦的檢測。本實例技術(shù)方案的有益技術(shù)效果在于:一方面能夠幫助用戶能夠及時發(fā)現(xiàn)背誦過程存在的問題，提高用戶的背誦效率；另一方面避免了采用獲取固定時間長度的用戶語音信息這一技術(shù)手段所可能帶來的用戶語音信息獲取不完整而降低背誦檢測準(zhǔn)確度的弊端，以及用戶語音信息本身時長較短但設(shè)定的采集時間長度太大所引起的耗電量多的問題。
[0063]在上述任意實施例的基礎(chǔ)上，在根據(jù)背誦比對信息對用戶語音信息進(jìn)行識別分析生成背誦檢測結(jié)果之后，還包括:根據(jù)背誦檢測結(jié)果生成顯示信息和/或語音提示信息；按照顯示信息和/或語音提示信息進(jìn)行背誦檢測提示。例如，在第一圖像序列中圖像所對應(yīng)的文本內(nèi)容的顯示界面中，將該顯示界面中用戶背誦所遺漏、增多和/或發(fā)音錯誤的文本內(nèi)容進(jìn)行標(biāo)記顯示；如果接收到作用在該顯示界面上的、對應(yīng)于用戶背誦發(fā)音錯誤的內(nèi)容的發(fā)音操作指令，則獲取對應(yīng)于用戶背誦發(fā)音錯誤的內(nèi)容的語音比對信息，根據(jù)該語音比對信息進(jìn)行發(fā)音。
[0064]實施例三
[0065]圖3是本發(fā)明實施例三提供的一種檢測用戶背誦的裝置的結(jié)構(gòu)示意圖。參見圖3，該裝置的具體結(jié)構(gòu)如下:
[0066]圖像獲取單元310，用于獲取文檔顯示裝置中顯示區(qū)域外部的至少一幀圖像，作為第一圖像序列；
[0067]背誦判斷單元320，用于對第一圖像序列進(jìn)行圖像識別，以判斷第一圖像序列是否與預(yù)設(shè)的背誦開啟動作相適配；
[0068]信息獲取單元330，用于在背誦判斷單元320判斷第一圖像序列與預(yù)設(shè)的背誦開啟動作相適配的情況下，獲取用戶語音信息，并根據(jù)第一圖像序列所對應(yīng)顯示區(qū)域獲取背誦比對信息；
[0069]背誦檢測單元340，用于根據(jù)信息獲取單元330所獲取的背誦比對信息對用戶語音信息進(jìn)行識別分析生成背誦檢測結(jié)果。
[0070]進(jìn)一步的，圖像獲取單元310，具體用于控制圖像采集裝置每隔固定時間對文檔顯示裝置中顯示區(qū)域的外部捕捉一次圖像，得到預(yù)設(shè)時間長度上或預(yù)設(shè)捕捉次數(shù)下的第一圖像序列。
[0071]進(jìn)一步的，背誦判斷單元320，包括目標(biāo)物識別子單元321和判斷子單元322，其中:
[0072]目標(biāo)物識別子單元321，用于根據(jù)預(yù)先存儲的模板特征信息對第一圖像序列中的每中貞圖像進(jìn)行目標(biāo)物識別；
[0073]判斷子單元322，用于根據(jù)目標(biāo)物識別結(jié)果判斷第一圖像序列是否與預(yù)設(shè)的背誦開啟動作相適配。
[0074]進(jìn)一步的，第一圖像序列為至少兩幀圖像；
[0075]判斷子單元322，具體用于:在識別出存在目標(biāo)物的情況下，將存在目標(biāo)物的圖像與相鄰幀圖像進(jìn)行比對；當(dāng)比對結(jié)果滿足設(shè)定條件時，判斷第一圖像序列與預(yù)設(shè)的背誦開啟動作相適配；
[0076]信息獲取單元330，具體用于:識別第一圖像序列中圖像在所述顯示區(qū)域所對應(yīng)的文本內(nèi)容；獲取比對結(jié)果滿足設(shè)定條件時目標(biāo)物在對應(yīng)圖像中的輪廓區(qū)域，根據(jù)所述輪廓區(qū)域和所述文本內(nèi)容確定待背誦的文本內(nèi)容范圍；從本地或服務(wù)器獲取與所確定的待背誦的文本內(nèi)容范圍相對應(yīng)的背誦比對信息。
[0077]或者，第一圖像序列為單幀圖像；
[0078]判斷子單元322，具體用于:在識別出所述單幀圖像存在目標(biāo)物的情況下，判斷所述第一圖像序列與預(yù)設(shè)的背誦開啟動作相適配；
[0079]信息獲取單元330，具體用于:根據(jù)用戶輸入指令獲取文檔顯示裝置中顯示區(qū)域所對應(yīng)的文本內(nèi)容；獲取目標(biāo)物在所述單幀圖像中的輪廓區(qū)域，根據(jù)所述輪廓區(qū)域和所述文本內(nèi)容確定待背誦的文本內(nèi)容范圍；從本地或服務(wù)器獲取與所確定的待背誦的文本內(nèi)容范圍相對應(yīng)的背誦比對信息。進(jìn)一步的，背誦比對信息包括文本比對內(nèi)容，則背誦檢測單元340，具體用于:
[0080]對用戶語音信息進(jìn)行語音識別生成用戶背誦的文本內(nèi)容；
[0081]將用戶背誦的文本內(nèi)容與文本比對內(nèi)容進(jìn)行匹配，根據(jù)匹配結(jié)果生成背誦檢測結(jié)果；和/或
[0082]背誦比對信息包括語音比對信息，則背誦檢測單元340，具體用于:
[0083]將用戶語音信息與語音比對信息進(jìn)行匹配，根據(jù)匹配結(jié)果生成背誦檢測結(jié)果。
[0084]進(jìn)一步的，信`息獲取單元330，具體用于:
[0085]向語音采集裝置發(fā)送采集開啟指令，以指示語音采集裝置實時采集用戶語音信息；
[0086]獲取文檔顯示裝置中顯示區(qū)域外部的至少一幀圖像，作為第二圖像序列；
[0087]對第二圖像序列進(jìn)行識別，以判斷第二圖像序列是否與預(yù)設(shè)的背誦停止動作相適配；
[0088]在判斷第二圖像序列與預(yù)設(shè)的背誦停止動作相適配的情況下，向語音采集裝置發(fā)送采集停止指令，獲取語音采集裝置在接收到所述采集開啟指令之后所采集到的所有用戶語首?目息。
[0089]在以上技術(shù)方案的基礎(chǔ)上，還包括檢測結(jié)果提示單元350，用于在背誦檢測單元340根據(jù)背誦比對信息對用戶語音信息進(jìn)行識別分析生成背誦檢測結(jié)果之后，根據(jù)背誦檢測結(jié)果生成顯示信息和/或語音提示信息；按照顯示信息和/或語音提示信息進(jìn)行背誦檢測提示。
[0090]上述產(chǎn)品可執(zhí)行本發(fā)明任意實施例所提供的方法，具備執(zhí)行方法相應(yīng)的功能模塊和有益效果。
[0091]注意，上述僅為本發(fā)明的較佳實施例及所運用技術(shù)原理。本領(lǐng)域技術(shù)人員會理解，本發(fā)明不限于這里所述的特定實施例，對本領(lǐng)域技術(shù)人員來說能夠進(jìn)行各種明顯的變化、重新調(diào)整和替代而不會脫離本發(fā)明的保護(hù)范圍。因此，雖然通過以上實施例對本發(fā)明進(jìn)行了較為詳細(xì)的說明，但是本發(fā)明不僅僅限于以上實施例，在不脫離本發(fā)明構(gòu)思的情況下，還可以包括更多其他等效實施例，而本發(fā)明的范圍由所附的權(quán)利要求范圍決定。
【權(quán)利要求】
1.一種檢測用戶背誦的方法，其特征在于，包括: 獲取文檔顯示裝置中顯示區(qū)域外部的至少一幀圖像，作為第一圖像序列； 對所述第一圖像序列進(jìn)行圖像識別，以判斷所述第一圖像序列是否與預(yù)設(shè)的背誦開啟動作相適配； 在判斷所述第一圖像序列與預(yù)設(shè)的背誦開啟動作相適配的情況下，獲取用戶語音信息，并根據(jù)所述第一圖像序列所對應(yīng)顯示區(qū)域獲取背誦比對信息； 根據(jù)所述背誦比對信息對所述用戶語音信息進(jìn)行識別分析生成背誦檢測結(jié)果。
2.根據(jù)權(quán)利要求1所述的檢測用戶背誦的方法，其特征在于，獲取文檔顯示裝置中顯示區(qū)域外部的至少一幀圖像，作為第一圖像序列，包括: 控制圖像采集裝置每隔固定時間對文檔顯示裝置中顯示區(qū)域的外部捕捉一次圖像，得到預(yù)設(shè)時間長度上或預(yù)設(shè)捕捉次數(shù)下的第一圖像序列。
3.根據(jù)權(quán)利要求1所述的檢測用戶背誦的方法，其特征在于，對所述第一圖像序列進(jìn)行圖像識別，以判斷所述第一圖像序列是否與預(yù)設(shè)的背誦開啟動作相適配，包括: 根據(jù)預(yù)先存儲的模板特征信息對所述第一圖像序列中的每幀圖像進(jìn)行目標(biāo)物識別； 根據(jù)目標(biāo)物識別結(jié)果判斷所述第一圖像序列是否與預(yù)設(shè)的背誦開啟動作相適配。
4.根據(jù)權(quán)利要求3所述的檢測用戶背誦的方法，其特征在于，所述第一圖像序列為至少兩幀圖像； 根據(jù)目標(biāo)物識別結(jié)果判斷所述第一圖像序列是否與背誦開啟動作相適配，包括:在識別出存在目標(biāo)物的情況下，將存在目標(biāo)`物的圖像與相鄰幀圖像進(jìn)行比對；當(dāng)比對結(jié)果滿足設(shè)定條件時，判斷所述第一圖像序列與預(yù)設(shè)的背誦開啟動作相適配； 根據(jù)所述第一圖像序列所對應(yīng)顯示區(qū)域獲取背誦比對信息，包括:識別所述第一圖像序列中圖像在所述顯示區(qū)域所對應(yīng)的文本內(nèi)容；獲取比對結(jié)果滿足設(shè)定條件時目標(biāo)物在對應(yīng)圖像中的輪廓區(qū)域，根據(jù)所述輪廓區(qū)域和所述文本內(nèi)容確定待背誦的文本內(nèi)容范圍；從本地或服務(wù)器獲取與所確定的待背誦的文本內(nèi)容范圍相對應(yīng)的背誦比對信息。
5.根據(jù)權(quán)利要求3所述的檢測用戶背誦的方法，其特征在于，所述第一圖像序列為單幀圖像； 根據(jù)目標(biāo)物識別結(jié)果判斷所述第一圖像序列是否與背誦開啟動作相適配，包括:在識別出所述單幀圖像存在目標(biāo)物的情況下，判斷所述第一圖像序列與預(yù)設(shè)的背誦開啟動作相適配； 根據(jù)所述第一圖像序列所對應(yīng)顯示區(qū)域獲取背誦比對信息，包括:根據(jù)用戶輸入指令獲取文檔顯示裝置中顯示區(qū)域所對應(yīng)的文本內(nèi)容；獲取目標(biāo)物在所述單幀圖像中的輪廓區(qū)域，根據(jù)所述輪廓區(qū)域和所述文本內(nèi)容確定待背誦的文本內(nèi)容范圍；從本地或服務(wù)器獲取與所確定的待背誦的文本內(nèi)容范圍相對應(yīng)的背誦比對信息。
6.根據(jù)權(quán)利要求1所述的檢測用戶背誦的方法，其特征在于，所述背誦比對信息包括文本比對內(nèi)容，則根據(jù)所述背誦比對信息對所述用戶語音信息進(jìn)行識別分析生成背誦檢測結(jié)果，包括: 對所述用戶語音信息進(jìn)行語音識別生成用戶背誦的文本內(nèi)容； 將所述用戶背誦的文本內(nèi)容與所述文本比對內(nèi)容進(jìn)行匹配，根據(jù)匹配結(jié)果生成背誦檢測結(jié)果；和/或所述背誦比對信息包括語音比對信息，則根據(jù)所述背誦比對信息對所述用戶語音信息進(jìn)行識別分析生成背誦檢測結(jié)果，包括: 將所述用戶語音信息與所述語音比對信息進(jìn)行匹配，根據(jù)匹配結(jié)果生成背誦檢測結(jié)果
7.根據(jù)權(quán)利要求1所述的檢測用戶背誦的方法，其特征在于，獲取用戶語音信息，包括: 向語音采集裝置發(fā)送采集開啟指令，以指示所述語音采集裝置實時采集用戶語音信息； 獲取文檔顯示裝置中顯示區(qū)域外部的至少一幀圖像，作為第二圖像序列； 對所述第二圖像序列進(jìn)行識別，以判斷所述第二圖像序列是否與預(yù)設(shè)的背誦停止動作相適配； 在判斷所述第二圖像序列與預(yù)設(shè)的背誦停止動作相適配的情況下，向語音采集裝置發(fā)送采集停止指令，獲取所述語音采集裝置在接收到所述采集開啟指令之后所采集到的所有用戶語音信息。
8.根據(jù)權(quán)利要求1-7中任一項所述的檢測用戶背誦的方法，其特征在于，在根據(jù)所述背誦比對信息對所述用戶語音信息進(jìn)行識別分析生成背誦檢測結(jié)果之后，還包括:根據(jù)所述背誦檢測結(jié)果生成顯示信息和/或語音提示信息；按照所述顯示信息和/或語音提示信息進(jìn)行背誦檢測提示。
9.一種檢測用戶背誦的裝置，其特征在于，包括: 圖像獲取單元，用于獲取文檔顯示裝置中顯示區(qū)域外部的至少一幀圖像，作為第一圖像序列； 背誦判斷單元，用于對所述第一圖像序列進(jìn)行圖像識別，以判斷所述第一圖像序列是否與預(yù)設(shè)的背誦開啟動作相適配； 信息獲取單元，用于在判斷所述第一圖像序列與預(yù)設(shè)的背誦開啟動作相適配的情況下，獲取用戶語音信息，并根據(jù)所述第一圖像序列所對應(yīng)顯示區(qū)域獲取背誦比對信息；背誦檢測單元，用于根據(jù)所述背誦比對信息對所述用戶語音信息進(jìn)行識別分析生成背誦檢測結(jié)果。
10.根據(jù)權(quán)利要求9所述的檢測用戶背誦的裝置，其特征在于，所述圖像獲取單元，具體用于:控制圖像采集裝置每隔固定時間對文檔顯示裝置中顯示區(qū)域的外部捕捉一次圖像，得到預(yù)設(shè)時間長度上或預(yù)設(shè)捕捉次數(shù)下的第一圖像序列。
11.根據(jù)權(quán)利要求9所述的檢測用戶背誦的裝置，其特征在于，所述背誦判斷單元包括目標(biāo)物識別子單元和判斷子單元； 所述目標(biāo)物識別子單元，用于根據(jù)預(yù)先存儲的模板特征信息對所述第一圖像序列中的每中貞圖像進(jìn)行目標(biāo)物識別； 所述判斷子單元，用于根據(jù)目標(biāo)物識別結(jié)果判斷所述第一圖像序列是否與預(yù)設(shè)的背誦開啟動作相適配。
12.根據(jù)權(quán)利要求11所述的檢測用戶背誦的裝置，其特征在于，所述第一圖像序列為至少兩幀圖像； 所述判斷子單元，具體用于:在識別出存在目標(biāo)物的情況下，將存在目標(biāo)物的圖像與相鄰幀圖像進(jìn)行比對；當(dāng)比對結(jié)果滿足設(shè)定條件時，判斷所述第一圖像序列與預(yù)設(shè)的背誦開啟動作相適配； 所述信息獲取單元，具體用于:識別所述第一圖像序列中圖像在所述顯示區(qū)域所對應(yīng)的文本內(nèi)容；獲取比對結(jié)果滿足設(shè)定條件時目標(biāo)物在對應(yīng)圖像中的輪廓區(qū)域，根據(jù)所述輪廓區(qū)域和所述文本內(nèi)容確定待背誦的文本內(nèi)容范圍；從本地或服務(wù)器獲取與所確定的待背誦的文本內(nèi)容范圍相對應(yīng)的背誦比對信息。
13.根據(jù)權(quán)利要求11所述的檢測用戶背誦的裝置，其特征在于，所述第一圖像序列為單幀圖像； 所述判斷子單元，具體用于:在識別出所述單幀圖像存在目標(biāo)物的情況下，判斷所述第一圖像序列與預(yù)設(shè)的背誦開啟動作相適配； 所述信息獲取單元，具體用于:根據(jù)用戶輸入指令獲取文檔顯示裝置中顯示區(qū)域所對應(yīng)的文本內(nèi)容；獲取目標(biāo)物在所述單幀圖像中的輪廓區(qū)域，根據(jù)所述輪廓區(qū)域和所述文本內(nèi)容確定待背誦的文本內(nèi)容范圍；從本地或服務(wù)器獲取與所確定的待背誦的文本內(nèi)容范圍相對應(yīng)的背誦比對信息。
14.根據(jù)權(quán)利要求9所述的檢測用戶背誦的裝置，其特征在于，所述背誦比對信息包括文本比對內(nèi)容，則所述背誦檢測單元，具體用于: 對所述用戶語音信息進(jìn)行語音識別生成用戶背誦的文本內(nèi)容； 將所述用戶背誦的文本內(nèi)容與所述文本比對內(nèi)容進(jìn)行匹配，根據(jù)匹配結(jié)果生成背誦檢測結(jié)果；和/或 所述背誦比對信息包括語音比對信息，則所述背誦檢測單元，具體用于: 將所述用戶語音信息與所述語音比對信息進(jìn)行匹配，根據(jù)匹配結(jié)果生成背誦檢測結(jié)果O
15.根據(jù)權(quán)利要求9所述的檢測用戶背誦的裝置，其特征在于，所述信息獲取單元，具體用于: 向語音采集裝置發(fā)送采集開啟指令，以指示所述語音采集裝置實時采集用戶語音信息； 獲取文檔顯示裝置中顯示區(qū)域外部的至少兩幀圖像，作為第二圖像序列； 對所述第二圖像序列進(jìn)行識別，以判斷所述第二圖像序列是否與預(yù)設(shè)的背誦停止動作相適配； 在判斷所述第二圖像序列與預(yù)設(shè)的背誦停止動作相適配的情況下，向語音采集裝置發(fā)送采集停止指令，獲取所述語音采集裝置在接收到所述采集開啟指令之后所采集到的所有用戶語音信息。
16.根據(jù)權(quán)利要求9-15中任一項所述的檢測用戶背誦的裝置，其特征在于，還包括檢測結(jié)果提示單元，用于在所述背誦檢測單元根據(jù)所述背誦比對信息對所述用戶語音信息進(jìn)行識別分析生成背誦檢測結(jié)果之后，根據(jù)所述背誦檢測結(jié)果生成顯示信息和/或語音提示信息；按照所述顯示信息和/或語音提示信息進(jìn)行背誦檢測提示。
【文檔編號】G09B5/06GK103824481SQ201410073653
【公開日】2014年5月28日 申請日期:2014年2月28日 優(yōu)先權(quán)日:2014年2月28日
【發(fā)明者】簡文杰, 洪飛圖, 秦偉 申請人:廣東小天才科技有限公司