字符串識別、翻譯方法及設(shè)備的制作方法
【專利摘要】本發(fā)明公開了一種字符串識別、翻譯方法及設(shè)備。該字符串識別方法包括以下步驟:拍攝同步的眼睛運動視頻和眼前圖像視頻;對眼睛運動視頻進行分析以獲取原始眼動數(shù)據(jù);生成修正眼動數(shù)據(jù);合成顯著圖;找出顯著圖上各個高密度區(qū)域中的注意焦點;將所有注意焦點作為種子點、并采用種子填充算法對各個種子點進行填充,以獲得注視焦點圖像;將注視焦點圖像和預設(shè)字符模板進行對比,找出和注視焦點圖像的相似度最高的字符模板并生成識別字符串。本發(fā)明的字符串識別、翻譯方法及設(shè)備,基于同步的眼睛運動視頻和眼前圖像視頻,得出眼動數(shù)據(jù)并進行分析,能夠自動對用戶注視或正在查看的圖像進行字符串的獲取和識別,便利程度極高。
【專利說明】字符串識別、翻譯方法及設(shè)備
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種字符串識別、翻譯方法及設(shè)備。
【背景技術(shù)】
[0002]目前,隨著國際化的快速發(fā)展,即便普通人,也經(jīng)常會遇到外文資料,而對于外語學習者,更需要大量地閱讀外文資料。在目前的外文閱讀過程中,如果遇到生疏的詞匯時,通常需要借助字典、電子詞典或到專業(yè)的網(wǎng)站上進行搜索查詢,無論哪種查詢方式,此過程都需要手動逐個地輸入詞匯字母,效率極低,導致較大比例的人干脆跳過生詞,不去理會,這又使得閱讀質(zhì)量明顯下降。對于小語種的外文資料來說,不熟悉的人很難準確輸入外文詞句,同時輸入法也較少,導致對于小語種來說有著更大的障礙。
[0003]然而,如果要省去手動輸入的過程,就必須首先實現(xiàn)以較為便捷的方式自動獲取用戶感興趣的或者正在閱讀的字符串并對其進行有效的識別,才可能進一步對其進行翻譯。因此,亟需一種能夠令用戶使用非常便利的自動識別字符串的方法,使其能夠在不增加用戶太多操作的前提下普遍適用于各種環(huán)境下的字符串的識別。
【發(fā)明內(nèi)容】
[0004]本發(fā)明要解決的技術(shù)問題是為了克服現(xiàn)有技術(shù)中缺少一種能夠便利地自動對字符串進行有效識別的方法,因而必須依賴用戶手動輸入才能完成字符串的翻譯的缺陷,提出一種字符串識別方法。
[0005]本發(fā)明是通過下述技術(shù)方案來解決上述技術(shù)問題的:
[0006]本發(fā)明提供了一種字符串識別方法,其特征在于,包括以下步驟:
[0007]S1、拍攝一預設(shè)時長的時間段內(nèi)同步的眼睛運動視頻和眼前圖像視頻,眼睛運動視頻包括該時間段內(nèi)各個時刻記錄有眼睛的眼圖像幀,眼前圖像視頻包括該時間段內(nèi)各個時刻記錄有位于眼睛前方的場景的景圖像幀;
[0008]S2、對眼睛運動視頻進行分析以獲取原始眼動數(shù)據(jù),原始眼動數(shù)據(jù)包括原始注視數(shù)據(jù)和原始眼跳數(shù)據(jù),原始注視數(shù)據(jù)和原始眼跳數(shù)據(jù)均包括基于相應眼圖像幀的原始坐標;
[0009]S3、將原始眼動數(shù)據(jù)中的原始坐標通過預設(shè)的坐標變換算法生成修正眼動數(shù)據(jù),修正眼動數(shù)據(jù)包括修正注視數(shù)據(jù)和修正眼跳數(shù)據(jù),修正注視數(shù)據(jù)和修正眼跳數(shù)據(jù)均包括基于相應景圖像幀的修正坐標;
[0010]s4、根據(jù)修正眼動數(shù)據(jù)及相應景圖像幀獲取注視焦點圖像;
[0011]s5、將注視焦點圖像和預設(shè)的多個字符模板進行對比,找出和注視焦點圖像的相似度最高或高于一相似度閾值的字符模板作為匹配字符模板,根據(jù)匹配字符模板生成識別字符串。
[0012]較佳地,S4包括以下步驟:
[0013]S41、根據(jù)修正注視數(shù)據(jù)中的修正坐標確定相應景圖像幀上的注視點,對于每一個注視點,采用核密度估計算法得到其高斯分布,將所有注視點的高斯分布疊加合成一顯著圖,該顯著圖上每一點均具有像素值;
[0014]S42、采用標記山頭法找出該顯著圖上各個高密度區(qū)域中的注意焦點,其中高密度區(qū)域為該顯著圖上注視點密度高于一密度閾值的區(qū)域,注意焦點為各個高密度區(qū)域中像素值最聞的點;
[0015]S43、獲取所有注意焦點的坐標,并將所有注意焦點作為種子點;
[0016]S44、采用種子填充算法對各個種子點進行填充,以獲得注視焦點圖像。
[0017]首先,本發(fā)明的字符串識別方法可以利用光學系統(tǒng)獲取眼睛視頻圖像和眼前圖像視頻,通過分析處理得到人眼觀看圖像時的注視時間、注視點坐標等原始的眼動數(shù)據(jù),然后對獲得的眼動數(shù)據(jù)進行篩選和處理,獲取有效的眼動數(shù)據(jù)。簡而言之,獲取的眼睛視頻圖像能夠表現(xiàn)出人眼怎么看,而眼前圖像視頻則是模擬人眼表現(xiàn)出人眼看的是什么。本發(fā)明中的眼動數(shù)據(jù)包括注視數(shù)據(jù)、眼跳數(shù)據(jù)兩部分。利用同步的眼睛運動視頻和眼前圖像視頻將以人眼為目標的原始眼動數(shù)據(jù),轉(zhuǎn)化為修正眼動數(shù)據(jù)。本領(lǐng)域技術(shù)人員應當理解,這樣的光學系統(tǒng)可以由兩個攝像機及其他較為常用的光學組件來組成,以實現(xiàn)上述功能。
[0018]在人眼看一些圖像時,人對于圖像中各個區(qū)域的興趣度可以由人眼在不同區(qū)域的注視時間長短和注視次數(shù)來反映出,因而本發(fā)明借由注視數(shù)據(jù)和眼跳數(shù)據(jù)對于人眼的閱讀\注視\查看的情況進行分析。而對于眼圖像幀和景圖像幀來說,其尺寸大小可能會有所不同,這種情況下可以根據(jù)其尺寸大小預設(shè)適當?shù)淖鴺俗儞Q公式進行轉(zhuǎn)換。
[0019]此外,核密度估計算法是指在概率論中用來估計未知的密度函數(shù),屬于非參數(shù)檢驗方法之一,本發(fā)明的核密度估計算法所采用的核函數(shù)可以是均勻核函數(shù)、三角核函數(shù)、伽馬核函數(shù)等。而步驟S5中所采用的標記山頭法,其實質(zhì)意義是從每個高密度區(qū)域找出一個注意焦點,最終獲得所有的最佳注意焦點。這里的注意焦點指的是借由眼動數(shù)據(jù)所確定的圖像中觀看者或閱讀者的興趣最大的點的位置。
[0020]以下對步驟S5中所采用的標記山頭法的大體思路進行較為形象的說明,以便理解。如果將顯著圖中每個點的像素值看成是山的高度,則顯著圖可以形象地表示為“山地”,其中要找的注意焦點就是每座山的山頭。找出顯著圖中像素值最大的點(可以理解為最高的山頭)作為第一個注意焦點,對該點所在區(qū)域增長,將該區(qū)域填充為零(可以理解為將這座山的山頂削掉)。在處理過的顯著圖中尋找下一個像素值最大的點。此時,需要解決的問題是,下一個像素值最大的點有可能是已填充為像素值為零的區(qū)域的邊緣像素點(即山頭已被標記過的山的山腰位置,而不是其他山的山頭)。因而就需要一個判斷條件來判斷當前像素值最大的點是已找過山峰的“山腰”還是未標記過的“山頭”。因為已標記過的注意焦點的一定鄰域范圍已被填充為零,所以如果當前像素值最大點是“山腰”,即其位于已填充為零區(qū)域的邊緣,則其周圍的鄰域點(舉例來說,可能是上下左右及兩對角線的8個方向上與像素點相鄰的點)必有像素值為零的點。因此每找到一個像素值最大的點,計算該點鄰域的所有像素值,如果該點鄰域像素值有為零的情況,則說明該點是山腰位置,不能作為注意焦點,否則是山頭,標記為注意焦點。無論是否是注意焦點,都需要在該點進行區(qū)域增長,然后繼續(xù)尋找下一個像素值最大的點,重復這種尋找過程,直到找到適當個數(shù)的注意焦點結(jié)束尋找。
[0021]步驟S6中采用的種子填充算法又稱為邊界填充算法,其基本思想是:從多邊形區(qū)域的一個內(nèi)點開始,由內(nèi)向外用給定的顏色畫點直到邊界為止。如果邊界是以一種顏色指定的,則種子填充算法可逐個像素地處理直到遇到邊界顏色為止。
[0022]在S8中進行的注視焦點圖像和預設(shè)的多個字符模板的對比中,可首先對注視焦點圖像(即包含待識別字符的圖像)進行二值圖像的歸一化處理,然后將其與事先構(gòu)造好的模板(比如事先構(gòu)造好的外文字庫中的字符模板)進行對比,根據(jù)注視焦點圖像與模板的相似度大小來確定最終的識別字符,并生成識別字符串。這一識別字符串可以是單詞或者詞組,也可以短語或者語句。
[0023]較佳地,步驟S2包括以下步驟:
[0024]S21、從各個時刻的眼圖像幀中提取瞳孔中心坐標和角膜反射光斑中心坐標;
[0025]S22、對瞳孔中心坐標和角膜反射光斑中心坐標隨時間的變化進行分析,以獲取原始眼動數(shù)據(jù)。
[0026]較佳地,原始注視數(shù)據(jù)為瞳孔中心坐標和/或角膜反射光斑中心坐標在一預設(shè)時長范圍內(nèi)未改變的數(shù)據(jù),原始眼跳數(shù)據(jù)為某一時刻瞳孔中心坐標和/或角膜反射光斑中心坐標的變化速度和變化加速度分別大于一速度閾值和一加速度閾值的數(shù)據(jù)。
[0027]容易理解地,這里的變化速度和變化加速度,也就是這兩種坐標隨時間變化而移動所產(chǎn)生的速度和加速度。
[0028]較佳地,在步驟S44和S5之間還包括以下步驟:
[0029]S45、利用開運算和/或閉運算對注視焦點圖像進行去孔和平滑邊緣的處理,然后執(zhí)行S5。
[0030]其中開運算是對一個圖像先進行腐蝕運算然后再膨脹的操作過程。它可以消除細小的物體、在纖細點處分離物體、平滑較大物體的邊界時不明顯的改變其面積。而閉運算則是對一個圖像先膨脹然后再收縮,它具有填充物體內(nèi)細小的空洞、連接鄰近物體、在不明顯改變物體面積的情況下平滑其邊界的作用。
[0031]較佳地,S42包括以下步驟:
[0032]S421、找出該顯著圖上像素值最大的像素值極大點;
[0033]S422、判斷和該像素值極大點相鄰的點中是否存在像素值為零的點,在判斷結(jié)果為否的情況下執(zhí)行s423,在判斷結(jié)果為是的情況下執(zhí)行s424 ;
[0034]S423、將該顯著圖上位于該像素值極大點的一鄰域范圍內(nèi)的點的像素值更改為零,并將該像素值極大點變更為注意焦點,然后執(zhí)行步驟S425 ;
[0035]S424、將該顯著圖上位于該像素值極大點的一鄰域范圍內(nèi)的點的像素值更改為零,然后執(zhí)行步驟S425 ;
[0036]S425、判斷注意焦點的個數(shù)是否達到一焦點個數(shù)閾值,在判斷結(jié)果為否的情況下返回s421,在判斷結(jié)果為是的情況下執(zhí)行s43。
[0037]較佳地,S42包括以下步驟:
[0038]S421a、找出該顯著圖上像素值最大的像素值極大點;
[0039]S422a、判斷該像素值極大點的像素值是否大于一像素值閾值,在判斷結(jié)果為是的情況下執(zhí)行s423a,在判斷結(jié)果為否的情況下執(zhí)行s43 ;
[0040]S423a、判斷和該像素值極大點相鄰的點中是否存在像素值為零的點,在判斷結(jié)果為否的情況下執(zhí)行S424a,在判斷結(jié)果為是的情況下執(zhí)行s425a ;
[0041]S424a、將該顯著圖上位于該像素值極大點的一鄰域范圍內(nèi)的點的像素值更改為零,并將該像素值極大點變更為注意焦點,然后返回步驟S421a ;
[0042]S425a、將該顯著圖上位于該像素值極大點的一鄰域范圍內(nèi)的點的像素值更改為零,然后返回步驟s421a。
[0043]應當理解地,本發(fā)明中可擇一地采用上述具體步驟S421a?S425a與步驟S421?S425。
[0044]本發(fā)明還提供了一種字符串翻譯方法,包括上述字符串識別方法,并且在步驟S5后還包括以下步驟:
[0045]S6、將該識別字符串翻譯為目標語言,顯示翻譯結(jié)果。
[0046]本發(fā)明還提供了一種字符串識別設(shè)備,其特點在于,包括拍攝模塊、視頻解析模塊、修正模塊、注視焦點圖像模塊以及匹配模塊。
[0047]其中,拍攝模塊用于拍攝一預設(shè)時長的時間段內(nèi)同步的眼睛運動視頻和眼前圖像視頻,眼睛運動視頻包括該時間段內(nèi)各個時刻記錄有眼睛的眼圖像幀,眼前圖像視頻包括該時間段內(nèi)各個時刻記錄有位于眼睛前方的場景的景圖像幀。
[0048]視頻解析模塊用于對眼睛運動視頻進行分析以獲取原始眼動數(shù)據(jù),原始眼動數(shù)據(jù)包括原始注視數(shù)據(jù)和原始眼跳數(shù)據(jù),原始注視數(shù)據(jù)和原始眼跳數(shù)據(jù)均包括基于相應眼圖像中貞的原始坐標。
[0049]修正模塊用于將原始眼動數(shù)據(jù)中的原始坐標通過預設(shè)的坐標變換算法生成修正眼動數(shù)據(jù),修正眼動數(shù)據(jù)包括修正注視數(shù)據(jù)和修正眼跳數(shù)據(jù),修正注視數(shù)據(jù)和修正眼跳數(shù)據(jù)均包括基于相應景圖像幀的修正坐標。
[0050]注視焦點圖像模塊用于根據(jù)修正眼動數(shù)據(jù)及相應景圖像幀獲取注視焦點圖像。
[0051]匹配模塊,用于將注視焦點圖像和預設(shè)的多個字符模板進行對比,找出和注視焦點圖像的相似度最高或高于一相似度閾值的字符模板作為匹配字符模板,根據(jù)匹配字符模板生成識別字符串。
[0052]較佳地,注視焦點圖像模塊包括顯著圖合成模塊、焦點獲取模塊、焦點坐標模塊和種子填充模塊。
[0053]其中,顯著圖合成模塊,用于根據(jù)修正注視數(shù)據(jù)中的修正坐標確定相應景圖像幀上的注視點,對于每一個注視點,采用核密度估計算法得到其高斯分布,將所有注視點的高斯分布疊加合成一顯著圖,該顯著圖上每一點均具有像素值。
[0054]焦點獲取模塊,用于采用標記山頭法找出該顯著圖上各個高密度區(qū)域中的注意焦點,其中高密度區(qū)域為該顯著圖上注視點密度高于一密度閾值的區(qū)域,注意焦點為各個高密度區(qū)域中像素值最高的點。
[0055]焦點坐標模塊,用于獲取所有注意焦點的坐標,并將所有注意焦點作為種子點。種子填充模塊,用于采用種子填充算法對各個種子點進行填充,以獲得注視焦點圖像。
[0056]較佳地,該視頻解析模塊包括一中心坐標提取單元和一中心坐標解析單元,該中心坐標提取單元用于從各個時刻的眼圖像幀中提取瞳孔中心坐標和角膜反射光斑中心坐標,該中心坐標解析單元用于對瞳孔中心坐標和角膜反射光斑中心坐標隨時間的變化進行分析,以獲取原始眼動數(shù)據(jù)。
[0057]較佳地,原始注視數(shù)據(jù)為瞳孔中心坐標和/或角膜反射光斑中心坐標在一預設(shè)時長范圍內(nèi)未改變的數(shù)據(jù),原始眼跳數(shù)據(jù)為某一時刻瞳孔中心坐標和/或角膜反射光斑中心坐標的變化速度和變化加速度分別大于一速度閾值和一加速度閾值的數(shù)據(jù)。
[0058]較佳地,注視焦點圖像模塊還包括一平滑模塊,用于利用開運算和/或閉運算對注視焦點圖像進行去孔和平滑邊緣的處理,并將處理后的注視焦點圖像發(fā)送至該匹配模塊。
[0059]較佳地,該焦點獲取模塊包括:
[0060]一像素值極大點單元,用于找出該顯著圖上像素值最大的像素值極大點,并啟用一第一判斷單元;
[0061]該第一判斷單元用于判斷和該像素值極大點相鄰的點中是否存在像素值為零的點,在判斷結(jié)果為否的情況下啟用一第一變更單元,在判斷結(jié)果為是的情況下啟用一第二變更單元;
[0062]該第一變更單元,用于將該顯著圖上位于該像素值極大點的一鄰域范圍內(nèi)的點的像素值更改為零,并將該像素值極大點變更為注意焦點,然后啟用該第二變更單元;
[0063]該第二變更單元用于將該顯著圖上位于該像素值極大點的一鄰域范圍內(nèi)的點的像素值更改為零,然后啟用一第二判斷單元;
[0064]該第二判斷單元用于判斷注意焦點的個數(shù)是否達到一焦點個數(shù)閾值,在判斷結(jié)果為否的情況下重新啟用該像素值極大點單元,在判斷結(jié)果為是的情況下啟用該焦點坐標模塊。
[0065]較佳地,該焦點獲取模塊包括:
[0066]一像素值極大點單元,用于找出該顯著圖上像素值最大的像素值極大點,并啟用一第三判斷單元;
[0067]該第三判斷單元用于判斷該像素值極大點的像素值是否大于一像素值閾值,在判斷結(jié)果為是的情況下啟用一第四判斷單元,在判斷結(jié)果為否的情況下啟用該焦點坐標模塊;
[0068]該第四判斷單元用于判斷和該像素值極大點相鄰的點中是否存在像素值為零的點,在判斷結(jié)果為否的情況下啟用一第三變更單元,在判斷結(jié)果為是的情況下啟用一第四變更單元;
[0069]該第三變更單元用于將該顯著圖上位于該像素值極大點的一鄰域范圍內(nèi)的點的像素值更改為零,并將該像素值極大點變更為注意焦點,然后重新啟用該像素值極大點單元;
[0070]該第四變更單元用于將該顯著圖上位于該像素值極大點的一鄰域范圍內(nèi)的點的像素值更改為零,然后重新啟用該像素值極大點單元。
[0071]本發(fā)明還提供了一種字符串翻譯設(shè)備,其特點在于,包括上述字符串識別設(shè)備以及一翻譯模塊,該翻譯模塊用于將該匹配模塊生成的該識別字符串翻譯為目標語言,并顯不翻譯結(jié)果。
[0072]在符合本領(lǐng)域常識的基礎(chǔ)上,上述各優(yōu)選條件,可任意組合,即得本發(fā)明各較佳實例。
[0073]本發(fā)明的積極進步效果在于:
[0074]本發(fā)明的字符串識別、翻譯方法及設(shè)備,基于同步的眼睛運動視頻和眼前圖像視頻,得出眼動數(shù)據(jù)進行進一步分析,能夠自動對用戶注視或正在查看的圖像進行字符串的獲取和識別,便利程度極高,無需依賴用戶手動輸入就能完成字符串的翻譯。
【專利附圖】
【附圖說明】
[0075]圖1為本發(fā)明實施例1的字符串識別方法的流程圖。
[0076]圖2為本發(fā)明實施例1的字符串識別方法中步驟S5的流程圖。
[0077]圖3為本發(fā)明實施例2的字符串識別方法中步驟S5的流程圖。
[0078]圖4為本發(fā)明實施例4的字符串識別設(shè)備的示意圖。
【具體實施方式】
[0079]下面結(jié)合附圖給出本發(fā)明較佳實施例,以詳細說明本發(fā)明的技術(shù)方案,但并不因此將本發(fā)明限制在所述的實施例范圍之中。
[0080]實施例1
[0081]如圖1所示,本實施例的字符串識別方法包括以下步驟:
[0082]S1、拍攝一預設(shè)時長的時間段內(nèi)同步的眼睛運動視頻和眼前圖像視頻,眼睛運動視頻包括該時間段內(nèi)各個時刻記錄有眼睛的眼圖像幀,眼前圖像視頻包括該時間段內(nèi)各個時刻記錄有位于眼睛前方的場景的景圖像幀;
[0083]S2、對眼睛運動視頻進行分析以獲取原始眼動數(shù)據(jù),原始眼動數(shù)據(jù)包括原始注視數(shù)據(jù)和原始眼跳數(shù)據(jù),原始注視數(shù)據(jù)和原始眼跳數(shù)據(jù)均包括基于相應眼圖像幀的原始坐標;
[0084]S3、將原始眼動數(shù)據(jù)中的原始坐標通過預設(shè)的坐標變換算法生成修正眼動數(shù)據(jù),修正眼動數(shù)據(jù)包括修正注視數(shù)據(jù)和修正眼跳數(shù)據(jù),修正注視數(shù)據(jù)和修正眼跳數(shù)據(jù)均包括基于相應景圖像幀的修正坐標;
[0085]S4、根據(jù)修正注視數(shù)據(jù)中的修正坐標確定相應景圖像幀上的注視點,對于每一個注視點,采用核密度估計算法得到其高斯分布,將所有注視點的高斯分布疊加合成一顯著圖,該顯著圖上每一點均具有像素值;
[0086]S5、采用標記山頭法找出該顯著圖上各個高密度區(qū)域中的注意焦點,其中高密度區(qū)域為該顯著圖上注視點密度高于一密度閾值的區(qū)域,注意焦點為各個高密度區(qū)域中像素值最聞的點;
[0087]S6、獲取所有注意焦點的坐標,并將所有注意焦點作為種子點;
[0088]S7、采用種子填充算法對各個種子點進行填充,以獲得注視焦點圖像;
[0089]S71、利用開運算和閉運算對注視焦點圖像進行去孔和平滑邊緣的處理;
[0090]S8、將注視焦點圖像和預設(shè)的多個字符模板進行對比,找出和注視焦點圖像的相似度最高或高于一相似度閾值的字符模板作為匹配字符模板,根據(jù)匹配字符模板生成識別字符串。
[0091]參考圖2所示,本實施例中的步驟S5包括以下步驟:
[0092]S51、找出該顯著圖上像素值最大的像素值極大點;
[0093]S52、判斷和該像素值極大點相鄰的點中是否存在像素值為零的點,在判斷結(jié)果為否的情況下執(zhí)行S53,在判斷結(jié)果為是的情況下執(zhí)行S54 ;
[0094]S53、將該顯著圖上位于該像素值極大點的一鄰域范圍內(nèi)的點的像素值更改為零,并將該像素值極大點變更為注意焦點,然后執(zhí)行步驟S55 ;
[0095]S54、將該顯著圖上位于該像素值極大點的一鄰域范圍內(nèi)的點的像素值更改為零,然后執(zhí)行步驟s55 ;
[0096]S55、判斷注意焦點的個數(shù)是否達到一焦點個數(shù)閾值,在判斷結(jié)果為否的情況下返回S51,在判斷結(jié)果為是的情況下執(zhí)行s6。
[0097]實施例2
[0098]本實施例的字符串識別方法和實施例1相比,僅在步驟S2和步驟S5上存在一定的差別,具體如下。
[0099]本實施例中,步驟S2包括以下步驟:
[0100]S21、從各個時刻的眼圖像幀中提取瞳孔中心坐標和角膜反射光斑中心坐標;
[0101]S22、對瞳孔中心坐標和角膜反射光斑中心坐標隨時間的變化進行分析,以獲取原始眼動數(shù)據(jù)。
[0102]其中,原始注視數(shù)據(jù)為瞳孔中心坐標和角膜反射光斑中心坐標在一預設(shè)時長范圍內(nèi)未改變的數(shù)據(jù),原始眼跳數(shù)據(jù)為某一時刻瞳孔中心坐標和角膜反射光斑中心坐標的變化速度和變化加速度分別大于一速度閾值和一加速度閾值的數(shù)據(jù)。這里的變化速度和變化加速度,也就是這兩種坐標隨時間變化而移動所產(chǎn)生的速度和加速度。
[0103]本實施例中,參考圖3所示,步驟S5基本由以下步驟組成:
[0104]S51a、找出該顯著圖上像素值最大的像素值極大點;
[0105]S52a、判斷該像素值極大點的像素值是否大于一像素值閾值,在判斷結(jié)果為是的情況下執(zhí)行s53a,在判斷結(jié)果為否的情況下執(zhí)行s6 ;
[0106]S53a、判斷和該像素值極大點相鄰的點中是否存在像素值為零的點,在判斷結(jié)果為否的情況下執(zhí)行s54a,在判斷結(jié)果為是的情況下執(zhí)行s55a ;
[0107]S54a、將該顯著圖上位于該像素值極大點的一鄰域范圍內(nèi)的點的像素值更改為零,并將該像素值極大點變更為注意焦點,然后返回步驟S51a ;
[0108]S55a、將該顯著圖上位于該像素值極大點的一鄰域范圍內(nèi)的點的像素值更改為零,然后返回步驟s51a。
[0109]實施例3
[0110]本實施例的字符串翻譯方法包括了實施例3的字符串識別方法的全部步驟,并且在步驟S8后還包括一步驟:
[0111]s9、將該識別字符串翻譯為目標語言,顯示翻譯結(jié)果。
[0112]實施例4
[0113]參考圖4所示,本實施例的字符串識別設(shè)備,包括以下組成部分:
[0114]一拍攝模塊1,用于拍攝一預設(shè)時長的時間段內(nèi)同步的眼睛運動視頻和眼前圖像視頻,眼睛運動視頻包括該時間段內(nèi)各個時刻記錄有眼睛的眼圖像幀,眼前圖像視頻包括該時間段內(nèi)各個時刻記錄有位于眼睛前方的場景的景圖像幀;
[0115]一視頻解析模塊2,用于對眼睛運動視頻進行分析以獲取原始眼動數(shù)據(jù),原始眼動數(shù)據(jù)包括原始注視數(shù)據(jù)和原始眼跳數(shù)據(jù),原始注視數(shù)據(jù)和原始眼跳數(shù)據(jù)均包括基于相應眼圖像幀的原始坐標;
[0116]一修正模塊3,用于將原始眼動數(shù)據(jù)中的原始坐標通過預設(shè)的坐標變換算法生成修正眼動數(shù)據(jù),修正眼動數(shù)據(jù)包括修正注視數(shù)據(jù)和修正眼跳數(shù)據(jù),修正注視數(shù)據(jù)和修正眼跳數(shù)據(jù)均包括基于相應景圖像幀的修正坐標;
[0117]一顯著圖合成模塊4,用于根據(jù)修正注視數(shù)據(jù)中的修正坐標確定相應景圖像幀上的注視點,對于每一個注視點,采用核密度估計算法得到其高斯分布,將所有注視點的高斯分布疊加合成一顯著圖,該顯著圖上每一點均具有像素值;
[0118]一焦點獲取模塊5,用于采用標記山頭法找出該顯著圖上各個高密度區(qū)域中的注意焦點,其中高密度區(qū)域為該顯著圖上注視點密度高于一密度閾值的區(qū)域,注意焦點為各個高密度區(qū)域中像素值最高的點;
[0119]—焦點坐標模塊6,用于獲取所有注意焦點的坐標,并將所有注意焦點作為種子占.
[0120]一種子填充模塊7,用于采用種子填充算法對各個種子點進行填充,以獲得注視焦點圖像;
[0121]一匹配模塊8,用于將注視焦點圖像和預設(shè)的多個字符模板進行對比,找出和注視焦點圖像的相似度最高或高于一相似度閾值的字符模板作為匹配字符模板,根據(jù)匹配字符模板生成識別字符串。
[0122]其中,該視頻解析模塊包括一中心坐標提取單元和一中心坐標解析單元,該中心坐標提取單元用于從各個時刻的眼圖像幀中提取瞳孔中心坐標和角膜反射光斑中心坐標,該中心坐標解析單元用于對瞳孔中心坐標和角膜反射光斑中心坐標隨時間的變化進行分析,以獲取原始眼動數(shù)據(jù)。在此處,原始注視數(shù)據(jù)為瞳孔中心坐標和角膜反射光斑中心坐標在一預設(shè)時長范圍內(nèi)未改變的數(shù)據(jù),原始眼跳數(shù)據(jù)為某一時刻瞳孔中心坐標和角膜反射光斑中心坐標的變化速度和變化加速度分別大于一速度閾值和一加速度閾值的數(shù)據(jù)。
[0123]并且,該字符串識別設(shè)備還包括一平滑模塊,用于利用開運算和閉運算對注視焦點圖像進行去孔和平滑邊緣的處理,并將處理后的注視焦點圖像發(fā)送至該匹配模塊。
[0124]該焦點獲取模塊具體包括了以下單元:
[0125]一像素值極大點單元,用于找出該顯著圖上像素值最大的像素值極大點,并啟用一第一判斷單元;
[0126]該第一判斷單元用于判斷和該像素值極大點相鄰的點中是否存在像素值為零的點,在判斷結(jié)果為否的情況下啟用一第一變更單元,在判斷結(jié)果為是的情況下啟用一第二變更單元;
[0127]該第一變更單元,用于將該顯著圖上位于該像素值極大點的一鄰域范圍內(nèi)的點的像素值更改為零,并將該像素值極大點變更為注意焦點,然后啟用該第二變更單元;
[0128]該第二變更單元用于將該顯著圖上位于該像素值極大點的一鄰域范圍內(nèi)的點的像素值更改為零,然后啟用一第二判斷單元;
[0129]該第二判斷單元用于判斷注意焦點的個數(shù)是否達到一焦點個數(shù)閾值,在判斷結(jié)果為否的情況下重新啟用該像素值極大點單元,在判斷結(jié)果為是的情況下啟用該焦點坐標模塊。
[0130]實施例5
[0131]本實施例的字符串識別設(shè)備和實施例4的字符串識別設(shè)備相比,差別僅在于具有不同的焦點獲取模塊。
[0132]本實施例中的焦點獲取模塊包括以下單元:
[0133]一像素值極大點單元,用于找出該顯著圖上像素值最大的像素值極大點,并啟用一第三判斷單元;
[0134]該第三判斷單元用于判斷該像素值極大點的像素值是否大于一像素值閾值,在判斷結(jié)果為是的情況下啟用一第四判斷單元,在判斷結(jié)果為否的情況下啟用該焦點坐標模塊;
[0135]該第四判斷單元用于判斷和該像素值極大點相鄰的點中是否存在像素值為零的點,在判斷結(jié)果為否的情況下啟用一第三變更單元,在判斷結(jié)果為是的情況下啟用一第四變更單元;
[0136]該第三變更單元用于將該顯著圖上位于該像素值極大點的一鄰域范圍內(nèi)的點的像素值更改為零,并將該像素值極大點變更為注意焦點,然后重新啟用該像素值極大點單元;
[0137]該第四變更單元用于將該顯著圖上位于該像素值極大點的一鄰域范圍內(nèi)的點的像素值更改為零,然后重新啟用該像素值極大點單元。
[0138]實施例6
[0139]本實施例的字符串翻譯設(shè)備包括了實施例5的字符串識別設(shè)備以及一翻譯模塊,該翻譯模塊用于將該匹配模塊生成的該識別字符串翻譯為目標語言,并顯示翻譯結(jié)果。
[0140]雖然以上描述了本發(fā)明的【具體實施方式】,但是本領(lǐng)域的技術(shù)人員應當理解,這些僅是舉例說明,本發(fā)明的保護范圍是由所附權(quán)利要求書限定的。本領(lǐng)域的技術(shù)人員在不背離本發(fā)明的原理和實質(zhì)的前提下,可以對這些實施方式做出多種變更或修改,但這些變更和修改均落入本發(fā)明的保護范圍。
【權(quán)利要求】
1.一種字符串識別方法,其特征在于,包括以下步驟: 51、拍攝一預設(shè)時長的時間段內(nèi)同步的眼睛運動視頻和眼前圖像視頻,眼睛運動視頻包括該時間段內(nèi)各個時刻記錄有眼睛的眼圖像巾貞,眼前圖像視頻包括該時間段內(nèi)各個時刻記錄有位于眼睛前方的場景的景圖像幀; 52、對眼睛運動視頻進行分析以獲取原始眼動數(shù)據(jù),原始眼動數(shù)據(jù)包括原始注視數(shù)據(jù)和原始眼跳數(shù)據(jù),原始注視數(shù)據(jù)和原始眼跳數(shù)據(jù)均包括基于相應眼圖像幀的原始坐標; 53、將原始眼動數(shù)據(jù)中的原始坐標通過預設(shè)的坐標變換算法生成修正眼動數(shù)據(jù),修正眼動數(shù)據(jù)包括修正注視數(shù)據(jù)和修正眼跳數(shù)據(jù),修正注視數(shù)據(jù)和修正眼跳數(shù)據(jù)均包括基于相應景圖像幀的修正坐標; 54、根據(jù)修正眼動數(shù)據(jù)及相應景圖像幀獲取注視焦點圖像; 55、將注視焦點圖像和預設(shè)的多個字符模板進行對比,找出和注視焦點圖像的相似度最高或高于一相似度閾值的字符模板作為匹配字符模板,根據(jù)匹配字符模板生成識別字符串O
2.如權(quán)利要求1所述的字符串識別方法,其特征在于,S4包括以下步驟: 541、根據(jù)修正注視數(shù)據(jù)中的修正坐標確定相應景圖像幀上的注視點,對于每一個注視點,采用核密度估計算法得到其高斯分布,將所有注視點的高斯分布疊加合成一顯著圖,該顯著圖上每一點均具有像素值; 542、采用標記山頭法找出該顯著圖上各個高密度區(qū)域中的注意焦點,其中高密度區(qū)域為該顯著圖上注視點密度高于一密度閾值的區(qū)域,注意焦點為各個高密度區(qū)域中像素值最聞的點; 543、獲取所有注意焦點的坐標,并將所有注意焦點作為種子點; 544、采用種子填充算法對各個種子點進行填充,以獲得注視焦點圖像。
3.如權(quán)利要求1所述的字符串識別方法,其特征在于,步驟S2包括以下步驟: 521、從各個時刻的眼圖像幀中提取瞳孔中心坐標和角膜反射光斑中心坐標; 522、對瞳孔中心坐標和角膜反射光斑中心坐標隨時間的變化進行分析,以獲取原始眼動數(shù)據(jù)。
4.如權(quán)利要求3所述的字符串識別方法,其特征在于,原始注視數(shù)據(jù)為瞳孔中心坐標和/或角膜反射光斑中心坐標在一預設(shè)時長范圍內(nèi)未改變的數(shù)據(jù),原始眼跳數(shù)據(jù)為某一時刻瞳孔中心坐標和/或角膜反射光斑中心坐標的變化速度和變化加速度分別大于一速度閾值和一加速度閾值的數(shù)據(jù)。
5.如權(quán)利要求2所述的字符串識別方法,其特征在于,在步驟S44和S5之間還包括以下步驟: 545、利用開運算和/或閉運算對注視焦點圖像進行去孔和平滑邊緣的處理,然后執(zhí)行s5。
6.如權(quán)利要求2所述的字符串識別方法,其特征在于,S42包括以下步驟: 5421、找出該顯著圖上像素值最大的像素值極大點; 5422、判斷和該像素值極大點相鄰的點中是否存在像素值為零的點,在判斷結(jié)果為否的情況下執(zhí)行S423,在判斷結(jié)果為是的情況下執(zhí)行S424 ; 5423、將該顯著圖上位于該像素值極大點的一鄰域范圍內(nèi)的點的像素值更改為零,并將該像素值極大點變更為注意焦點,然后執(zhí)行步驟S425 ; 5424、將該顯著圖上位于該像素值極大點的一鄰域范圍內(nèi)的點的像素值更改為零,然后執(zhí)行步驟S425 ; 5425、判斷注意焦點的個數(shù)是否達到一焦點個數(shù)閾值,在判斷結(jié)果為否的情況下返回S421,在判斷結(jié)果為是的情況下執(zhí)行s43。
7.如權(quán)利要求2所述的字符串識別方法,S42包括以下步驟: S421a、找出該顯著圖上像素值最大的像素值極大點; S422a、判斷該像素值極大點的像素值是否大于一像素值閾值,在判斷結(jié)果為是的情況下執(zhí)行S423a,在判斷結(jié)果為否的情況下執(zhí)行S43 ; S423a、判斷和該像素值極大點相鄰的點中是否存在像素值為零的點,在判斷結(jié)果為否的情況下執(zhí)行S424a,在判斷結(jié)果為是的情況下執(zhí)行S425a ; S424a、將該顯著圖上位于該像素值極大點的一鄰域范圍內(nèi)的點的像素值更改為零,并將該像素值極大點變更為注意焦點,然后返回步驟S421a ; S425a、將該顯著圖上位于該像素值極大點的一鄰域范圍內(nèi)的點的像素值更改為零,然后返回步驟S421a。
8.一種字符串翻譯方法,其特征在于,包括如權(quán)利要求1-7中任意一項所述的字符串識別方法,在步驟S5后還包括以下步驟: S6、將該識別字符串翻譯為目標語言,顯示翻譯結(jié)果。
9.一種字符串識別設(shè)備,其特征在于,包括: 拍攝模塊,用于拍攝一預設(shè)時長的時間段內(nèi)同步的眼睛運動視頻和眼前圖像視頻,目艮睛運動視頻包括該時間段內(nèi)各個時刻記錄有眼睛的眼圖像幀,眼前圖像視頻包括該時間段內(nèi)各個時刻記錄有位于眼睛前方的場景的景圖像幀; 視頻解析模塊,用于對眼睛運動視頻進行分析以獲取原始眼動數(shù)據(jù),原始眼動數(shù)據(jù)包括原始注視數(shù)據(jù)和原始眼跳數(shù)據(jù),原始注視數(shù)據(jù)和原始眼跳數(shù)據(jù)均包括基于相應眼圖像幀的原始坐標; 修正模塊,用于將原始眼動數(shù)據(jù)中的原始坐標通過預設(shè)的坐標變換算法生成修正眼動數(shù)據(jù),修正眼動數(shù)據(jù)包括修正注視數(shù)據(jù)和修正眼跳數(shù)據(jù),修正注視數(shù)據(jù)和修正眼跳數(shù)據(jù)均包括基于相應景圖像巾貞的修正坐標; 注視焦點圖像模塊,用于根據(jù)修正眼動數(shù)據(jù)及相應景圖像幀獲取注視焦點圖像; 匹配模塊,用于將注視焦點圖像和預設(shè)的多個字符模板進行對比,找出和注視焦點圖像的相似度最高或高于一相似度閾值的字符模板作為匹配字符模板,根據(jù)匹配字符模板生成識別字符串。
10.如權(quán)利要求9所述的字符串識別設(shè)備,其特征在于,注視焦點圖像模塊包括顯著圖合成模塊、焦點獲取模塊、焦點坐標模塊和種子填充模塊,其中, 顯著圖合成模塊,用于根據(jù)修正注視數(shù)據(jù)中的修正坐標確定相應景圖像幀上的注視點,對于每一個注視點,采用核密度估計算法得到其高斯分布,將所有注視點的高斯分布疊加合成一顯著圖,該顯著圖上每一點均具有像素值; 焦點獲取模塊,用于采用標記山頭法找出該顯著圖上各個高密度區(qū)域中的注意焦點,其中高密度區(qū)域為該顯著圖上注視點密度高于一密度閾值的區(qū)域,注意焦點為各個高密度區(qū)域中像素值最高的點; 焦點坐標模塊,用于獲取所有注意焦點的坐標,并將所有注意焦點作為種子點; 種子填充模塊,用于采用種子填充算法對各個種子點進行填充,以獲得注視焦點圖像。
11.如權(quán)利要求9所述的字符串識別設(shè)備,其特征在于,該視頻解析模塊包括一中心坐標提取單元和一中心坐標解析單元,該中心坐標提取單元用于從各個時刻的眼圖像幀中提取瞳孔中心坐標和角膜反射光斑中心坐標,該中心坐標解析單元用于對瞳孔中心坐標和角膜反射光斑中心坐標隨時間的變化進行分析,以獲取原始眼動數(shù)據(jù)。
12.如權(quán)利要求11所述的字符串識別設(shè)備,其特征在于,原始注視數(shù)據(jù)為瞳孔中心坐標和/或角膜反射光斑中心坐標在一預設(shè)時長范圍內(nèi)未改變的數(shù)據(jù),原始眼跳數(shù)據(jù)為某一時刻瞳孔中心坐標和/或角膜反射光斑中心坐標的變化速度和變化加速度分別大于一速度閾值和一加速度閾值的數(shù)據(jù)。
13.如權(quán)利要求10所述的字符串識別設(shè)備,其特征在于,注視焦點圖像模塊還包括一平滑模塊,用于利用開運算和/或閉運算對注視焦點圖像進行去孔和平滑邊緣的處理,并將處理后的注視焦點圖像發(fā)送至該匹配模塊。
14.如權(quán)利要求10所述的字符串識別設(shè)備,該焦點獲取模塊包括: 一像素值極大點單元,用于找出該顯著圖上像素值最大的像素值極大點,并啟用一第一判斷單元; 該第一判斷單元用于判斷和該像素值極大點相鄰的點中是否存在像素值為零的點,在判斷結(jié)果為否的情況下啟用一第一變更單元,在判斷結(jié)果為是的情況下啟用一第二變更單元; 該第一變更單元,用于將該顯著圖上位于該像素值極大點的一鄰域范圍內(nèi)的點的像素值更改為零,并將該像素值極大點變更為注意焦點,然后啟用該第二變更單元; 該第二變更單元用于將該顯著圖上位于該像素值極大點的一鄰域范圍內(nèi)的點的像素值更改為零,然后啟用一第二判斷單元; 該第二判斷單元用于判斷注意焦點的個數(shù)是否達到一焦點個數(shù)閾值,在判斷結(jié)果為否的情況下重新啟用該像素值極大點單元,在判斷結(jié)果為是的情況下啟用該焦點坐標模塊。
15.如權(quán)利要求10所述的字符串識別設(shè)備,該焦點獲取模塊包括: 一像素值極大點單元,用于找出該顯著圖上像素值最大的像素值極大點,并啟用一第三判斷單元; 該第三判斷單元用于判斷該像素值極大點的像素值是否大于一像素值閾值,在判斷結(jié)果為是的情況下啟用一第四判斷單元,在判斷結(jié)果為否的情況下啟用該焦點坐標模塊; 該第四判斷單元用于判斷和該像素值極大點相鄰的點中是否存在像素值為零的點,在判斷結(jié)果為否的情況下啟用一第三變更單元,在判斷結(jié)果為是的情況下啟用一第四變更單元; 該第三變更單元用于將該顯著圖上位于該像素值極大點的一鄰域范圍內(nèi)的點的像素值更改為零,并將該像素值極大點變更為注意焦點,然后重新啟用該像素值極大點單元; 該第四變更單元用于將該顯著圖上位于該像素值極大點的一鄰域范圍內(nèi)的點的像素值更改為零,然后重新啟用該像素值極大點單元。
16.一種字符串翻譯設(shè)備,其特征在于,包括如權(quán)利要求9-15中任意一項所述的字符串識別設(shè)備以及一翻譯模塊,該翻譯模塊用于將該匹配模塊生成的該識別字符串翻譯為目標語言,并顯示翻譯結(jié)果。
【文檔編號】G06K9/00GK104239875SQ201410522255
【公開日】2014年12月24日 申請日期:2014年9月30日 優(yōu)先權(quán)日:2014年9月30日
【發(fā)明者】李柯材 申請人:上海華勤通訊技術(shù)有限公司