本發(fā)明屬于眼球追蹤技術(shù)領(lǐng)域，具體涉及一種基于視線的心理輔助分析系統(tǒng)和方法。

背景技術(shù)：

心理學(xué)的研究表明人類的任何心理活動、情緒反應(yīng)均會引起相應(yīng)地生理參量的變化，這些生理參量由于受植物神經(jīng)系統(tǒng)支配，植物神經(jīng)系統(tǒng)由于指揮中樞在下丘腦而不在大腦皮層，所以一般不受人的意識控制，而是自主動作，在外界刺激下會出現(xiàn)一系列條件反射現(xiàn)象。

不以意識控制的人體條件發(fā)射現(xiàn)象可以很好地應(yīng)用于人體心理的測試。心理測試儀為目前最為常見的應(yīng)用設(shè)備。其中，不同的廠家采用了不同的身體特性制作出了不同的心理測試儀。例如，利用人體皮膚溫度變化來獲取心理測試結(jié)果的專利文獻(xiàn)CN200820108530.8、利用腦電波變化來獲取心理測試結(jié)果的專利文獻(xiàn)CN200820108528.0以及利用汗腺活動來獲取心理測試結(jié)果的專利文獻(xiàn)CN201120399122.4等，也有利用多種身體反應(yīng)來綜合獲取心理測試結(jié)果的專利文獻(xiàn)CN201420827258.4、CN201220216796.0等。

上述的技術(shù)方案中，單一人體生理參數(shù)的心理測試儀的精確度較低，而多特性的心理測試儀又由于價格成本。因此，如何設(shè)計一種精度高且成本低的心理輔助分析系統(tǒng)就變得極其重要。

技術(shù)實現(xiàn)要素：

為了解決現(xiàn)有技術(shù)中存在的上述問題，本發(fā)明提供了一種基于視線的心理輔助分析系統(tǒng)和方法。

本發(fā)明的一個實施例提供了一種基于視線的心理輔助分析系統(tǒng)，包括：VR眼部測試設(shè)備和心理輔助分析裝置，且所述心理輔助分析裝置與所述VR眼部測試設(shè)備通信連接；所述心理輔助分析裝置包括瞳孔圖像采集器、錄音器及處理器；其中，

在初始化階段，所述心理輔助分析裝置觸發(fā)所述VR眼部測試設(shè)備顯示視線測試圖像，并同步控制所述瞳孔圖像采集器采集被測試者的第一瞳孔圖像，并將所述第一瞳孔圖像的信息傳輸至所述處理器以供所述處理器進(jìn)行視線定位的初始化處理；

在測試階段，所述心理輔助分析裝置控制所述錄音器錄制所述被測試者與引導(dǎo)者的對話，并控制所述瞳孔圖像采集器采集被測試者的第二瞳孔圖像，將所述對話的語音數(shù)據(jù)和所述第二瞳孔圖像的圖像數(shù)據(jù)同步傳輸至所述處理器以供所述處理器進(jìn)行處理形成心理輔助分析數(shù)據(jù)。

在本發(fā)明的一個實施例中，所述心理輔助分析裝置為頭戴設(shè)備，所述瞳孔圖像采集器設(shè)置于所述頭戴設(shè)備位于被測試者眼部正前上方的位置處，且所述VR眼部測試設(shè)備與所述頭戴設(shè)備匹配設(shè)置以使所述瞳孔圖像采集器在所述被測試者佩戴所述眼部測試設(shè)備時不被遮擋。

在本發(fā)明的一個實施例中，所述頭戴設(shè)備為眼鏡結(jié)構(gòu)，所述瞳孔圖像采集器為多個且均勻設(shè)置于鏡框的內(nèi)側(cè)緣位置處。

在本發(fā)明的一個實施例中，所述錄音器和所述處理器均設(shè)置于鏡腿靠近所述鏡框的位置處。

在本發(fā)明的一個實施例中，所述錄音器和所述處理器均設(shè)置于鏡腿靠近所述鏡框的位置處。

本發(fā)明的另一個實施例提供了一種基于視線的心理輔助分析方法，包括：

控制VR眼部測試設(shè)備顯示視線測試圖像并同步控制瞳孔圖像采集器采集被測試者的第一瞳孔圖像；

由處理器根據(jù)所述第一瞳孔圖像和所述視線測試圖像進(jìn)行視線定位的初始化；

在引導(dǎo)者發(fā)送開始記錄指令后同步啟動錄音器和瞳孔圖像采集器以錄制被測試者和引導(dǎo)者的對話及被測試者的第二瞳孔圖像；

由處理器根據(jù)所述對話的語音數(shù)據(jù)和所述第二瞳孔圖像的圖像數(shù)據(jù)進(jìn)行處理形成心理輔助分析數(shù)據(jù)以供所述引導(dǎo)者進(jìn)行心理分析。

在本發(fā)明的一個實施例中，控制VR眼部測試設(shè)備顯示視線測試圖像，包括：

控制所述VR眼部測試設(shè)備在被測試者眼前展示的畫面中依次出現(xiàn)K個點以引導(dǎo)被測試者對所述K個點進(jìn)行依次觀察；所述K個點按照程序設(shè)定顯示在視角的不同位置處。

在本發(fā)明的一個實施例中，由處理器根據(jù)所述第一瞳孔圖像和測試圖像確定視線定位的初始化，包括：

由所述處理器根據(jù)所述第一瞳孔圖像處理確定瞳孔邊緣信息，并根據(jù)所述瞳孔邊緣信息確定所述被測試者的瞳孔中心；

根據(jù)所述K個點相對于所述被測試者的方位坐標(biāo)和所述瞳孔中心的方位坐標(biāo)形成對應(yīng)的映射模型(X,Y)＝F(x,y)以完成所述視線定位的初始化；其中，(X,Y)為所述K個點相對于所述被測試者的方位坐標(biāo)，(x,y)為所述瞳孔中心的方位坐標(biāo)，F(xiàn)為映射函數(shù)。

在本發(fā)明的一個實施例中，根據(jù)所述第一瞳孔圖像處理確定瞳孔邊緣信息，并根據(jù)所述瞳孔邊緣信息確定所述被測試者的瞳孔中心，包括：

對所述第一瞳孔圖像進(jìn)行處理形成灰度變化圖；

在所述灰度變化圖中選擇初始點，并以初始點為中心沿不同射線方向?qū)ふ一叶茸兓首畲蟮狞c作為沿當(dāng)前射線方向的瞳孔邊緣點；

將多個所述瞳孔邊緣點進(jìn)行擬合形成類橢圓曲線；

計算所述類橢圓曲線的長軸和短軸的交點形成所述瞳孔中心。

在本發(fā)明的一個實施例中，由處理器根據(jù)所述對話的語音數(shù)據(jù)和所述第二瞳孔圖像的圖像數(shù)據(jù)進(jìn)行處理形成心理輔助分析數(shù)據(jù)，包括：

由所述處理器根據(jù)所述第二瞳孔圖像確定所述被測試者在當(dāng)前圖像中的瞳孔中心的方位坐標(biāo)；

根據(jù)所述映射模型(X,Y)＝F(x,y)計算所述被測試者當(dāng)前的視線方位坐標(biāo)；

在設(shè)定的時間間隔內(nèi)繪制所述被測試者的視線方位坐標(biāo)的變化曲線并同步配置所述對話的語音數(shù)據(jù)形成所述心理輔助分析數(shù)據(jù)。

本發(fā)明實施例，通過采用視線追蹤和同步錄音的方式記錄被測試者當(dāng)前的狀態(tài)，并以心理輔助分析數(shù)據(jù)的形式發(fā)送給引導(dǎo)者，能夠提供非常精確的分析數(shù)據(jù)。由于視線追蹤不受環(huán)境因素和頭部運動的影響，準(zhǔn)確度和可靠性高且不需要昂貴復(fù)雜的設(shè)備，成本低。

附圖說明

圖1為本發(fā)明實施例提供的一種基于視線的心理輔助分析系統(tǒng)的結(jié)構(gòu)示意圖；

圖2為本發(fā)明實施例提供的一種心理輔助分析裝置的外形結(jié)構(gòu)示意圖；

圖3為本發(fā)明實施例提供的另一種心理輔助分析裝置的外形結(jié)構(gòu)示意圖；

圖4為本發(fā)明實施例提供的一種心理輔助分析裝置的電路結(jié)構(gòu)示意圖；

圖5為本發(fā)明實施例提供的一種心理輔助分析方法的示意圖；

圖6為本發(fā)明實施例提供的一種視線定位方法的示意圖。

具體實施方式

下面結(jié)合具體實施例對本發(fā)明做進(jìn)一步詳細(xì)的描述，但本發(fā)明的實施方式不限于此。

實施例一

請參見圖1，圖1為本發(fā)明實施例提供的一種基于視線的心理輔助分析系統(tǒng)的結(jié)構(gòu)示意圖。該系統(tǒng)10包括VR眼部測試設(shè)備11和心理輔助分析裝置13，其中，該VR眼部測試設(shè)備11與心理輔助分析裝置13通信連接以用于在對被測試者進(jìn)行心理測試前的視線定位的初始化工作。

請參見圖2，圖2為本發(fā)明實施例提供的一種心理輔助分析裝置的外形結(jié)構(gòu)示意圖，心理輔助分析裝置13的形狀可以設(shè)置為類似于眼鏡的形狀，包括鏡框131和鏡腿133，且在鏡框131的內(nèi)側(cè)緣位置設(shè)置多個瞳孔圖像采集器135，且多個瞳孔圖像采集器135優(yōu)選均勻設(shè)置于內(nèi)側(cè)緣位置，當(dāng)然也可以根據(jù)實際設(shè)計要求，主要分布在上側(cè)或者下側(cè)，或者為了節(jié)省成本也可以設(shè)置一個瞳孔圖像采集器135，此處不做任何限制。選擇眼鏡形狀的外觀的好處在于：在做心理測試時，佩戴此裝置不會給被測試者帶來太大的心理負(fù)擔(dān)，從而影響測試效果。另外，VR眼部測試設(shè)備11與需要該心理輔助分析裝置13匹配設(shè)置以使所述瞳孔圖像采集器在被測試者佩戴所述眼部測試設(shè)備時不被遮擋。優(yōu)選的該VR眼部測試設(shè)備11也為眼鏡結(jié)構(gòu)，可以罩在心理輔助分析裝置13的外部。

請參見圖3和圖4，圖3為本發(fā)明實施例提供的另一種心理輔助分析裝置的外形結(jié)構(gòu)示意圖，圖4為本發(fā)明實施例提供的一種心理輔助分析裝置的電路結(jié)構(gòu)示意圖。該心理輔助分析裝置13的電路組成包括：瞳孔圖像采集器、錄音器、存儲器、處理器及通信模塊，優(yōu)選在外部還設(shè)置有LED指示燈。其中，瞳孔圖像采集器、錄音器、存儲器、通信模塊均電連接至處理器。通信模塊優(yōu)選采用WIFI模塊，瞳孔圖像采集器為包括至少一個紅外燈源的攝像器。該錄音器、存儲器、處理器、通信模塊及指示燈均設(shè)置于類眼鏡結(jié)構(gòu)的鏡腿133靠近鏡框131位置處1331。

具體的工作原理如下：

1、初始化階段，由引導(dǎo)者向心理輔助分析裝置13發(fā)出第一初始化控制指令，心理輔助分析裝置13的通信模塊接收該第一初始化控制指令后將第一初始化控制指令發(fā)送至處理器，處理器根據(jù)該第一初始化控制指令從存儲模塊中調(diào)用初始化程序啟動初始化工作并通過通信模塊向VR眼部測試設(shè)備11發(fā)送第二初始化控制指令。VR眼部測試設(shè)備11接收該第二初始化控制啟動指令后，向VR眼部測試設(shè)備11發(fā)送同步時間反饋信號用來反饋啟動信號并完成對時，另外同步啟動測試圖像顯示。

心理輔助分析裝置13接收該同步時間反饋信號后同步啟動瞳孔圖像采集器拍攝第一瞳孔圖像，并將該第一瞳孔圖像發(fā)送至處理器，由處理器根據(jù)初始化程序中設(shè)定的圖像位置信息確定被測試者的視線方向。其中，假設(shè)測試者當(dāng)前瞳孔中心坐標(biāo)為(x,y)，程序設(shè)定的圖像位置的坐標(biāo)為(X,Y)，則建立對應(yīng)映射模型為：(X,Y)＝F(x,y)。其中，需要說明的是：該初始化程序中，測試圖像中顯示的K個點的順序和位置與對應(yīng)VR眼部測試設(shè)備11的測試圖像顯示的K個點的順序和位置是一致的。

由于VR眼部測試設(shè)備11是固定在被測試者頭部位置，相對位置不會變化，避免了現(xiàn)有技術(shù)中，由于被測試者頭部的微動和外部干擾因素的影響，導(dǎo)致視線定位精確度不夠等問題。

2、測試階段，在初始化完成后，被測試者即可摘掉該VR眼部測試設(shè)備11，處理器將確定的映射模型(X,Y)＝F(x，y)存儲于存儲器中，并通過通信模塊通知引導(dǎo)者，由引導(dǎo)者發(fā)送測試啟動控制指令，心理輔助分析裝置13進(jìn)入測試階段。

具體地，處理器控制所述錄音器錄制所述被測試者與引導(dǎo)者的對話，并控制瞳孔圖像采集器采集被測試者的第二瞳孔圖像，將所述對話的語音數(shù)據(jù)和所述第二瞳孔圖像的圖像數(shù)據(jù)同步傳輸至處理器以供所述處理器進(jìn)行處理形成心理輔助分析數(shù)據(jù)。

其中，需要設(shè)置好瞳孔圖像采集器的采集頻率，優(yōu)選采集頻率為10～20次/秒。心理輔助分析數(shù)據(jù)為AVI、MPEG、WMV、RMVB格式等。引導(dǎo)者例如為心理輔導(dǎo)師、警察等。

本實施例，通過采用視線追蹤技術(shù)獲取被測試者的眼球運動軌跡，并配合著對話的音頻數(shù)據(jù)，為引導(dǎo)者提供精確的心理輔助分析數(shù)據(jù)。

實施例二

請參見圖5，圖5為本發(fā)明實施例提供的一種心理輔助分析方法的示意圖。本發(fā)明的心理輔助分析方法包括如下步驟：

步驟1、控制VR眼部測試設(shè)備顯示視線測試圖像并同步控制瞳孔圖像采集器采集被測試者的第一瞳孔圖像；

步驟2、由處理器根據(jù)所述第一瞳孔圖像和所述視線測試圖像進(jìn)行視線定位的初始化；

步驟3、在引導(dǎo)者發(fā)送開始記錄指令后同步啟動錄音器和瞳孔圖像采集器以錄制被測試者和引導(dǎo)者的對話及被測試者的第二瞳孔圖像；

步驟4、由處理器根據(jù)所述對話的語音數(shù)據(jù)和所述第二瞳孔圖像的圖像數(shù)據(jù)進(jìn)行處理形成心理輔助分析數(shù)據(jù)以供所述引導(dǎo)者進(jìn)行心理分析。

具體地，步驟1可以包括：

控制所述VR眼部測試設(shè)備在被測試者眼前展示的畫面中依次出現(xiàn)K個點以引導(dǎo)被測試者對所述K個點進(jìn)行依次觀察；所述K個點按照程序設(shè)定顯示在視角的不同位置處。

步驟2可以包括：

步驟21、由所述處理器根據(jù)所述第一瞳孔圖像處理確定瞳孔邊緣信息，并根據(jù)所述瞳孔邊緣信息確定所述被測試者的瞳孔中心；

步驟22、根據(jù)所述K個點相對于所述被測試者的方位坐標(biāo)和所述瞳孔中心的方位坐標(biāo)形成對應(yīng)的映射模型(X,Y)＝F(x,y)以完成所述視線定位的初始化；其中，(X,Y)為所述K個點相對于所述被測試者的方位坐標(biāo)，(x,y)為所述瞳孔中心的方位坐標(biāo)，F(xiàn)為映射函數(shù)。

具體地，所選取的映射函數(shù)可以為：

其中，通過K個點的坐標(biāo)(X,Y)和對應(yīng)的所述瞳孔中心點坐標(biāo)(x,y)確定所述映射模型的參數(shù)a、b、c、d、e、f、g、h、k、l、m及n，以完成所述映射模型的建立。

例如，VR眼部測試設(shè)備中依次出現(xiàn)的K個點的坐標(biāo)記錄為X＝(X₁,X₂,X₃…X_k),Y＝(Y₁,Y₂,Y₃…Y_k)，對應(yīng)的瞳孔中心坐標(biāo)為x＝(x₁,x₂,x₃…x_k),y＝(y₁,y₂,y₃…y_k)，模型的建立則可以用下面的矩陣表達(dá)：

f(x,y)表示x和y的一種關(guān)系，代表著映射關(guān)系函數(shù)F，M表示瞳孔中心位置和屏幕坐標(biāo)之間的映射參數(shù)。

本發(fā)明建立的模型如下：

將該模型使用矩陣形式表達(dá)為：

則

在本模型中，取K＝6時，X，Y對應(yīng)有6個屏幕坐標(biāo)，瞳孔相應(yīng)也有6個對應(yīng)中心坐標(biāo)，X＝|X₁,X₂,X₃,X₄,X₅,X₆|，Y＝|Y₁,Y₂,Y₃,Y₄,Y₅,Y₆|，同理，x＝|x₁,x₂,x₃,x₄,x₅,x₆|，y＝|y₁,y₂,y₃,y₄,y₅,y₆|，那么上面的矩陣可以進(jìn)一步改寫為：

通過方程組求出a、b、c、d、e、f、g、h、k、l、m及n，進(jìn)而得到所述映射模型。

另外，步驟21可以包括：

步驟211、對所述第一瞳孔圖像進(jìn)行處理形成灰度變化圖；

步驟212、在所述灰度變化圖中選擇初始點，并以初始點為中心沿不同射線方向?qū)ふ一叶茸兓首畲蟮狞c作為沿當(dāng)前射線方向的瞳孔邊緣點；

步驟213、將多個所述瞳孔邊緣點進(jìn)行擬合形成類橢圓曲線；

步驟214、計算所述類橢圓曲線的長軸和短軸的交點形成所述瞳孔中心。

其中，步驟212中初始點位置的選擇可以采用如下方式：

采用灰度積分法在所述修正紅外圖像上估算瞳孔中心位置的坐標(biāo)(xmin，ymin)；其中，xmin和ymin的公式為：

其中，min表示取最小值運算，sum表示求和運算。

因為瞳孔中心位置處最暗，通過上述求最小值的方法，可以估算出瞳孔中心的粗略位置，以該位置作為初始點。

步驟4可以包括：

步驟41、由所述處理器根據(jù)所述第二瞳孔圖像確定所述被測試者在當(dāng)前圖像中的瞳孔中心的方位坐標(biāo)；

步驟42、根據(jù)所述映射模型(X,Y)＝F(x,y)計算所述被測試者當(dāng)前的視線方位坐標(biāo)；

步驟43、在設(shè)定的時間間隔內(nèi)繪制所述被測試者的視線方位坐標(biāo)的變化曲線并同步配置所述對話的語音數(shù)據(jù)形成所述心理輔助分析數(shù)據(jù)。

本實施例，通過被測試者觀測的位置坐標(biāo)和當(dāng)時瞳孔中心的坐標(biāo)確定視線方向，形成特定的映射關(guān)系后完成視線定位的初始化，之后通過視線定位形成某一時間間隔內(nèi)的視線運動軌跡，并配合同步錄音數(shù)據(jù)形成心理輔助分析數(shù)據(jù)，以供引導(dǎo)者使用，為引導(dǎo)者提供高精準(zhǔn)度的視線運動軌跡和同步錄音數(shù)據(jù)。

實施例三

請參見圖6，圖6為本發(fā)明實施提供的一種視線定位方法的示意圖。該視線定位方法是在上述實施例的基礎(chǔ)上，針對初始化階段和測試階段的視線定位方法進(jìn)行詳細(xì)描述。具體地，該方法包括：

步驟a、提取被測試者的瞳孔邊緣點；

步驟b、根據(jù)所述瞳孔邊緣點確定被測試者的瞳孔中心點；

步驟c、根據(jù)瞳孔中心點和被測試者觀察的目標(biāo)點確定被測試者的視線方向。

其中，步驟a可以包括：

步驟a1、獲取所述瞳孔圖像信息；

步驟a2、對所述瞳孔圖像信息進(jìn)行處理，得到所述瞳孔圖像信息在指定方向上灰度的梯度值，并將所述灰度的梯度值達(dá)到最大值時所在的位置確定為瞳孔邊緣點的位置。

具體地，瞳孔內(nèi)、外對紅外線的反射有很明顯的差異。拍攝的圖像在瞳孔區(qū)域光線較強(qiáng)，亮度高；在非瞳孔區(qū)則圖像較暗，亮度低。瞳孔區(qū)域灰度明顯低于其他區(qū)域，在邊緣位置處，梯度變化劇烈。過處理后的圖像信息中，在指定的方向上，瞳孔區(qū)的灰度值與非瞳孔區(qū)的灰度值在交界處有劇烈的變化，在交界處的梯度值也會達(dá)到最大，據(jù)此判斷出瞳孔邊緣點的位置。

例如，設(shè)f(i,j)為圖像f在坐標(biāo)(i,j)處的灰度值，灰度值的偏微分為：

則該方向的灰度梯度D最大的點即為邊緣點。

其中，步驟b可以包括：

步驟b1、提取所述瞳孔邊緣點信息并擬合形成類橢圓曲線；

步驟b2、計算出所述類橢圓曲線長軸和短軸的交點，將所述交點確定為所述瞳孔中心點。

具體地，步驟b1可以包括：

步驟b11、從N個邊緣點中選取任意5個點，使用最小二乘法進(jìn)行橢圓擬合形成第一類橢圓方程；

步驟b12、對N個邊緣點利用隨機(jī)采樣一致性算法通過所述第一類橢圓方程進(jìn)行局內(nèi)點和局外點甄別，統(tǒng)計得到M個局內(nèi)點和N-M個局外點；

可選地，落在所述類橢圓上的點，視為局外點。當(dāng)然，本發(fā)明不在此處做限制。

步驟b13、判斷局內(nèi)點占有率是否小于第一閾值t1；若是，則確定所述5個點為非典型特征點，擬合橢圓為非典型特征橢圓，則重新執(zhí)行步驟b11；若否，則確定所述5個點為典型特征點，則執(zhí)行步驟b14；

步驟b14、根據(jù)所述M個局內(nèi)點利用最小二乘法對所述第一類橢圓方程進(jìn)行優(yōu)化形成第二類橢圓方程，并對所述N-M個局外點利用隨機(jī)采樣一致性算法通過所述第二類橢圓方程進(jìn)行局內(nèi)點和局外點甄別，最終統(tǒng)計得到M1個局內(nèi)點和N-M1局外點；

步驟b15、判斷局內(nèi)點占有率是否大于第二閾值t2；如是，則終止迭代，認(rèn)為所述第二類橢圓方程為最優(yōu)方程；若否，則執(zhí)行步驟b14。

以上內(nèi)容是結(jié)合具體的優(yōu)選實施方式對本發(fā)明所作的進(jìn)一步詳細(xì)說明，不能認(rèn)定本發(fā)明的具體實施只局限于這些說明。對于本發(fā)明所屬技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干簡單推演或替換，都應(yīng)當(dāng)視為屬于本發(fā)明的保護(hù)范圍。