本技術(shù)屬于人機(jī)交互、人因與工效，具體涉及一種基于眼動追蹤的交互控制方法、裝置、電子設(shè)備和系統(tǒng)。

背景技術(shù)：

1、眼動追蹤技術(shù)通過定位眼睛的瞳孔位置來獲取用戶在屏幕或者設(shè)備上的注視點(diǎn)，基于用戶的注視點(diǎn)進(jìn)行進(jìn)一步地操作。目前，眼動追蹤技術(shù)廣泛應(yīng)用于醫(yī)療康復(fù)和人機(jī)交互等領(lǐng)域。

2、現(xiàn)有技術(shù)中，通過眼動采集設(shè)備捕捉瞳孔的位置變化，從而，確定用戶在屏幕或者設(shè)備上的注視點(diǎn)，然而，用戶往往還需要依賴外部操控設(shè)備(例如，手柄、鼠標(biāo)或者鍵盤等)來與注視點(diǎn)對應(yīng)的操作控件進(jìn)行交互。

3、然而，采用現(xiàn)有技術(shù)的方式，需要用戶依賴于外部操作設(shè)備完成操控，交互方式的便捷性不高。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)實(shí)施例提供一種基于眼動追蹤的控制方法、裝置、系統(tǒng)和電子設(shè)備，以提高交互方式的便捷性。

2、第一方面，本技術(shù)實(shí)施例提供一種基于眼動追蹤的交互控制方法，包括：

3、基于用戶的視覺行為數(shù)據(jù)，獲取所述用戶的交互意圖，所述交互意圖用于指示所述用戶期望在交互屏幕上執(zhí)行的操作；

4、基于所述用戶的交互意圖，生成對交互屏幕的控制指令；

5、基于所述控制指令對所述交互屏幕進(jìn)行控制。

6、可選的，所述視覺行為數(shù)據(jù)包括：眼動數(shù)據(jù)；所述眼動數(shù)據(jù)包括：眨眼數(shù)據(jù)和注視數(shù)據(jù)；

7、所述基于用戶的視覺行為數(shù)據(jù)，獲取所述用戶的交互意圖，包括：

8、基于所述眼動數(shù)據(jù)和交互意圖的對應(yīng)關(guān)系，獲取所述眼動數(shù)據(jù)對應(yīng)的交互意圖；

9、所述基于所述用戶的交互意圖，生成對交互屏幕的控制指令，包括：

10、基于所述注視數(shù)據(jù)確定操作對象；

11、基于所述用戶的交互意圖和所述操作對象，生成對交互屏幕的控制指令，所述控制指令用于指示對所述操作對象執(zhí)行所述交互意圖對應(yīng)的操作。

12、可選的，所述基于所述眼動數(shù)據(jù)和交互意圖的對應(yīng)關(guān)系，獲取所述眼動數(shù)據(jù)對應(yīng)的交互意圖，包括：

13、基于所述眨眼數(shù)據(jù)和第一交互意圖的第一對應(yīng)關(guān)系，獲取眨眼數(shù)據(jù)對應(yīng)的第一交互意圖；

14、和/或，

15、基于所述注視數(shù)據(jù)和第二交互意圖的第二對應(yīng)關(guān)系，獲取注視數(shù)據(jù)對應(yīng)的第二交互意圖；

16、所述眨眼數(shù)據(jù)包括：眨眼頻率、眨眼間隔、眨眼次數(shù)、眨眼持續(xù)時(shí)長和/或眨眼過程中閉眼時(shí)長；

17、所述交互意圖包括：單擊、雙擊、滾動、長按、選中、翻頁、顯示釋義、打開頁面、縮小頁面和/或關(guān)閉頁面；

18、所述操作對象包括：按鈕、滾動條、鏈接和/或文本內(nèi)容。

19、可選的，所述注視數(shù)據(jù)包括：注視點(diǎn)；

20、所述基于所述注視數(shù)據(jù)確定操作對象，包括：

21、確定所述注視點(diǎn)在所述交互屏幕上的坐標(biāo)信息；

22、基于所述注視點(diǎn)在所述交互屏幕上的坐標(biāo)信息，確定所述注視點(diǎn)在所述交互屏幕上顯示的顯示界面上的位置信息；

23、基于所述注視點(diǎn)在所述交互屏幕上顯示的顯示界面上的位置信息，以及所述顯示界面上的顯示元素，確定所述操作對象。

24、可選的，還包括：

25、顯示所述交互意圖確認(rèn)信息，所述交互意圖確認(rèn)信息用于請求用戶確認(rèn)交互意圖識別的正確性。

26、可選的，所述方法還包括：基于所述注視點(diǎn)在所述交互屏幕上顯示的顯示界面上的位置信息，在所述顯示界面上可視化顯示所述注視點(diǎn)；和/或，

27、所述注視數(shù)據(jù)還包括：眼動軌跡和眼動方向；所述方法還包括：以動畫的形式在所述顯示界面上沿所述眼動方向可視化顯示所述眼動軌跡。

28、可選的，所述基于用戶的視覺行為數(shù)據(jù)，獲取所述用戶的交互意圖，包括：

29、基于所述交互屏幕上顯示的交互頁面，獲取視覺行為數(shù)據(jù)，其中，所述交互頁面包括：人機(jī)控制用交互頁面、人員能力測評用交互頁面、和/或人員能力訓(xùn)練用交互頁面；

30、對所述視覺行為數(shù)據(jù)進(jìn)行格式化處理，得到格式化處理后的視覺行為數(shù)據(jù)；

31、基于所述格式化處理后的視覺行為數(shù)據(jù)，獲取所述用戶的交互意圖；

32、其中，所述獲取視覺行為數(shù)據(jù)包括：

33、獲取眼部圖像數(shù)據(jù)；對所述眼部圖像數(shù)據(jù)進(jìn)行預(yù)處理，得到預(yù)處理后的眼部圖像數(shù)據(jù)；對預(yù)處理后的眼部圖像數(shù)據(jù)進(jìn)行識別，獲取所述視覺行為數(shù)據(jù)；

34、其中，所述對所述眼部圖像進(jìn)行預(yù)處理，得到預(yù)處理后的眼部圖像數(shù)據(jù)包括：對所述眼部圖像進(jìn)行去噪處理、增強(qiáng)圖像對比度處理、調(diào)整圖像亮度處理和數(shù)據(jù)同步處理，得到預(yù)處理后的眼部圖像數(shù)據(jù)：

35、其中，所述去噪處理包括：滑動均值濾波處理、滑動中值濾波處理和/或小波變換；所述數(shù)據(jù)同步處理包括：基于相同的時(shí)間基準(zhǔn)對所述眼部圖像數(shù)據(jù)和交互屏幕顯示的顯示界面的內(nèi)容進(jìn)行時(shí)間戳對齊。

36、可選的，還包括：

37、顯示第一測評模式的第一相關(guān)界面和第二測評模式的第二相關(guān)界面；其中，所述第一測評模式用于用戶通過視覺行為的方式與所述第一相關(guān)界面進(jìn)行交互以輸入第一測評信息，所述第二測評模式用于用戶通過填寫調(diào)查問卷的方式以輸入第二測評信息；

38、獲取用戶通過視覺行為的方式與所述第一相關(guān)界面進(jìn)行交互輸入的第一測評信息，以及通過填寫調(diào)查問卷的方式輸入的第二測評信息；基于所述第一測評信息獲取所述第一測評模式的第一測評結(jié)果，以及基于所述第二測評信息獲取所述第二測評模式的第二測評結(jié)果；

39、基于所述第一測評結(jié)果和所述第二測評結(jié)果，生成并輸出反饋信息。

40、第二方面，本技術(shù)實(shí)施例提供一種基于眼動追蹤的交互控制裝置，包括：

41、意圖識別模塊，用于基于用戶的視覺行為數(shù)據(jù)，獲取所述用戶的交互意圖，所述交互意圖用于指示所述用戶期望在交互屏幕上執(zhí)行的操作；

42、指令生成模塊，用于基于所述用戶的交互意圖，生成對交互屏幕的控制指令；

43、控制模塊，用于基于所述控制指令對所述交互屏幕進(jìn)行控制。

44、可選的，所述視覺行為數(shù)據(jù)包括：眼動數(shù)據(jù)；所述眼動數(shù)據(jù)包括：眨眼數(shù)據(jù)和注視數(shù)據(jù)；

45、所述意圖識別模塊具體用于基于所述眼動數(shù)據(jù)和交互意圖的對應(yīng)關(guān)系，獲取所述眼動數(shù)據(jù)對應(yīng)的交互意圖；

46、所述指令生成模塊具體用于基于所述注視數(shù)據(jù)確定操作對象；基于所述用戶的交互意圖和所述操作對象，生成對交互屏幕的控制指令，所述控制指令用于指示對所述操作對象執(zhí)行所述交互意圖對應(yīng)的操作。

47、可選的，所述意圖識別模塊具體用于基于所述眨眼數(shù)據(jù)和第一交互意圖的第一對應(yīng)關(guān)系，獲取眨眼數(shù)據(jù)對應(yīng)的第一交互意圖；和/或，基于所述注視數(shù)據(jù)和第二交互意圖的第二對應(yīng)關(guān)系，獲取注視數(shù)據(jù)對應(yīng)的第二交互意圖；

48、所述眨眼數(shù)據(jù)包括：眨眼頻率、眨眼間隔、眨眼次數(shù)、眨眼持續(xù)時(shí)長和/或眨眼過程中閉眼時(shí)長；

49、所述交互意圖包括：單擊、雙擊、滾動、長按、選中、翻頁、顯示釋義、打開頁面、縮小頁面和/或關(guān)閉頁面；

50、所述操作對象包括：按鈕、滾動條、鏈接和/或文本內(nèi)容。

51、可選的，所述注視數(shù)據(jù)包括：注視點(diǎn)；

52、所述指令生成模塊具體用于確定所述注視點(diǎn)在所述交互屏幕上的坐標(biāo)信息；基于所述注視點(diǎn)在所述交互屏幕上的坐標(biāo)信息，確定所述注視點(diǎn)在所述交互屏幕上顯示的顯示界面上的位置信息；基于所述注視點(diǎn)在所述交互屏幕上顯示的顯示界面上的位置信息，以及所述顯示界面上的顯示元素，確定所述操作對象。

53、可選的，所述意圖識別模塊還用于顯示所述交互意圖確認(rèn)信息，所述交互意圖確認(rèn)信息用于請求用戶確認(rèn)交互意圖識別的正確性。

54、可選的，所述控制模塊還用于控制基于所述注視點(diǎn)在所述交互屏幕上顯示的顯示界面上的位置信息，在所述顯示界面上可視化顯示所述注視點(diǎn)；和/或，

55、所述注視數(shù)據(jù)還包括：眼動軌跡和眼動方向；所述方法還包括：以動畫的形式在所述顯示界面上沿所述眼動方向可視化顯示所述眼動軌跡。

56、可選的，所述意圖識別模塊具體用于基于所述交互屏幕上顯示的交互頁面，獲取視覺行為數(shù)據(jù)，其中，所述交互頁面包括：人機(jī)控制用交互頁面、人員能力測評用交互頁面、和/或人員能力訓(xùn)練用交互頁面；對所述視覺行為數(shù)據(jù)進(jìn)行格式化處理，得到格式化處理后的視覺行為數(shù)據(jù)；基于所述格式化處理后的視覺行為數(shù)據(jù)，獲取所述用戶的交互意圖；

57、所述意圖識別模塊具體用于獲取眼部圖像數(shù)據(jù)；對所述眼部圖像數(shù)據(jù)進(jìn)行預(yù)處理，得到預(yù)處理后的眼部圖像數(shù)據(jù)；對預(yù)處理后的眼部圖像數(shù)據(jù)進(jìn)行識別，獲取所述視覺行為數(shù)據(jù)；對所述眼部圖像進(jìn)行去噪處理、增強(qiáng)圖像對比度處理、調(diào)整圖像亮度處理和數(shù)據(jù)同步處理，得到預(yù)處理后的眼部圖像數(shù)據(jù)：

58、其中，所述去噪處理包括：滑動均值濾波處理、滑動中值濾波處理和/或小波變換；所述數(shù)據(jù)同步處理包括：基于相同的時(shí)間基準(zhǔn)對所述眼部圖像數(shù)據(jù)和交互屏幕顯示的顯示界面的內(nèi)容進(jìn)行時(shí)間戳對齊。

59、可選的，還包括：測評模塊，用于顯示第一測評模式的第一相關(guān)界面和第二測評模式的第二相關(guān)界面；其中，所述第一測評模式用于用戶通過視覺行為的方式與所述第一相關(guān)界面進(jìn)行交互以輸入第一測評信息，所述第二測評模式用于用戶通過填寫調(diào)查問卷的方式以輸入第二測評信息；獲取用戶通過視覺行為的方式與所述第一相關(guān)界面進(jìn)行交互輸入的第一測評信息，以及通過填寫調(diào)查問卷的方式輸入的第二測評信息；基于所述第一測評信息獲取所述第一測評模式的第一測評結(jié)果，以及基于所述第二測評信息獲取所述第二測評模式的第二測評結(jié)果；基于所述第一測評結(jié)果和所述第二測評結(jié)果，生成并輸出反饋信息。

60、第三方面，本技術(shù)實(shí)施例提供一種電子設(shè)備，包括處理器和存儲器，所述存儲器存儲可在所述處理器上運(yùn)行的程序或指令，所述程序或指令被所述處理器執(zhí)行時(shí)實(shí)現(xiàn)如第一方面任一項(xiàng)所述的基于眼動追蹤的交互控制方法的步驟。

61、第四方面，本技術(shù)實(shí)施例提供一種基于眼動追蹤的交互控制系統(tǒng)，包括：如第二方面所述的基于眼動追蹤的交互控制裝置和眼動數(shù)據(jù)采集設(shè)備；或者，如第三方面所述的電子設(shè)備和眼動數(shù)據(jù)采集設(shè)備。

62、第五方面，本技術(shù)實(shí)施例提供一種計(jì)算機(jī)可讀存儲介質(zhì)，所述計(jì)算機(jī)可讀存儲介質(zhì)上存儲程序或指令，所述程序或指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如第一方面任一項(xiàng)所述的基于眼動追蹤的交互控制方法的步驟。

63、第六方面，本技術(shù)實(shí)施例提供一種計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序產(chǎn)品被處理器執(zhí)行時(shí)實(shí)現(xiàn)如第一方面任一項(xiàng)所述的基于眼動追蹤的交互控制方法的步驟。

64、本實(shí)施例提供的基于眼動追蹤的控制方法、裝置、系統(tǒng)和電子設(shè)備，通過基于用戶的視覺行為特征，獲取用戶的交互意圖，基于所述用戶的交互意圖，生成控制指令，基于控制指令控制與交互屏幕進(jìn)行交互。無需物理接觸屏幕或使用鼠標(biāo)、鍵盤等外部設(shè)備的操作屏幕，降低了交互操作的復(fù)雜度，提高了交互操作的便捷性和流暢性，提高了交互體驗(yàn)；由于無需外部設(shè)備的參與，減少了對硬件條件的限定，擴(kuò)大了基于眼動追蹤的交互控制方法的應(yīng)用范圍，并且降低了硬件成本。