本技術(shù)屬于計(jì)算機(jī)視覺，尤其涉及一種人因智能用戶注視分析方法、裝置和系統(tǒng)、邊緣計(jì)算設(shè)備。

背景技術(shù)：

1、眼動(dòng)追蹤技術(shù)廣泛應(yīng)用于心理學(xué)、醫(yī)療、廣告分析、自動(dòng)駕駛等領(lǐng)域，通過追蹤用戶的眼球運(yùn)動(dòng)來了解用戶的注意力分布、決策行為及反應(yīng)速度等。

2、傳統(tǒng)眼動(dòng)追蹤系統(tǒng)通過安裝在顯示器或設(shè)備上的攝像頭，捕捉用戶眼睛的運(yùn)動(dòng)軌跡，分析用戶的視覺關(guān)注點(diǎn)。然而，這種技術(shù)多注重后期數(shù)據(jù)分析，通過標(biāo)注人員的手動(dòng)標(biāo)注進(jìn)行眼動(dòng)信息在目標(biāo)屏幕的映射對(duì)應(yīng)標(biāo)注，對(duì)用戶視覺行為分析的效率較低。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)旨在至少解決現(xiàn)有技術(shù)中存在的技術(shù)問題之一。為此，本技術(shù)提出一種人因智能用戶注視分析方法、裝置和系統(tǒng)、邊緣計(jì)算設(shè)備，以提高用戶視覺行為分析的效率。

2、第一方面，本技術(shù)提供了一種人因智能用戶注視分析方法，包括：

3、經(jīng)頭戴式設(shè)備的攝像頭采集佩戴用戶視野范圍的視覺數(shù)據(jù)、以及經(jīng)所述頭戴式設(shè)備的眼動(dòng)儀采集所述用戶在所述視野范圍的眼動(dòng)數(shù)據(jù)；

4、識(shí)別所述視覺數(shù)據(jù)中的目標(biāo)物；

5、確定所述眼動(dòng)數(shù)據(jù)中與所述目標(biāo)物注視關(guān)聯(lián)的目標(biāo)眼動(dòng)數(shù)據(jù)；

6、向目標(biāo)屏幕發(fā)送所述目標(biāo)眼動(dòng)數(shù)據(jù)，以在所述目標(biāo)屏幕上展示的目標(biāo)物上對(duì)應(yīng)呈現(xiàn)所述目標(biāo)眼動(dòng)數(shù)據(jù)。

7、根據(jù)本技術(shù)的人因智能用戶注視分析方法，通過經(jīng)頭戴式設(shè)備的攝像頭采集佩戴用戶視野范圍的視覺數(shù)據(jù)、以及經(jīng)所述頭戴式設(shè)備的眼動(dòng)儀采集所述用戶在所述視野范圍的眼動(dòng)數(shù)據(jù)；識(shí)別所述視覺數(shù)據(jù)中的目標(biāo)物；確定所述眼動(dòng)數(shù)據(jù)中與所述目標(biāo)物注視關(guān)聯(lián)的目標(biāo)眼動(dòng)數(shù)據(jù)；向目標(biāo)屏幕發(fā)送所述目標(biāo)眼動(dòng)數(shù)據(jù)，以在所述目標(biāo)屏幕上展示的目標(biāo)物上對(duì)應(yīng)呈現(xiàn)所述目標(biāo)眼動(dòng)數(shù)據(jù)。本技術(shù)實(shí)施例通過采集視覺數(shù)據(jù)和眼動(dòng)數(shù)據(jù)，實(shí)現(xiàn)了對(duì)用戶注視目標(biāo)物的有效識(shí)別，并將用戶對(duì)目標(biāo)物的目標(biāo)眼動(dòng)數(shù)據(jù)展示在目標(biāo)屏幕上，本技術(shù)無需手動(dòng)對(duì)用戶關(guān)于目標(biāo)物的目標(biāo)注視數(shù)據(jù)進(jìn)行手動(dòng)標(biāo)注，即可將用戶對(duì)目標(biāo)物的目標(biāo)眼動(dòng)數(shù)據(jù)實(shí)時(shí)展示在目標(biāo)屏幕上，以在目標(biāo)屏幕上對(duì)用戶視覺行為進(jìn)行實(shí)時(shí)分析，增強(qiáng)了用戶交互體驗(yàn)，提高了用戶視覺行為分析的效率。

8、根據(jù)本技術(shù)的一個(gè)實(shí)施例，所述方法還包括：

9、根據(jù)場景確定待使用的二維標(biāo)識(shí)；

10、在所述目標(biāo)物的關(guān)鍵點(diǎn)上部署所述二維標(biāo)識(shí)，并記錄所述目標(biāo)物、關(guān)鍵點(diǎn)和二維標(biāo)識(shí)的對(duì)應(yīng)關(guān)系；

11、所述識(shí)別所述視覺數(shù)據(jù)中的目標(biāo)物，包括：

12、根據(jù)所述視覺數(shù)據(jù)中的二維標(biāo)識(shí)的位置和所述對(duì)應(yīng)關(guān)系定位所述目標(biāo)物在所述視覺數(shù)據(jù)中的位置。

13、在該實(shí)施例中，通過根據(jù)場景的需求確定合適的二維標(biāo)識(shí)，使得二維標(biāo)識(shí)的選取能夠根據(jù)場景進(jìn)行變化，使得在不同場景下二維標(biāo)識(shí)在視覺數(shù)據(jù)中都具有足夠的辨識(shí)度和信息容量，并且在目標(biāo)物的關(guān)鍵點(diǎn)上部署二維標(biāo)識(shí)，記錄對(duì)應(yīng)關(guān)系，為后續(xù)的定位提供了必要的參考信息，從而可以準(zhǔn)確地根據(jù)二維標(biāo)識(shí)在視覺數(shù)據(jù)中的位置計(jì)算出目標(biāo)物的位置，提高了定位的準(zhǔn)確性。

14、根據(jù)本技術(shù)的一個(gè)實(shí)施例，所述根據(jù)場景確定待使用的二維標(biāo)識(shí)，包括：

15、根據(jù)所述場景確定二維標(biāo)識(shí)中留白區(qū)域的大??；其中，所述留白區(qū)域?yàn)槎S標(biāo)識(shí)的邊緣與二維標(biāo)識(shí)的背景區(qū)域之間的區(qū)域；

16、根據(jù)所述留白區(qū)域的大小確定待使用的二維標(biāo)識(shí)。

17、在該實(shí)施例中，通過根據(jù)場景確定合適的留白區(qū)域的大小，可以減少誤識(shí)別的風(fēng)險(xiǎn)，因?yàn)榱舭讌^(qū)域提供了額外的視覺緩沖，幫助二維標(biāo)識(shí)與周圍環(huán)境區(qū)分開來，提高了二維標(biāo)識(shí)識(shí)別的準(zhǔn)確性。

18、根據(jù)本技術(shù)的一個(gè)實(shí)施例，所述根據(jù)場景確定待使用的二維標(biāo)識(shí)，包括：

19、根據(jù)所述場景確定二維標(biāo)識(shí)中背景區(qū)域與二維標(biāo)識(shí)的面積比；

20、根據(jù)所述面積比確定待使用的二維標(biāo)識(shí)。

21、在該實(shí)施例中，通過精確控制二維標(biāo)識(shí)中背景區(qū)域與標(biāo)識(shí)本身的面積比，使得二維標(biāo)識(shí)在圖像中既不會(huì)因過于突出而與背景形成過于強(qiáng)烈的對(duì)比，也不會(huì)因過于隱蔽而難以被檢測到有助于提高算法在處理圖像時(shí)的效率，因?yàn)樗梢愿斓劓i定目標(biāo)標(biāo)識(shí)，減少對(duì)無關(guān)背景信息的處理。此外，適當(dāng)?shù)拿娣e比還能夠提高標(biāo)識(shí)在不同光照和視角條件下的穩(wěn)定性，使得在多變的環(huán)境條件下也能實(shí)現(xiàn)可靠的目標(biāo)定位。

22、根據(jù)本技術(shù)的一個(gè)實(shí)施例，所述目標(biāo)物包括多個(gè)關(guān)鍵點(diǎn)，所述在所述目標(biāo)物的關(guān)鍵點(diǎn)上部署所述二維標(biāo)識(shí)，包括：

23、從所述目標(biāo)物上選擇多個(gè)不共線的關(guān)鍵點(diǎn)；在所述多個(gè)不共線的關(guān)鍵點(diǎn)上分別部署所述二維標(biāo)識(shí)，并記錄目標(biāo)物、關(guān)鍵點(diǎn)和二維標(biāo)識(shí)的對(duì)應(yīng)關(guān)系；

24、或者，從所述目標(biāo)物上選擇多個(gè)關(guān)鍵點(diǎn)以形成多邊形；在形成多邊形的多個(gè)關(guān)鍵點(diǎn)上分別部署所述二維標(biāo)識(shí)，并記錄目標(biāo)物、關(guān)鍵點(diǎn)和二維標(biāo)識(shí)的對(duì)應(yīng)關(guān)系。

25、在該實(shí)施例中，通過在目標(biāo)物上選擇多個(gè)不共線的關(guān)鍵點(diǎn)并分別部署二維標(biāo)識(shí)，利用了非共線關(guān)鍵點(diǎn)的幾何分布優(yōu)勢，即使部分標(biāo)識(shí)因遮擋或損壞而無法識(shí)別，仍然可以通過其他可見的標(biāo)識(shí)來定位目標(biāo)物，從而降低了單一標(biāo)識(shí)失效對(duì)整體定位準(zhǔn)確性的影響。通過利用多邊形的幾何特性為定位提供了一個(gè)穩(wěn)定的參考框架，多邊形的頂點(diǎn)（即關(guān)鍵點(diǎn)）作為二維標(biāo)識(shí)的部署位置，即使部分標(biāo)識(shí)因環(huán)境因素（如遮擋、光線變化）而暫時(shí)無法識(shí)別，仍可依據(jù)其他可見標(biāo)識(shí)進(jìn)行有效的定位，提高了定位的準(zhǔn)確性。

26、根據(jù)本技術(shù)的一個(gè)實(shí)施例，所述根據(jù)所述視覺數(shù)據(jù)中的二維標(biāo)識(shí)的位置和所述對(duì)應(yīng)關(guān)系定位所述目標(biāo)物，包括：

27、對(duì)所述視覺數(shù)據(jù)進(jìn)行特征提?。桓鶕?jù)提取的特征檢測所述視覺數(shù)據(jù)包括的二維標(biāo)識(shí)及二維標(biāo)識(shí)在所述視覺數(shù)據(jù)中的位置；根據(jù)所述對(duì)應(yīng)關(guān)系以及所述二維標(biāo)識(shí)及二維標(biāo)識(shí)在所述視覺數(shù)據(jù)中的位置的檢測結(jié)果，定位所述視覺數(shù)據(jù)中的目標(biāo)物；

28、或者，響應(yīng)于檢測到所述視覺數(shù)據(jù)中二維標(biāo)識(shí)的數(shù)量少于部署的二維標(biāo)識(shí)的數(shù)量，根據(jù)所述關(guān)鍵點(diǎn)的幾何位置關(guān)系擬合出未檢測到的二維標(biāo)識(shí)的位置；

29、根據(jù)檢測到視覺數(shù)據(jù)中二維標(biāo)識(shí)的位置、擬合得到的未檢測到的二維標(biāo)識(shí)的位置和所述對(duì)應(yīng)關(guān)系定位所述目標(biāo)物。

30、在該實(shí)施例中，通過視覺數(shù)據(jù)進(jìn)行特征提取，可以識(shí)別視覺數(shù)據(jù)中的二維標(biāo)識(shí)并檢測出二維標(biāo)識(shí)在視覺數(shù)據(jù)中的位置，結(jié)合對(duì)應(yīng)關(guān)系，能夠準(zhǔn)確地對(duì)目標(biāo)物進(jìn)行定位。通過在檢測到視覺數(shù)據(jù)中的二維標(biāo)識(shí)的數(shù)量少于部署的二維標(biāo)識(shí)的數(shù)量，可以利用已經(jīng)檢測到的二維標(biāo)識(shí)的位置信息和關(guān)鍵點(diǎn)的幾何位置關(guān)系，通過擬合的方式預(yù)測未檢測到的二維標(biāo)識(shí)可能的位置，使得即便在二維標(biāo)識(shí)缺失的情況下，也能夠重建出二維標(biāo)識(shí)布局，實(shí)現(xiàn)對(duì)目標(biāo)物進(jìn)行有效的定位，提高了定位的準(zhǔn)確性。

31、根據(jù)本技術(shù)的一個(gè)實(shí)施例，所述目標(biāo)屏幕包括視野分區(qū)和目標(biāo)物分區(qū)；

32、所述視野分區(qū)展示所述視覺數(shù)據(jù)和所述眼動(dòng)數(shù)據(jù)在所述視覺數(shù)據(jù)中的位置；

33、所述目標(biāo)物分區(qū)展示所述目標(biāo)物和所述目標(biāo)眼動(dòng)數(shù)據(jù)在所述目標(biāo)物上的位置。

34、在該實(shí)施例中，通過將目標(biāo)屏幕分為視野分區(qū)和目標(biāo)物分區(qū)，視野分區(qū)的設(shè)置使得用戶的眼動(dòng)數(shù)據(jù)在其整個(gè)視野中的相對(duì)位置得以直觀展示，有助于分析用戶的視覺焦點(diǎn)分布和視覺路徑，而目標(biāo)物分區(qū)則進(jìn)一步聚焦于用戶注視的具體目標(biāo)，通過展示目標(biāo)眼動(dòng)數(shù)據(jù)在目標(biāo)物上的具體位置，可以更精確地理解用戶對(duì)目標(biāo)物的注意力分配和關(guān)注細(xì)節(jié)，不僅增強(qiáng)了對(duì)用戶注視行為的可視化解析，還可以對(duì)設(shè)計(jì)用戶界面、優(yōu)化廣告布局、提升用戶體驗(yàn)等方面提供指導(dǎo)。

35、根據(jù)本技術(shù)的一個(gè)實(shí)施例，所述向目標(biāo)屏幕發(fā)送所述目標(biāo)眼動(dòng)數(shù)據(jù)，以在所述目標(biāo)屏幕上展示的目標(biāo)物上對(duì)應(yīng)呈現(xiàn)所述目標(biāo)眼動(dòng)數(shù)據(jù)，包括：

36、獲取所述目標(biāo)眼動(dòng)數(shù)據(jù)在所述目標(biāo)物上的位置信息；

37、對(duì)所述視覺數(shù)據(jù)進(jìn)行識(shí)別，得到預(yù)先標(biāo)識(shí)在所述目標(biāo)物上的每一標(biāo)識(shí)物的位置信息；

38、根據(jù)每一標(biāo)識(shí)物的位置信息確定轉(zhuǎn)換關(guān)系；

39、將所述目標(biāo)眼動(dòng)數(shù)據(jù)在所述目標(biāo)物上的位置信息代入所述轉(zhuǎn)換關(guān)系，得到所述目標(biāo)屏幕中所述目標(biāo)眼動(dòng)數(shù)據(jù)在所述目標(biāo)物上的目標(biāo)坐標(biāo)。

40、在該實(shí)施例中，通過對(duì)視覺數(shù)據(jù)進(jìn)行識(shí)別，識(shí)別到的每一標(biāo)識(shí)物的位置信息有助于定位目標(biāo)物的具體位置以及包含目標(biāo)眼動(dòng)數(shù)據(jù)的標(biāo)識(shí)區(qū)域，獲取目標(biāo)眼動(dòng)數(shù)據(jù)的位置信息有助于將目標(biāo)眼動(dòng)數(shù)據(jù)精準(zhǔn)映射到目標(biāo)屏幕上，通過標(biāo)識(shí)物的位置信息能夠建立目標(biāo)物和目標(biāo)屏幕的映射關(guān)系，有助于使得映射過程中目標(biāo)物與目標(biāo)屏幕能夠精準(zhǔn)對(duì)齊，且不同的標(biāo)識(shí)物布局能夠適應(yīng)不同的屏幕大小和形狀，確定轉(zhuǎn)換關(guān)系之后，可以實(shí)時(shí)地將目標(biāo)眼動(dòng)數(shù)據(jù)的位置信息映射到目標(biāo)屏幕上，支持用于與目標(biāo)物進(jìn)行交互，并在目標(biāo)屏幕上能夠看到相應(yīng)的響應(yīng)，提高了目標(biāo)點(diǎn)映射的實(shí)時(shí)性。

41、根據(jù)本技術(shù)的一個(gè)實(shí)施例，所述根據(jù)每一標(biāo)識(shí)物的位置信息確定轉(zhuǎn)換關(guān)系，包括：

42、根據(jù)每一標(biāo)識(shí)物的位置信息確定用于計(jì)算所述目標(biāo)坐標(biāo)的橫坐標(biāo)的第一參數(shù)集、用于計(jì)算所述目標(biāo)坐標(biāo)的縱坐標(biāo)的第二參數(shù)集以及用于計(jì)算齊次坐標(biāo)歸一化因子的第三參數(shù)集；

43、根據(jù)所述第三參數(shù)集確定第一中間變量的表達(dá)式；

44、根據(jù)所述第一中間變量的表達(dá)式和所述第一參數(shù)集，得到用于計(jì)算所述目標(biāo)坐標(biāo)的橫坐標(biāo)的第一表達(dá)式；

45、根據(jù)所述第一中間變量的表達(dá)式和所述第二參數(shù)集，得到用于計(jì)算所述目標(biāo)坐標(biāo)的縱坐標(biāo)的第二表達(dá)式，所述第一表達(dá)式和所述第二表達(dá)式構(gòu)成所述轉(zhuǎn)換關(guān)系。

46、在該實(shí)施例中，分別確定橫坐標(biāo)、縱坐標(biāo)和齊次坐標(biāo)的歸一化因子的參數(shù)集，可以更加精確地描述目標(biāo)物到目標(biāo)屏幕的映射關(guān)系，引入中間變量可以簡化最終的轉(zhuǎn)換關(guān)系表達(dá)式，使得計(jì)算過程更加高效，通過橫坐標(biāo)和縱坐標(biāo)表達(dá)式的組合，形成了完整的轉(zhuǎn)換關(guān)系，保證了目標(biāo)眼動(dòng)數(shù)據(jù)在目標(biāo)物和目標(biāo)屏幕之間的位置一致性，確定轉(zhuǎn)換關(guān)系之后可以被多次復(fù)用，提高了系統(tǒng)的實(shí)時(shí)性和可復(fù)用性。

47、根據(jù)本技術(shù)的一個(gè)實(shí)施例，所述預(yù)先標(biāo)識(shí)在所述目標(biāo)物上的標(biāo)識(shí)物的數(shù)量為四個(gè)，對(duì)應(yīng)的位置信息分別為第一坐標(biāo)、第二坐標(biāo)、第三坐標(biāo)和第四坐標(biāo)；

48、所述根據(jù)每一標(biāo)識(shí)物的位置信息確定用于計(jì)算所述目標(biāo)坐標(biāo)的橫坐標(biāo)的第一參數(shù)集、用于計(jì)算所述目標(biāo)坐標(biāo)的縱坐標(biāo)的第二參數(shù)集以及用于計(jì)算齊次坐標(biāo)歸一化因子的第三參數(shù)集，包括：

49、基于所述第二坐標(biāo)、所述第三坐標(biāo)和所述第四坐標(biāo)計(jì)算第二中間變量；

50、基于所述第二中間變量、所述第一坐標(biāo)、所述第二坐標(biāo)和所述第四坐標(biāo)計(jì)算第三中間變量；

51、基于所述第二中間變量、所述第一坐標(biāo)、所述第三坐標(biāo)和所述第四坐標(biāo)計(jì)算第四中間變量；

52、基于所述第一坐標(biāo)、所述第二坐標(biāo)、所述第三坐標(biāo)、所述第三中間變量和所述第四中間變量，確定所述第一參數(shù)集和所述第二參數(shù)集；

53、基于所述第三中間變量和所述第四中間變量計(jì)算所述第三參數(shù)集。

54、在該實(shí)施例中，通過四個(gè)標(biāo)識(shí)物可以構(gòu)成一個(gè)穩(wěn)定的框架，減少由于目標(biāo)物形狀、大小、分辨率等因素差異引起的映射誤差，可以適應(yīng)不同種類的配置，具有很好的通用性，計(jì)算過程基于明確的數(shù)學(xué)表達(dá)式和中間變量，容易實(shí)現(xiàn)。

55、根據(jù)本技術(shù)的一個(gè)實(shí)施例，所述基于所述第一坐標(biāo)、所述第二坐標(biāo)、所述第三坐標(biāo)、所述第三中間變量和所述第四中間變量，確定所述第一參數(shù)集和所述第二參數(shù)集，包括：

56、將所述第三坐標(biāo)和所述第一坐標(biāo)的橫坐標(biāo)差值與所述第三中間變量的乘積作為第一參數(shù)，將所述第二坐標(biāo)和所述第一坐標(biāo)的橫坐標(biāo)差值與所述第四中間變量的乘積作為第二參數(shù)，將所述第一坐標(biāo)的橫坐標(biāo)作為第三參數(shù)，所述第一參數(shù)、所述第二參數(shù)和所述第三參數(shù)構(gòu)成所述第一參數(shù)集；

57、將所述第三坐標(biāo)和所述第一坐標(biāo)的縱坐標(biāo)差值與所述第三中間變量的乘積作為第四參數(shù)，將所述第二坐標(biāo)和所述第一坐標(biāo)的縱坐標(biāo)差值與所述第四中間變量的乘積作為第五參數(shù)，將所述第一坐標(biāo)的縱坐標(biāo)作為第六參數(shù)，所述第四參數(shù)、所述第五參數(shù)和所述第六參數(shù)構(gòu)成所述第二參數(shù)集。

58、在該實(shí)施例中，通過基于四個(gè)標(biāo)識(shí)物的位置信息，并通過特定的數(shù)學(xué)運(yùn)算，如乘積和差值來計(jì)算參數(shù)，能夠提供精確的映射結(jié)果，差值運(yùn)算有助于捕捉不同標(biāo)識(shí)物之前的相對(duì)位置關(guān)系，使用多個(gè)標(biāo)識(shí)物作為參考點(diǎn)，并基于這些參考點(diǎn)計(jì)算參數(shù)集，可以提高系統(tǒng)的穩(wěn)定性，即使其中某個(gè)標(biāo)識(shí)物的位置檢測存在誤差，也可以通過其他標(biāo)識(shí)物的信息進(jìn)行校正，從而減少誤差對(duì)映射結(jié)果的影響。

59、根據(jù)本技術(shù)的一個(gè)實(shí)施例，所述對(duì)所述視覺數(shù)據(jù)進(jìn)行識(shí)別，得到預(yù)先標(biāo)識(shí)在所述目標(biāo)物上的每一標(biāo)識(shí)物的位置信息，包括：

60、從所述視覺數(shù)據(jù)中識(shí)別出預(yù)先標(biāo)識(shí)在所述目標(biāo)物上的每一標(biāo)識(shí)物的標(biāo)識(shí)區(qū)域；

61、確定每一標(biāo)識(shí)區(qū)域在基于所述視覺數(shù)據(jù)建立的坐標(biāo)系中的中心點(diǎn)坐標(biāo)，得到每一標(biāo)識(shí)物的位置信息；

62、所述確定每一標(biāo)識(shí)區(qū)域的中心點(diǎn)坐標(biāo)，包括：

63、對(duì)于所述視覺數(shù)據(jù)中每一標(biāo)識(shí)區(qū)域，確定所述標(biāo)識(shí)區(qū)域的輪廓中每一點(diǎn)的坐標(biāo)，并計(jì)算所述標(biāo)識(shí)區(qū)域的輪廓中各個(gè)點(diǎn)的平均坐標(biāo)，得到所述標(biāo)識(shí)區(qū)域的中心點(diǎn)坐標(biāo)。

64、在該實(shí)施例中，通過利用基于圖像建立的坐標(biāo)系，能夠準(zhǔn)確地對(duì)標(biāo)識(shí)物進(jìn)行定位，確保了位置信息的精確性，識(shí)別標(biāo)識(shí)物的標(biāo)識(shí)區(qū)域并確定中心點(diǎn)坐標(biāo)，可以精準(zhǔn)反映標(biāo)識(shí)物在圖像中的實(shí)際位置。通過計(jì)算輪廓上所有點(diǎn)的平均坐標(biāo)作為中心點(diǎn)坐標(biāo)，考慮了標(biāo)識(shí)區(qū)域的整體形狀和大小，能夠更準(zhǔn)確地反映標(biāo)識(shí)物的實(shí)際位置，與僅考慮輪廓上部分點(diǎn)或特定點(diǎn)的方法相比，平均坐標(biāo)法更能減少誤差，提高位置信息的準(zhǔn)確性。

65、根據(jù)本技術(shù)的一個(gè)實(shí)施例，所述向目標(biāo)屏幕發(fā)送所述目標(biāo)眼動(dòng)數(shù)據(jù)，以在所述目標(biāo)屏幕上展示的目標(biāo)物上對(duì)應(yīng)呈現(xiàn)所述目標(biāo)眼動(dòng)數(shù)據(jù)，包括：

66、獲取所述視覺數(shù)據(jù)的第一視頻幀中包括有所述目標(biāo)眼動(dòng)數(shù)據(jù)的第一圖像分塊；

67、響應(yīng)于所述第一圖像分塊滿足預(yù)設(shè)條件，根據(jù)所述第一圖像分塊計(jì)算所述第一視頻幀與所述目標(biāo)屏幕中的第二視頻幀的坐標(biāo)映射關(guān)系；

68、根據(jù)所述坐標(biāo)映射關(guān)系將所述目標(biāo)眼動(dòng)數(shù)據(jù)映射至所述第二視頻幀。

69、在該實(shí)施例中，通過獲取包含目標(biāo)眼動(dòng)數(shù)據(jù)的圖像分塊，在圖像分塊滿足預(yù)設(shè)的條件時(shí)計(jì)算第一視頻幀與第二圖像幀之間的坐標(biāo)映射關(guān)系，使得計(jì)算過程更加關(guān)注于圖像中與目標(biāo)眼動(dòng)數(shù)據(jù)相關(guān)的區(qū)域，而非整個(gè)第一視頻幀，減少了環(huán)境變化對(duì)計(jì)算過程的影響，提高了坐標(biāo)映射關(guān)系計(jì)算的精度，從而提高了眼動(dòng)追蹤的準(zhǔn)確性。

70、根據(jù)本技術(shù)的一個(gè)實(shí)施例，所述獲取所述視覺數(shù)據(jù)的第一視頻幀中包括有所述目標(biāo)眼動(dòng)數(shù)據(jù)的第一圖像分塊，包括：

71、確定所述目標(biāo)眼動(dòng)數(shù)據(jù)在所述第一視頻幀中的位置；

72、將以所述目標(biāo)眼動(dòng)數(shù)據(jù)在所述第一視頻幀中的位置為中心的第一預(yù)設(shè)范圍內(nèi)的區(qū)域確定為所述第一圖像分塊。

73、在該實(shí)施例中，通過準(zhǔn)確識(shí)別目標(biāo)眼動(dòng)數(shù)據(jù)的位置，并根據(jù)目標(biāo)眼動(dòng)數(shù)據(jù)的位置確定第一圖像分塊，可以減少處理圖像中無關(guān)的區(qū)域，使得計(jì)算過程能夠聚焦于目標(biāo)眼動(dòng)數(shù)據(jù)附近的區(qū)域，從而減少了在無關(guān)區(qū)域的無效計(jì)算，提高了計(jì)算效率和精度。

74、根據(jù)本技術(shù)的一個(gè)實(shí)施例，

75、所述預(yù)設(shè)條件包括：圖像分塊中的匹配點(diǎn)的數(shù)量大于或等于預(yù)設(shè)數(shù)量，和/或圖像分塊中的多個(gè)匹配點(diǎn)不共線；和/或，

76、所述方法還包括：響應(yīng)于所述第一圖像分塊不滿足預(yù)設(shè)條件，獲取所述第一視頻幀中包括有所述目標(biāo)眼動(dòng)數(shù)據(jù)的第二圖像分塊；和/或，

77、所述方法還包括：響應(yīng)于所述第二圖像分塊滿足預(yù)設(shè)條件，根據(jù)所述第二圖像分塊計(jì)算所述第一視頻幀與所述目標(biāo)屏幕中的第二視頻幀的坐標(biāo)映射關(guān)系。

78、在該實(shí)施例中，通過設(shè)定預(yù)設(shè)條件要求匹配點(diǎn)的數(shù)量大于或等于一個(gè)預(yù)設(shè)數(shù)量，這些匹配點(diǎn)不共線，使得有足夠的匹配點(diǎn)來計(jì)算坐標(biāo)映射關(guān)系，多個(gè)匹配點(diǎn)不共線的條件使得匹配點(diǎn)能夠提供足夠的幾何信息來求解第一視頻幀與第二視頻幀的坐標(biāo)映射關(guān)系，進(jìn)一步提高了目標(biāo)眼動(dòng)數(shù)據(jù)映射的精度。

79、在該實(shí)施例中，通過在第一圖像分塊不滿足預(yù)設(shè)條件時(shí)獲取第一視頻幀中包括有所述目標(biāo)眼動(dòng)數(shù)據(jù)的第二圖像分塊，使得即使在第一圖像分塊范圍內(nèi)未能找到足夠數(shù)量或分布合適的匹配點(diǎn)，也能夠通過調(diào)整搜索區(qū)域來增加找到有效匹配點(diǎn)的可能性，增強(qiáng)了目標(biāo)眼動(dòng)數(shù)據(jù)映射過程的靈活性和成功率。

80、根據(jù)本技術(shù)的一個(gè)實(shí)施例，所述獲取所述第一視頻幀中包括有所述目標(biāo)眼動(dòng)數(shù)據(jù)的第二圖像分塊，包括：

81、根據(jù)所述第一圖像分塊在所述第一視頻幀中的位置獲取所述第二圖像分塊；或者，

82、確定所述目標(biāo)眼動(dòng)數(shù)據(jù)在所述第一視頻幀中的位置；將以所述目標(biāo)眼動(dòng)數(shù)據(jù)在所述第一視頻幀中的位置為中心的第二預(yù)設(shè)范圍內(nèi)的區(qū)域確定為所述第二圖像分塊；其中，第二預(yù)設(shè)范圍大于第一預(yù)設(shè)范圍。

83、在該實(shí)施例中，通過根據(jù)所述第一圖像分塊在第一視頻幀中的位置獲取第二圖像分塊，可以以第一圖像分塊作為參考重新確定新的搜索范圍，提高目標(biāo)眼動(dòng)數(shù)據(jù)映射計(jì)算過程的效率。

84、在該實(shí)施例中，通過將第一圖像分塊擴(kuò)大為第二圖像分塊，使得即使在初始搜索范圍內(nèi)未能找到足夠數(shù)量或分布合適的匹配點(diǎn)，也能夠通過擴(kuò)大搜索區(qū)域來增加找到有效匹配點(diǎn)的可能性，增強(qiáng)了目標(biāo)眼動(dòng)數(shù)據(jù)映射過程的靈活性和成功率。

85、根據(jù)本技術(shù)的一個(gè)實(shí)施例，在獲取所述視覺數(shù)據(jù)的第一視頻幀中包括有所述目標(biāo)眼動(dòng)數(shù)據(jù)的第一圖像分塊之前，包括：

86、對(duì)所述第一視頻幀和所述目標(biāo)屏幕中的第二視頻幀進(jìn)行特征點(diǎn)匹配，響應(yīng)于所述第一視頻幀和所述第二視頻幀匹配失敗，從所述視覺數(shù)據(jù)中重新選擇視頻幀替換所述第一視頻幀和所述第二視頻幀進(jìn)行特征點(diǎn)匹配。

87、在該實(shí)施例中，通過當(dāng)特征點(diǎn)匹配未能成功建立第一視頻幀與第二視頻幀之間的準(zhǔn)確對(duì)應(yīng)關(guān)系時(shí)，能夠靈活地從連續(xù)的視頻流中選取新的視頻幀作為第一視頻幀，減少了因單次匹配失敗而導(dǎo)致的整個(gè)眼動(dòng)追蹤過程的中斷風(fēng)險(xiǎn)，提高了系統(tǒng)的連續(xù)性。

88、根據(jù)本技術(shù)的一個(gè)實(shí)施例，所述從所述視覺數(shù)據(jù)中重新選擇視頻幀替換所述第一視頻幀和所述第二視頻幀進(jìn)行特征點(diǎn)匹配，包括：

89、將所述視覺數(shù)據(jù)中與所述第一視頻幀相鄰的視頻幀或所述視覺數(shù)據(jù)中的其他視頻幀確定為重新選擇的視頻幀。

90、在該實(shí)施例中，通過在第一視頻幀與第二視頻幀的特征點(diǎn)匹配失敗時(shí)，從目標(biāo)視頻流中選擇與當(dāng)前第一視頻幀相鄰的視頻幀作為替代，以此來重新進(jìn)行特征點(diǎn)匹配，使得重新選擇的視頻幀還保持了時(shí)間上的連續(xù)性，或者選擇其他視頻幀作為替代，提高了眼動(dòng)追蹤過程的穩(wěn)定性和準(zhǔn)確性。

91、根據(jù)本技術(shù)的一個(gè)實(shí)施例，所述對(duì)所述第一視頻幀和所述目標(biāo)屏幕中的第二視頻幀進(jìn)行特征點(diǎn)匹配，包括：將所述第一視頻幀和所述第二視頻幀輸入至預(yù)設(shè)的神經(jīng)網(wǎng)絡(luò)模型中，以便于所述神經(jīng)網(wǎng)絡(luò)模型提取所述第一視頻幀和所述第二視頻幀的特征點(diǎn)，并根據(jù)提取的特征點(diǎn)進(jìn)行匹配；

92、或者，

93、所述對(duì)所述第一視頻幀和所述目標(biāo)屏幕中的第二視頻幀進(jìn)行特征點(diǎn)匹配，包括：對(duì)所述第一視頻幀和所述第二視頻幀進(jìn)行預(yù)處理；所述預(yù)處理包括去除所述第一視頻幀邊界的預(yù)設(shè)范圍內(nèi)特征點(diǎn)，以及去除所述第二視頻幀邊界的預(yù)設(shè)范圍內(nèi)特征點(diǎn)；對(duì)預(yù)處理后的所述第一視頻幀和所述第二視頻幀進(jìn)行特征點(diǎn)匹配；和/或，將預(yù)處理后的所述第一視頻幀和所述第二視頻幀輸入至預(yù)設(shè)的神經(jīng)網(wǎng)絡(luò)模型中，以便于所述神經(jīng)網(wǎng)絡(luò)模型提取預(yù)處理后的所述第一視頻幀和所述第二視頻幀的特征點(diǎn)，并根據(jù)提取的特征點(diǎn)進(jìn)行匹配。

94、在該實(shí)施例中，通過采用預(yù)設(shè)的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行第一視頻幀和第二視頻幀的特征點(diǎn)匹配，能夠利用深度學(xué)習(xí)的強(qiáng)大特征提取能力來提高匹配的準(zhǔn)確性和效率。

95、在該實(shí)施例中，通過去除圖像邊界的預(yù)設(shè)范圍內(nèi)特征點(diǎn)，可以減少由于圖像邊界區(qū)域可能存在的噪聲或不完整性對(duì)匹配精度的負(fù)面影響，使得更加專注于圖像中更穩(wěn)定和信息豐富的區(qū)域，從而提高匹配的準(zhǔn)確性。

96、根據(jù)本技術(shù)的一個(gè)實(shí)施例，所述方法還包括：

97、存儲(chǔ)所述神經(jīng)網(wǎng)絡(luò)模型提取的所述第二視頻幀的特征點(diǎn)；

98、從所述視覺數(shù)據(jù)中重新選擇視頻幀替換所述第一視頻幀和所述第二視頻幀進(jìn)行特征點(diǎn)匹配，包括：

99、將經(jīng)過替換的第一視頻幀輸入至預(yù)設(shè)的神經(jīng)網(wǎng)絡(luò)模型中，以便于所述神經(jīng)網(wǎng)絡(luò)模型提取所述第一視頻幀的特征點(diǎn)，并根據(jù)所述第一視頻幀的特征點(diǎn)和存儲(chǔ)的所述第二視頻幀的特征點(diǎn)進(jìn)行匹配。

100、在該實(shí)施例中，通過神經(jīng)網(wǎng)絡(luò)模型提取第二視頻幀的特征并進(jìn)行存儲(chǔ)，其他視頻幀圖像再和該第二視頻幀進(jìn)行匹配時(shí)，可以調(diào)用該第二視頻幀的特征點(diǎn)進(jìn)行特征匹配，無需再重復(fù)提取第二視頻幀的特征，提高了處理效率。

101、根據(jù)本技術(shù)的一個(gè)實(shí)施例，所述根據(jù)所述第一圖像分塊計(jì)算所述第一視頻幀與所述目標(biāo)屏幕中的第二視頻幀的坐標(biāo)映射關(guān)系，包括：

102、獲取所述第一圖像分塊中匹配點(diǎn)在所述第一視頻幀中的第一位置坐標(biāo)和所述匹配點(diǎn)在所述第二視頻幀中的第二位置坐標(biāo)；

103、根據(jù)所述第一位置坐標(biāo)和所述第二位置坐標(biāo)計(jì)算所述匹配點(diǎn)對(duì)應(yīng)的單應(yīng)矩陣；其中，所述單應(yīng)矩陣表示所述坐標(biāo)映射關(guān)系。

104、在該實(shí)施例中，通過計(jì)算匹配點(diǎn)在第一視頻幀和第二視頻幀中的對(duì)應(yīng)位置坐標(biāo)，能夠建立數(shù)學(xué)模型來描述這些匹配點(diǎn)之間的空間關(guān)系，并據(jù)此確定單應(yīng)矩陣來表示坐標(biāo)映射關(guān)系，通過單應(yīng)矩陣來表示坐標(biāo)映射關(guān)系能夠適應(yīng)復(fù)雜的圖像變換情況，提高了目標(biāo)眼動(dòng)數(shù)據(jù)映射的準(zhǔn)確性和魯棒性。

105、根據(jù)本技術(shù)的一個(gè)實(shí)施例，所述方法還包括：

106、獲取多個(gè)用戶對(duì)相同目標(biāo)物注視關(guān)聯(lián)的目標(biāo)眼動(dòng)數(shù)據(jù)；

107、根據(jù)多個(gè)用戶對(duì)應(yīng)的目標(biāo)眼動(dòng)數(shù)據(jù)分析多用戶注視行為。

108、在該實(shí)施例中，通過根據(jù)多個(gè)用戶對(duì)應(yīng)的目標(biāo)眼動(dòng)數(shù)據(jù)分析多用戶注視行為，提升了對(duì)群體用戶行為的分析能力。

109、根據(jù)本技術(shù)的一個(gè)實(shí)施例，所述根據(jù)多個(gè)用戶對(duì)應(yīng)的目標(biāo)眼動(dòng)數(shù)據(jù)分析多用戶注視行為，包括：

110、向所述目標(biāo)屏幕發(fā)送多個(gè)用戶對(duì)應(yīng)的目標(biāo)眼動(dòng)數(shù)據(jù)，以在所述目標(biāo)屏幕上展示的目標(biāo)物上疊加呈現(xiàn)多個(gè)用戶對(duì)應(yīng)的目標(biāo)眼動(dòng)數(shù)據(jù)。

111、在該實(shí)施例中，通過將多個(gè)用戶對(duì)應(yīng)的目標(biāo)眼動(dòng)數(shù)據(jù)疊加展示在目標(biāo)屏幕上，使得研究者和設(shè)計(jì)師可以直觀的觀察和比較不同用戶在注視同一目標(biāo)物時(shí)的共同注視點(diǎn)和注視模式，從而識(shí)別出用戶群體的普遍興趣區(qū)域或熱點(diǎn)。

112、根據(jù)本技術(shù)的一個(gè)實(shí)施例，所述根據(jù)多個(gè)用戶對(duì)應(yīng)的目標(biāo)眼動(dòng)數(shù)據(jù)分析多用戶注視行為，包括：

113、根據(jù)多個(gè)用戶對(duì)應(yīng)的目標(biāo)眼動(dòng)數(shù)據(jù)分析多個(gè)用戶的眼動(dòng)軌跡和/或眼動(dòng)點(diǎn)熱力圖，得到多個(gè)用戶的首要觀看位置和多個(gè)用戶在執(zhí)行預(yù)設(shè)操作時(shí)的習(xí)慣操作流程；

114、根據(jù)多個(gè)用戶的首要觀看位置和多個(gè)用戶在執(zhí)行預(yù)設(shè)操作時(shí)的習(xí)慣操作流程對(duì)場景進(jìn)行優(yōu)化。

115、在該實(shí)施例中，通過分析多個(gè)用戶的眼動(dòng)軌跡、眼動(dòng)點(diǎn)熱力圖，能夠揭示用戶的首要觀看位置和習(xí)慣操作流程，從而實(shí)現(xiàn)對(duì)用戶行為模式的深入理解，該實(shí)施例提供了一種量化手段來評(píng)估和優(yōu)化用戶與產(chǎn)品或服務(wù)的交互體驗(yàn)，通過識(shí)別共同的注視點(diǎn)和注視模式，設(shè)計(jì)者可以優(yōu)化界面布局，使得關(guān)鍵信息和功能符合用戶的自然視線流動(dòng)和操作習(xí)慣，從而提高用戶滿意度和操作效率。

116、第二方面，本技術(shù)提供了一種人因智能用戶注視分析裝置，包括：

117、采集模塊，用于經(jīng)頭戴式設(shè)備的攝像頭采集佩戴用戶視野范圍的視覺數(shù)據(jù)、以及經(jīng)所述頭戴式設(shè)備的眼動(dòng)儀采集所述用戶在所述視野范圍的眼動(dòng)數(shù)據(jù)；

118、識(shí)別模塊，用于識(shí)別所述視覺數(shù)據(jù)中的目標(biāo)物；

119、確定模塊，用于確定所述眼動(dòng)數(shù)據(jù)中與所述目標(biāo)物注視關(guān)聯(lián)的目標(biāo)眼動(dòng)數(shù)據(jù)；

120、展示模塊，用于向目標(biāo)屏幕發(fā)送所述目標(biāo)眼動(dòng)數(shù)據(jù)，以在所述目標(biāo)屏幕上展示的目標(biāo)物上對(duì)應(yīng)呈現(xiàn)所述目標(biāo)眼動(dòng)數(shù)據(jù)。

121、根據(jù)本技術(shù)的人因智能用戶注視分析裝置，通過經(jīng)頭戴式設(shè)備的攝像頭采集佩戴用戶視野范圍的視覺數(shù)據(jù)、以及經(jīng)所述頭戴式設(shè)備的眼動(dòng)儀采集所述用戶在所述視野范圍的眼動(dòng)數(shù)據(jù)；識(shí)別所述視覺數(shù)據(jù)中的目標(biāo)物；確定所述眼動(dòng)數(shù)據(jù)中與所述目標(biāo)物注視關(guān)聯(lián)的目標(biāo)眼動(dòng)數(shù)據(jù)；向目標(biāo)屏幕發(fā)送所述目標(biāo)眼動(dòng)數(shù)據(jù)，以在所述目標(biāo)屏幕上展示的目標(biāo)物上對(duì)應(yīng)呈現(xiàn)所述目標(biāo)眼動(dòng)數(shù)據(jù)。本技術(shù)實(shí)施例通過采集視覺數(shù)據(jù)和眼動(dòng)數(shù)據(jù)，實(shí)現(xiàn)了對(duì)用戶注視目標(biāo)物的有效識(shí)別，并將用戶對(duì)目標(biāo)物的目標(biāo)眼動(dòng)數(shù)據(jù)展示在目標(biāo)屏幕上，本技術(shù)無需手動(dòng)對(duì)用戶關(guān)于目標(biāo)物的目標(biāo)注視數(shù)據(jù)進(jìn)行手動(dòng)標(biāo)注，即可將用戶對(duì)目標(biāo)物的目標(biāo)眼動(dòng)數(shù)據(jù)實(shí)時(shí)展示在目標(biāo)屏幕上，以在目標(biāo)屏幕上對(duì)用戶視覺行為進(jìn)行實(shí)時(shí)分析，增強(qiáng)了用戶交互體驗(yàn)，提高了用戶視覺行為分析的效率。

122、第三方面，本技術(shù)提供了一種邊緣計(jì)算設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如上述第一方面所述的人因智能用戶注視分析方法。

123、根據(jù)本技術(shù)的一個(gè)實(shí)施例，所述邊緣計(jì)算設(shè)備包括頭戴式邊緣計(jì)算設(shè)備；所述頭戴式邊緣計(jì)算設(shè)備包括攝像頭和眼動(dòng)儀。

124、第四方面，本技術(shù)提供了一種人因智能用戶注視分析系統(tǒng)，包括：目標(biāo)屏幕、如上述第三方面所述的邊緣計(jì)算設(shè)備。

125、第五方面，本技術(shù)提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)程序或指令，所述程序或指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述第一方面所述的人因智能用戶注視分析方法。

126、第六方面，本技術(shù)提供了一種芯片，所述芯片包括處理器和通信接口，所述通信接口和所述處理器耦合，所述處理器用于運(yùn)行程序或指令，實(shí)現(xiàn)如上述第一方面所述的人因智能用戶注視分析方法。

127、第七方面，本技術(shù)提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述第一方面所述的人因智能用戶注視分析方法。

128、本技術(shù)實(shí)施例中的上述一個(gè)或多個(gè)技術(shù)方案，至少具有如下技術(shù)效果之一：

129、根據(jù)本技術(shù)的人因智能用戶注視分析方法，通過經(jīng)頭戴式設(shè)備的攝像頭采集佩戴用戶視野范圍的視覺數(shù)據(jù)、以及經(jīng)所述頭戴式設(shè)備的眼動(dòng)儀采集所述用戶在所述視野范圍的眼動(dòng)數(shù)據(jù)；識(shí)別所述視覺數(shù)據(jù)中的目標(biāo)物；確定所述眼動(dòng)數(shù)據(jù)中與所述目標(biāo)物注視關(guān)聯(lián)的目標(biāo)眼動(dòng)數(shù)據(jù)；向目標(biāo)屏幕發(fā)送所述目標(biāo)眼動(dòng)數(shù)據(jù)，以在所述目標(biāo)屏幕上展示的目標(biāo)物上對(duì)應(yīng)呈現(xiàn)所述目標(biāo)眼動(dòng)數(shù)據(jù)。本技術(shù)實(shí)施例通過采集視覺數(shù)據(jù)和眼動(dòng)數(shù)據(jù)，實(shí)現(xiàn)了對(duì)用戶注視目標(biāo)物的有效識(shí)別，并將用戶對(duì)目標(biāo)物的目標(biāo)眼動(dòng)數(shù)據(jù)展示在目標(biāo)屏幕上，本技術(shù)無需手動(dòng)對(duì)用戶關(guān)于目標(biāo)物的目標(biāo)注視數(shù)據(jù)進(jìn)行手動(dòng)標(biāo)注，即可將用戶對(duì)目標(biāo)物的目標(biāo)眼動(dòng)數(shù)據(jù)實(shí)時(shí)展示在目標(biāo)屏幕上，以在目標(biāo)屏幕上對(duì)用戶視覺行為進(jìn)行實(shí)時(shí)分析，增強(qiáng)了用戶交互體驗(yàn)，提高了用戶視覺行為分析的效率。

130、本技術(shù)的附加方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本技術(shù)的實(shí)踐了解到。