本發(fā)明涉及人機(jī)交互、視覺認(rèn)知等領(lǐng)域，具體涉及一種基于眼動(dòng)跟蹤數(shù)據(jù)的視覺注意行為協(xié)同式可視化方法和系統(tǒng)。

背景技術(shù)：

隨著科技的發(fā)展，各式各樣的智能電子設(shè)備融入到大眾生活的方方面面。人們通過手機(jī)等智能設(shè)備可以獲取大量信息，而過量的信息導(dǎo)致人們無法迅速掌握其中的重要內(nèi)容，往往需要花費(fèi)大量的時(shí)間仔細(xì)瀏覽才能獲取這些重要內(nèi)容?；谘蹌?dòng)跟蹤數(shù)據(jù)的視覺注意行為協(xié)同式可視化方法可以實(shí)現(xiàn)重點(diǎn)內(nèi)容的提示、分享功能，例如，將專家用戶的眼動(dòng)數(shù)據(jù)進(jìn)行可視化分享，使新手用戶直觀地了解其他專家用戶的視覺行為，了解重要信息內(nèi)容所在位置，從而顯著提高對(duì)信息的瀏覽效率和理解水平。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明要克服現(xiàn)有技術(shù)的上述缺點(diǎn)，提供一種基于眼動(dòng)跟蹤數(shù)據(jù)的視覺注意行為協(xié)同式可視化方法和系統(tǒng)。

通過眼動(dòng)跟蹤系統(tǒng)獲取已有用戶觀看文本、圖像、視頻等各類視覺刺激材料時(shí)的眼動(dòng)跟蹤數(shù)據(jù)，并記錄用戶的背景信息。根據(jù)背景信息，將已有用戶進(jìn)行分類，例如，可以根據(jù)專業(yè)水平的高低分為專家用戶和新手用戶?；谘蹌?dòng)跟蹤數(shù)據(jù)分析已有用戶的視覺注意行為，并生成重點(diǎn)區(qū)域標(biāo)記圖、重點(diǎn)區(qū)域轉(zhuǎn)移圖等可視化圖形，顯示已有用戶經(jīng)常查看的信息，以及注意力在這些信息之間的轉(zhuǎn)移方向和頻率?？梢愿鶕?jù)已有用戶的背景信息進(jìn)分類，并選取某一類用戶的眼動(dòng)跟蹤數(shù)據(jù)生成可視化圖形?？梢暬瘓D形可以單獨(dú)顯示，例如，只顯示重點(diǎn)區(qū)域標(biāo)記圖；也可以同時(shí)顯示，例如，重點(diǎn)區(qū)域標(biāo)記圖和重點(diǎn)區(qū)域轉(zhuǎn)移圖疊加顯示。進(jìn)一步，當(dāng)前用戶可以主動(dòng)查看已有用戶眼動(dòng)跟蹤數(shù)據(jù)的可視化圖形，也可以將個(gè)人背景信息提供給系統(tǒng)進(jìn)行匹配，系統(tǒng)將向當(dāng)前用戶推薦個(gè)人背景信息相似的已有用戶的眼動(dòng)跟蹤數(shù)據(jù)可視化圖形。

本發(fā)明提供了一種基于眼動(dòng)跟蹤數(shù)據(jù)的視覺注意行為協(xié)同式可視化方法，主要包括如下步驟：

(1)采集眼動(dòng)跟蹤數(shù)據(jù)；

(2)選擇視覺刺激材料；

(3)選擇眼動(dòng)跟蹤數(shù)據(jù)；

(4)分析眼動(dòng)跟蹤數(shù)據(jù)；

(5)可視化眼動(dòng)跟蹤數(shù)據(jù)分析結(jié)果。

本發(fā)明還提供了一種基于眼動(dòng)跟蹤數(shù)據(jù)的視覺注意行為協(xié)同式可視化系統(tǒng)，沿信息傳輸方向，依次包括以下模塊：

(1)眼動(dòng)跟蹤數(shù)據(jù)采集模塊；

(2)視覺刺激材料選擇模塊；

(3)眼動(dòng)跟蹤數(shù)據(jù)選擇模塊；

(4)眼動(dòng)跟蹤數(shù)據(jù)分析模塊；

(5)眼動(dòng)跟蹤數(shù)據(jù)可視化模塊。

本發(fā)明的優(yōu)點(diǎn)在于，通過分享表征已有用戶視覺注意行為的可視化圖形，幫助當(dāng)前用戶快速獲取視覺刺激材料中和自己背景相關(guān)的、或者重要的信息內(nèi)容，有效提高了當(dāng)前用戶在大量和復(fù)雜的視覺刺激材料中獲取重要信息的效率。

附圖說明

為了更清楚地說明本發(fā)明實(shí)施例，下面將對(duì)實(shí)施例中所需要使用的附圖做簡(jiǎn)單介紹，顯而易見的，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1是本發(fā)明方法的流程示意圖。

圖2是本發(fā)明的重點(diǎn)區(qū)域劃分示意圖。

圖3是本發(fā)明的重點(diǎn)區(qū)域標(biāo)記圖的示意圖。

圖4是本發(fā)明的重點(diǎn)區(qū)域轉(zhuǎn)移圖的示意圖。

圖5是本發(fā)明的系統(tǒng)的基本邏輯結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面將結(jié)合附圖，對(duì)本發(fā)明一種基于眼動(dòng)跟蹤數(shù)據(jù)的視覺注意行為協(xié)同式可視化方法和系統(tǒng)進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明的一部分實(shí)施例，而不是全部的實(shí)施例，不能理解為對(duì)本發(fā)明的限制?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

參閱圖1，本發(fā)明實(shí)施例提供的一種基于眼動(dòng)跟蹤數(shù)據(jù)的視覺注意行為協(xié)同式可視化方法流程示意圖，對(duì)其中的步驟進(jìn)行具體描述：

(1)采集眼動(dòng)跟蹤數(shù)據(jù)

獲取和保存眼動(dòng)跟蹤數(shù)據(jù)，包括注視點(diǎn)的坐標(biāo)等相關(guān)數(shù)據(jù)。本發(fā)明不限定眼動(dòng)跟蹤數(shù)據(jù)采集的方法，可以通過第三方的眼動(dòng)跟蹤系統(tǒng)獲得。

(2)選擇視覺刺激材料

用戶選擇視覺刺激材料，可視化圖形將疊加顯示在該視覺刺激材料上。

(3)選擇眼動(dòng)跟蹤數(shù)據(jù)

對(duì)應(yīng)于已經(jīng)選擇的視覺刺激材料，可以自行選擇加載已有用戶的眼動(dòng)跟蹤數(shù)據(jù)，并可以快速選擇某一特定類型用戶的眼動(dòng)跟蹤數(shù)據(jù)，例如，選擇一個(gè)或多個(gè)根據(jù)已有用戶專業(yè)水平分類得到的專家用戶的眼動(dòng)跟蹤數(shù)據(jù)。此外，當(dāng)前用戶還可以提供個(gè)人背景信息，包括但不限定用戶個(gè)人的標(biāo)識(shí)符、性別、年齡、職業(yè)、專業(yè)水平等。然后和已有用戶的個(gè)人背景信息進(jìn)行匹配，匹配相似度用s表示，如果當(dāng)前用戶所提供的背景信息與已有用戶背景信息的每一項(xiàng)相匹配，例如都為男性，則s＝s+1；然后將已有用戶中s值高的用戶眼動(dòng)跟蹤數(shù)據(jù)優(yōu)先推薦給當(dāng)前用戶，方便其快速選擇。

(4)分析眼動(dòng)跟蹤數(shù)據(jù)

對(duì)已選擇的眼動(dòng)跟蹤數(shù)據(jù)進(jìn)行分析，具體分析過程包括以下步驟：

11:根據(jù)視覺刺激材料的內(nèi)容劃分重點(diǎn)區(qū)域，將互相之間存在較大區(qū)別的內(nèi)容，各劃分為一個(gè)重點(diǎn)區(qū)域，如圖2所示，201、202和203之間相互存在明顯的邊界，則各自成為一個(gè)重點(diǎn)區(qū)域；

12:從眼動(dòng)跟蹤系統(tǒng)獲取一個(gè)注視點(diǎn)數(shù)據(jù),記做fixationt，根據(jù)坐標(biāo)判斷其所處的重點(diǎn)區(qū)域，并將該重點(diǎn)區(qū)域記做aoit；如果fixationt為獲取的第一個(gè)注視點(diǎn)，則繼續(xù)獲取新的一個(gè)注視點(diǎn)；否則，執(zhí)行步驟13；

13:對(duì)于獲取的前一個(gè)注視點(diǎn)fixationt-1,其所處的重點(diǎn)區(qū)域?yàn)閍oit-1,如果aoit和aoit-1為同一個(gè)重點(diǎn)區(qū)域，則aoit的注視點(diǎn)數(shù)目f＝f+1,然后返回步驟12；否則，執(zhí)行步驟14；

14:從注視點(diǎn)fixationt開始，是否存在時(shí)間上連續(xù)的k(可以設(shè)定，例如k＝4)個(gè)注視點(diǎn)fixationt～fixationt+k-1都處于aoit中，如果存在，則aoit-1到aoit的轉(zhuǎn)移次數(shù)t＝t+1,aoit的回看次數(shù)r＝r+1,aoit的注視點(diǎn)個(gè)數(shù)f＝f+k，且令aoit＝aoit-1；否則，返回步驟12。

進(jìn)一步，如果當(dāng)前用戶選擇了多個(gè)已有用戶的眼動(dòng)跟蹤數(shù)據(jù)(或者1個(gè)已有用戶的多次眼動(dòng)跟蹤數(shù)據(jù))，則需要進(jìn)行多眼動(dòng)跟蹤數(shù)據(jù)的融合分析，具體分析過程包括以下步驟：

21：獲取所有選中的n個(gè)已有用戶的眼動(dòng)跟蹤數(shù)據(jù)，及相應(yīng)的每個(gè)用戶的背景信息；

22：計(jì)算每一個(gè)已有用戶背景信息與當(dāng)前用戶背景信息的匹配相似度s1,…sn，歸一化處理得到w1＝s1/(s1+s2+…+sn),w2＝s1/(s1+s2+…+sn),…,wn＝s1/(s1+s2+…+sn)；

23：設(shè)上述已選擇的每個(gè)已有用戶在某個(gè)重點(diǎn)區(qū)域的回看次數(shù)為ri(i＝1,2,…,n),那么這n個(gè)用戶融合得到的在該重點(diǎn)區(qū)域的回看次數(shù)rr＝r1×w1+r2×w2+…+rn×wn；類似的，設(shè)上述已選擇的每個(gè)已有用戶在該重點(diǎn)區(qū)域的注視點(diǎn)個(gè)數(shù)為fi,那么這n個(gè)用戶融合得到的在該重點(diǎn)區(qū)域的注視點(diǎn)個(gè)數(shù)rf＝f1×w1+f2×w2+…+fn×wn；設(shè)上述已選擇的每個(gè)已有用戶從另一個(gè)重點(diǎn)區(qū)域到該重點(diǎn)區(qū)域的轉(zhuǎn)移次數(shù)為ti,那么這n個(gè)用戶融合得到的在該重點(diǎn)區(qū)域的轉(zhuǎn)移次數(shù)rt＝t1×w1+t2×w2+…+tn×wn；

24:設(shè)當(dāng)前選擇的視覺刺激材料中包含m個(gè)重點(diǎn)區(qū)域，則某個(gè)重點(diǎn)區(qū)域回看次數(shù)rrj(j＝1,2,…,m)占所有重點(diǎn)區(qū)域回看次數(shù)的比例prj＝rrj/(rr1+rr2+…+rrm)；該重點(diǎn)區(qū)域注視次數(shù)rfj占所有重點(diǎn)區(qū)域注視次數(shù)的比例pfj＝rfj/(rf1+rf2+…+rfm)；類似的，另一個(gè)重點(diǎn)區(qū)域到該重點(diǎn)區(qū)域(該重點(diǎn)區(qū)域到另一個(gè)重點(diǎn)區(qū)域)的轉(zhuǎn)移次數(shù)rth(h＝1,2,…,m×(m-1)))占所有重點(diǎn)區(qū)域兩兩之間轉(zhuǎn)移次數(shù)的比例pth＝rth/(rt1+rt2+…+rtm×(m-1))；

(5)可視化眼動(dòng)跟蹤數(shù)據(jù)分析結(jié)果

分別對(duì)各重點(diǎn)區(qū)域的pr、pf、pt值從高到底排序。對(duì)pr值排名前三的重點(diǎn)區(qū)域分別顯示紅色、黃色和綠色的實(shí)心圓標(biāo)記，生成重點(diǎn)區(qū)域標(biāo)記圖。如圖3所示，301、302、303分別是三個(gè)重點(diǎn)區(qū)域的標(biāo)記，回看次數(shù)比值pr排序?yàn)?02>301>303。

以某個(gè)重點(diǎn)區(qū)域的幾何中心o為圓心，半徑r＝q×pf(可以設(shè)定，例如q＝50像素)畫一個(gè)圓圈，并在圓圈內(nèi)顯示該重點(diǎn)區(qū)域的注視點(diǎn)次數(shù)比值的百分比形式pf×100％，類似的，對(duì)所有重點(diǎn)區(qū)域進(jìn)行前述的圓圈和百分比顯示；在存在轉(zhuǎn)移的不同重點(diǎn)區(qū)域之間畫上連線，連線附近顯示相應(yīng)的轉(zhuǎn)移次數(shù)比值的百分比形式pt×100％，生成重點(diǎn)區(qū)域轉(zhuǎn)移圖。如圖4所示，401、402、403為3個(gè)不同的重點(diǎn)區(qū)域，用不同半徑的圓圈表示了回看次數(shù)比值pr的相對(duì)大小，并分別標(biāo)記了注視點(diǎn)個(gè)數(shù)比值的百分比形式a％、b％和c％；404、405、406分別表示了重點(diǎn)區(qū)域之間轉(zhuǎn)移的連線，并分別標(biāo)記了轉(zhuǎn)移次數(shù)比值的百分比形式ab％、bc％和ac％。

如圖5所示，本文發(fā)明實(shí)施例提供的一種基于眼動(dòng)跟蹤的視覺注意行為協(xié)同可視化系統(tǒng)的基本邏輯結(jié)構(gòu)示意圖。為了便于說明，僅僅示出了與本發(fā)明實(shí)施例相關(guān)的部分。該系統(tǒng)中功能模塊/單元可以是硬件模塊/單元、軟件模塊/單元，主要包括:

(1)眼動(dòng)跟蹤數(shù)據(jù)采集模塊，用于獲取和保存眼動(dòng)跟蹤數(shù)據(jù)；

(2)視覺刺激材料選擇模塊，選擇需要瀏覽的視覺刺激材料，用于后續(xù)選擇對(duì)應(yīng)的眼動(dòng)跟蹤數(shù)據(jù)和疊加可視化圖形；

(3)眼動(dòng)跟蹤數(shù)據(jù)選擇模塊，用于自由選擇、推薦需要進(jìn)行分析和可視化的眼動(dòng)跟蹤數(shù)據(jù)；

(4)眼動(dòng)跟蹤數(shù)據(jù)分析模塊，用于劃分重點(diǎn)區(qū)域，分析和計(jì)算各重點(diǎn)區(qū)域的注視點(diǎn)個(gè)數(shù)、回看次數(shù)、重點(diǎn)區(qū)域之間的轉(zhuǎn)移次數(shù)，以及融合多眼動(dòng)跟蹤數(shù)據(jù)進(jìn)行分析；

(5)眼動(dòng)跟蹤數(shù)據(jù)可視化模塊，用于顯示眼動(dòng)跟蹤數(shù)據(jù)的分析結(jié)果，生成重點(diǎn)區(qū)域標(biāo)記圖、重點(diǎn)區(qū)域轉(zhuǎn)移圖。

本發(fā)明實(shí)施例中各個(gè)模塊可以集成于一體，也可以分離部署,或進(jìn)一步拆分成多個(gè)子模塊。各個(gè)模塊可以按照實(shí)施例描述分布于實(shí)施例的系統(tǒng)中，也可以進(jìn)行相應(yīng)變化位于不同于本發(fā)明實(shí)施例的一個(gè)或多個(gè)系統(tǒng)中。

本領(lǐng)域的技術(shù)人員應(yīng)該明白，本發(fā)明實(shí)施例可提供成為方法、系統(tǒng)、或計(jì)算機(jī)程序產(chǎn)品。

本發(fā)明實(shí)施例的各模塊或各步驟可以用通用的計(jì)算裝置來實(shí)現(xiàn)，可選地，它們可以用計(jì)算裝置可執(zhí)行的程序代碼來實(shí)現(xiàn)，從而可以將它們存儲(chǔ)在存儲(chǔ)裝置中由計(jì)算裝置來執(zhí)行，或者將它們分別制作成各個(gè)集成電路模塊，或者將它們中的多個(gè)模塊或步驟制作成單個(gè)集成電路模塊來實(shí)現(xiàn)。因此，本發(fā)明實(shí)施例不限制于任何特定的硬件和軟件結(jié)合。

以上公開的僅為本發(fā)明的具體實(shí)施例，但是本發(fā)明并非局限于此，本領(lǐng)域的技術(shù)人員可以對(duì)本發(fā)明進(jìn)行各種改動(dòng)和變型而不脫離本發(fā)明的精神和范圍。顯然這些改動(dòng)和變型均應(yīng)屬于本發(fā)明要求的保護(hù)范圍內(nèi)。