国产精品1024永久观看,大尺度欧美暖暖视频在线观看,亚洲宅男精品一区在线观看,欧美日韩一区二区三区视频,2021中文字幕在线观看

  • <option id="fbvk0"></option>
    1. <rt id="fbvk0"><tr id="fbvk0"></tr></rt>
      <center id="fbvk0"><optgroup id="fbvk0"></optgroup></center>
      <center id="fbvk0"></center>

      <li id="fbvk0"><abbr id="fbvk0"><dl id="fbvk0"></dl></abbr></li>

      用于觀看者關(guān)注區(qū)域估計的技術(shù)的制作方法

      文檔序號:11142175閱讀:336來源:國知局
      用于觀看者關(guān)注區(qū)域估計的技術(shù)的制造方法與工藝

      本申請要求2014年6月6日提交、題為“TECHNOLOGIES FOR VIEWER ATTENTION AREA ESTIMATION”、序列號為14/298,003的美國發(fā)明專利申請的優(yōu)先權(quán)。



      背景技術(shù):

      數(shù)字標牌用于向標牌附近的人們顯示信息,諸如廣告、通知、引導(dǎo)等。與傳統(tǒng)布告板標牌不同,顯示在數(shù)字標牌上的信息可以編程為顯示特定內(nèi)容。例如,數(shù)字標牌可以編程為顯示靜態(tài)內(nèi)容或者改變隨時間所顯示的內(nèi)容(例如,在一天顯示某一信息并且在不同的一天顯示不同的信息)。另外,在一些實現(xiàn)中,人員可以與數(shù)字標牌交互以改變示出在數(shù)字標牌上的內(nèi)容(例如,憑借人員的觸摸或凝視)。

      商業(yè)投入極大努力以理解是什么在吸引潛在顧客的關(guān)注(例如,對象顏色、形狀、位置、大小、取向等)。實際上,廣告位的成本通常至少部分地取決于廣告的位置和大?。矗锢砘蛱摂M)。例如,相比于較少人員看向的位置,人員頻繁看向的位置傾向于對于廣告而言是較高需求的。當然,預(yù)期顧客的無數(shù)其它傾向也受商業(yè)的監(jiān)控(例如,旅行模式等)。特別地,已經(jīng)采用各種技術(shù)來標識人們正看向哪里,這可以由商業(yè)利用來用于任何數(shù)目的目的(例如,廣告定位、交互性和/或其它原因)。

      附圖說明

      通過示例而非限制的方式在隨附各圖中圖示了本文描述的概念。為了圖示的簡便和清楚,在圖中圖示的要素不必然按照比例繪制。在考慮適當?shù)那闆r下,已經(jīng)在各圖當中重復(fù)參考標號以指示對應(yīng)或類似的要素。

      圖1是用于通過計算設(shè)備進行的觀看者關(guān)注區(qū)域估計的系統(tǒng)的至少一個實施例的簡化框圖;

      圖2是圖1的計算設(shè)備的環(huán)境的至少一個實施例的簡化框圖;

      圖3-4是用于通過圖1的計算設(shè)備顯示觀看者交互式內(nèi)容的方法的至少一個實施例的簡化流程圖;以及

      圖5-7是觀看者與圖1的計算設(shè)備交互的簡化圖示。

      具體實施方式

      盡管本公開的概念容許各種修改和可替換形式,但是其具體實施例已經(jīng)通過示例的方式而示出在繪圖中并且將在本文中詳細地描述。然而,應(yīng)當理解的是,不意圖將本公開的概念限制于所公開的特定形式,而是相反,本發(fā)明將涵蓋與本公開和隨附權(quán)利要求一致的所有修改、等同物和可替換物。

      在說明書中對“一個實施例”、“實施例”、“說明性實施例”等的引用指示所描述的實施例可以包括特定特征、結(jié)構(gòu)或特性,但是每一個實施例可以是或者可以不是必然包括該特定特征、結(jié)構(gòu)或特性。此外,這樣的短語不必然是指相同實施例。另外,當結(jié)合實施例描述特定特征、結(jié)構(gòu)或特性時,認為無論是否明確描述,本領(lǐng)域技術(shù)人員在其知識范圍內(nèi)都可以結(jié)合其他實施例來實施這樣的特征、結(jié)構(gòu)或特性。附加地,應(yīng)當領(lǐng)會的是,以“至少一個A、B和C”的形式包括在列表中的項目可以意指(A);(B);(C);(A和B);(B和C);或者(A、B和C)。類似地,以“A、B或C中的至少一個”的形式列出的項目可以意指(A);(B);(C);(A和B);(B和C);或者(A、B和C)。

      所公開的實施例可以在一些情況下實現(xiàn)在硬件、固件、軟件或它們的任何組合中。所公開的實施例還可以實現(xiàn)為由一個或多個暫時性或非暫時性機器可讀(例如,計算機可讀)存儲介質(zhì)承載或者存儲在該存儲介質(zhì)上的指令,所述指令可以由一個或多個處理器讀取和執(zhí)行。機器可讀存儲介質(zhì)可以體現(xiàn)為用于以機器可讀的形式存儲或傳輸信息的任何存儲設(shè)備、機構(gòu)或其它物理結(jié)構(gòu)(例如,易失性或非易失性存儲器、介質(zhì)盤或者其它介質(zhì)設(shè)備)。

      在繪圖中,一些結(jié)構(gòu)或方法特征可以以特定布置和/或次序示出。然而,應(yīng)當領(lǐng)會的是,可以不要求這樣的特定布置和/或次序。相反,在一些實施例中,這樣的特征可以以與說明性圖中所示出的不同方式和/或順序進行布置。附加地,結(jié)構(gòu)或方法特征包括在特定圖中不意指暗示在所有實施例中都要求這樣的特征,并且在一些實施例中可以不包括這樣的特征或者這樣的特征可以與其它特征組合。

      現(xiàn)在參照圖1,在說明性實施例中,用于估計觀看者的關(guān)注區(qū)域并且顯示觀看者交互式內(nèi)容的系統(tǒng)100包括計算設(shè)備102,并且可以包括一個或多個網(wǎng)絡(luò)104和/或移動計算設(shè)備106。在使用中,如在下文更加詳細地描述的,計算設(shè)備102配置為捕獲計算設(shè)備102的顯示器的觀看者的一個或多個圖像,并且基于使用取決于觀看者距計算設(shè)備102的距離的技術(shù)對所捕獲的圖像的分析來確定觀看者的凝視方向。計算設(shè)備102進一步配置為基于觀看者的凝視方向和觀看者的距離來確定顯示器的主動交互區(qū),并且基于所確定的主動交互區(qū)來在顯示器上顯示內(nèi)容。在一些實施例中,系統(tǒng)100可以包括網(wǎng)絡(luò)104和(例如,觀看者的)移動計算設(shè)備106,網(wǎng)絡(luò)104和移動計算設(shè)備106使得計算設(shè)備102能夠執(zhí)行本文描述的各種附加功能。例如,在一些實施例中,計算設(shè)備102可以與所標識的觀看者的移動計算設(shè)備106通信(即,經(jīng)由網(wǎng)絡(luò)104),以促進確定離計算設(shè)備102的觀看者的距離或者近似距離。

      計算設(shè)備102可以體現(xiàn)為用于向觀看者顯示數(shù)字信息并且能夠執(zhí)行本文描述的功能的任何類型的計算設(shè)備。應(yīng)當領(lǐng)會的是,在一些實施例中,計算設(shè)備102可以體現(xiàn)為交互式數(shù)字標牌或者具有大顯示器的另一種類型的計算設(shè)備。例如,在說明性實施例中,計算設(shè)備102體現(xiàn)為“智能標牌”,其準許基于例如觀看者的凝視的觀看者/用戶交互(即,與標牌本身)。當然,取決于特定實施例,計算設(shè)備102可以響應(yīng)于各種其它類型的觀看者/用戶輸入(例如,觸摸、音頻和其它輸入)。然而,在一些實施例中,計算設(shè)備102可以不準許觀看者交互,但是可以替代地收集關(guān)于觀看者的凝視的數(shù)據(jù),所述數(shù)據(jù)可以后續(xù)用于例如確定計算設(shè)備102的哪個區(qū)(即,其顯示器的哪個區(qū))引起最多觀看者的關(guān)注。盡管在圖1的說明性實施例中僅示出了一個計算設(shè)備102,但是應(yīng)當領(lǐng)會的是,在其它實施例中,系統(tǒng)100可以包括多個計算設(shè)備102。例如,在一些實施例中,多個計算設(shè)備102可以相互協(xié)作以顯示內(nèi)容,并且基于本文描述的技術(shù)而準許與內(nèi)容的觀看者交互。

      如上文所指示的,在一些實施例中,計算設(shè)備102可以通過網(wǎng)絡(luò)104與一個或多個移動計算設(shè)備106通信以執(zhí)行本文描述的功能。應(yīng)當領(lǐng)會的是,(多個)移動計算設(shè)備106可以體現(xiàn)為能夠執(zhí)行本文描述的功能的任何類型的移動計算設(shè)備。例如,移動計算設(shè)備106可以體現(xiàn)為蜂窩電話、智能電話、可穿戴計算設(shè)備、個人數(shù)字助理、移動因特網(wǎng)設(shè)備、膝上型計算機、平板計算機、筆記本、上網(wǎng)本、超極本和/或任何其它計算/通信設(shè)備,并且可以包括在這樣的設(shè)備中通常所發(fā)現(xiàn)的組件和特征。附加地,網(wǎng)絡(luò)104可以體現(xiàn)為任何數(shù)目的各種有線和/或無線電信網(wǎng)絡(luò)。這樣,網(wǎng)絡(luò)104可以包括一個或多個網(wǎng)絡(luò)、路由器、交換機、計算機和/或其它中間設(shè)備。例如,網(wǎng)絡(luò)104可以體現(xiàn)為或者以其它方式包括一個或多個蜂窩網(wǎng)絡(luò)、電話網(wǎng)絡(luò)、局域網(wǎng)或廣域網(wǎng)、公共可獲得的全球網(wǎng)絡(luò)(例如,因特網(wǎng))或者它們的任何組合。

      如圖1中所示,說明性計算設(shè)備102包括處理器110、輸入/輸出(“I/O”)子系統(tǒng)112、存儲器114、數(shù)據(jù)存儲裝置116、顯示器118、相機系統(tǒng)120、一個或多個傳感器122和通信電路124。當然,在其它實施例中,計算設(shè)備102可以包括其它或者附加的組件,諸如在典型計算設(shè)備中通常所發(fā)現(xiàn)的那些(例如,各種輸入/輸出設(shè)備和/或其它組件)。附加地,在一些實施例中,說明性組件中的一個或多個可以并入另一個組件中或者以其它方式形成另一個組件的部分。例如,存儲器114或其部分可以在一些實施例中并入處理器110中。

      處理器110可以體現(xiàn)為能夠執(zhí)行本文描述的功能的任何類型的處理器。例如,處理器110可以體現(xiàn)為(多個)單核或多核處理器、數(shù)字信號處理器、微控制器、或者其它處理器或處理/控制電路。類似地,計算設(shè)備102的存儲器114可以體現(xiàn)為能夠執(zhí)行本文描述的功能的任何類型的易失性或非易失性存儲器或數(shù)據(jù)存儲裝置。在操作中,存儲器114可以存儲在計算設(shè)備102的操作期間所使用的各種數(shù)據(jù)和軟件,諸如操作系統(tǒng)、應(yīng)用、程序、庫和驅(qū)動程序。存儲器114經(jīng)由I/O子系統(tǒng)112通信耦合到處理器110,I/O子系統(tǒng)112可以體現(xiàn)為促進與計算設(shè)備102的處理器110、存儲器114和其它組件的輸入/輸出操作的電路和/或組件。例如,I/O子系統(tǒng)112可以體現(xiàn)為或者以其它方式包括存儲器控制器中心、輸入/輸出控制中心、固件設(shè)備、通信鏈路(即,點對點鏈路、總線鏈路、導(dǎo)線、線纜、光導(dǎo)、印刷電路板跡線等)和/或促進輸入/輸出操作的其它組件和子系統(tǒng)。在一些實施例中,I/O子系統(tǒng)112可以形成片上系統(tǒng)(SoC)的部分,并且連同處理器110、存儲器114和/或計算設(shè)備112的其它組件被并入單個集成電路芯片上。

      數(shù)據(jù)存儲裝置116可以體現(xiàn)為配置用于數(shù)據(jù)的短期或長期存儲的任何類型的一個或多個設(shè)備,諸如例如存儲器設(shè)備和電路、存儲器卡、硬盤驅(qū)動、固態(tài)驅(qū)動或其它數(shù)據(jù)存儲設(shè)備。數(shù)據(jù)存儲裝置116和/或存儲器114可以存儲用于顯示的內(nèi)容和/或在計算設(shè)備102的操作期間有用的各種其它數(shù)據(jù),如下文所討論的。

      計算設(shè)備102的顯示器118可以體現(xiàn)為可以在其上向計算設(shè)備102的觀看者顯示信息的任何類型的顯示器。另外,顯示器118可以體現(xiàn)為或者以其它方式使用任何適當?shù)娘@示技術(shù),包括例如液晶顯示器(LCD)、發(fā)光二極管(LED)顯示器、陰極射線管(CRT)顯示器、等離子體顯示器、圖像投影儀(例如,2D或3D)、激光投影儀、觸摸屏顯示器和/或其它顯示器技術(shù)。盡管在圖1的說明性實施例中僅示出了一個顯示器118,但是在其它實施例中,計算設(shè)備102可以包括多個顯示器118。例如,圖像或視頻可以跨若干顯示器118顯示以生成大顯示格式。

      相機系統(tǒng)120可以包括一個或多個相機,所述一個或多個相機配置為捕獲圖像或視頻(即,圖像或幀的集合)并且能夠執(zhí)行本文描述的功能。應(yīng)當領(lǐng)會的是,相機系統(tǒng)120的每一個相機可以體現(xiàn)為適用于捕獲圖像的任何外圍或集成設(shè)備,諸如靜物相機、視頻相機、或者能夠捕獲視頻和/或圖像的其它設(shè)備。如下文所描述的,相機系統(tǒng)120可以捕獲計算設(shè)備102的鄰域(vicinity)內(nèi)(例如,在計算設(shè)備102前方)的觀看者的圖像。在說明性實施例中,相機系統(tǒng)120包括二維(2D)相機126和深度相機128。

      2D相機126可以體現(xiàn)為任何類型的二維相機。在一些實施例中,2D相機126可以包括RBG(紅-綠-藍)傳感器或者類似的相機傳感器,所述RBG(紅-綠-藍)傳感器或者類似的相機傳感器配置為捕獲或以其它方式生成具有三個顏色通道(即,非深度通道)的圖像。當然,圖像的顏色值可以以另一方式表示(例如,作為灰度)并且可以包括更少或者附加的“顏色”通道。在一些實施例中,取決于2D相機126和/或相關(guān)聯(lián)的成像技術(shù)的特定類型,由2D相機126生成的圖像的RGB圖像顏色值可以替代地表示為例如HSL(色調(diào)-飽和度-亮度)或HSV(色調(diào)-飽和度-值)值。

      深度相機128可以體現(xiàn)為能夠捕獲深度圖像或者以其它方式生成用于所捕獲的圖像的深度信息的任何設(shè)備。例如,深度相機128可以體現(xiàn)為三維(3D)相機、雙焦相機、3D光場相機,和/或以其它方式能夠生成深度圖像、通道或流。在實施例中,深度相機128包括至少兩個透鏡和對應(yīng)的傳感器,所述至少兩個透鏡和對應(yīng)的傳感器配置為從場景的至少兩個不同視點捕獲圖像(例如,立體相機)。應(yīng)當領(lǐng)會的是,深度相機128可以取決于所使用的特定深度相機128而以各種方式確定場景中的對象的深度測量結(jié)果。例如,深度相機128可以配置為感測和/或分析結(jié)構(gòu)化光、(例如,信號的)渡越時間(time of flight)、光檢測和測距(LIDAR)、光場和其它信息,以確定對象的深度/距離。另外,在一些環(huán)境中,深度相機128可能由于各種因素(例如,遮擋、IR吸收、噪聲和距離)而不能夠準確地捕獲場景中的某些對象的深度。這樣,在所捕獲的深度圖像/通道中可能存在深度孔洞(即,未知深度值),這樣其可以利用對應(yīng)的深度像素值(例如,零或空值)來指示。當然,表示深度圖像中的未知深度像素值的特定值或符號可以基于特定實現(xiàn)而變化。

      在說明性實施例中,深度相機128還配置為捕獲彩色圖像。例如,深度相機128可以具有(多個)RGB-D(紅-綠-藍-深度)傳感器或者(多個)類似的相機傳感器,所述(多個)RGB-D(紅-綠-藍-深度)傳感器或者(多個)類似的相機傳感器可以捕獲具有四個通道——深度通道和三個顏色通道(即,非深度通道)的圖像。換言之,深度相機128可以具有RGB顏色流和深度流??商鎿Q地,在一些實施例中,計算設(shè)備102可以包括相機(例如,2D相機126),所述相機具有配置為捕獲彩色圖像的傳感器和配置為捕獲對象距離的另一個傳感器(例如,一個傳感器122)。例如,在一些實施例中,深度相機128(或?qū)?yīng)傳感器122)可以包括紅外(IR)投影儀和IR傳感器,使得IR傳感器通過分析由IR投影儀投射在場景上的IR光圖案來估計場景中的對象的深度值。另外,在一些實施例中,由深度相機128捕獲的顏色通道可以由計算設(shè)備102利用,而不是利用2D相機126來捕獲單獨圖像,如下文所描述的。為了簡單起見,在本文中對“RGB圖像”、“彩色圖像”和/或2D圖像的引用是指基于特定圖像的顏色/灰度通道(例如,來自RBG流)的圖像,而對“深度圖像”的引用是指至少部分地基于圖像的深度通道/流的對應(yīng)圖像。

      如圖1中所示,計算設(shè)備102可以包括一個或多個傳感器122,一個或多個傳感器122配置為收集在執(zhí)行本文描述的功能中有用的數(shù)據(jù)。例如,傳感器122可以包括深度傳感器,深度傳感器可以用于確定對象距計算設(shè)備102的距離。在各種實施例中,傳感器122可以體現(xiàn)為或者以其它方式包括例如接近度傳感器、光學傳感器、光傳感器、音頻傳感器、溫度傳感器、運動傳感器、壓電傳感器和/或其它類型的傳感器。當然,計算設(shè)備102還可以包括配置為促進(多個)傳感器122的使用的組件和/或設(shè)備。

      通信電路124可以體現(xiàn)為使得能夠通過網(wǎng)絡(luò)104在計算設(shè)備102和其它遠程設(shè)備(例如,移動計算設(shè)備106)之間進行通信的任何通信電路、設(shè)備或它們的集合。通信電路124可以配置為使用任何一種或多種通信技術(shù)(例如,無線或有線通信)和相關(guān)聯(lián)的協(xié)議(例如,以太網(wǎng)、Bluetooth?、Wi-Fi?、WiMAX等)以實施這樣的通信。

      現(xiàn)在參照圖2,在使用中,計算設(shè)備102建立用于估計觀看者的關(guān)注區(qū)域并且顯示觀看者交互式內(nèi)容的環(huán)境200。如下文所討論的,計算設(shè)備102利用相機系統(tǒng)120來捕獲計算設(shè)備102的一個或多個觀看者(即,看向顯示器118的人員)的(多個)圖像。另外,計算設(shè)備102確定觀看者距計算設(shè)備102的距離范圍、觀看者的凝視方向(例如,基于(多個)所捕獲的圖像和距離范圍)以及顯示器118的主動交互區(qū)(例如,基于觀看者的凝視方向和觀看者的距離范圍)。如下文所描述的,觀看者距計算設(shè)備102的距離范圍可以被確定為絕對或近似物理距離,或者被確定為落入距離的范圍(例如,短距離、中等距離和長距離)之內(nèi)。另外,用于確定觀看者的凝視方向的特定技術(shù)可以是基于例如所確定的觀看者的距離范圍。如下文所描述的,主動交互區(qū)指示觀看者的凝視指向其處的顯示器118的區(qū)。附加地,在說明性實施例中,計算設(shè)備102基于所確定的主動交互區(qū)而在顯示器118上顯示可以變化的內(nèi)容。

      計算設(shè)備102的說明性實施例200包括關(guān)注區(qū)估計模塊202、顯示內(nèi)容確定模塊204、顯示模塊206和通信模塊208。附加地,關(guān)注區(qū)估計模塊202包括面部檢測模塊210、頭部取向確定模塊212和凝視追蹤模塊214。如所示出,凝視追蹤模塊214還包括眼睛檢測模塊216。環(huán)境200的每一個模塊可以體現(xiàn)為硬件、軟件、固件或它們的組合。附加地,在一些實施例中,說明性模塊中的一個或多個可以形成另一個模塊的部分。例如,顯示內(nèi)容確定模塊204在一些實施例中可以形成顯示模塊206的部分(或者反之亦然)。

      關(guān)注區(qū)估計模塊202接收利用相機系統(tǒng)120的(多個)相機所捕獲(例如,作為流傳送的視頻或者作為個體圖像而捕獲)的圖像,分析捕獲圖像,并且確定觀看者的凝視指向其處的顯示器118的區(qū)(即,主動交互區(qū))。如下文所討論的,在說明性實施例中,由相機系統(tǒng)捕獲和/或由關(guān)注區(qū)估計模塊202利用以做出這樣的確定的特定圖像是取決于觀看者距計算設(shè)備102的距離范圍。這樣,關(guān)注區(qū)估計模塊202配置為確定觀看者相對于計算設(shè)備102的距離范圍。為了這樣做,關(guān)注區(qū)估計模塊202可以分析由相機系統(tǒng)120捕獲的圖像和/或由傳感器122收集的數(shù)據(jù)。取決于特定實施例,關(guān)注區(qū)估計模塊202可以以任何合適的粒度或準確度水平來確定觀看者距計算設(shè)備102的距離范圍。例如,距離范圍可以體現(xiàn)為絕對物理距離(例如,三英尺)、近似距離或者距離的范圍(例如,在三英尺和十英尺之間)。在說明性實施例中,關(guān)注區(qū)估計模塊202通過確定觀看者當前位于預(yù)限定距離范圍集合中的哪一個距離范圍內(nèi),來確定觀看者距計算設(shè)備102的距離。距離范圍可以體現(xiàn)為特定距離的范圍(例如,零到三英尺、三英尺到十英尺等)或者絕對范圍(例如,短范圍、中等范圍或長范圍)。應(yīng)當領(lǐng)會的是,取決于特定實施例,可以存在任何數(shù)目的離散距離范圍,以及用于檢測范圍的任何數(shù)目的設(shè)備和/或技術(shù)。例如,在一些實施例中,可以存在N個距離范圍以及用于范圍/距離檢測的N個對應(yīng)設(shè)備/技術(shù),其中N是大于1的正整數(shù)。當然,在其它實施例中,距離范圍的數(shù)目和可用范圍/距離技術(shù)的數(shù)目可以不同。另外,在一些實施例中,關(guān)注區(qū)估計模塊202可以作為顯式步驟而確定距離范圍(例如,使用深度或距離傳感器),而在其它實施例中,距離范圍可以更為隱式地確定(例如,基于技術(shù)限制等),如下文所描述的。當然,在一些實施例中,關(guān)注區(qū)估計模塊202可以不確定人員距計算設(shè)備102的距離范圍,直到確定人員正看向顯示器118或者處于一般鄰域中(例如,響應(yīng)于在所捕獲的圖像中檢測到人員的面部)。

      如上文所討論的,構(gòu)成每一個距離范圍的物理距離可以取決于特定實施例。在一些實施例中,距離范圍可以根據(jù)預(yù)限定的距離或閾值進行限定。例如,短范圍可以在距計算設(shè)備102的零英尺和四英尺之間,中等范圍可以在四英尺和十五英尺之間,并且長范圍可以大于十五英尺。在其它實施例中,距離范圍可以被抽象出并且基于本文描述的技術(shù)的限制。例如,如下文所討論的,凝視追蹤算法僅可以能夠在高至特定閾值距離的、在閾值誤差水平(例如,高至10%誤差)內(nèi)準確地確定觀看者的凝視方向。類似地,深度相機128或深度傳感器僅可以能夠在高至另一閾值距離的、在可接受閾值誤差水平之內(nèi)準確地測量對象的深度。當然,應(yīng)當領(lǐng)會的是,在其它實施例中,距離范圍可以基于其它準則進行選擇(例如,不管凝視追蹤算法和/或深度相機128圖像是否提供準確數(shù)據(jù))。例如,在一些實施例中,凝視追蹤算法、深度相機128圖像和/或RGB圖像可以甚至在長范圍處提供準確結(jié)果。在這樣的實施例中,距離范圍可以基于例如算法和計算效率來確定。也就是說,RGB圖像分析可以在長范圍處使用,因為其最為高效并且在這樣的距離處提供足夠準確度。類似地,RGB-D圖像分析可以在中等范圍處使用,并且凝視追蹤算法在短范圍處使用。還應(yīng)當領(lǐng)會的是,在一些實施例中,關(guān)注區(qū)估計模塊202可以針對計算設(shè)備102的多個觀看者而確定觀看者的凝視方向和顯示器118的主動交互區(qū)。

      如上文所討論的,關(guān)注區(qū)估計模塊202包括面部檢測模塊210、頭部取向確定模塊212和凝視追蹤模塊214。面部檢測模塊210檢測所捕獲的圖像中的一個或多個人員的面部的存在,并且確定所捕獲的圖像中的任何檢測到的面部的位置。應(yīng)當領(lǐng)會的是,面部檢測模塊210可以利用用于這樣做的任何適當?shù)膶ο髾z測/追蹤算法。另外,在一些實施例中,面部檢測模塊210可以基于人員的檢測到的面部來標識人員(例如,通過生物計量算法和/或其它面部識別或?qū)ο笙嚓P(guān)算法)。這樣,在其中追蹤多個人員的凝視方向的實施例中,面部檢測模塊210可以在所捕獲的圖像中的那些人員之間進行區(qū)分以增強追蹤質(zhì)量。在一些實施例中,面部檢測模塊210可以在檢測人員的面部的位置之前檢測該人員在所捕獲的圖像中的存在。

      頭部取向確定模塊212確定計算設(shè)備102的觀看者相對于計算設(shè)備102的頭部姿勢。如下文參照圖3所討論的,在說明性實施例中,如果觀看者距計算設(shè)備102為長范圍,則頭部取向確定模塊212基于由2D相機126捕獲的圖像來確定觀看者的頭部姿勢,并且如果觀看者距計算設(shè)備102為中等范圍,則頭部取向確定模塊212基于由深度圖像128捕獲的圖像來確定觀看者的頭部姿勢。也就是說,在一些實施例中,頭部取向確定模塊212可以在其中深度值可獲得的距離(例如,中等范圍距離)處利用RGB和深度圖像像素值二者,并且在深度值不可獲得時默認利用RGB值。當然,頭部取向確定模塊212可以利用用于確定觀看者相對于計算設(shè)備102的頭部姿勢/取向的任何適當?shù)募夹g(shù)和/或算法。例如,在實施例中,頭部取向確定模塊212可以將如在(多個)所捕獲的圖像中示出的觀看者的頭部與各種取向中的人員的頭部的參考/模型圖像的集合進行比較。

      凝視追蹤模塊214基于例如觀看者的(多個)所捕獲的圖像(例如,RGB圖像和/或RGB-D圖像)和所確定的觀看者的距離范圍(例如,短范圍、中等范圍或長范圍),來確定觀看者的凝視方向。應(yīng)當領(lǐng)會的是,凝視追蹤模塊214可以利用用于這樣做的任何適當?shù)募夹g(shù)和/或算法。例如,在計算設(shè)備102的緊密接近度內(nèi)(例如,在短范圍內(nèi)),凝視追蹤模塊214可以利用眼睛和凝視追蹤算法來確定觀看者的凝視方向(例如,基于對觀看者的(多個)所捕獲的圖像的分析)。另外,在說明性實施例中,當觀看者處于計算設(shè)備102的中等范圍內(nèi)時(例如,當準確的深度信息是可獲得的時),凝視追蹤模塊214可以基于對RGB-D圖像或類似數(shù)據(jù)的分析來確定觀看者的凝視方向。在說明性實施例中,當觀看者距計算設(shè)備102為長范圍時(例如,當準確的深度信息是不可獲得的時),凝視追蹤模塊214分析RGB圖像(即,不包括準確的深度信息的所捕獲的圖像)以確定觀看者的凝視方向。盡管出于描述的簡單和清楚起見,在本文中可以參照觀看者的單只眼睛來討論眼睛和凝視檢測、追蹤以及分析,但是本文描述的技術(shù)等同地適用于追蹤觀看者的兩只眼睛。

      眼睛檢測模塊216確定觀看者的眼睛在所捕獲的圖像中和/或相對于計算設(shè)備102的位置。為了這樣做,眼睛檢測模塊216可以使用任何適當?shù)募夹g(shù)、算法和/或圖像濾波器(例如,邊緣檢測和分段)。在一些實施例中,眼睛檢測模塊216利用觀看者的面部的位置(即,利用面部檢測模塊210所確定的)來確定觀看者的眼睛的位置,以例如減少所捕獲的圖像的被分析以定位觀看者的(多個)眼睛的區(qū)。當然,在其它實施例中,眼睛檢測模塊216可以獨立于觀看者的面部位置的確定或者在沒有觀看者的面部位置的確定的情況下,做出觀看者的眼睛位置的確定。附加地,在一些實施例中,眼睛檢測模塊216分析觀看者的眼睛以確定觀看者的眼睛的各種特性/特征(例如,閃爍位置、虹膜位置、瞳孔位置、虹膜-瞳孔對比度、眼睛大小/形狀、和/或其它特性)。應(yīng)當領(lǐng)會的是,凝視追蹤模塊214可以利用觀看者的眼睛的各種所確定的特征,來用于確定觀看者相對于計算設(shè)備102的凝視方向和/或位置。例如,在實施例中,凝視追蹤模塊214使用從觀看者的眼睛的角膜和/或瞳孔反射出的閃爍(即,第一浦肯野(Purkinje)圖像),來用于凝視追蹤或者更具體地閃爍分析?;诜瓷?,凝視追蹤模塊214可以確定觀看者相對于計算設(shè)備102的位置或定位(例如,在三維空間中)和/或觀看者的凝視方向。

      應(yīng)當領(lǐng)會的是,基于所確定的觀看者的凝視方向,關(guān)注區(qū)估計模塊202能夠確定顯示器118的主動交互區(qū)。例如,基于觀看者的凝視方向和/或觀看者的距離范圍,關(guān)注區(qū)估計模塊202可以確定觀看者所聚焦于的顯示器118的區(qū)。換言之,顯示器118可以劃分成顯示器118的主動交互區(qū)和顯示器118的被動交互區(qū),觀看者的凝視指向所述主動交互區(qū)并且觀看者可以在所述主動交互區(qū)與顯示器118交互,觀看者的凝視不指向所述被動交互區(qū)。在一些實施例中,被動交互區(qū)可以顯示互補信息。另外,在一些實施例中,所確定的主動交互區(qū)的大小可以基于觀看者距計算設(shè)備102的距離范圍來確定。例如,在說明性實施例中,與當觀看者距計算設(shè)備102為中等范圍時相比,主動交互區(qū)的大小在觀看者距計算設(shè)備102為短范圍時更小。類似地,與觀看者距計算設(shè)備102為長范圍時相比,主動交互區(qū)在觀看者距計算設(shè)備102為中等范圍時更小。以這樣的方式,關(guān)注區(qū)估計模塊202可以基于觀看者的凝視方向以及觀看者距計算設(shè)備102的距離范圍,來動態(tài)地確定顯示器118的主動交互區(qū)的大小和位置。另外,如下文所討論的,所顯示的內(nèi)容可以類似地改變,使得例如隨著觀看者逼近計算設(shè)備102,內(nèi)容所提供的細節(jié)量增多。

      顯示內(nèi)容確定模塊204基于例如所確定的主動交互區(qū),來確定要顯示在計算設(shè)備102的顯示器118上的內(nèi)容。如上文所討論的,在說明性實施例中,觀看者的凝視可以被用作輸入。也就是說,觀看者的凝視方向可以指示至計算設(shè)備102的觀看者的期望輸入選擇。相應(yīng)地,在這樣的實施例中,顯示內(nèi)容確定模塊204可以基于觀看者的期望輸入選擇(即,觀看者的凝視方向和/或所確定的主動交互區(qū))而選擇用于顯示的內(nèi)容。另外,如上文所討論的,計算設(shè)備102可以配置供多個觀看者使用。這樣,在一些實施例中,顯示內(nèi)容確定模塊204可以基于多個觀看者的凝視方向和/或所確定的主動交互區(qū),來確定用于顯示的內(nèi)容。例如,顯示內(nèi)容確定模塊204可以給予特定觀看者的交互優(yōu)先考慮(例如,最接近于計算設(shè)備102的觀看者),執(zhí)行群體分析以確定平均、中值、模式或另外的共同期望的交互,和/或以另一種適當?shù)姆绞酱_定用于顯示的內(nèi)容。在實施例中,顯示內(nèi)容確定模塊204可以確定在顯示器118的一個區(qū)中為一個觀看者顯示內(nèi)容,并且在顯示器118的另一個區(qū)上為另一個觀看者顯示其它內(nèi)容(例如,如果觀看者的對應(yīng)主動交互區(qū)不重疊的話)。

      顯示模塊206配置為在計算設(shè)備102的顯示器118上顯示內(nèi)容(即,由顯示內(nèi)容確定模塊204所確定的)。如上文所討論的,在說明性實施例中,顯示在顯示器118上的內(nèi)容至少部分地基于顯示器118的一個或多個觀看者的所確定的主動交互區(qū)。

      通信模塊208處置計算設(shè)備102和遠程設(shè)備(例如,移動計算設(shè)備106)之間通過對應(yīng)網(wǎng)絡(luò)(例如,網(wǎng)絡(luò)104)的通信。例如,在一些實施例中,計算設(shè)備102可以與觀看者的移動計算設(shè)備106通信,以準確地確定觀看者相對于計算設(shè)備102的距離(例如,基于信號傳輸時間)。另外,在另一個實施例中,計算設(shè)備102的觀看者可以使用例如移動計算設(shè)備106(例如,具有眼睛追蹤的可穿戴計算設(shè)備),以在確定凝視方向、主動交互區(qū)、觀看者輸入選擇和/或觀看者的其它特性方面促進計算設(shè)備102。當然,與這樣的分析相關(guān)聯(lián)的有關(guān)數(shù)據(jù)可以由移動計算設(shè)備106傳輸并且由計算設(shè)備102的通信模塊208接收。

      現(xiàn)在參照圖3-4,在使用中,計算設(shè)備102可以執(zhí)行用于在計算設(shè)備102的顯示器118上顯示觀看者交互式內(nèi)容的方法300。說明性方法300從框302開始,其中計算設(shè)備102針對計算設(shè)備102前方的觀看者進行掃描。換言之,計算設(shè)備102捕獲一般在計算設(shè)備102前方的場景(即,可以正看向顯示器118的任何人員)的一個或多個圖像,并且如以上所討論的那樣分析那些所捕獲的圖像以檢測任何觀看者。如上文所指示的,計算設(shè)備102可以使用用于這樣做的任何適當?shù)募夹g(shù)或算法。例如,計算設(shè)備102可以使用峰檢測(blob detection)、邊緣檢測、圖像分段、圖案/模型匹配和/或其它技術(shù),以標識計算設(shè)備102前方的人員(即,潛在觀看者)。

      在框304中,計算設(shè)備102確定是否已經(jīng)在任何所捕獲的圖像中檢測到觀看者。如果否,則方法300返回到框302,其中計算設(shè)備102繼續(xù)針對潛在觀看者進行掃描。然而,如果已經(jīng)檢測到人員,則計算設(shè)備102在框306中定位所捕獲的圖像中的人員的面部。為了這樣做,計算設(shè)備102可以使用任何適當?shù)募夹g(shù)和/或算法(例如,類似于檢測在計算設(shè)備102前方的人員)。在框308中,計算設(shè)備102確定是否已經(jīng)檢測到人員的面部。如果否,則方法300返回到框302,其中計算設(shè)備102繼續(xù)針對潛在觀看者進行掃描。換言之,在說明性實施例中,計算設(shè)備102假設(shè)人員不是觀看者,如果該人員的面部不能在所捕獲的圖像中檢測到的話。例如,從計算設(shè)備102走開的人員(對于其的面部將不被檢測到)不太可能正看向計算設(shè)備102。應(yīng)當領(lǐng)會的是,在一些實施例中,盡管如此,仍可以確定潛在觀看者的頭部姿勢方向/取向,以標識例如那些觀看者的凝視方向(例如,以與下文描述的方式類似的方式)。潛在觀看者頭部姿勢方向/取向和/或凝視方向可以用于標識觀看者實際正看向哪里,例如以用于將來的分析和市場化目的。

      如果檢測到觀看者的面部,則計算設(shè)備102在框310中確定觀看者相對于計算設(shè)備102的距離范圍。如上文所討論的,計算設(shè)備102可以將觀看者的距離范圍確定為顯式的距離值(例如,三英尺、七英尺、十二英尺等)或者確定為抽象距離范圍(例如,短范圍、中等范圍、長范圍等)。在一些實施例中,計算設(shè)備102可以執(zhí)行以下顯式步驟:確定觀看者距計算設(shè)備102的距離范圍。為了這樣做,計算設(shè)備102可以例如利用由相機系統(tǒng)120的一個或多個相機捕獲的圖像、由傳感器122收集的數(shù)據(jù)(例如,距離、深度或其它相關(guān)數(shù)據(jù))、從其它設(shè)備(例如,移動計算設(shè)備106)傳輸?shù)臄?shù)據(jù)和/或其它信息。當然,在其它實施例中,計算設(shè)備102可以更隱式地探明或確定觀看者距計算設(shè)備102的距離范圍,如本文中所討論的。

      應(yīng)當領(lǐng)會的是,在說明性實施例中,基于所利用的凝視追蹤算法和深度相機128的技術(shù)限制來確定距離范圍(例如,短范圍、中等范圍和長范圍)。例如,在特定實施例中,短范圍(例如,在距計算設(shè)備102的零英尺和四英尺之間)由所實現(xiàn)的凝視追蹤技術(shù)的限制而限定。在這樣的實施例中,中等范圍(例如,在四英尺和十五英尺之間)由所利用的深度相機128的限制(例如,由深度相機128捕獲的深度圖像流的準確度)而限定。長范圍(例如,大于十五英尺)可以被限定為超出中等范圍距離的距離。當然,觀看者的距離范圍可以以其它方式來確定并且可以取決于特定實施例而是連續(xù)或離散的。相應(yīng)地,在框312中,計算設(shè)備102基于用于執(zhí)行這樣的凝視追蹤的特定實現(xiàn)和/或技術(shù),來確定觀看者是否在計算設(shè)備102的凝視追蹤距離內(nèi)(例如,在四英尺內(nèi))。如果是,則計算設(shè)備102在框314中基于凝視追蹤算法來確定觀看者的凝視方向。如上文所討論的,計算設(shè)備102可以利用用于這樣做的任何適當?shù)哪曌粉櫵惴?。另外,計算設(shè)備102可以確定觀看者的凝視指向其處的顯示器118上的點(如果有的話),如下文所描述的。

      如果計算設(shè)備102確定觀看者不在凝視追蹤距離內(nèi),則計算設(shè)備102在框316中基于用于執(zhí)行這樣的深度確定的特定實現(xiàn)和/或技術(shù),來確定觀看者是否在深度確定范圍內(nèi)。例如,計算設(shè)備102可以確定由深度相機128生成的深度圖像(或者由深度傳感器收集的類似數(shù)據(jù))是否包括如上文所討論的準確信息(例如,基于誤差閾值)。如果計算設(shè)備102在深度確定范圍內(nèi),則計算設(shè)備102在框318中基于由深度相機128捕獲的圖像(例如,RGB-D圖像)來確定觀看者的頭部取向。例如,在一些實施例中,這樣的圖像可以與各種三維面部模板(例如,個性化模板或模型的模板)相比較。當然,計算設(shè)備102可以使用用于這樣做的任何適當?shù)募夹g(shù)或算法(例如,迭代最近點算法)來分析RGB-D圖像。在一些實施例中,確定觀看者的頭部姿勢/取向構(gòu)成了確定觀看者的頭部姿勢相對于(例如,模型的)基線頭部取向的滾轉(zhuǎn)、傾斜和橫擺角度。

      如果計算設(shè)備102確定觀看者不在深度確定范圍內(nèi),則計算設(shè)備102在框320中基于由2D相機126捕獲的圖像來確定觀看者的頭部取向。如上文所討論的,計算設(shè)備102可以利用用于這樣做的任何適當?shù)乃惴ɑ蚣夹g(shù)。在一些實施例中,計算設(shè)備102可以結(jié)合用于頭部姿勢/取向估計的比例正交投影變換(POST:Pose from Orthography and Scaling)或者比例正交投影迭代變換(POSIT:Pose from Orthography and Scaling with Iterations)算法,來利用例如人體測量3D模型(例如,剛性、統(tǒng)計、形狀、紋理和/或其它模型)。應(yīng)當領(lǐng)會的是,取決于特定實施例,確定觀看者的頭部取向可以使用例如靜態(tài)圖像途徑(即,基于在相同時間處拍攝的單個圖像或多個圖像)或者差分或基于運動的途徑(即,基于視頻或圖像序列)來完成。另外,在一些實施例中,不是使用由2D相機126捕獲的圖像,而是計算設(shè)備102可以分析由深度相機128捕獲的圖像(例如,RGB-D圖像)的顏色通道(例如,RGB部分)。

      不管計算設(shè)備102是在框318中基于深度圖像還是在框320中基于2D圖像來確定觀看者的頭部取向,計算設(shè)備102都在框322中確定觀看者的凝視方向。在一些實施例中,為了這樣做,計算設(shè)備102進一步使用適當?shù)乃惴ɑ蚣夹g(shù)來分析(多個)對應(yīng)所捕獲的圖像(即,在框314或框318中分析的(多個)圖像),以確定觀看者的(多個)眼睛在所捕獲的圖像中的位置。另外,如上文所討論的,計算設(shè)備102可以確定觀看者的眼睛的各種特性,所述特性可以(例如,結(jié)合觀看者的頭部的所確定的取向)用于確定/估計觀看者的凝視方向。例如,在實施例中,觀看者的眼睛的所捕獲的圖像可以與參考圖像的集合相比較,參考圖像指示人員相對于人員的面部的不同眼睛取向(或凝視方向)。在這樣的實施例中,向上看的人員的眼睛的參考/模型圖像可以示出參考圖像的底部處的人員鞏膜(即,眼睛的白色部)的部分,以及朝向參考圖像的頂部的人員虹膜的部分。類似地,直接向前看的人員的參考圖像可以示出人員的虹膜和瞳孔,其中鞏膜處于虹膜的兩側(cè)處。附加地,向下看的人員的參考圖像可以主導(dǎo)性地示出例如朝向參考圖像的頂部的人員的上眼皮和/或鞏膜。當然,所使用的參考圖像的集合可以在數(shù)目和取向方面變化,并且可以取決于例如所確定的觀看者的頭部的取向(例如,在她的頭部指向相機的情況下向下看的人員的眼睛可能看起來不同于看向側(cè)方的人員的眼睛)。

      在說明性實施例中,計算設(shè)備102基于觀看者的頭部取向、觀看者的眼睛取向和/或觀看者距計算設(shè)備102的所確定的距離范圍,來確定觀看者關(guān)于顯示器118的凝視方向。特別地,在一些實施例中,計算設(shè)備102可以確定三維空間中從觀看者的眼睛定向并且與觀看者的凝視一致的向量(即,凝視向量)的角度。另外,在一些實施例中,計算設(shè)備102確定觀看者的凝視指向其處的顯示器118上的點或區(qū)。應(yīng)當領(lǐng)會的是,計算設(shè)備102可以使用用于這樣做的任何適當?shù)乃惴ê?或技術(shù)做出這樣的確定。例如,在一些實施例中,計算設(shè)備102可以存儲指示在二維或三維空間中計算設(shè)備102的組件(例如,顯示器118、相機系統(tǒng)120、傳感器122、個體相機和/或其它組件)對于彼此和/或?qū)τ诠潭c(即,原點)的相對位置的數(shù)據(jù)。基于這樣的坐標系統(tǒng)、觀看者到計算設(shè)備102的距離范圍以及觀看者的凝視的相對取向(例如,基于觀看者的頭部和/或眼睛取向的凝視角度),計算設(shè)備102可以確定觀看者的凝視指向其處的顯示器118上的點/區(qū)。在另一個實施例中,計算設(shè)備102可以將觀看者的凝視向量延伸到與顯示器118一致的平面,并且將凝視向量與該平面之間的相交點標識為這樣的點。當然,在一些環(huán)境中,計算設(shè)備102可以確定觀看者沒有正直接地看向顯示器118上的任何點并且相應(yīng)地處置那些環(huán)境。例如,計算設(shè)備102可以忽略觀看者,或者標識觀看者的凝視歸因于的顯示器118上的點(例如,最靠近觀看者的實際凝視向量的顯示器118上的點)。

      不管計算設(shè)備102是如在框314中所描述的那樣還是如在框322中所描述的那樣基于凝視追蹤算法來確定觀看者的凝視方向,方法300都前進到圖4的框324,其中計算設(shè)備102基于觀看者的凝視方向和/或觀看者距計算設(shè)備102的距離范圍來確定顯示器118的主動交互區(qū)。如上文所討論的,計算設(shè)備102可以確定觀看者的凝視指向其處的顯示器118上的點或區(qū)(即,物理位置)(或者觀看者的凝視歸因于的點)。這樣,在框326中,計算設(shè)備102基于觀看者的凝視方向來確定主動交互區(qū)的位置。例如,在一些實施例中,顯示器118的主動交互區(qū)的位置可以定中心在觀看者的凝視指向其處的點的附近、在該點周圍取向、或者以其它方式與該點相關(guān)聯(lián)或包括該點。在框328中,計算設(shè)備102還確定主動交互區(qū)的大小。在說明性實施例中,主動交互區(qū)的大小取決于觀看者距計算設(shè)備102的距離范圍。如上文所討論的,隨著觀看者逼近計算設(shè)備102,主動交互區(qū)的大小減少(例如,在觀看者的凝視點附近)。也就是說,與如果觀看者距計算設(shè)備102為長距離的情況相比,如果觀看者距計算設(shè)備102為短距離,則主動交互區(qū)可以更小,盡管觀看者的凝視指向相同點。換言之,如上文所討論的,計算設(shè)備102可以基于觀看者的凝視方向和觀看者距計算設(shè)備102的距離范圍,來動態(tài)地確定主動交互區(qū)的大小和位置。當然,在一些實施例中,計算設(shè)備102可以僅基于觀看者的凝視方向或觀看者距計算設(shè)備102的距離范圍中的一個,來確定顯示器118的主動交互區(qū)。

      在框330中,計算設(shè)備102確定是否檢測到另一個觀看者。如果是,則方法300返回到圖3的框302,其中計算設(shè)備102針對在計算設(shè)備102前方的附加觀看者進行掃描。換言之,在說明性實施例中,計算設(shè)備102可以配置供多個觀看者使用。在這樣的實施例中,主動交互區(qū)可以以單數(shù)或復(fù)數(shù)來確定,并且可以基于若干觀看者的凝視方向和距離范圍來確定。當然,在一些實施例中,方法300可以實現(xiàn)成供單個觀看者所使用。

      如果計算設(shè)備102確定未檢測到另一個觀看者或者計算設(shè)備102實現(xiàn)成供基于僅一個觀看者的凝視來使用,則計算設(shè)備102在框332中基于(多個)觀看者的(多個)所標識的主動交互區(qū)來顯示內(nèi)容。如上文所討論的,顯示器118可以虛擬地劃分成一個或多個主動交互區(qū)和被動交互區(qū)。另外,觀看者在顯示器118的主動交互區(qū)中的特定點處的凝視可以指示對在該點示出的顯示要素的期望輸入選擇。相應(yīng)地,計算設(shè)備102可以基于觀看者的輸入選擇來顯示內(nèi)容(例如,在主動和/或被動交互區(qū)中)。例如,在一些實施例中,計算設(shè)備102可以在主動交互區(qū)中或周圍顯示主要內(nèi)容(即,直接與用戶輸入有關(guān)的內(nèi)容),并且在被動交互區(qū)中顯示其它內(nèi)容(例如,背景圖像或之前示出的內(nèi)容)。在框334中,計算設(shè)備102可以存儲關(guān)于觀看者的所確定的凝視方向、所確定的主動交互區(qū)的數(shù)據(jù)和/或?qū)τ谟嬎阍O(shè)備102的操作和/或?qū)τ趯淼氖袌龌康模ɡ?,對于?shù)據(jù)挖掘)有用的其它信息。方法300返回到圖3的框302,其中計算設(shè)備102針對觀看者進行掃描。應(yīng)當領(lǐng)會的是,在一些實施例中,方法300可以在循環(huán)中執(zhí)行以連續(xù)地確定觀看者的凝視方向并且在顯示器118上顯示合適內(nèi)容。

      現(xiàn)在參照圖5-7,示出了觀看者502與計算設(shè)備102交互的簡化圖示。應(yīng)當領(lǐng)會的是,在圖5-7中所示的說明性使用場景中,計算設(shè)備102體現(xiàn)為交互式數(shù)字標牌。附加地,在該場景中,觀看者502在圖6中要比圖7中更遠離計算設(shè)備102,并且在圖5中要比圖6中更遠離計算設(shè)備102。換言之,在圖5-7的序列中,觀看者502正朝向計算設(shè)備102行走。如圖5中所示,在顯示器118上示出兩件襯衫并且觀看者的凝視指向計算設(shè)備102的顯示器118的特定區(qū)506。相應(yīng)地,如上文所描述的,計算設(shè)備102確定觀看者的凝視方向504和觀看者502距計算設(shè)備102的距離范圍,并且基于那些確定來確定顯示器118的主動交互區(qū)508。計算設(shè)備102將觀看者的凝視方向504(或者主動交互區(qū)508內(nèi)的對應(yīng)點)與期望的輸入選擇相關(guān)聯(lián),并且在顯示器118上顯示不同內(nèi)容,如圖6中所示。特別地,計算設(shè)備102將所選襯衫顯示為全套服裝的部分,其中利用輸入選擇列表詢問“那么,您對此有何意見”。如所示的,觀看者的凝視指向顯示器118的區(qū)510。類似于以上所描述的,計算設(shè)備102確定觀看者的新凝視方向504以及觀看者502距計算設(shè)備102的新距離范圍,并且基于那些確定來確定顯示器118的主動交互區(qū)512。應(yīng)當領(lǐng)會的是,主動交互區(qū)512小于主動交互區(qū)508,因為觀看者502更靠近計算設(shè)備102。計算設(shè)備102將觀看者的凝視方向504與輸入選擇“是”相關(guān)聯(lián),并且在顯示器118上以三種不同顏色顯示之前顯示的全套服裝,如圖7中所示。如上文所描述的,計算設(shè)備102確定觀看者的新凝視方向504、距離范圍和主動交互區(qū)514,并且確定用于顯示的內(nèi)容,如上文所描述的。

      示例

      下面提供本文公開的技術(shù)的說明性示例。技術(shù)的實施例可以包括以下描述的示例中的任何一個或多個以及任何組合。

      示例1包括一種用于觀看者關(guān)注區(qū)域估計的計算設(shè)備,該計算設(shè)備包括:顯示器;相機系統(tǒng),用于捕獲顯示器的觀看者的圖像;關(guān)注區(qū)估計模塊,用于(i)確定觀看者距計算設(shè)備的距離范圍,(ii)基于所捕獲的圖像和觀看者的距離范圍來確定觀看者的凝視方向,以及(iii)基于觀看者的凝視方向和觀看者的距離范圍來確定顯示器的主動交互區(qū);以及顯示模塊,用于基于所確定的主動交互區(qū)而在顯示器上顯示內(nèi)容。

      示例2包括示例1的主題,并且其中確定觀看者的距離范圍包括基于所捕獲的觀看者的圖像來確定觀看者的距離范圍。

      示例3包括示例1和2中的任一項的主題,并且其中確定觀看者的距離范圍包括:響應(yīng)于檢測到所捕獲的圖像中的觀看者的面部而確定觀看者的距離范圍。

      示例4包括示例1-3中任一項的主題,并且其中確定觀看者的距離范圍包括:確定觀看者是否在第一距離內(nèi),凝視追蹤算法在該第一距離處可以在第一閾值誤差水平內(nèi)準確地確定觀看者的凝視方向;以及確定觀看者是否在比第一距離大的第二距離內(nèi),深度相機在該第二距離處可以在第二閾值誤差水平內(nèi)準確地測量深度。

      示例5包括示例1-4中任一項的主題,并且其中確定觀看者的距離范圍包括:確定觀看者距計算設(shè)備的距離是否超出第一閾值距離;以及如果觀看者距計算設(shè)備的距離超出第一閾值距離,則確定觀看者距計算設(shè)備的距離是否超出比第一閾值距離大的第二閾值距離。

      示例6包括示例1-5中任一項的主題,并且其中觀看者的距離范圍為以下中的一個:(i)距計算設(shè)備的短范圍、(ii)距計算設(shè)備的中等范圍或者(iii)距計算設(shè)備的長范圍。

      示例7包括示例1-6中任一項的主題,并且其中相機系統(tǒng)包括:二維相機,用于捕獲觀看者的圖像,該觀看者的圖像是第一圖像;以及深度相機,用于捕獲觀看者的第二圖像。

      示例8包括示例1-7中任一項的主題,并且其中確定觀看者的凝視方向包括:響應(yīng)于確定距離范圍為距計算設(shè)備的長范圍而基于第一所捕獲的圖像來確定觀看者的凝視方向;響應(yīng)于確定距離范圍為距計算設(shè)備的中等范圍而基于第二所捕獲的圖像來確定觀看者的凝視方向;以及響應(yīng)于確定距離范圍是距計算設(shè)備的短范圍而基于凝視追蹤算法來確定觀看者的凝視方向。

      示例9包括示例1-8中任一項的主題,并且其中基于第二所捕獲的圖像來確定觀看者的凝視方向包括:基于第二所捕獲的圖像來確定觀看者的頭部取向。

      示例10包括示例1-9中任一項的主題,并且其中二維相機包括紅-綠-藍(RGB)相機,并且深度相機包括紅-綠-藍-深度(RGB-D)相機,并且其中基于第一所捕獲的圖像來確定觀看者的凝視方向包括基于對RGB圖像的分析來確定觀看者的凝視方向;并且基于第二所捕獲的圖像來確定觀看者的凝視方向包括基于對RGB-D圖像的分析來確定觀看者的凝視方向。

      示例11包括示例1-10中任一項的主題,并且其中確定主動交互區(qū)包括確定具有以下的主動交互區(qū):(i)作為觀看者的距離范圍的函數(shù)的大小和(ii)作為觀看者的凝視方向的函數(shù)的位置。

      示例12包括示例1-11中任一項的主題,并且其中觀看者的凝視方向指示至計算設(shè)備的觀看者的期望輸入選擇;并且其中在顯示器上顯示內(nèi)容包括基于觀看者的輸入選擇來顯示內(nèi)容。

      示例13包括示例1-12中任一項的主題,并且其中捕獲觀看者的圖像包括捕獲多個觀看者的圖像;確定觀看者的距離范圍包括確定多個觀看者中的每一個距計算設(shè)備的對應(yīng)距離范圍;確定觀看者的凝視方向包括確定多個觀看者中的每一個的對應(yīng)凝視方向;并且確定顯示器的主動交互區(qū)包括:基于多個觀看者中的每一個的對應(yīng)凝視方向和多個觀看者中的每一個的對應(yīng)距離范圍,來針對多個觀看者中的每一個確定顯示器的對應(yīng)主動交互區(qū)。

      示例14包括示例1-13中任一項的主題,并且其中在顯示器上顯示內(nèi)容包括:基于針對多個觀看者中的每一個所確定的主動交互區(qū)而在顯示器上顯示內(nèi)容。

      示例15包括示例1-14中任一項的主題,并且其中計算設(shè)備體現(xiàn)為交互式數(shù)字標牌。

      示例16包括一種用于通過計算設(shè)備進行的觀看者關(guān)注區(qū)域估計的方法,該方法包括:通過計算設(shè)備的相機系統(tǒng)捕獲計算設(shè)備的顯示器的觀看者的圖像;通過計算設(shè)備確定觀看者距計算設(shè)備的距離范圍;通過計算設(shè)備基于所捕獲的圖像和觀看者的距離范圍來確定觀看者的凝視方向;通過計算設(shè)備基于觀看者的凝視方向和觀看者的距離范圍來確定顯示器的主動交互區(qū),其中主動交互區(qū)指示觀看者的凝視指向其處的顯示器的區(qū);以及基于所確定的主動交互區(qū)而在顯示器上顯示內(nèi)容。

      示例17包括示例16的主題,并且其中確定觀看者的距離范圍包括基于所捕獲的觀看者的圖像來確定觀看者的距離范圍。

      示例18包括示例16和17中任一項的主題,并且其中確定觀看者的距離范圍包括:響應(yīng)于檢測到所捕獲的圖像中的觀看者的面部而確定觀看者的距離范圍。

      示例19包括示例16-18中任一項的主題,并且其中確定觀看者的距離范圍包括:確定觀看者是否在第一距離內(nèi),凝視追蹤算法在該第一距離處可以在第一閾值誤差水平內(nèi)準確地確定觀看者的凝視方向;以及確定觀看者是否在比第一距離大的第二距離內(nèi),深度相機在該第二距離處可以在第二閾值誤差水平內(nèi)準確地測量深度。

      示例20包括示例16-19中任一項的主題,并且其中確定觀看者的距離范圍包括:確定觀看者距計算設(shè)備的距離是否超出第一閾值距離;以及如果觀看者距計算設(shè)備的距離超出第一閾值距離,則確定觀看者距計算設(shè)備的距離是否超出比第一閾值距離大的第二閾值距離。

      示例21包括示例16-20中任一項的主題,并且其中確定觀看者的距離范圍包括:確定觀看者為(i)距計算設(shè)備的短范圍、(ii)距計算設(shè)備的中等范圍或者(iii)距計算設(shè)備的長范圍。

      示例22包括示例16-21中任一項的主題,并且其中捕獲觀看者的圖像包括利用相機系統(tǒng)的二維相機來捕獲觀看者的第一圖像,并且進一步包括通過相機系統(tǒng)的深度相機來捕獲觀看者的第二圖像。

      示例23包括示例16-22中任一項的主題,并且其中確定觀看者的凝視方向包括:響應(yīng)于確定距離范圍為距計算設(shè)備的長范圍而基于第一所捕獲的圖像來確定觀看者的凝視方向;響應(yīng)于確定距離范圍為距計算設(shè)備的中等范圍而基于第二所捕獲的圖像來確定觀看者的凝視方向;以及響應(yīng)于確定距離范圍是距計算設(shè)備的短范圍而基于凝視追蹤算法來確定觀看者的凝視方向。

      示例24包括示例16-23中任一項的主題,并且其中基于第二所捕獲的圖像來確定觀看者的凝視方向包括:基于第二所捕獲的圖像來確定觀看者的頭部取向。

      示例25包括示例16-24中任一項的主題,并且其中二維相機包括紅-綠-藍(RGB)相機,并且深度相機包括紅-綠-藍-深度(RGB-D)相機,并且其中基于第一所捕獲的圖像來確定觀看者的凝視方向包括基于對RGB圖像的分析來確定觀看者的凝視方向;并且基于第二所捕獲的圖像來確定觀看者的凝視方向包括基于對RGB-D圖像的分析來確定觀看者的凝視方向。

      示例26包括示例16-25中任一項的主題,并且其中確定主動交互區(qū)包括確定具有以下的主動交互區(qū):(i)作為觀看者的距離范圍的函數(shù)的大小和(ii)作為觀看者的凝視方向的函數(shù)的位置。

      示例27包括示例16-26中任一項的主題,并且其中觀看者的凝視方向指示至計算設(shè)備的觀看者的期望輸入選擇;并且其中在顯示器上顯示內(nèi)容包括基于觀看者的輸入選擇來顯示內(nèi)容。

      示例28包括示例16-27中任一項的主題,并且其中捕獲觀看者的圖像包括捕獲多個觀看者的圖像;確定觀看者的距離范圍包括確定多個觀看者中的每一個距計算設(shè)備的對應(yīng)距離范圍;確定觀看者的凝視方向包括確定多個觀看者中的每一個的對應(yīng)凝視方向;并且確定顯示器的主動交互區(qū)包括:基于多個觀看者中的每一個的對應(yīng)凝視方向和多個觀看者中的每一個的對應(yīng)距離范圍,來針對多個觀看者中的每一個確定顯示器的對應(yīng)主動交互區(qū)。

      示例29包括示例16-28中任一項的主題,并且其中在顯示器上顯示內(nèi)容包括:基于針對多個觀看者中的每一個所確定的主動交互區(qū)而在顯示器上顯示內(nèi)容。

      示例30包括示例16-29中任一項的主題,并且其中計算設(shè)備體現(xiàn)為交互式數(shù)字標牌。

      示例31包括一種計算設(shè)備,包括:處理器;以及具有存儲在其中的多個指令的存儲器,所述多個指令在由處理器執(zhí)行時使計算設(shè)備執(zhí)行示例16-30中任一項的方法。

      示例32包括包含存儲在其上的多個指令的一個或多個機器可讀存儲介質(zhì),所述多個指令響應(yīng)于被執(zhí)行而導(dǎo)致計算設(shè)備執(zhí)行示例16-30中任一項的方法。

      示例33包括一種用于觀看者關(guān)注區(qū)域估計的計算設(shè)備,該計算設(shè)備包括:用于通過計算設(shè)備的相機系統(tǒng)捕獲計算設(shè)備的顯示器的觀看者的圖像的構(gòu)件;用于確定觀看者距計算設(shè)備的距離范圍的構(gòu)件;用于基于所捕獲的圖像和觀看者的距離范圍來確定觀看者的凝視方向的構(gòu)件;用于基于觀看者的凝視方向和觀看者的距離范圍來確定顯示器的主動交互區(qū)的構(gòu)件,其中主動交互區(qū)指示觀看者的凝視指向其處的顯示器的區(qū);以及用于基于所確定的主動交互區(qū)而在顯示器上顯示內(nèi)容的構(gòu)件。

      示例34包括示例33的計算設(shè)備,并且其中用于確定觀看者的距離范圍的構(gòu)件包括用于基于所捕獲的觀看者的圖像來確定觀看者的距離范圍的構(gòu)件。

      示例35包括示例33和34中任一項的計算設(shè)備,并且其中用于確定觀看者的距離范圍的構(gòu)件包括:用于響應(yīng)于檢測到所捕獲的圖像中的觀看者的面部而確定觀看者的距離范圍的構(gòu)件。

      示例36包括示例33-35中任一項的計算設(shè)備,并且其中用于確定觀看者的距離范圍的構(gòu)件包括:用于確定觀看者是否在第一距離內(nèi)的構(gòu)件,凝視追蹤算法在該第一距離處可以在第一閾值誤差水平內(nèi)準確地確定觀看者的凝視方向;以及用于確定觀看者是否在比第一距離大的第二距離內(nèi)的構(gòu)件,深度相機在該第二距離處可以在第二閾值誤差水平內(nèi)準確地測量深度。

      示例37包括示例33-36中任一項的計算設(shè)備,并且其中用于確定觀看者的距離范圍的構(gòu)件包括:用于確定觀看者距計算設(shè)備的距離是否超出第一閾值距離的構(gòu)件;以及用于如果觀看者距計算設(shè)備的距離超出第一閾值距離,則確定觀看者距計算設(shè)備的距離是否超出比第一閾值距離大的第二閾值距離的構(gòu)件。

      示例38包括示例33-37中任一項的計算設(shè)備,并且其中用于確定觀看者的距離范圍的構(gòu)件包括:用于確定觀看者為(i)距計算設(shè)備的短范圍、(ii)距計算設(shè)備的中等范圍或者(iii)距計算設(shè)備的長范圍的構(gòu)件。

      示例39包括示例33-38中任一項的計算設(shè)備,并且其中用于捕獲觀看者的圖像的構(gòu)件包括用于利用相機系統(tǒng)的二維相機來捕獲觀看者的第一圖像的構(gòu)件,并且進一步包括用于通過相機系統(tǒng)的深度相機來捕獲觀看者的第二圖像的構(gòu)件。

      示例40包括示例33-39中任一項的計算設(shè)備,并且其中用于確定觀看者的凝視方向的構(gòu)件包括:用于響應(yīng)于確定距離范圍為距計算設(shè)備的長范圍而基于第一所捕獲的圖像來確定觀看者的凝視方向的構(gòu)件;用于響應(yīng)于確定距離范圍為距計算設(shè)備的中等范圍而基于第二所捕獲的圖像來確定觀看者的凝視方向的構(gòu)件;以及用于響應(yīng)于確定距離范圍是距計算設(shè)備的短范圍而基于凝視追蹤算法來確定觀看者的凝視方向的構(gòu)件。

      示例41包括示例33-40中任一項的計算設(shè)備,并且其中用于基于第二所捕獲的圖像來確定觀看者的凝視方向的構(gòu)件包括:用于基于第二所捕獲的圖像來確定觀看者的頭部取向的構(gòu)件。

      示例42包括示例33-41中任一項的計算設(shè)備,并且其中二維相機包括紅-綠-藍(RGB)相機;深度相機包括紅-綠-藍-深度(RGB-D)相機;用于基于第一所捕獲的圖像來確定觀看者的凝視方向的構(gòu)件包括用于基于對RGB圖像的分析來確定觀看者的凝視方向的構(gòu)件;并且用于基于第二所捕獲的圖像來確定觀看者的凝視方向的構(gòu)件包括用于基于對RGB-D圖像的分析來確定觀看者的凝視方向的構(gòu)件。

      示例43包括示例33-42中任一項的計算設(shè)備,并且其中用于確定主動交互區(qū)的構(gòu)件包括用于確定具有以下的主動交互區(qū)的構(gòu)件:(i)作為觀看者的距離范圍的函數(shù)的大小和(ii)作為觀看者的凝視方向的函數(shù)的位置。

      示例44包括示例33-43中任一項的計算設(shè)備,并且其中觀看者的凝視方向指示至計算設(shè)備的觀看者的期望輸入選擇;并且用于在顯示器上顯示內(nèi)容的構(gòu)件包括用于基于觀看者的輸入選擇來顯示內(nèi)容的構(gòu)件。

      示例45包括示例33-44中任一項的計算設(shè)備,并且其中用于捕獲觀看者的圖像的構(gòu)件包括用于捕獲多個觀看者的圖像的構(gòu)件;用于確定觀看者的距離范圍的構(gòu)件包括用于確定多個觀看者中的每一個距計算設(shè)備的對應(yīng)距離范圍的構(gòu)件;用于確定觀看者的凝視方向的構(gòu)件包括用于確定多個觀看者中的每一個的對應(yīng)凝視方向的構(gòu)件;并且用于確定顯示器的主動交互區(qū)的構(gòu)件包括:用于基于多個觀看者中的每一個的對應(yīng)凝視方向和多個觀看者中的每一個的對應(yīng)距離范圍,來針對多個觀看者中的每一個確定顯示器的對應(yīng)主動交互區(qū)的構(gòu)件。

      示例46包括示例33-45中任一項的計算設(shè)備,并且其中用于在顯示器上顯示內(nèi)容的構(gòu)件包括:用于基于針對多個觀看者中的每一個所確定的主動交互區(qū)而在顯示器上顯示內(nèi)容的構(gòu)件。

      示例47包括示例33-46中任一項的計算設(shè)備,并且其中計算設(shè)備體現(xiàn)為交互式數(shù)字標牌。

      當前第1頁1 2 3 
      網(wǎng)友詢問留言 已有0條留言
      • 還沒有人留言評論。精彩留言會獲得點贊!
      1