0還可包括網(wǎng)絡(luò)接口控制器(NIC) 128,其可配置成經(jīng)過總線106將計算裝置100連接到網(wǎng)絡(luò)130。網(wǎng)絡(luò)130可以是廣域網(wǎng)(WAN)、局域網(wǎng)(LAN)或因特網(wǎng)等等。
[0021]圖1的框圖并不是要表示計算裝置100將包括圖1所示的全部組件。此外,計算裝置100可包括圖1中未示出的任何數(shù)量的附加組件,這取決于具體實(shí)現(xiàn)的細(xì)節(jié)。
[0022]可變分辨率深度表示可采取各種格式,例如3D點(diǎn)云、多邊形網(wǎng)格或者二維(2D)深度Z陣列。為了便于描述,深度圖用來描述可變分辨率深度表示的特征。但是,任何類型的深度表示能夠如本文所述來使用。另外,為了便于描述,像素用來描述表示的一些單位。但是,能夠使用任何類型的單位,例如體積像素(體素)。
[0023]深度表示的分辨率可按照與肉眼相似的方式改變。人類視覺系統(tǒng)高度優(yōu)化成通過增加視網(wǎng)膜中心附近的光受體和神經(jīng)節(jié)細(xì)胞的變化徑向濃度中的有效分辨率,并且以指數(shù)方式降低更遠(yuǎn)離中心的這些細(xì)胞(這通過在必要時增加細(xì)節(jié)并且降低其他位置的細(xì)節(jié)來優(yōu)化分辨率和深度感知),在必要時捕獲增加細(xì)節(jié)。
[0024]視網(wǎng)膜包括稱作小凹的小區(qū)域,其可在目標(biāo)位置提供最高深度分辨率。眼睛則能夠進(jìn)行更快的掃視運(yùn)動以在目標(biāo)位置周圍抖動,并且對目標(biāo)位置添加附加分辨率。因此,抖動使來自包圍焦點(diǎn)的像素的數(shù)據(jù)在計算焦點(diǎn)的分辨率時能夠被考慮。中央凹區(qū)是包圍小凹的面積,其也對人類視覺添加細(xì)節(jié),但是與小凹區(qū)相比以較低分辨率來添加。副中央凹區(qū)提供比中央凹區(qū)要少的細(xì)節(jié),以及近中央凹區(qū)提供比副中央凹區(qū)要小的分辨率。因此,近中央凹區(qū)提供人類視覺系統(tǒng)中的最少細(xì)節(jié)。
[0025]可變深度表示能夠按照與人類視覺系統(tǒng)相似的方式來設(shè)置。在一些實(shí)施例中,傳感器能夠用來降低傳感器中心附近的像素的大小。其中減少像素的面積的位置也可以是按照傳感器所接收的命令可變的。深度圖還可包括若干深度層。深度層是深度圖中具有特定深度分辨率的區(qū)域。深度層與人類視覺系統(tǒng)的區(qū)域相似。例如,中央凹層可以是深度圖的焦點(diǎn)和具有最高分辨率的面積。小凹層可包圍中央凹層,其中具有比中央凹層要小的分辨率。副中央凹層可包圍小凹層,其中具有比小凹層要小的分辨率。另外,中心凹層可包圍副中央凹層,其中具有比副中央凹層要小的分辨率。在一些實(shí)施例中,副中央凹層可稱作深度表示的背景層。此外,背景層可以是包含超過特定距離的所有深度信息的深度圖的同構(gòu)面積。背景層可設(shè)置成深度表示中的最低分辨率。雖然在這里描述四個層,但是可變分辨率深度表示可包含任何數(shù)量的層。
[0026]通過可變分辨率深度表示所指示的深度信息能夠使用若干技術(shù)來改變。改變可變分辨率深度表示的一種技術(shù)是使用可變位深度。各像素的位深度表示各像素的位精密度等級。通過改變各像素的位深度,為各像素所存儲的信息量也能夠改變。具有較小位深度的像素存儲與像素有關(guān)的較少信息,這產(chǎn)生像素在再現(xiàn)時的較小分辨率。改變可變分辨率深度表示的另一種技術(shù)是使用可變空間分辨率。通過改變空間分辨率,改變各像素或體素的大小。變化大小在較大像素區(qū)域作為區(qū)域來共同處理時使較少深度信息被存儲,而在較小像素被單獨(dú)處理時使較多深度信息被保留。在一些實(shí)施例中,可變位深度、可變空間分辨率、像素大小的減小或者它們的任何組合能夠用來改變深度表示中的區(qū)域的分辨率。
[0027]圖2是基于可變位深度的可變分辨率深度圖202和另一個可變分辨率深度圖204的圖示。可變位深度又可稱作可變位精確度。可變分辨率深度圖202和可變分辨率深度圖204均具有特定位深度,如深度圖202和深度圖204的各正方形內(nèi)部的數(shù)字所指示。為了便于描述,深度圖202和深度圖204分為多個正方形,其中各正方形表示深度圖的像素。但是,深度圖能夠包含任何數(shù)量的像素。
[0028]深度圖202具有正方形形狀的區(qū)域,而深度圖204具有基本上圓形形狀的區(qū)域。深度圖204的區(qū)域基本上為圓形,因?yàn)樗镜恼叫闻c圓形形狀不完全一致。任何形狀能夠用來定義可變分辨率深度表示中的各種區(qū)域,例如圓形、矩形、八邊形、多邊形或者曲線樣條形狀。深度圖202和深度圖204的每個中以參考標(biāo)號206所示的層具有16位的位深度,其中為各像素存儲16位信息。通過存儲各像素的16位信息,根據(jù)二進(jìn)制數(shù)表示能夠?yàn)楦飨袼卮鎯ψ畲?5536個不同的顏色等級。深度圖202和深度圖204的以參考標(biāo)號208所示的層具有8位的位深度,其中為各像素存儲8位信息,這產(chǎn)生各像素的最大256個不同的顏色等級。最后,以參考標(biāo)號210所示的層具有4位的位深度,其中為各像素存儲4位信息,這產(chǎn)生各像素的最大16個不同的顏色等級。
[0029]圖3是基于可變空間分辨率的可變分辨率深度圖302和所生產(chǎn)圖像304的圖示。在一些實(shí)施例中,深度圖302可使用深度的體素金字塔表示。金字塔表示可用來檢測圖像的特征,例如臉部或眼睛。金字塔八度分辨率能夠在深度圖的層之間改變。以參考標(biāo)號306所示的層具有粗略1/4金字塔八度分辨率,這使四個體素作為一個單位來處理。以參考標(biāo)號308所示的層具有較細(xì)1/2金字塔八度分辨率,這使兩個體素作為一個單位來處理。以參考標(biāo)號310所示的中心層具有最高金字塔八度分辨率,其中具有1:1金字塔八度分辨率,一個體素作為一個單元來處理。所產(chǎn)生圖像304在圖像的眼睛附近的圖像中心具有最高分辨率。在一些實(shí)施例中,深度信息可按照結(jié)構(gòu)化文件格式作為可變分辨率層來存儲。此外,在一些實(shí)施例中,分層可變空間分辨率可用來創(chuàng)建可變分辨率深度表示。在分層可變空間分辨率中,圖像金字塔被生成并且然后用作較高分辨率區(qū)域的復(fù)制背景以便被覆蓋。圖像金字塔的最小區(qū)域可作為背景來復(fù)制以填充圖像的面積,以便覆蓋整個視場。
[0030]通過僅在深度表示的一部分中使用高分辨率,深度圖的大小可減小,因?yàn)閷^低分辨率面積存儲較少信息。此外,在處理使用可變深度表示的較小文件時,降低功率消耗。在一些實(shí)施例中,可在深度圖的焦點(diǎn)處減小像素的大小。像素的大小可按照如下方式來減小:增加包括焦點(diǎn)的表示的層的有效分辨率。像素大小的減小與人類視覺系統(tǒng)的視網(wǎng)膜模式相似。為了減小像素的大小,傳感器單元受體的深度能夠增加,使得在圖像中的焦點(diǎn)處能夠收集附加光子。在一些實(shí)施例中,深度感測模塊可通過與人類視覺系統(tǒng)相似地構(gòu)建的設(shè)計來增加有效分辨率,其中增加實(shí)現(xiàn)為光電二極管的感光器按照與上述視網(wǎng)膜模式相似的模式來實(shí)現(xiàn)。在一些實(shí)施例中,分層深度精確度和可變深度區(qū)域形狀能夠用來減小深度圖的大小。
[0031]圖4是從可變分辨率深度圖所形成的一組圖像400。圖像400包括具有變化分辨率等級的若干區(qū)域。在一些實(shí)施例中,可變位深度、可變空間分辨率、像素大小的減小或者它們的任何組合能夠基于深度指示符自動調(diào)整。如本文所使用的深度指示符是圖像的一個特征,其能夠用于區(qū)分變化深度分辨率的面積。相應(yīng)地,深度指示符能夠是照明、紋理、邊緣、輪廓、顏色、運(yùn)動或時間。但是,深度指示符能夠是圖像的一個特征,其能夠用于區(qū)分變化深度分辨率的面積。
[0032]自動調(diào)整分辨率區(qū)域是深度圖中使用深度指示符來調(diào)整到空間分辨率、位深度、像素大小或者它們的任何組合的面積。深度圖的任何層能夠覆蓋在調(diào)整分辨率區(qū)域。調(diào)整分辨率區(qū)域能夠基于使圖像傳感器減小深度指示符處于特定值的深度的命令。例如,當(dāng)紋理較低時,深度分辨率可以較低,而在紋理較高的情況下,深度分辨率也可以較高。圖像傳感器能夠自動調(diào)整深度圖像,并且所產(chǎn)生可變分辨率存儲在深度圖中。
[0033]圖像400使用紋理作為深度指示符來改變深度分辨率。在一些實(shí)施例中,深度傳感器用來使用基于紋理的深度調(diào)整來自動檢測低紋理的區(qū)域。低紋理的區(qū)域可由深度傳感器來檢測。在一些實(shí)施例中,低紋理的區(qū)域使用紋理分析來檢測。在一些實(shí)施例中,低紋理的區(qū)域通過滿足指示紋理的某個閾值的像素來檢測。此外,可變位深度和可變空間分辨率可用來降低如深度傳感器所發(fā)現(xiàn)的低紋理的區(qū)域中的深度分辨率。類似地,可變位準(zhǔn)確度和可變空間分辨率可用來增加高紋理的面積中的深度分辨率。用來改變深度表示中的分辨率的特定指示符可基于深度圖的特定應(yīng)用。此外,使用深度指示符使基于指示符的深度信息能夠被存儲,同時減小深度表示的大小以及用來處理深度表示的功率。
[0034]當(dāng)運(yùn)動用作深度指示符時,動態(tài)幀率用來使深度傳感器能夠基于畫面運(yùn)動來確定幀率。例如,如果不存在畫面移動,則不需要計算新深度圖。因此,對于低于預(yù)定閾值的畫面移動,能夠使用較低幀率。類似地,對于高于預(yù)定閾值的畫面移動,能夠使用較高幀率。在一些實(shí)施例中,傳感器能夠使用像素鄰域比較并且將閾值逐幀應(yīng)用于像素運(yùn)動,來檢測幀運(yùn)動。幀率調(diào)整允許深度圖以所選或動態(tài)計算的間隔(包括常規(guī)間隔和斜升/斜降)來創(chuàng)建。此外,幀率能夠基于深度層可變的。例如,深度圖對高分辨率深度層能夠以每秒60幀(FPS)