本公開一般地涉及圖像傳感器單元和包括這種圖像傳感器單元的成像裝置。

背景技術(shù)：

全光相機能夠通過在主透鏡和傳感器之間布置微透鏡陣列來測量沿著與傳感器相交的每束光線行進的光量。光場可以被后處理，以從不同的視點重建場景的圖像。結(jié)果，用戶可以改變圖像的焦點。與傳統(tǒng)相機相比，全光相機可以通過后處理從不同的視點獲得附加的光學(xué)信息分量，從而實現(xiàn)場景圖像的重建。

hdr(高動態(tài)范圍)成像中的挑戰(zhàn)可能是以不同的曝光捕獲場景的至少兩個圖像，以實現(xiàn)動態(tài)范圍擴展。因此，根據(jù)常規(guī)相機，不能以令人滿意或足夠高的動態(tài)范圍對動態(tài)場景(或視頻)進行處理。

另一方面，全光成像引入了一種同時捕獲場景的多個圖像的有效方法，從而提供了捕獲靜態(tài)(或靜止)場景或動態(tài)場景的多個圖像的工具。

由全光相機捕獲的場景的圖像必須經(jīng)過視圖解復(fù)用，即從二維(或2d)原始圖像到四維(或4d)光場圖像的數(shù)據(jù)轉(zhuǎn)換。解復(fù)用過程重新組織2d原始圖像的像素，使得將捕獲具有一定入射角的光線的所有像素存儲在同一圖像中，以便創(chuàng)建所謂的“視圖”或“視點圖像”。每個視點圖像都是場景在不同光線角度下的投影。一組視點圖像可以創(chuàng)建塊矩陣，該塊矩陣中的中心視點圖像存儲捕獲穿過主透鏡孔徑的中心部分的光線的像素。光線的角信息由微透鏡圖像(即，在微透鏡下和傳感器上形成的圖像)中相對于與中心視點(微透鏡圖像的中心)相對應(yīng)的像素的相對像素位置給出。

塊矩陣可以用于估計場景內(nèi)的物體的深度信息。一旦知道深度信息，圖像處理方法就可以在每個視點圖像上同時操縱每個物體。hdr成像是這種圖像處理方法的一個示例。當(dāng)場景的深度圖是已知的時，可以在各種多幀hdr成像方法中使用場景的來自不同光線角度的不同曝光，以擴展所捕獲的圖像的動態(tài)范圍。

例如，“0v10640”，彩色cmos130萬像素(1280x1080)高動態(tài)范圍(hdr)高清圖像傳感器，“http://www.ovt.com/products/sensor.php？id＝151”，提出了一個分裂像素技術(shù)，其中一些像素具有低敏感度響應(yīng)。然而，所提出的分裂像素技術(shù)導(dǎo)致相機可實現(xiàn)的空間分辨率的損失。此外，相鄰像素對不同的空間位置進行采樣，從而降低由hdr成像方法執(zhí)行的后處理的準(zhǔn)確度。

另一方面，todorgeorgiev等人的文章“richimagecapturewithplenopticcameras”(iccp2010)提出了針對使用全光類型2的hdr成像的兩種方法。第一種方法改變微透鏡的孔徑尺寸以捕獲場景的不同曝光，第二種方法過濾主透鏡，以便改變照射在微透鏡上的光量。然而，根據(jù)所提出的第一種方法和第二種方法，每個解復(fù)用視圖包含根據(jù)不同曝光的像素，而不包含具有唯一敏感度的像素。todorgeorgiev等人匯報的第二種方法比第一種方法在結(jié)果的質(zhì)量方面更差一些。此外，根據(jù)第一種方法，由于微透鏡的小孔徑引入了衍射模糊，所以動態(tài)范圍擴展受到孔徑尺寸的下限的限制。

因此，通常難以在不降低空間分辨率的情況下同時捕獲場景的不同曝光。更具體地，通常難以同時實現(xiàn)場景的高曝光捕獲和低曝光捕獲。

技術(shù)實現(xiàn)要素：

根據(jù)本公開的一個方面，圖像傳感器單元可以包括：微透鏡陣列，包括按照二維陣列布置的多個微透鏡；以及傳感器，包括按照二維陣列布置的多個像素，并且被配置為通過微透鏡陣列接收光，其中，傳感器包括按照二維陣列布置的多個傳感器區(qū)域，多個傳感器區(qū)域分別包括按照矩陣布置所布置的具有不同敏感度的像素，其中，位于多個傳感器區(qū)域中的相應(yīng)位置處的像素具有相同的敏感度，以及其中，微透鏡陣列中的每個微透鏡被布置為將光導(dǎo)向傳感器的多個傳感器區(qū)域中的相應(yīng)傳感器區(qū)域，多個傳感器區(qū)域中的每個傳感器區(qū)域的矩陣布置的第一行或第一列中的像素具有第一感光度，多個傳感器區(qū)域中的每個傳感器區(qū)域的矩陣布置的第二行或第二列中的像素具有與第一感光度不同的第二感光度，第一感光度和第二感光度與多個傳感器區(qū)域中的每個傳感器區(qū)域的矩陣布置中不同于第一行和第二行或第一列和第二列的行或列中的像素的感光度不同。

根據(jù)本公開的另一方面，一種成像裝置可以包括：光學(xué)系統(tǒng)，包括至少一個透鏡；以及如上所述的圖像傳感器單元，其中，圖像傳感器單元的微透鏡陣列被配置為通過光學(xué)系統(tǒng)接收光。

本公開的目的和優(yōu)點將通過權(quán)利要求中特別指出的元件和組合實現(xiàn)并獲得。

應(yīng)當(dāng)理解，前面的概述和下文的具體描述是示例性和說明性的，而并不作為對要求保護的本發(fā)明的限制。

附圖說明

圖1是示出了根據(jù)本公開的一個實施例的成像裝置的示例的圖；

圖2是示意性地示出了布置在傳感器的感測表面上的感測區(qū)域的示例的平面圖；

圖3是示意性地示出了布置在傳感器的感測表面上的感測區(qū)域的另一示例的平面圖；

圖4是示意性地示出了布置在傳感器的感測表面的一部分上的感測區(qū)域的第一示例性實現(xiàn)的平面圖；以及

圖5是示意性地示出了布置在傳感器的感測表面的一部分上的感測區(qū)域的第二示例性實現(xiàn)的平面圖。

具體實施方式

將參考附圖描述本公開的實施例。

現(xiàn)在將給出根據(jù)本公開的每個實施例中的圖像傳感器單元和成像裝置的描述。

圖1是示出了根據(jù)本公開的一個實施例的成像裝置的示例的圖。本實施例中的成像裝置1形成例如全光相機。圖1中所示的成像裝置1可以包括光學(xué)系統(tǒng)2、圖像傳感器單元3和處理器4。

光學(xué)系統(tǒng)包括漫射器21、主透鏡22和物鏡(fieldlens)23。漫射器21在來自物體100的光到達微透鏡陣列31之前對光進行漫射。如果需要的話，可以省略該漫射器21。主透鏡22接收來自主透鏡22的物場中的物體100的光，并使光通過主透鏡22的像場。物鏡23布置在主透鏡22和微透鏡陣列31之間，并且調(diào)節(jié)來自主透鏡22的聚焦光以便看起來從無窮遠聚焦。

圖像傳感器單元3包括微透鏡陣列31和傳感器32。微透鏡陣列31包括按照二維陣列布置的多個微透鏡311。傳感器32可以包括設(shè)置在其感測表面上的濾色器321。濾色器321可以包括采用諸如拜耳布置的優(yōu)選布置的紅色、綠色和藍色中的每種顏色的濾色器。如果需要的話，可以省略該濾色器321。

圖2是示意性地示出了布置在傳感器的感測表面上的傳感器區(qū)域的示例的平面圖。如圖2所示，傳感器32包括按照二維陣列布置的多個像素322，并通過微透鏡陣列31接收來自物體100的光。傳感器32形成按照二維陣列布置的多個傳感器區(qū)域323，并且分別包括按照包括m行乘n列的矩陣布置所布置的具有相互不同的敏感度的像素322，其中m和n是大于2的自然數(shù)。傳感器區(qū)域323有時也被稱為“微透鏡圖像”或“塊”。在物鏡23存在的情況下，每個傳感器區(qū)域323的形狀和尺寸相同，并且每個傳感器區(qū)域323內(nèi)的像素322的數(shù)量和布置相同。在該示例中，多個傳感器區(qū)域323在行和列的延伸方向上布置成線性對齊的矩形矩陣。多個傳感器區(qū)域323的相應(yīng)位置處的像素322在當(dāng)前可用的全光相機中具有相同的敏感度。

在多個傳感器區(qū)域323中的每一個的中心附近位于多個傳感器區(qū)域323的對應(yīng)位置處的多個傳感器區(qū)域323中的每一個的至少一行或至少一列中的像素322可以具有相同的敏感度，下文中將結(jié)合示例性實現(xiàn)進行描述。這里，像素的敏感度通?？梢员唤忉尀椤皳糁邢袼氐墓庾訑?shù)與輸出信號之間的轉(zhuǎn)換率”。如果考慮像素的填充因子，則將其細化為“擊中像素的感光區(qū)域的光子數(shù)與輸出信號之間的轉(zhuǎn)換率”。像素的填充因子可以被定義為“感光面積與像素的總面積的比率”。該定義依賴于像素的某一部分通常專用于圖像傳感器的電路元件這一事實，因此不是像素的所有區(qū)域都用于檢測光，而只有像素的感光區(qū)域有助于檢測光。

可以使用被制造為具有不同敏感度的像素322來實現(xiàn)像素322的各種不同的敏感度。如例如“http://image-sensors-wotld.blogspot.fr/2014/11/on-semi-presents-emccd-with-per-pixel.html”中所述，制造為具有不同敏感度的像素是已知的，并且這些像素可以用于具有上述各種不同敏感度的像素322。

備選地，可以通過使用圖1所示的濾波器321a等來給像素322賦予各種不同的敏感度，該濾波器321a布置在微透鏡陣列31和傳感器32之間，將像素322的單個敏感度改變?yōu)楦鞣N不同的敏感度。濾波器321a可以被制造為具有根據(jù)要實現(xiàn)的像素322的各種不同敏感度的模式的圖案。例如，濾波器321a可以設(shè)置在濾色器321上或傳感器32的感測表面上。此外，濾波器321a可以由濾色器321形成，即濾色器321的功能和濾波器321a的功能可以集成在單個濾波器內(nèi)。

圖3是示意性地示出了布置在傳感器的感測表面上的傳感器區(qū)域的另一示例的平面圖。在圖3中，與圖2中的相應(yīng)部分相同的那些部分用相同的附圖標(biāo)記表示，并省略其說明。在該示例中，多個傳感器區(qū)域323在行和列延伸的方向上被線性地布置為交錯布置。

微透鏡陣列31中的每個微透鏡311布置成將光導(dǎo)向傳感器32的多個傳感器區(qū)域323中的對應(yīng)傳感器區(qū)域323。此外，由于微透鏡311的透鏡屬性，微透鏡陣列31中的每個微透鏡311將光導(dǎo)向圖2和圖3中的點劃線所示的圓形區(qū)域(或微透鏡圖像)324，該圓形區(qū)域位于傳感器32的多個傳感器區(qū)域323的對應(yīng)傳感器區(qū)域323內(nèi)。

在該示例中，傳感器區(qū)域323具有正方形形狀，并且圓形區(qū)域324適配到每個對應(yīng)的正方形傳感器區(qū)域323內(nèi)。優(yōu)選地，圓形區(qū)域324的外輪廓相對于相應(yīng)的正方形傳感器區(qū)域323形成內(nèi)接圓。因此，在每個感測區(qū)域323內(nèi)的所有像素322中，僅實質(zhì)上位于圓形區(qū)域324內(nèi)的像素322有助于成像。換句話說，有助于成像的每個像素322的像素區(qū)域(或感測區(qū)域)實質(zhì)上位于圓形區(qū)域324內(nèi)。

多個傳感器區(qū)域323中的每一個的中心與對應(yīng)的圓形區(qū)域324的中心(即相應(yīng)的微透鏡圖像311的中心)相匹配。

處理器4可以由任何已知和合適的硬件、軟件或硬件與軟件的組合形成。例如，處理器4可以由諸如處理電路的專用硬件形成，或者由諸如執(zhí)行存儲在其存儲器中的程序的中央處理單元(cpu)的可編程處理單元形成。

處理器4可以對從傳感器32的多個傳感器區(qū)域323中的每一個輸出的信號執(zhí)行處理，所述信號包括具有不同敏感度的像素322的信號。處理器4的處理可以包括將信號數(shù)字化為數(shù)字信號，以及從數(shù)字信號中提取由多個傳感器區(qū)域323感測的并與不同視點相對應(yīng)的多個視點圖像。處理器4的處理還可以包括例如合成多個視點圖像中的至少兩個。處理器4的處理可以使得能夠從從傳感器32輸出的信號中提取深度信息，并且使得能夠基于深度信息進行三維顯示。

傳感器32中的像素322的多個不同的敏感度s可以由公式s＝m-(l1×l2)+l1表示，其中m表示圓形區(qū)域324中有助于成像的像素322的數(shù)量，l1表示由具有相同敏感度的像素322分別形成的多個傳感器區(qū)域323中的每一個中的行或列的數(shù)量，l2表示由具有相同敏感度的像素322形成的多個傳感器區(qū)域323中的每一個中的l1行或列中的每一個內(nèi)有助于成像的像素322的數(shù)量。結(jié)果，該實施例可以同時捕獲場景的不同曝光，而不降低全光數(shù)據(jù)的空間分辨率。更具體地，該實施例可以同時實現(xiàn)場景的高曝光捕獲和低曝光捕獲。

同時捕獲場景的不同曝光有助于靜態(tài)場景和動態(tài)場景的高動態(tài)范圍(hdr)成像。在這種情況下，舉例來講，用戶不需要考慮低光曝光和手動曝光模式改變。例如，高曝光捕獲和低曝光捕獲都可以在一個固定模式下進行，并且全光相機可以在寬范圍的照明條件下工作。此外，例如，四色人的圖像捕獲可以容易地在全光相機中實現(xiàn)。

替代如todorgeorgiev等人在“richimagecapturewithplenopticcameras”(iccp2010)中所提出的那樣改變微透鏡的孔徑，本實施例中的傳感器像素的布置被設(shè)計為使得像素的敏感度在傳感器上變化。另外，與“ov10640”彩色cmos130萬像素(1280x1080)高動態(tài)范圍(hdr)高清圖像傳感器(’http://www.ovt.com/products/sensor.php？id＝151)中提出的分割像素技術(shù)的低空間分辨率不同，本實施例中改變?nèi)庀鄼C(或光場相機)的像素敏感度不影響捕獲的光場的空間分辨率和/或角分辨率。

因此，在本實施例中，傳感器包括具有對光的幾種不同敏感度的像素。對像素布置設(shè)計的限制(i)-(v)可以如下。示例性實現(xiàn)考慮了在每個微透鏡下(即每個感測區(qū)域324內(nèi))具有10×10＝100個像素的典型的類型1全光相機。根據(jù)其他示例，每個感測區(qū)域可以包括20×20、50×50或甚至100×100個像素。

限制(i)：為了僅通過具有相同敏感度的像素捕獲每個視點圖像，在每個感測區(qū)域324內(nèi)位于相同相對位置(即，相對于微透鏡中心的相同坐標(biāo))并因此屬于同一視點圖像的所有像素具有相同的敏感度。

限制(ii)：為了能夠計算深度圖，需要至少兩個具有相同曝光的視圖。為了提高視差估計的精度，每個感測區(qū)域中的至少一個完整的行或列優(yōu)選地由具有相同敏感度的像素形成。像素的這種敏感度模式允許精確的像素配準(zhǔn)(registration)。

圖4是示意性地示出了布置在傳感器的感測表面的一部分上的感測區(qū)域的第一示例性實現(xiàn)的平面圖。在圖4中，與圖3中的相應(yīng)部分相同的那些部分用相同的附圖標(biāo)記表示，并省略其說明。傳感器32的局部視圖中的圓形區(qū)域324對應(yīng)于微透鏡圖像。位于中心329附近的每個感測區(qū)域323的中心行僅由具有相同敏感度的一種類型的像素322c1形成，并且由圖4中的陰影指示。應(yīng)當(dāng)認(rèn)為，當(dāng)所述行中的至少一個像素接觸中心329時或者當(dāng)所述行的最靠近中心329的像素位于中心329附近(例如根據(jù)像素數(shù)量的大小，遠離中心329若干像素中的幾個像素)時，中心行位于中心329附近。除了中心行之外的行中的像素322具有相互不同的敏感度。另外，如圖4中的標(biāo)記“x”所示，例如，位于每個感測區(qū)域323(或圓形區(qū)域324)內(nèi)的相同相對位置處并因此屬于相同視點圖像的像素322具有相同的敏感度。因此，在由圖4中的粗實線圍繞的并且有助于在每個微透鏡311下的圓形區(qū)域324內(nèi)成像的64個像素(322和322c1)之中，僅有8個像素322c1具有相同的敏感度，并且可以根據(jù)上述公式計算出每個圓形區(qū)域324內(nèi)有助于成像的像素(322和322c1)可以具有64-(1×8)+1＝57個不同的敏感度。

在圖4和將要描述的圖5中，為了方便起見，假設(shè)由粗線包圍的正方形區(qū)域中的64(＝8×8)個像素有助于成像，但是正方形區(qū)域的角部處的像素可能在這些圖中看起來實質(zhì)上不位于圓形區(qū)域324內(nèi)。

限制(iii)：為了允許在不同照明級別下進行連續(xù)圖像捕獲，可以對像素布置設(shè)計應(yīng)用更多的限制。例如，每個感測區(qū)域中的多個中心行或列中的每一個優(yōu)選地由具有相同敏感度的像素形成。這種像素的敏感度模式也允許精確的像素配準(zhǔn)。關(guān)于照明級別，可以對最佳捕獲場景的中心行或列之一執(zhí)行深度圖估計。

圖5是示意性地示出了布置在傳感器的感測表面的一部分上的感測區(qū)域的第二示例性實現(xiàn)的平面圖。在圖5中，與圖3中的相應(yīng)部分相同的那些部分用相同的附圖標(biāo)記表示，并省略其說明。傳感器32的局部視圖中的圓形區(qū)域324對應(yīng)于微透鏡圖像。每個感測區(qū)域323的在中心329附近的第一中心行、第二中心行和第三中心行中的每一個僅由相應(yīng)類型的像素322c1、322c2和322c3形成，其分別具有相同的敏感度并通過圖5中的陰影指示。除了第一中心行、第二中心行和第三中心行之外的行中的像素322具有相互不同的敏感度。像素322c1、322c2和322c3的敏感度可以通過考慮兩個極端照明條件和一個中等照明條件來確定，兩個極端照明條件是分別對應(yīng)于高敏感度和低敏感度的極低照明和極高照明，中等照明條件對應(yīng)于高敏感度和低敏感度之間的中等敏感度。

因此，在由圖5中的粗實線圍繞的并且有助于在每個微透鏡311下的圓形區(qū)域324內(nèi)成像的64個像素(322、322c1、322c2和322c3)中，8個像素322c1具有相同的敏感度，8個像素322c2具有相同的敏感度，8個像素322c3具有相同的敏感度，但是像素322c1、322c2和322c3的敏感度是相互不同的。因此，可以根據(jù)上述公式計算有助于每個圓形區(qū)域324內(nèi)的成像的像素(322、322c1、322c2和322c3)可以具有64-(3×8)+3＝43個不同的敏感度。

限制(iv)：濾色器321可以設(shè)置在傳感器32上，以對場景色彩內(nèi)容進行采樣。在知曉微透鏡中心的情況下，可以將濾色器321設(shè)計成在每個視圖上獲得例如常規(guī)的拜耳布置(或圖案)。這種濾色器設(shè)計可以在每個微透鏡311的直徑對應(yīng)于恰好奇數(shù)個像素322的情況下實現(xiàn)。在微透鏡311的直徑對應(yīng)于恰好偶數(shù)個像素322的情況下，可以在微透鏡網(wǎng)格上的微透鏡311之間形成一個像素的物理空間。為了使用估計的視差來準(zhǔn)確地恢復(fù)視圖的顏色內(nèi)容，舉例來講，可以實施mozhdehseifi等人在″disparity-guideddemosaickingoflight-fieldimages″，icip2014中提出的方法，使得敏感度的數(shù)量(或敏感度水平)可以進一步降低，以便針對每次曝光獲得多于一個視圖。即使在將敏感度水平的數(shù)量除以2的情況下，也可以捕獲例如場景的大約20種不同的曝光，這遠遠超出了傳統(tǒng)相機的范圍。

限制(v)：可以考慮針對四色人的場景捕獲。數(shù)量很少，四色人有4種原色響應(yīng)。因此，只使用3個顏色通道可能不能滿足這些人的需要。為了將hdr全光相機調(diào)整到這種情況，可以在附加顏色通道中的信息中包括一個視圖(或甚至可能一行或一列視圖)。唯一的調(diào)整是在與每個微透鏡對應(yīng)的像素的前面使用合適的濾色器，并且仍然可以捕獲場景的大約20個不同的曝光。

如上所述，在多個傳感器區(qū)域323中的每一個的中心附近位于多個傳感器區(qū)域323的對應(yīng)位置處的多個傳感器區(qū)域323中的每一個的至少一行或至少一列中的像素322可能具有相同的敏感度。因此，在每個傳感器區(qū)域323中像素322具有相同敏感度的相鄰行或列的數(shù)量可以是如圖4中所示的一個(1)、如圖5所示的三個(3)或兩個(2)或四個(4)或更多個，其中像素322的敏感度在這樣的相鄰行或列之間是不同的。

要注意的是，全光相機在一個鏡頭中獲得了場景的多次曝光，并且例如可以容易地以視頻模式工作。雖然在本實施例中提供了全光類型1的示例，但是對于例如全光類型2相機可以使用完全相同的方法。例如，在由raytrixgmbh制造的r系列3d相機(或光場相機)的情況下，由于全光功能未在常規(guī)格柵上采樣，因此需要進行數(shù)據(jù)重新網(wǎng)格劃分以獲得視圖的矩陣布置。然而，可以相應(yīng)地設(shè)計傳感器，以便在不同視圖上獲得場景的不同曝光。

雖然示例性實現(xiàn)用例如“第一”或“第二”來編號，但是序數(shù)并不意味著示例性實現(xiàn)的優(yōu)先級。許多其他變化和修改對于本領(lǐng)域技術(shù)人員是顯而易見的。

這里記載的所有示例和條件語言預(yù)期用于教導(dǎo)目的，以幫助讀者理解本發(fā)明和發(fā)明人為改進現(xiàn)有技術(shù)而貢獻的構(gòu)思，并且應(yīng)解釋為不限于這些具體記載的示例和條件，說明書中對這些示例的組織也不對本原理的優(yōu)劣進行指示。雖然已經(jīng)詳細描述了本公開的實施例，但應(yīng)理解的是，在不脫離本發(fā)明的范圍的情況下，可以對其進行各種改變、替換和替代。