本發(fā)明涉及成像技術(shù)領(lǐng)域，尤其涉及微透鏡陣列的成像方法與成像裝置。

背景技術(shù)：

微透鏡陣列廣泛應(yīng)用于光場(chǎng)相機(jī)，復(fù)眼相機(jī)以及大視野的顯微相機(jī)。然而，由于光的波動(dòng)性，以及圖像傳感器在感光、模擬信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)以及數(shù)字信號(hào)重映射為數(shù)字圖像等過(guò)程中存在著非線性響應(yīng)，這導(dǎo)致其輸出的數(shù)字圖像中的光照分布與真實(shí)的場(chǎng)景環(huán)境光分布并非線性關(guān)系，進(jìn)而導(dǎo)致微透鏡成像中光亮度的非均勻性，導(dǎo)致每個(gè)微透鏡成像都會(huì)出現(xiàn)中間亮四周暗的現(xiàn)象。這對(duì)于微透鏡陣列成像的后續(xù)處理(無(wú)論是對(duì)兩個(gè)微透鏡成像做匹配，還是將多個(gè)微透鏡成像做拼接)都會(huì)造成嚴(yán)重的干擾。

技術(shù)實(shí)現(xiàn)要素：

鑒于上述技術(shù)問(wèn)題，本發(fā)明提供一種微透鏡陣列的成像方法與成像裝置，解決微透鏡陣列所成的原始圖像中亮度分布不均的問(wèn)題，提高原始圖像的質(zhì)量，降低對(duì)微透鏡所成圖像做匹配和拼接的難度。

依據(jù)本發(fā)明的一個(gè)方面，提供了一種微透鏡陣列的成像方法，所述成像方法包括：獲取圖像傳感器輸出的原始場(chǎng)景圖像；根據(jù)所述原始場(chǎng)景圖像和預(yù)先存儲(chǔ)的所述圖像傳感器的響應(yīng)曲線，得到原始場(chǎng)景輻照度分布；根據(jù)預(yù)先存儲(chǔ)的微透鏡輻照度分布模型對(duì)所述原始場(chǎng)景輻照度分布進(jìn)行亮度均一化變換，得到亮度均一的場(chǎng)景輻照度分布；將所述亮度均一的場(chǎng)景輻照度分布重新變換為亮度均一的數(shù)字圖像。

可選地，所述成像方法還包括：獲取圖像傳感器的響應(yīng)曲線，并將所述圖像傳感器的響應(yīng)曲線存儲(chǔ)至存儲(chǔ)設(shè)備中。

可選地，所述成像方法還包括：使用微透鏡陣列，固定圖像傳感器配置不 變，依次改變傳感器曝光時(shí)間，對(duì)光照強(qiáng)度維持不變的均勻發(fā)光光源獲取至少兩張光照?qǐng)D像；按如下方式計(jì)算微透鏡輻照度分布模型E_microlens：

其中，N為總共拍攝的光照?qǐng)D像張數(shù)，對(duì)應(yīng)的拍攝曝光時(shí)間分別為t₁,t₂,t₃,…,t_N，對(duì)應(yīng)的數(shù)字圖像分別為I₁,I₂,I₃,…,I_N；

(j)表示數(shù)字圖像中的第j個(gè)像素、以及微透鏡輻照度分布模型中對(duì)應(yīng)于該像素位置的區(qū)域；

g(I_i(j))為儲(chǔ)存在存儲(chǔ)設(shè)備中的圖像傳感器的響應(yīng)曲線；

w(I_i(j))是一個(gè)權(quán)重函數(shù)；

I_i(j)為第i個(gè)數(shù)字圖像中的第j個(gè)像素、以及原始場(chǎng)景輻照度分布中對(duì)應(yīng)于該像素位置的區(qū)域。

可選地，所述根據(jù)所述原始場(chǎng)景圖像和預(yù)先存儲(chǔ)的所述圖像傳感器的響應(yīng)曲線，得到原始場(chǎng)景輻照度分布，包括：

根據(jù)預(yù)先存儲(chǔ)的所述圖像傳感器的響應(yīng)曲線，對(duì)原始場(chǎng)景圖像做如下方式的變換，得到原始場(chǎng)景輻照度分布E_scene：

其中，N為總共拍攝的原始場(chǎng)景圖像張數(shù)，對(duì)應(yīng)的拍攝曝光時(shí)間分別為t₁,t₂,t₃,…,t_N，對(duì)應(yīng)的數(shù)字圖像分別為I₁,I₂,I₃,…,I_N；

(j)表示數(shù)字圖像中的第j個(gè)像素、以及原始場(chǎng)景輻照度分布中對(duì)應(yīng)于該像素位置的區(qū)域；

g(I_i(j))為儲(chǔ)存在存儲(chǔ)設(shè)備中的傳感器響應(yīng)曲線；

w(I_i(j))是一個(gè)權(quán)重函數(shù)；

I_i(j)為第i個(gè)數(shù)字圖像中的第j個(gè)像素、以及原始場(chǎng)景輻照度分布中對(duì)應(yīng)于該像素位置的區(qū)域。

可選地，所述根據(jù)預(yù)先存儲(chǔ)的微透鏡輻照度分布模型對(duì)所述原始場(chǎng)景輻照度分布進(jìn)行亮度均一化變換，得到亮度均一的場(chǎng)景輻照度分布，包括：

根據(jù)預(yù)先存儲(chǔ)的微透鏡輻照度分布模型E_microlens對(duì)原始場(chǎng)景輻照度分布 E_scene做如下的亮度變換，得到亮度均一的場(chǎng)景輻照度分布E_uniform：

其中，(j)表示數(shù)字圖像中的第j個(gè)像素、以及原始場(chǎng)景輻照度分布中對(duì)應(yīng)于該像素位置的區(qū)域；

max(E_microlens)表示數(shù)字圖像中像素的微透鏡輻照度分布模型E_microlens的最大值。

依據(jù)本發(fā)明的另一個(gè)方面，還提供了一種微透鏡陣列的成像裝置，所述成像裝置包括：第一模塊，用于獲取圖像傳感器輸出的原始場(chǎng)景圖像；第二模塊，用于根據(jù)所述原始場(chǎng)景圖像和預(yù)先存儲(chǔ)的所述圖像傳感器的響應(yīng)曲線，得到原始場(chǎng)景輻照度分布；第三模塊，用于根據(jù)預(yù)先存儲(chǔ)的微透鏡輻照度分布模型對(duì)所述原始場(chǎng)景輻照度分布進(jìn)行亮度均一化變換，得到亮度均一的場(chǎng)景輻照度分布；第四模塊，用于將所述亮度均一的場(chǎng)景輻照度分布重新變換為亮度均一的場(chǎng)景數(shù)字圖像。

可選地，所述成像裝置還包括：

第五模塊，用于獲取圖像傳感器的響應(yīng)曲線，并將所述圖像傳感器的響應(yīng)曲線存儲(chǔ)至存儲(chǔ)設(shè)備中。

可選地，所述成像裝置還包括：

第六模塊，用于使用微透鏡陣列，固定圖像傳感器配置不變，依次改變傳感器曝光時(shí)間，對(duì)光照強(qiáng)度維持不變的均勻發(fā)光光源獲取至少兩張光照?qǐng)D像；

按如下方式計(jì)算微透鏡輻照度分布模型E_microlens：

其中，N為總共拍攝的光照?qǐng)D像張數(shù)，對(duì)應(yīng)的拍攝曝光時(shí)間分別為t₁,t₂,t₃,…,t_N，對(duì)應(yīng)的數(shù)字圖像分別為I₁,I₂,I₃,…,I_N；

(j)表示數(shù)字圖像中的第j個(gè)像素、以及微透鏡輻照度分布模型中對(duì)應(yīng)于該像素位置的區(qū)域；

g(I_i(j))為儲(chǔ)存在存儲(chǔ)設(shè)備中的圖像傳感器的響應(yīng)曲線；

w(I_i(j))是一個(gè)權(quán)重函數(shù)；

I_i(j)為第i個(gè)數(shù)字圖像中的第j個(gè)像素、以及原始場(chǎng)景輻照度分布中對(duì)應(yīng)于該像素位置的區(qū)域。

可選地，所述第二模塊具體用于根據(jù)預(yù)先存儲(chǔ)的所述圖像傳感器的響應(yīng)曲線，對(duì)原始場(chǎng)景圖像做如下方式的變換，得到原始場(chǎng)景輻照度分布E_scene：

其中，N為總共拍攝的原始場(chǎng)景圖像張數(shù)，對(duì)應(yīng)的拍攝曝光時(shí)間分別為t₁,t₂,t₃,…,t_N，對(duì)應(yīng)的數(shù)字圖像分別為I₁,I₂,I₃,…,I_N；

(j)表示數(shù)字圖像中的第j個(gè)像素、以及原始場(chǎng)景輻照度分布中對(duì)應(yīng)于該像素位置的區(qū)域；

g(I_i(j))為儲(chǔ)存在存儲(chǔ)設(shè)備中的傳感器響應(yīng)曲線；

w(I_i(j))是一個(gè)權(quán)重函數(shù)；

I_i(j)為第i個(gè)數(shù)字圖像中的第j個(gè)像素、以及原始場(chǎng)景輻照度分布中對(duì)應(yīng)于該像素位置的區(qū)域。

可選地，所述第三模塊具體用于根據(jù)預(yù)先存儲(chǔ)的微透鏡輻照度分布模型E_microlens對(duì)原始場(chǎng)景輻照度分布E_scene做如下的亮度變換，得到亮度均一的場(chǎng)景輻照度分布E_uniform：

其中，(j)表示數(shù)字圖像中的第j個(gè)像素、以及原始場(chǎng)景輻照度分布中對(duì)應(yīng)于該像素位置的區(qū)域；

max(E_microlens)表示數(shù)字圖像中像素的微透鏡輻照度分布模型E_microlens的最大值。

本發(fā)明的有益效果是：本發(fā)明的實(shí)施例中微透鏡陣列的成像方法與成像裝置對(duì)圖像傳感器輸出的原始數(shù)字圖像進(jìn)行非線性變換，將其還原為場(chǎng)景環(huán)境光經(jīng)過(guò)主透鏡聚焦后入射到圖像傳感器表面上的輻照度分布，再對(duì)該輻照度分布消除由微透鏡成像所導(dǎo)致的光照非均勻性，最后重映射為數(shù)字圖像。由于光的波動(dòng)性，以及圖像傳感器在感光、模擬信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)以及數(shù)字信號(hào)重映射為數(shù)字圖像等過(guò)程中存在著非線性響應(yīng)，這導(dǎo)致其輸出的數(shù)字圖像中的光照 分布與真實(shí)的場(chǎng)景環(huán)境光分布并非線性關(guān)系，進(jìn)而導(dǎo)致微透鏡成像中光亮度的非均勻性，導(dǎo)致每個(gè)微透鏡成像都會(huì)出現(xiàn)中間亮四周暗的現(xiàn)象。而本實(shí)施例中的成像方法與成像裝置將數(shù)字圖像轉(zhuǎn)換為輻照度分布進(jìn)行亮度均一化處理，可以有效地消除圖像傳感器對(duì)光照的非線性響應(yīng)所帶來(lái)的不利影響。

而且，本實(shí)施例中的成像方法與成像裝置適用范圍廣泛，在透明物體的透射成像模式、不透明物體的表面反射成像模式及這兩者的混合模式下均可工作，且對(duì)圖像的處理是實(shí)時(shí)的，無(wú)須在拍攝場(chǎng)景圖像前獲取用于校正的光照底圖。

附圖說(shuō)明

圖1為本發(fā)明的第一實(shí)施例的微透鏡陣列的成像方法的流程圖；

圖2為本發(fā)明的第二實(shí)施例的微透鏡陣列的成像方法的流程圖；

圖3為本發(fā)明的第三實(shí)施例的微透鏡陣列的成像方法的流程圖；

圖4A～4C為一組彩色圖像傳感器響應(yīng)曲線(R、G、B三個(gè)通道)，其中橫軸為光的輻射量的對(duì)數(shù)值，縱軸為傳感器輸出的數(shù)字圖像中對(duì)應(yīng)的數(shù)值；

圖5為一個(gè)微透鏡陣列的輻照度分布模型，該微透鏡陣列輻照度分布模型的數(shù)值被線性壓縮至0～255以便顯示；

圖6為一張?jiān)紙?chǎng)景圖像，該圖像為彩色圖像；

圖7為圖6中的原始場(chǎng)景圖像直接拼接得到的圖像，圖中環(huán)形陰影即為微透鏡陣列成像中的亮度不均現(xiàn)象所導(dǎo)致；

圖8為圖6中的原始場(chǎng)景圖像經(jīng)過(guò)本發(fā)明所述的亮度均一化處理后，拼接得到的圖像，微透鏡陣列成像中的亮度不均現(xiàn)象已被消除；其中采用的圖像重映射方法為亮度均一的場(chǎng)景輻照度分布將線性壓縮至0～255動(dòng)態(tài)范圍內(nèi)；

圖9為本發(fā)明的第四實(shí)施例的微透鏡陣列的成像裝置的結(jié)構(gòu)框圖。

具體實(shí)施方式

下面將參照附圖更詳細(xì)地描述本公開(kāi)的示例性實(shí)施例。雖然附圖中顯示了本公開(kāi)的示例性實(shí)施例，然而應(yīng)當(dāng)理解，可以以各種形式實(shí)現(xiàn)本公開(kāi)而不應(yīng)被這里闡述的實(shí)施例所限制。相反，提供這些實(shí)施例是為了能夠更透徹地理解本公開(kāi)，并且能夠?qū)⒈竟_(kāi)的范圍完整的傳達(dá)給本領(lǐng)域的技術(shù)人員。

第一實(shí)施例

參見(jiàn)圖1，圖中示出了第一實(shí)施例的微透鏡陣列的成像方法的流程圖，該方法可以應(yīng)用于光場(chǎng)相機(jī)、復(fù)眼相機(jī)以及大視野的顯微成像系統(tǒng)，該方法包括的具體步驟如下：

步驟S101、獲取圖像傳感器輸出的原始場(chǎng)景圖像。

具體地，使用微透鏡陣列，對(duì)實(shí)際場(chǎng)景進(jìn)行拍攝，得到原始場(chǎng)景圖像。優(yōu)選地，可以對(duì)場(chǎng)景進(jìn)行不同曝光時(shí)間的多次拍攝，獲取多張不同曝光時(shí)間的原始場(chǎng)景圖像。

步驟S103、根據(jù)原始場(chǎng)景圖像和預(yù)先存儲(chǔ)的圖像傳感器的響應(yīng)曲線，得到原始場(chǎng)景輻照度分布。

需要說(shuō)明的是，為了消除圖像傳感器對(duì)光照的非線性響應(yīng)所帶來(lái)的不利影響，需要將因圖像傳感器的非線性變換而失真的數(shù)字圖像還原為真實(shí)的原始場(chǎng)景輻照度分布。具體地，使用儲(chǔ)存在存儲(chǔ)設(shè)備中的傳感器響應(yīng)曲線，對(duì)原始場(chǎng)景圖像進(jìn)行變換，得到原始場(chǎng)景輻照度分布。

步驟S105、根據(jù)預(yù)先存儲(chǔ)的微透鏡輻照度分布模型對(duì)原始場(chǎng)景輻照度分布進(jìn)行亮度均一化變換，得到亮度均一的場(chǎng)景輻照度分布。

具體地，使用儲(chǔ)存在存儲(chǔ)設(shè)備中的微透鏡輻照度分布模型對(duì)原始場(chǎng)景輻照度分布進(jìn)行亮度變換，得到亮度均一的場(chǎng)景輻照度分布。

步驟S107、將亮度均一的場(chǎng)景輻照度分布重新變換為亮度均一的場(chǎng)景數(shù)字圖像。

具體地，將亮度均一的場(chǎng)景輻照度分布重新變換成為亮度均一的場(chǎng)景數(shù)字圖像，根據(jù)具體需求可選擇線性映射或非線性映射，例如將輻照度分布線性或分段線性地壓縮至0～255的動(dòng)態(tài)范圍，或使用諸如對(duì)數(shù)變換、gamma變換以及直方圖均衡化等非線性的變換。

本發(fā)明的實(shí)施例中微透鏡陣列的成像方法對(duì)圖像傳感器輸出的原始數(shù)字圖像進(jìn)行非線性變換，將其還原為場(chǎng)景環(huán)境光經(jīng)過(guò)主透鏡聚焦后入射到傳感器表面上的輻照度分布，再對(duì)該輻照度分布消除由微透鏡成像所導(dǎo)致的光照非均勻性，最后重映射為圖像。由于光的波動(dòng)性，以及圖像傳感器在感光、模擬信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)以及數(shù)字信號(hào)重映射為數(shù)字圖像等過(guò)程中存在著非線性響應(yīng)， 這導(dǎo)致其輸出的數(shù)字圖像中的光照分布與真實(shí)的場(chǎng)景環(huán)境光分布并非線性關(guān)系，進(jìn)而導(dǎo)致微透鏡成像中光亮度的非均勻性，導(dǎo)致每個(gè)微透鏡成像都會(huì)出現(xiàn)中間亮四周暗的現(xiàn)象。而成像方法將數(shù)字圖像轉(zhuǎn)換為輻照度分布進(jìn)行亮度均一化處理，可以有效地消除傳感器對(duì)光照的非線性響應(yīng)所帶來(lái)的不利影響。

第二實(shí)施例

參見(jiàn)圖2，為本發(fā)明的第二實(shí)施例的微透鏡陣列的成像方法的流程圖，該方法可以應(yīng)用于光場(chǎng)相機(jī)、復(fù)眼相機(jī)以及大視野的顯微成像系統(tǒng)，該方法包括的具體步驟如下：

步驟S201、獲取圖像傳感器的響應(yīng)曲線，并將所述圖像傳感器的響應(yīng)曲線存儲(chǔ)至存儲(chǔ)設(shè)備中，然后進(jìn)入步驟S207。

步驟S203、獲取圖像傳感器輸出的原始場(chǎng)景圖像，然后進(jìn)入步驟S207。

具體地，使用微透鏡陣列，對(duì)實(shí)際場(chǎng)景進(jìn)行拍攝，得到原始場(chǎng)景圖像，優(yōu)選地，可以對(duì)場(chǎng)景進(jìn)行不同曝光時(shí)間的多次拍攝，獲取多張不同曝光時(shí)間的原始場(chǎng)景圖像。

步驟S205、計(jì)算微透鏡輻照度分布模型，然后進(jìn)入步驟S209。

具體地，使用微透鏡陣列，固定圖像傳感器配置不變，依次改變傳感器曝光時(shí)間，對(duì)光照強(qiáng)度維持不變的均勻發(fā)光光源獲取至少兩張光照?qǐng)D像；

按如下方式計(jì)算微透鏡輻照度分布模型E_microlens：

其中，N為總共拍攝的光照?qǐng)D像張數(shù)，對(duì)應(yīng)的拍攝曝光時(shí)間分別為t₁,t₂,t₃,…,t_N，對(duì)應(yīng)的數(shù)字圖像分別為I₁,I₂,I₃,…,I_N；

(j)表示數(shù)字圖像中的第j個(gè)像素、以及微透鏡輻照度分布模型中對(duì)應(yīng)于該像素位置的區(qū)域；

g(I_i(j))為儲(chǔ)存在存儲(chǔ)設(shè)備中的圖像傳感器的響應(yīng)曲線；

w(I_i(j))是一個(gè)權(quán)重函數(shù)；

I_i(j)為第i個(gè)數(shù)字圖像中的第j個(gè)像素、以及原始場(chǎng)景輻照度分布中對(duì)應(yīng)于該像素位置的區(qū)域。

步驟S207、根據(jù)原始場(chǎng)景圖像和預(yù)先存儲(chǔ)的圖像傳感器的響應(yīng)曲線，得到 原始場(chǎng)景輻照度分布。

需要說(shuō)明的是，為了消除圖像傳感器對(duì)光照的非線性響應(yīng)所帶來(lái)的不利影響，需要將因圖像傳感器的非線性變換而失真的數(shù)字圖像還原為真實(shí)的原始場(chǎng)景輻照度分布。具體地，使用儲(chǔ)存在存儲(chǔ)設(shè)備中的傳感器響應(yīng)曲線，對(duì)原始場(chǎng)景圖像進(jìn)行變換，得到原始場(chǎng)景輻照度分布。

具體地，根據(jù)預(yù)先存儲(chǔ)的所述圖像傳感器的響應(yīng)曲線，對(duì)原始場(chǎng)景圖像做如下方式的變換，得到原始場(chǎng)景輻照度分布E_scene：

其中，N為總共拍攝的原始場(chǎng)景圖像張數(shù)，對(duì)應(yīng)的拍攝曝光時(shí)間分別為t₁,t₂,t₃,…,t_N，對(duì)應(yīng)的數(shù)字圖像分別為I₁,I₂,I₃,…,I_N；

(j)表示數(shù)字圖像中的第j個(gè)像素、以及原始場(chǎng)景輻照度分布中對(duì)應(yīng)于該像素位置的區(qū)域；

g(I_i(j))為儲(chǔ)存在存儲(chǔ)設(shè)備中的傳感器響應(yīng)曲線；

w(I_i(j))是一個(gè)權(quán)重函數(shù)；

I_i(j)為第i個(gè)數(shù)字圖像中的第j個(gè)像素、以及原始場(chǎng)景輻照度分布中對(duì)應(yīng)于該像素位置的區(qū)域。

步驟S209、根據(jù)預(yù)先存儲(chǔ)的微透鏡輻照度分布模型對(duì)原始場(chǎng)景輻照度分布進(jìn)行亮度均一化變換，得到亮度均一的場(chǎng)景輻照度分布。

具體地，使用儲(chǔ)存在存儲(chǔ)設(shè)備中的微透鏡輻照度分布模型對(duì)原始場(chǎng)景輻照度分布進(jìn)行亮度變換，得到亮度均一的場(chǎng)景輻照度分布，例如：

根據(jù)預(yù)先存儲(chǔ)的微透鏡輻照度分布模型E_microlens對(duì)原始場(chǎng)景輻照度分布E_scene做如下的亮度變換，得到亮度均一的場(chǎng)景輻照度分布E_uniform：

其中，(j)表示數(shù)字圖像中的第j個(gè)像素、以及原始場(chǎng)景輻照度分布中對(duì)應(yīng)于該像素位置的區(qū)域；

max(E_microlens)表示數(shù)字圖像中像素的微透鏡輻照度分布模型E_microlens的最大值。

步驟S211、將亮度均一的場(chǎng)景輻照度分布重新變換為亮度均一的場(chǎng)景數(shù)字圖像。

具體地，將亮度均一的場(chǎng)景輻照度分布重新變換成為數(shù)字圖像，根據(jù)具體需求可選擇線性映射或非線性映射，例如將輻照度分布線性或分段線性地壓縮至0～255的動(dòng)態(tài)范圍，或使用諸如對(duì)數(shù)變換、gamma變換以及直方圖均衡化等非線性的變換。

本發(fā)明的實(shí)施例中微透鏡陣列的成像方法對(duì)圖像傳感器輸出的原始數(shù)字圖像進(jìn)行非線性變換，將其還原為場(chǎng)景環(huán)境光經(jīng)過(guò)主透鏡聚焦后入射到傳感器表面上的輻照度分布，再對(duì)該輻照度分布消除由微透鏡成像所導(dǎo)致的光照非均勻性，最后重映射為圖像。由于圖像傳感器在感光、模擬信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)以及數(shù)字信號(hào)重映射為數(shù)字圖像等過(guò)程中存在著非線性響應(yīng)，這導(dǎo)致其輸出的數(shù)字圖像中的光照分布與真實(shí)的場(chǎng)景環(huán)境光分布并非線性關(guān)系，進(jìn)而導(dǎo)致微透鏡成像中光亮度的非均勻性，導(dǎo)致每個(gè)微透鏡成像都會(huì)出現(xiàn)中間亮四周暗的現(xiàn)象。而成像方法將數(shù)字圖像轉(zhuǎn)換為輻照度分布進(jìn)行亮度均一化處理，可以有效地消除傳感器對(duì)光照的非線性響應(yīng)所帶來(lái)的不利影響。

第三實(shí)施例

參見(jiàn)圖3，圖中示出了本發(fā)明的第三實(shí)施例的微透鏡陣列的成像方法的流程圖，該方法可以應(yīng)用于光場(chǎng)相機(jī)、復(fù)眼相機(jī)以及大視野的顯微成像系統(tǒng)，該方法包括的具體步驟如下：

步驟S301、獲取圖像傳感器的響應(yīng)曲線。

需要說(shuō)明的是，圖像傳感器的響應(yīng)曲線表達(dá)了傳感器將光的輻射量轉(zhuǎn)換為數(shù)字圖像數(shù)值的非線性映射關(guān)系，是傳感器的固有特征。響應(yīng)曲線的獲取可以在圖像傳感器定型時(shí)進(jìn)行，可通過(guò)查找傳感器出廠參數(shù)得到傳感器的響應(yīng)曲線；如若響應(yīng)曲線資料欠缺，亦可通過(guò)實(shí)驗(yàn)測(cè)定圖像傳感器的響應(yīng)曲線，實(shí)驗(yàn)測(cè)定方法如下所述：

步驟1、選擇一處光照動(dòng)態(tài)范圍大、明暗對(duì)比強(qiáng)烈的靜態(tài)場(chǎng)景。若待測(cè)圖像傳感器為彩色圖像傳感器，則還要求該場(chǎng)景色彩豐富，R、G、B各通道分量均具有較大的動(dòng)態(tài)范圍。

步驟2、固定圖像傳感器配置不變，依次改變傳感器曝光時(shí)間，對(duì)該靜態(tài)場(chǎng) 景獲取一系列數(shù)字圖像，要求最小曝光時(shí)間下的圖像大部分為黑色或接近黑色，最大曝光時(shí)間下的圖像大部分為白色或接近白色(即過(guò)曝狀態(tài))。

在此過(guò)程中，對(duì)成像透鏡的選取無(wú)特殊要求。至少需要兩張以上的不同曝光時(shí)間的靜態(tài)場(chǎng)景圖像，但場(chǎng)景圖像的數(shù)量并不嚴(yán)格限制，一般的，曝光時(shí)間的變化越連續(xù)，計(jì)算得到的響應(yīng)曲線越接近真實(shí)。靜態(tài)場(chǎng)景圖像中存在的噪聲會(huì)對(duì)后續(xù)的響應(yīng)曲線計(jì)算造成干擾，為了達(dá)到降噪的目的，在拍攝一張場(chǎng)景圖像的過(guò)程中，應(yīng)當(dāng)在相同的曝光時(shí)間下重復(fù)拍攝若干張圖像，一般的，需要5張或以上數(shù)量，用多張圖像的平均值作為該曝光時(shí)間下的場(chǎng)景圖像。

步驟3、對(duì)獲取的一系列同一場(chǎng)景的不同曝光時(shí)間數(shù)字圖像進(jìn)行以下計(jì)算，得到圖像傳感器的響應(yīng)曲線。

此處僅以灰度傳感器的單一灰度通道為例進(jìn)行說(shuō)明，彩色傳感器需將R、G、B通道分別作相應(yīng)操作，每個(gè)色彩通道的操作均與灰度傳感器單灰度通道操作類似，故此處不再贅述。

符號(hào)定義：

假設(shè)被拍攝的靜態(tài)場(chǎng)景內(nèi)光的輻照度分布為E；

假設(shè)共拍攝N張圖像，拍攝圖像時(shí)的曝光時(shí)間分別為t₁,t₂,t₃,…,t_N，對(duì)應(yīng)的數(shù)字圖像分別為I₁,I₂,I₃,…,I_N；

以(j)來(lái)表示數(shù)字圖像中的第j個(gè)像素、以及靜態(tài)場(chǎng)景內(nèi)對(duì)應(yīng)于該像素位置的區(qū)域；

待求的圖像傳感器的響應(yīng)曲線為f，為從光的輻射量到數(shù)字圖像數(shù)值的非線性映射，即f(E(j)*t_i)＝I_i(j)；

為了求解方便及簡(jiǎn)化符號(hào)，定義非線性映射g＝lnf^-1，即g(I_i(j))＝lnE(j)+lnt_i。

下面將通過(guò)計(jì)算g的數(shù)值解來(lái)間接求解f；

(1)采樣：對(duì)所有N張圖像的所有像素點(diǎn)進(jìn)行計(jì)算是不必要的，可對(duì)像素點(diǎn)進(jìn)行采樣，例如在空間上均勻地、隨機(jī)地抽取圖像內(nèi)的P個(gè)像素，要求被提取的像素?cái)?shù)目P滿足關(guān)系N*(P－1)>(z_max－z_min)(其中，z_min表示在圖像I₁,I₂,I₃,…,I_N中的灰度(或R、G、B通道分量)最小值，z_max表示在圖像I₁,I₂,I₃,…,I_N中的灰度(或R、G、B通道分量)最大值)，然后提取N張圖像內(nèi)這P個(gè)像 素上的灰度值(或R、G、B通道分量的數(shù)值)；

(2)構(gòu)造權(quán)值函數(shù)：圖像傳感器的響應(yīng)曲線通常在較高及較低亮度處變化劇烈，在中間亮度處較為平緩、近似線性，為了強(qiáng)調(diào)其曲線中段的平緩特征、減輕劇烈變化的兩端處對(duì)整體數(shù)值擬合的影響，可構(gòu)造一個(gè)兩端小、中部大的權(quán)值函數(shù)w(z)，其中z為數(shù)字圖像中像素的灰度值(或R、G、B通道分量的數(shù)值)，例如

(3)構(gòu)造代價(jià)函數(shù)：綜合考察最小平方誤差及曲線光滑性，構(gòu)造代價(jià)函數(shù)如下

式中第一部分反映了數(shù)值擬合的平方誤差，第二部分反映了擬合曲線的光滑度，參數(shù)λ為一正數(shù)，作用是調(diào)節(jié)兩部分在目標(biāo)函數(shù)中的權(quán)重；求解的目標(biāo)是使代價(jià)函數(shù)最小化；

(4)約束條件：為了求得g的唯一數(shù)值解，還須添加一約束條件，例如約束

(5)求解g與f：因代價(jià)函數(shù)所有分量均為二次項(xiàng)，因此使其最小化的問(wèn)題可化為線性最小二乘法問(wèn)題(LLS)，可使用奇異值分解法(SVD)求出g與E的數(shù)值解，再根據(jù)g＝lnf^-1，得到f＝inv(exp(g))的數(shù)值解(其中inv表示逆函數(shù))。

一般的，灰度圖像傳感器的響應(yīng)曲線為從光的輻射量到數(shù)字圖像灰度值的一條函數(shù)曲線，彩色圖像傳感器的響應(yīng)曲線為從光的輻射量到數(shù)字圖像R、G、B通道數(shù)值的三條函數(shù)曲線。

需要說(shuō)明的是，所獲取的傳感器響應(yīng)曲線儲(chǔ)存在存儲(chǔ)設(shè)備中，在對(duì)原始場(chǎng)景圖像做輻照度分布重建時(shí)被使用，在實(shí)際拍攝場(chǎng)景圖像時(shí)無(wú)須再次進(jìn)行此步 驟。

步驟S303、微透鏡輻照度分布模型測(cè)定。

微透鏡輻照度分布模型的測(cè)定在圖像傳感器定型后、微透鏡陣列定型時(shí)進(jìn)行，所獲取的微透鏡輻照度分布模型反映了該微透鏡的成像特征，被用于校正實(shí)際拍攝時(shí)的亮度不均。其測(cè)定方法是：

(1)使用微透鏡陣列，固定圖像傳感器配置不變，依次改變傳感器曝光時(shí)間，對(duì)光照強(qiáng)度維持不變的均勻發(fā)光光源獲取一系列光照?qǐng)D像。要求最小曝光時(shí)間下的圖像大部分為黑色或接近黑色，最大曝光時(shí)間下的圖像大部分為白色或接近白色(即過(guò)曝狀態(tài))。

至少需要兩張以上的不同曝光時(shí)間的光照?qǐng)D像，但光照?qǐng)D像的數(shù)量并不嚴(yán)格限制，一般的，曝光時(shí)間的變化越連續(xù)，計(jì)算得到的微透鏡輻照度分布模型越接近真實(shí)；光照?qǐng)D像中存在的噪聲會(huì)對(duì)后續(xù)的微透鏡輻照度分布模型計(jì)算造成干擾，為了達(dá)到降噪的目的，在拍攝一張光照?qǐng)D像的過(guò)程中，應(yīng)當(dāng)在相同的曝光時(shí)間下重復(fù)拍攝若干張圖像，一般的，需要5張或以上數(shù)量，用多張圖像的平均值作為該曝光時(shí)間下的光照?qǐng)D像。

(2)假設(shè)微透鏡輻照度分布模型為E_microlens，即微透鏡在均勻發(fā)光光源下的輻照度分布為E_microlens，按如下方式計(jì)算微透鏡輻照度分布模型E_microlens：

其中，N為總共拍攝的光照?qǐng)D像張數(shù)，對(duì)應(yīng)的拍攝曝光時(shí)間分別為t₁,t₂,t₃,…,t_N，對(duì)應(yīng)的數(shù)字圖像分別為I₁,I₂,I₃,…,I_N；(j)表示數(shù)字圖像中的第j個(gè)像素、以及微透鏡輻照度分布模型中對(duì)應(yīng)于該像素位置的區(qū)域；

g(I_i(j))為儲(chǔ)存在存儲(chǔ)設(shè)備中的圖像傳感器的響應(yīng)曲線；

w(I_i(j))是一個(gè)權(quán)重函數(shù)；

I_i(j)為第i個(gè)數(shù)字圖像中的第j個(gè)像素、以及原始場(chǎng)景輻照度分布中對(duì)應(yīng)于該像素位置的區(qū)域。

一般的，若使用灰度圖像傳感器，則微透鏡輻照度分布模型為單一灰度通道的輻照度分布；若使用彩色圖像傳感器，則微透鏡輻照度分布模型為分別對(duì)應(yīng)R、G、B通道的三個(gè)輻照度分布。

所獲取的微透鏡輻照度分布模型儲(chǔ)存在存儲(chǔ)設(shè)備中，在對(duì)原始場(chǎng)景輻照度分布做亮度均一時(shí)被使用，在實(shí)際拍攝場(chǎng)景圖像時(shí)無(wú)須再次進(jìn)行此步驟。

步驟S305、實(shí)際場(chǎng)景拍攝。

使用微透鏡陣列，對(duì)實(shí)際場(chǎng)景進(jìn)行拍攝，得到原始場(chǎng)景圖像。

可以對(duì)場(chǎng)景進(jìn)行不同曝光時(shí)間的多次拍攝，獲取多張不同曝光時(shí)間的原始場(chǎng)景圖像，借助圖像傳感器的響應(yīng)曲線可以提升最終生成的圖像質(zhì)量。

步驟S307、重建場(chǎng)景輻照度分布。

為了消除圖像傳感器對(duì)光照的非線性響應(yīng)所帶來(lái)的不利影響，需要將因圖像傳感器的非線性變換而失真的數(shù)字圖像還原為真實(shí)的原始場(chǎng)景輻照度分布(該原始場(chǎng)景輻照度分布中仍存在著微透鏡成像的光照非均勻特性)。

使用儲(chǔ)存在存儲(chǔ)設(shè)備中的傳感器響應(yīng)曲線，對(duì)原始場(chǎng)景圖像做如下方式的變換，得到原始場(chǎng)景輻照度分布E_scene：

其中，N為總共拍攝的原始場(chǎng)景圖像張數(shù)，對(duì)應(yīng)的拍攝曝光時(shí)間分別為t₁,t₂,t₃,…,t_N，對(duì)應(yīng)的數(shù)字圖像分別為I₁,I₂,I₃,…,I_N；(j)表示數(shù)字圖像中的第j個(gè)像素、以及原始場(chǎng)景輻照度分布中對(duì)應(yīng)于該像素位置的區(qū)域；

g(I_i(j))為儲(chǔ)存在存儲(chǔ)設(shè)備中的傳感器響應(yīng)曲線；

w(I_i(j))是一個(gè)權(quán)重函數(shù)，其定義與之前的描述相同；

I_i(j)為第i個(gè)數(shù)字圖像中的第j個(gè)像素、以及原始場(chǎng)景輻照度分布中對(duì)應(yīng)于該像素位置的區(qū)域。

一般的，若使用灰度圖像傳感器，則重建得到的原始場(chǎng)景輻照度分布為單一灰度通道的輻照度分布；若使用彩色圖像傳感器，則原始場(chǎng)景輻照度分布模型為分別對(duì)應(yīng)R、G、B通道的三個(gè)輻照度分布，在計(jì)算時(shí)亦應(yīng)各個(gè)通道分別計(jì)算。

步驟S309、亮度均一。

使用儲(chǔ)存在存儲(chǔ)設(shè)備中的微透鏡輻照度分布模型E_microlens對(duì)原始場(chǎng)景輻照度分布E_scene做如下所述的亮度變換，得到亮度均一的場(chǎng)景輻照度分布E_uniform：

其中，(j)表示數(shù)字圖像中的第j個(gè)像素、以及原始場(chǎng)景輻照度分布中對(duì)應(yīng)于該像素位置的區(qū)域；

max(E_microlens)表示數(shù)字圖像中像素的微透鏡輻照度分布模型E_microlens的最大值。

在亮度均一的場(chǎng)景輻照度分布E_uniform中，因微透鏡成像而導(dǎo)致的光照非均勻現(xiàn)象已經(jīng)被消除。

一般的，若使用灰度圖像傳感器，則對(duì)灰度通道的輻照度分布進(jìn)行以上計(jì)算；若使用彩色圖像傳感器，則需分別對(duì)R、G、B通道的輻照度分布進(jìn)行計(jì)算，在計(jì)算時(shí)微透鏡輻照度分布模型E_microlens與原始場(chǎng)景輻照度分布E_scene的通道需一一對(duì)應(yīng)。

步驟S311、圖像重映射。

將亮度均一的場(chǎng)景輻照度分布重新變換成為數(shù)字圖像，根據(jù)具體需求可選擇線性映射或非線性映射，例如將輻照度分布線性或分段線性地壓縮至0～255的動(dòng)態(tài)范圍，或使用諸如對(duì)數(shù)變換、gamma變換以及直方圖均衡化等非線性的變換。

第四實(shí)施例

參見(jiàn)圖9，圖中示出了第四實(shí)施例中微透鏡陣列的成像裝置，該成像裝置900包括：第一模塊901、第二模塊903、第三模塊905和第四模塊907，其中

第一模塊901用于獲取圖像傳感器輸出的原始場(chǎng)景圖像；

第二模塊903用于根據(jù)所述原始場(chǎng)景圖像和預(yù)先存儲(chǔ)的所述圖像傳感器的響應(yīng)曲線，得到原始場(chǎng)景輻照度分布；

第三模塊905用于根據(jù)預(yù)先存儲(chǔ)的微透鏡輻照度分布模型對(duì)所述原始場(chǎng)景輻照度分布進(jìn)行亮度均一化變換，得到亮度均一的場(chǎng)景輻照度分布；

第四模塊907用于將所述亮度均一的場(chǎng)景輻照度分布重新變換為亮度均一的場(chǎng)景數(shù)字圖像。

繼續(xù)參見(jiàn)圖9，成像裝置900還包括：

第五模塊909，用于獲取圖像傳感器的響應(yīng)曲線，并將所述圖像傳感器的響 應(yīng)曲線存儲(chǔ)至存儲(chǔ)設(shè)備中。

繼續(xù)參見(jiàn)圖9，成像裝置900還包括：

第六模塊911，用于使用微透鏡陣列，固定圖像傳感器配置不變，依次改變傳感器曝光時(shí)間，對(duì)光照強(qiáng)度維持不變的均勻發(fā)光光源獲取至少兩張光照?qǐng)D像；

按如下方式計(jì)算微透鏡輻照度分布模型E_microlens：

其中，N為總共拍攝的光照?qǐng)D像張數(shù)，對(duì)應(yīng)的拍攝曝光時(shí)間分別為t₁,t₂,t₃,…,t_N，對(duì)應(yīng)的數(shù)字圖像分別為I₁,I₂,I₃,…,I_N；

(j)表示數(shù)字圖像中的第j個(gè)像素、以及微透鏡輻照度分布模型中對(duì)應(yīng)于該像素位置的區(qū)域；

g(I_i(j))為儲(chǔ)存在存儲(chǔ)設(shè)備中的圖像傳感器的響應(yīng)曲線；

w(I_i(j))是一個(gè)權(quán)重函數(shù)；

I_i(j)為第i個(gè)數(shù)字圖像中的第j個(gè)像素、以及原始場(chǎng)景輻照度分布中對(duì)應(yīng)于該像素位置的區(qū)域。

可選地，所述第二模塊903具體用于根據(jù)預(yù)先存儲(chǔ)的所述圖像傳感器的響應(yīng)曲線，對(duì)原始場(chǎng)景圖像做如下方式的變換，得到原始場(chǎng)景輻照度分布E_scene：

其中，N為總共拍攝的原始場(chǎng)景圖像張數(shù)，對(duì)應(yīng)的拍攝曝光時(shí)間分別為t₁,t₂,t₃,…,t_N，對(duì)應(yīng)的數(shù)字圖像分別為I₁,I₂,I₃,…,I_N；

(j)表示數(shù)字圖像中的第j個(gè)像素、以及原始場(chǎng)景輻照度分布中對(duì)應(yīng)于該像素位置的區(qū)域；

g(I_i(j))為儲(chǔ)存在存儲(chǔ)設(shè)備中的傳感器響應(yīng)曲線；

w(I_i(j))是一個(gè)權(quán)重函數(shù)；

I_i(j)為第i個(gè)數(shù)字圖像中的第j個(gè)像素、以及原始場(chǎng)景輻照度分布中對(duì)應(yīng)于該像素位置的區(qū)域。

可選地，所述第三模塊905具體用于根據(jù)預(yù)先存儲(chǔ)的微透鏡輻照度分布模型E_microlens對(duì)原始場(chǎng)景輻照度分布E_scene做如下的亮度變換，得到亮度均一的場(chǎng) 景輻照度分布E_uniform：

其中，(j)表示數(shù)字圖像中的第j個(gè)像素、以及原始場(chǎng)景輻照度分布中對(duì)應(yīng)于該像素位置的區(qū)域；

max(E_microlens)表示數(shù)字圖像中像素的微透鏡輻照度分布模型E_microlens的最大值。

在本申請(qǐng)所提供的幾個(gè)實(shí)施例中，應(yīng)該理解到，所揭露方法和裝置，可以通過(guò)其它的方式實(shí)現(xiàn)。例如，以上所描述的裝置實(shí)施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實(shí)際實(shí)現(xiàn)時(shí)可以有另外的劃分方式，例如多個(gè)單元或組件可以結(jié)合或者可以集成到另一個(gè)系統(tǒng)，或一些特征可以忽略，或不執(zhí)行。另一點(diǎn)，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過(guò)一些接口，裝置或單元的間接耦合或通信連接，可以是電性，機(jī)械或其它的形式。

另外，在本發(fā)明各個(gè)實(shí)施例中的各功能單元可以集成在一個(gè)處理單元中，也可以是各個(gè)單元單獨(dú)物理包括，也可以兩個(gè)或兩個(gè)以上單元集成在一個(gè)單元中。上述集成的單元既可以采用硬件的形式實(shí)現(xiàn)，也可以采用硬件加軟件功能單元的形式實(shí)現(xiàn)。

上述以軟件功能單元的形式實(shí)現(xiàn)的集成的單元，可以存儲(chǔ)在一個(gè)計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中。上述軟件功能單元存儲(chǔ)在一個(gè)存儲(chǔ)介質(zhì)中，包括如果干指令用以使得一臺(tái)計(jì)算機(jī)設(shè)備(可以是個(gè)人計(jì)算機(jī)，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個(gè)實(shí)施例所述成像方法的部分步驟。而前述的存儲(chǔ)介質(zhì)包括：U盤、移動(dòng)硬盤、只讀存儲(chǔ)器(Read-Only Memory，簡(jiǎn)稱ROM)、隨機(jī)存取存儲(chǔ)器(Random Access Memory，簡(jiǎn)稱RAM)、磁碟或者光盤等各種可以存儲(chǔ)程序代碼的介質(zhì)。

以上所述的是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出對(duì)于本技術(shù)領(lǐng)域的普通人員來(lái)說(shuō)，在不脫離本發(fā)明所述的原理前提下還可以作出如果干改進(jìn)和潤(rùn)飾，這些改進(jìn)和潤(rùn)飾也在本發(fā)明的保護(hù)范圍內(nèi)。