計算，可以只融合所選擇的多個深度平面對應(yīng)的重聚焦圖像。融合權(quán) 重的信息可以與重聚焦圖像存儲在同一文件中，或單獨形成融合權(quán)重模板或查詢表，并單 獨存儲在另一文件中。
[0114] 可替代地，本發(fā)明實施例可以采用圖像拼接方法合并多個重聚焦圖像。
[0115] 270,顯示生成的多深度平面重聚焦圖像。
[0116] 例如，相機可以在生成不同深度平區(qū)間的重聚焦圖像之后，立即在用戶界面上顯 示多深度平面重聚焦圖像。另外，在顯示生成的多深度平面重聚焦圖像的同時，還可以顯示 原有圖像和/或中間生成的不同深度平區(qū)間的重聚焦圖像。例如，可以在同一用戶界面上 分屏顯示多個圖像。
[0117] 應(yīng)理解，生成不同深度平面的重聚焦圖像可以在合成多深度平面重聚焦圖像之前 的任意步驟執(zhí)行，例如，可以在攝像過程中執(zhí)行，或者在攝像過程結(jié)束之后立即執(zhí)行，也可 以在需要合成多深度平面重聚焦圖像時才執(zhí)行，本發(fā)明的實施例對此不作限制。
[0118] 下面以光場相機為例說明如何生成不同深度平面的重聚焦圖像。圖4是根據(jù)本發(fā) 明的實施例的雙平面表示法的兩個平面的示意圖。圖5是根據(jù)本發(fā)明的實施例的合成像攝 影原理的示意圖。圖6是根據(jù)本發(fā)明的實施例的合成像攝影原理的模型的幾何關(guān)系的示意 圖。
[0119] 光場相機包括主鏡頭和圖像傳感器（未示出），主鏡頭和圖像傳感器之間設(shè)置有 一個微透鏡陣列。圖像傳感器記錄每個微透鏡陣列上形成小的圖像，很多個小的圖像組成 圖像陣列。光場相機內(nèi)還可以設(shè)置相應(yīng)的圖像處理軟件，可以將記錄的圖像陣列重建成用 戶可接受的常規(guī)圖像形式，并且呈現(xiàn)出對不同深度平面進(jìn)行聚焦的效果和從不同視角觀看 場景的效果。在完成拍攝過程之后，光場相機可以根據(jù)用戶的需求，通過軟件在用戶選擇的 深度平面上進(jìn)行重聚焦。圖像的聚焦深度可以不固定，并且可以根據(jù)用戶的需求改變。光 場相機在記錄光線強度信息的同時，還記錄了光線的角度信息。光線的角度信息包含著場 景中景物的深度信息。換句話說，光場相機采集場景的三維信息（例如，三維光場數(shù)據(jù)）。 光場相機在獲取場景的三維光場數(shù)據(jù)之后，可以根據(jù)用戶的需求，利用重聚焦算法分別對 不同的深度平面聚焦。當(dāng)用戶選擇用戶界面上顯示的圖像中的一個區(qū)域（該區(qū)域可以對應(yīng) 場景中的一個深度平面）時，相機可以利用重聚焦算法對圖像進(jìn)行處理，最終呈現(xiàn)出聚焦 在所選擇的深度平區(qū)間的效果。而當(dāng)用戶選擇用戶界面上顯示的圖像中的多個區(qū)域時，相 機在生成多深度平面重聚焦圖像之前，可以首先根據(jù)原始數(shù)據(jù)生成多個區(qū)域?qū)?yīng)的多個深 度平面的重聚焦圖像，然后再融合或拼接成多深度平面重聚焦圖像。
[0120] 如圖4所示，可以采用雙平面表示法來表示光場，即一條光線L的坐標(biāo)為該光線在 兩個平行平面U-V和s-t上的交點的坐標(biāo)。例如，光場相機采集的光場信息用L(u，V，s，t) 來表不。光場相機的合成光場的光場信息用L'（u'，ν'，s'，t'）來表τκ，兩者關(guān)系如圖5 所示。
[0121] 合成像平面的輻照圖像的值為：
[0122]
[0123] 其中D為合成像平面與合成孔徑之間的距離。A為孔徑函數(shù)，例如，孔徑內(nèi)的值是 1，孔徑外的值是0。Θ是光線（u'，v'，s'，t'）相對合成像平面的入射角。根據(jù)近軸近似 原理，可以忽略上式中的cos4Θ，并且忽略1/D2,得到如下公式：
[0124]
[0125]L和L'的關(guān)系如圖6所示，并且可以用光場信息L(u，v，s，t)來表示公式（2)。根 據(jù)合成攝影原理可以得到L與L'之間的關(guān)系如下：
[0126]
[0127]
[0128] 其中，α為表征主鏡頭平面到合成像面之間的距離的比例系數(shù)；β表征合成孔徑 平面到微透鏡平面的距離的比例系數(shù)。
[0129] 由公式（4)和⑵得到合成攝影公式：
[0130]
[0131] 根據(jù)公式（5)式繪制圖像，即可獲得不同深度平面的重聚焦圖像。
[0132] 圖7是根據(jù)本發(fā)明的又一實施例的圖像處理過程的示意性流程圖。圖7的實施例 是圖1的圖像處理方法的例子，在此適當(dāng)省略詳細(xì)的描述。圖7的710至740分別與圖2 的步驟210至240類似，在此不再贅述。
[0133] 710,在用戶界面上顯示圖像。
[0134] 720,在用戶界面上獲取用戶輸入。
[0135] 730,根據(jù)用戶的輸入確定對應(yīng)的深度信息。
[0136] 740,利用深度信息對原始數(shù)據(jù)進(jìn)行重聚焦操作，生成不同深度平面的重聚焦圖 像。
[0137] 745,確定多個重聚焦圖像的像素的點擴散函數(shù)。
[0138] 750,根據(jù)像素的點擴散函數(shù)生成融合權(quán)重模板。
[0139] 760,根據(jù)融合權(quán)重模板，對多個重聚焦圖像進(jìn)行圖像融合。
[0140] 770,顯示生成的多深度平面重聚焦圖像。
[0141] 應(yīng)理解，步驟745的確定像素的點擴散函數(shù)的步驟可以由確定像素的聚焦程度、 彌散圓半徑、梯度、強度差值、結(jié)構(gòu)張量、像素對應(yīng)光線的光場信息、像素對應(yīng)光線的追跡信 息的步驟或它們的任意組合替代。換句話說，點擴散函數(shù)可以由這些參數(shù)替代。
[0142] 應(yīng)理解，確定點擴散函數(shù)的步驟可以在生成融合權(quán)重模板之前任意步驟執(zhí)行。
[0143] 圖8是根據(jù)本發(fā)明的另一實施例的圖像處理過程的示意性流程圖。圖8的實施例 是圖1的圖像處理方法的例子，在此適當(dāng)省略詳細(xì)的描述。圖8的810至840分別與圖2 的步驟210至240類似，在此不再贅述。
[0144] 810,在用戶界面上顯示圖像。
[0145] 820,在用戶界面上獲取用戶輸入。
[0146] 830,根據(jù)用戶的輸入確定對應(yīng)的深度信息。
[0147] 840,利用深度信息對原始數(shù)據(jù)進(jìn)行重聚焦操作，生成不同深度平面的重聚焦圖 像。
[0148] 850,根據(jù)重聚焦圖像上像素的聚焦程度確定像素的融合權(quán)重，其中聚焦程度高的 像素的融合權(quán)重高于同一重聚焦圖像上聚焦程度低的像素的融合權(quán)重。
[0149] 860,根據(jù)多個深度平面的融合權(quán)重，對多個重聚焦圖像進(jìn)行圖像融合。
[0150] 870,顯示生成的多深度平面重聚焦圖像。
[0151] 圖9是根據(jù)本發(fā)明的再一實施例的圖像處理過程的示意性流程圖。圖9的實施例 是圖1的圖像處理方法的例子，在此適當(dāng)省略詳細(xì)的描述。
[0152] 910,在用戶界面上顯示圖像。與圖2的步驟210類似，在此不再贅述。
[0153] 920,在用戶界面上獲取用戶輸入。與圖2的步驟220類似，在此不再贅述。
[0154] 930,根據(jù)用戶的輸入確定對應(yīng)的深度信息。
[0155] 例如，該深度信息可以包括每個用戶輸入?yún)^(qū)域?qū)?yīng)的深度平面的深度平面的深度 或像素坐標(biāo)。該像素坐標(biāo)可以是該區(qū)域中的任一像素的坐標(biāo)，例如，可以是該區(qū)域的中心點 的坐標(biāo)。
[0156] 940,利用深度信息對原始數(shù)據(jù)進(jìn)行重聚焦操作，生成不同深度平面的重聚焦圖 像。
[0157] 945,從不同深度平面的重聚焦圖像截取聚焦部分和非聚焦部分，并將聚焦部分和 非聚焦部分分別存儲在聚焦部分查詢表和非聚焦部分查詢表中。
[0158] 可替代地，作為另一實施例，也可以是預(yù)先（例如，在接收用戶輸入之前）根據(jù)原 始數(shù)據(jù)生成所有深度平面的重聚焦圖像，然后從所有深度平面的重聚焦圖像中截取聚焦部 分和非聚焦部分，并且將聚焦部分和非聚焦部分分別存儲在聚焦部分查詢表和非聚焦部分 查詢表；或者預(yù)先根據(jù)原始數(shù)據(jù)生成所有深度平面的聚焦部分和非聚焦部分，并且將聚焦 部分和非聚焦部分分別存儲在非聚焦部分查詢表中。在這種情況下，可以省略步驟940和 945。
[0159] 上述聚焦部分查詢表中存儲聚焦部分與深度平面的深度或像素坐標(biāo)的對應(yīng)關(guān)系， 上述非聚焦部分查詢表中存儲非聚焦部分與深度平面的深度或像素坐標(biāo)的對應(yīng)關(guān)系。
[0160] 950,根據(jù)深度信息確定每個用戶輸入的深度平面的深度或像素坐標(biāo)，并且根據(jù)深 度平面的深度或像素坐標(biāo)查詢查詢表得到用戶輸入對應(yīng)的深度平面的聚焦部分和非聚焦 部分。
[0161] 960,將多個深度平面對應(yīng)的聚焦部分和非聚焦部分合成多深度平面重聚焦圖像。
[0162] 本發(fā)明的實施例可以采用圖像拼接方法多個深度平面對應(yīng)的聚焦部分和非聚焦 部分合成多深度平面重聚焦圖像。例如，可以從圖像中截取聚焦區(qū)域和非聚焦區(qū)域；拼接上 述區(qū)域形成多深度平面重聚焦圖像。聚焦區(qū)域和非聚焦區(qū)域至少包含一個像素。圖像拼接 過程主要包含預(yù)處理、配準(zhǔn)和融合三個步驟。預(yù)處理包括圖像去噪、圖像修正和圖像投影。 圖像投影可以是平面投影法、球面投影法、立方體投影法或柱面投影法。圖像去噪可以是鄰 域平均法、空間域低通濾波法、空間域非線性濾波法。圖像修正可以是針對灰度值偏差的修 正，或者針對幾何形變的修正。例如，針對灰度值偏差的修正方法如下：歸一化后的圖像灰 度值為：
[0163]
[0164] 其中f表不參考圖像的灰度，Pf表不參考圖像的平均灰度、〇 f表不參考圖像的 標(biāo)準(zhǔn)差，g表示待拼接圖像的灰度，μg表示待拼接圖像的平均灰度，σg表示待拼接圖像 的標(biāo)準(zhǔn)差。圖像配準(zhǔn)的方法可以是塊匹配算法、基于快速傅里葉變換的圖像配準(zhǔn)法、基于 傅里葉變換的相位相關(guān)圖像配準(zhǔn)法、基于輪廓特征的算法、角點檢測算法、尺度不變特征 轉(zhuǎn)換（Scale-invariantfeaturetransform，SIFT)算法、特征配準(zhǔn)（SpeededUpRobust Features，SURF)算法、基于光流的方法、基于SIFT流的方法。通過配準(zhǔn)算法可以確定待拼 接圖像的對應(yīng)位置，再通過找到圖像間的變換關(guān)系并進(jìn)行重采樣，就可將圖像拼接在一起。 圖像變換的模型可以是圖像的平移、旋轉(zhuǎn)、縮放、反射、錯切和它們的任意組合。
[0165] 970,顯示生成的多深度平面重聚焦圖像。與圖2的步驟270類似，在此不再贅述。
[0166] 上面描述了根據(jù)本發(fā)明實施例的圖像處理方法和過程，下面分別結(jié)合圖10和圖 11描述根據(jù)本發(fā)明實施例的圖像處理裝置。
[0167] 圖10是根據(jù)本發(fā)明的一個實施例的圖像處理裝置1000的結(jié)構(gòu)示意圖。圖像處理 裝置1000包括：確定模塊1010和生成模塊1020。
[0168] 確定模塊1010用于確定多個深度平面的深度信息，其中多個深度平面的深度信 息用于指示多個深度平面，多個深度平面分別對應(yīng)于多個深度平面的多個重聚焦圖像，其 中多個重聚焦圖像由多個重聚焦圖像的原始數(shù)據(jù)生成。生成模塊1020用于根據(jù)深度信息， 生成多深度平面重聚焦圖像，其中多深度平面重聚焦圖像包括多個重聚焦圖像的聚焦部 分。
[0169] 根據(jù)本發(fā)明的實施例，多個深度平面分別對應(yīng)于多個重聚焦圖像的原始數(shù)據(jù)，生 成模塊1020根據(jù)多個深度平面的深度信息確定多個重聚焦圖像的原始數(shù)據(jù)，并且根據(jù)多 個重聚焦圖像的原始數(shù)據(jù)生成多深度平面重聚焦圖像，其中多深度平面重聚焦圖像包括多 個重聚焦圖像的聚焦部分。
[0170] 生成模塊1020采用重聚焦算法對多個重聚焦圖像的原始數(shù)據(jù)進(jìn)行重聚焦處理， 生成多個重聚焦圖像；合并多個重聚焦圖像，以生成多深度平面重聚焦圖像。
[0171] 根據(jù)本發(fā)明的實