圖像處理設備、圖像捕捉裝置和圖像處理方法
【專利摘要】公開了圖像處理設備、圖像捕捉裝置和圖像處理方法。圖像處理設備基于具有不同模糊度并且由圖像傳感器捕捉的第一圖像和第二圖像來獲得代表關于對象的深度信息的分布的深度信息圖像，圖像傳感器包括組，每個組包括獲得關于對象的不同顏色信息的像素。該圖像處理設備包括：提取單元，配置為從所述組提取信號，每個信號對應于每個組中的像素中的一個像素，并且生成分別對應于第一圖像和第二圖像的第一被提取圖像和第二被提取圖像；及計算單元，配置為根據(jù)第一被提取圖像和第二被提取圖像之間的模糊度的差來計算深度信息圖像。每個對應于每個組中的像素中的一個像素并且從所述組提取出來的信號是對應于獲得相同顏色信息的像素的信號。
【專利說明】圖像處理設備、圖像捕捉裝置和圖像處理方法

【技術領域】
[0001] 本發(fā)明涉及用于從多個捕捉到的圖像獲得深度信息圖像的圖像處理設備和圖像 捕捉裝置，其中深度信息圖像代表關于對象的深度信息的分布。本發(fā)明還涉及用于從多個 捕捉到的圖像獲得深度信息圖像的圖像處理方法，其中深度信息圖像代表關于對象的深度 信息的分布。

【背景技術】
[0002] 日本專利特開No. 01-167610描述一種通過使用由圖像捕捉裝置捕捉到的對象的 兩維圖像來獲得在深度方向上到對象的距離的"散焦測距"（cbpthfromdefocus，DFD)方 法。在DFD方法中，通過控制圖像捕捉光學系統(tǒng)的拍攝條件（也稱為拍攝參數(shù)），獲得具有 不同模糊度的多個圖像。然后，通過使用距離測量像素和周圍像素來計算多個圖像的尺寸 或模糊度之間的相關性。尺寸或模糊度之間的相關性根據(jù)從圖像捕捉光學系統(tǒng)的焦點位置 到對象的距離而變。因此，從圖像捕捉光學系統(tǒng)的焦點位置到對象的距離可以通過使用該 相關性獲得。
[0003] 日本專利特開No. 2010-016743描述一種通過使用模糊相關性來計算對象距離的 距離測量裝置，其中模糊相關性是通過使用DFD方法對要處理的每個區(qū)域計算的。距離測 量裝置為要處理的區(qū)域中的每個像素設置用于模糊相關性的權(quán)重系數(shù)并且通過使用權(quán)重 系數(shù)來計算模糊相關性的加權(quán)平均。
[0004] 一般而言，圖像捕捉裝置的圖像捕捉光學系統(tǒng)具有軸上色差，并且因此焦點位置 在顏色（波長）之間不同。因此，在深度信息通過使用尺寸或模糊度之間的相關性來計算 的情況下，計算出的深度信息具有由于顏色（波長）造成的誤差。換句話說，當深度信息是 利用彩色圖像通過使用DFD方法或類似方法計算的時，由于顏色（波長）造成的距離測量 誤差發(fā)生。
[0005] 日本專利特開No. 01-167610和日本專利特開No. 2010-016743沒有描述由于顏色 (波長）造成的深度信息的誤差的發(fā)生。
[0006] 本發(fā)明提供利用彩色圖像通過使用DFD方法以高精度獲得關于對象的深度信息 的技術。


【發(fā)明內(nèi)容】

[0007] 根據(jù)本發(fā)明的一方面，提供一種基于具有不同模糊度的第一圖像和第二圖像來獲 得代表關于對象的深度信息的分布的深度信息圖像的圖像處理設備，第一圖像和第二圖像 是由包括多個組的圖像傳感器捕捉的，每個組包括獲得關于對象的不同顏色信息的多個像 素。該圖像處理設備包括：提取單元，從所述多個組提取信號，每個信號對應于每個組中的 多個像素中的一個像素，并且生成分別對應于第一圖像和第二圖像的第一被提取圖像和第 二被提取圖像；和計算單元，根據(jù)第一被提取圖像和第二被提取圖像之間的模糊度的差來 計算深度信息圖像。每個對應于每個組中的多個像素中的一個像素并且從所述多個組提取 出來的信號是對應于獲得相同顏色信息的像素的信號。
[0008] 根據(jù)本發(fā)明的另一方面，提供一種圖像處理方法，包括：提取步驟，從圖像傳感器 的多個組提取信號，每個信號對應于所述多個組的每個組中的多個像素中的一個像素，并 且生成分別對應于由圖像傳感器捕捉并具有不同模糊度的第一圖像和第二圖像的第一被 提取圖像和第二被提取圖像，所述多個像素獲得關于對象的不同顏色信息；及計算步驟，根 據(jù)第一被提取圖像和第二被提取圖像之間的模糊度的差來計算代表關于對象的深度信息 的分布的深度信息圖像。每個對應于每個組中的多個像素中的一個像素并且從多個組提取 出來的信號是對應于獲得相同顏色信息的像素的信號。
[0009] 參考附圖，本發(fā)明的更多特征將從以下示例性實施例的描述變得清楚。

【專利附圖】

【附圖說明】
[0010] 圖1是圖示出根據(jù)第一實施例的包括圖像處理設備的圖像捕捉裝置的例子的示 意圖。
[0011] 圖2A是根據(jù)第一實施例的圖像傳感器的部分示意圖，圖2B是圖示出根據(jù)第一實 施例的被選通道的被提取圖像的例子的示意圖。
[0012] 圖3是根據(jù)第一實施例的圖像處理方法的例子的流程圖。
[0013] 圖4是圖示出根據(jù)第二實施例的包括圖像處理設備的圖像捕捉裝置的例子的示 意圖。
[0014] 圖5是根據(jù)第二實施例的圖像處理方法的例子的流程圖。
[0015] 圖6A至6C圖示出根據(jù)第二實施例的對應于被提取像素的信號的生成。
[0016] 圖7是圖示出根據(jù)第三實施例的包括圖像處理設備的圖像捕捉裝置的例子的示 意圖。
[0017] 圖8A和圖8B圖示出一般的圖像捕捉光學系統(tǒng)的軸上色差和像面彎曲（field curvature)〇
[0018] 圖9是根據(jù)第三實施例的圖像處理方法的例子的流程圖。
[0019] 圖10A是根據(jù)第三實施例的用于獲得深度信息的校正數(shù)據(jù)的裝置的示意圖，圖 10B是獲得深度信息的校正數(shù)據(jù)的方法的例子的流程圖。

【具體實施方式】
[0020] 本發(fā)明涉及基于在不同拍攝條件下捕捉到的兩個或更多個圖像之間的模糊度的 差來計算在深度方向上關于對象的深度信息的技術OFD方法）的改進。本說明書提出，即 使在使用通過利用具有用于捕捉不同顏色信息的多個像素的圖像捕捉裝置捕捉到的圖像 的情況下，也通過使用DFD方法以高精度計算關于對象的深度信息的技術。這種技術可以 實現(xiàn)為安裝在圖像捕捉裝置（諸如數(shù)碼相機、數(shù)碼攝像機或監(jiān)控相機）中的圖像處理設備 (圖像處理引擎）的功能。該技術用來對捕捉到的圖像執(zhí)行各種圖像處理操作（諸如測量 距離、生成深度信息圖像、剪切對象、模糊背景以及產(chǎn)生模糊效果的操作）。
[0021] 在本發(fā)明中，"深度信息"可以指在捕捉圖像時從兩個圖像的焦點位置之間的中點 至IJ對象的相對距離、從兩個圖像之一的焦點位置到對象的相對距離以及從圖像捕捉裝置到 對象的絕對距離當中任何一個。絕對距離或相對距離可以是像面?zhèn)鹊木嚯x或者物側(cè)的距 離。距離可以表示為現(xiàn)實空間中的距離或者表示為散焦量。
[0022] 在下文中，將參考附圖描述本發(fā)明的實施例。本發(fā)明不限于這些實施例。
[0023] 第一實施例
[0024] 圖1是圖示出根據(jù)第一實施例的包括圖像處理設備13的圖像捕捉裝置1的例子 的示意圖。圖像捕捉裝置1包括圖像捕捉光學系統(tǒng)10、圖像傳感器11、圖像捕捉光學系統(tǒng) 10的控制器12、圖像處理設備13、存儲單元14、輸入單元15和顯示單元16。
[0025] 圖2A是根據(jù)第一實施例的圖像傳感器11的部分示意圖。圖像傳感器11包括圖 像傳感器111和濾色器（colorfilter) 112。濾色器112設置在圖像傳感器111的光入射 偵k圖像傳感器11具有多個組113,每個組包括像素A、B、C和D。像素A、B、C和D中每個 獲得關于對象的顏色信息。因此，濾色器112具有分段的區(qū)域，每個區(qū)域允許紅、綠和藍光 中的相應一個通過。分段的區(qū)域分別對應于像素A、B、C和D。
[0026] 像素A具有主要允許長波長范圍（580nm至720nm的波長范圍）內(nèi)的可見光通過 的紅色濾色器。像素B和像素C具有主要允許中間波長范圍（440nm至620nm的波長范圍） 內(nèi)的可見光通過的綠色濾色器。像素D具有主要允許短波長范圍（400nm至540nm的波長 范圍）內(nèi)的可見光通過的藍色濾色器。根據(jù)本實施例的圖像捕捉裝置1可以通過這些像素 獲得彩色圖像。在本實施例中，術語"顏色信息"指作為紅色、綠色或藍色的顏色以及關于 該顏色的亮度（luminance)信息。
[0027] 圖像處理設備13包括處理器130、存儲器131、提取單元132和計算單元133。處 理器130對從圖像傳感器11輸出的模擬信號執(zhí)行以下信號處理操作：AD轉(zhuǎn)換、噪聲降低、 去馬賽克、亮度信號和色差信號的轉(zhuǎn)換、像差校正、白平衡校正、顏色校正、伽瑪校正等等。 從處理器130輸出的數(shù)字圖像信號存儲在存儲器131中，記錄（存儲）在存儲單元14中， 并且用來例如計算深度信息。
[0028] 提取單元132從圖像傳感器11的組提取信號，每個信號對應于每組的像素A、B、 C和D之一（例如，像素B)。信號是從組中的獲得相同顏色信息的像素提取的。例如，在圖 2A中，對應于組113的像素B的信號被提取。然后，提取單元132收集對應于所有組的像 素B的信號并且生成例如圖2B中所示的被提取圖像。如下所述，圖像傳感器11獲得具有 不同模糊度（degreeofblurring)的第一圖像和第二圖像。提取單元132生成分別對應 于第一圖像和第二圖像的兩個被提取圖像。換句話說，提取單元132從第一圖像生成第一 被提取圖像并且從第二圖像生成第二被提取圖像。
[0029] 計算單元133基于已經(jīng)由提取單元132生成的第一被提取圖像和第二被提取圖像 之間的模糊度之差，通過使用DFD方法計算關于對象的深度信息。深度信息被計算，以便對 應于每個組。然后，計算單元133收集對應于組的深度信息并且獲得代表關于對象的深度 信息分布的深度信息圖像。
[0030] 存儲單元14是用于存儲捕捉到的圖像數(shù)據(jù)和由圖像捕捉裝置1使用的參數(shù)數(shù)據(jù) 的非易失性存儲介質(zhì)。存儲單元14可以是能高速讀/寫數(shù)據(jù)并且能存儲大量數(shù)據(jù)的任何 設備。例如，存儲單元14可以是閃存存儲器。
[0031] 輸入單元15是用戶可以利用其指定用于計算基準顏色（基準色調(diào)角）的區(qū)域并 且可以設定掩模的接口。例如，輸入單元15可以包括撥號盤、按鈕、開關或觸摸面板。顯示 單元16可以是液晶顯示器、有機EL顯示器等。顯示單元16用來例如檢查要捕捉的圖像的 構(gòu)圖、觀看已經(jīng)被捕捉和記錄的圖像、顯示設定畫面和消息、顯示用于計算基準顏色（基準 色調(diào)角）的指定區(qū)域以及顯示掩模。
[0032] 深度信息的計算原理
[0033] 參考圖1，將描述利用對焦包圍（focusbracketing)進行距離計算的原理。首先， 控制器12把圖像捕捉光學系統(tǒng)10的焦點設定在第一焦點位置Objl，并且通過由實線表示 的光路捕捉對象的圖像。接下來，控制器12把圖像捕捉光學系統(tǒng)10的焦點改變到第二焦 點位置〇bj2,并且通過由虛線表示的光路捕捉同一對象的圖像。這樣，圖像傳感器11獲得 具有不同模糊度的兩個圖像。術語"對焦包圍"指一種圖像捕捉方法，其中，作為拍攝條件 之一的焦點位置改變。用于通過改變拍攝條件來捕捉具有不同模糊度的兩個圖像的方法的 另一個例子是光圈包圍（aperturebracketing),其中，在改變孔徑的同時捕捉兩個圖像。 除了這些方法，本發(fā)明還可以應用到用于捕捉具有不同模糊度的多個圖像的任何適當?shù)姆?法。
[0034] 在根據(jù)本發(fā)明計算深度信息的方法中，深度信息是通過使用兩個圖像的小區(qū)域之 間的相關性來估計的。根據(jù)本發(fā)明，如上所述的由提取單元132生成的兩個被提取圖像用 來計算深度信息。這兩個被提取圖像具有不同的模糊度。在圖像被捕捉的同時相機抖動或 對象移動不發(fā)生的情況下，使用在相同位置的小區(qū)域。在圖像被捕捉的同時相機抖動或?qū)?象移動發(fā)生的情況下，使用其中相同對象的圖像被捕捉并且通過執(zhí)行定位操作而獲得的小 區(qū)域。在下文中，假設相機抖動或?qū)ο笠苿硬话l(fā)生。但是，即使在相機抖動或?qū)ο笠苿影l(fā)生 的情況下，通過使用其中捕捉相同對象的圖像的小區(qū)域，相同的方法也可以使用。
[0035] 當對象位于圖像捕捉光學系統(tǒng)10的焦點位置時，可以獲得具有關于對象的最大 量信息的圖像，并且該圖像在從高空間頻域到低空間頻域的整個范圍上具有高對比度。相 反，當對象不位于圖像捕捉光學系統(tǒng)10的焦點位置時，對象的圖像模糊，并且雖然圖像的 對比度在低空間頻域不顯著減小，但是對比度在高空間頻域顯著減小。當對象位于遠離圖 像捕捉光學系統(tǒng)10的焦點位置的位置時，圖像的對比度在低空間頻域也顯著減小。
[0036] 在本實施例中，實際圖像上高和低空間頻域的每一個中對比度的變化是通過使用 對被提取圖像進行帶通濾波而生成的圖像獲得的，并且關于對象的深度信息是通過使用對 比度的變化獲得的。
[0037] 具體而言，計算單元133計算兩個帶通濾波后的被提取圖像的小區(qū)域之間的相關 性，其中小區(qū)域位于相同的位置，并且根據(jù)該相關性計算關于對象的深度信息。兩個帶通濾 波后的圖像的小區(qū)域之間的相關性NCC是通過使用表達式（1)計算的。

【權(quán)利要求】
1. 一種圖像處理設備，該圖像處理設備基于具有不同模糊度的第一圖像和第二圖像來 獲得代表關于對象的深度信息的分布的深度信息圖像，第一圖像和第二圖像是由包括多個 組的圖像傳感器捕捉的，每個組包括獲得關于對象的不同顏色信息的多個像素，該圖像處 理設備的特征在于包括： 提取單元，配置為從所述多個組提取信號，每個信號對應于每個組中的多個像素中的 一個像素，并且生成分別對應于第一圖像和第二圖像的第一被提取圖像和第二被提取圖 像；及 計算單元，配置為根據(jù)第一被提取圖像和第二被提取圖像之間的模糊度的差來計算深 度信息圖像， 其中，每個對應于每個組中的多個像素中的一個像素并且從所述多個組提取出來的信 號是對應于獲得相同顏色信息的像素的信號。
2. 如權(quán)利要求1所述的圖像處理設備， 其中，所述多個像素包括獲得紅色信息的像素、獲得綠色信息的像素和獲得藍色信息 的像素。
3. 如權(quán)利要求2所述的圖像處理設備， 其中，所述多個像素中的所述一個像素是獲得綠色信息的像素。
4. 如權(quán)利要求1所述的圖像處理設備，還包括： 生成單元，配置為通過混合分別對應于所述多個像素的信號來生成對應于所述多個像 素中的所述一個像素的混合信號， 其中，提取單元配置為從每個組提取混合信號并且生成第一被提取圖像和第二被提取 圖像。
5. 如權(quán)利要求1所述的圖像處理設備， 其中，計算單元配置為基于第一被提取圖像和第二被提取圖像之間的模糊度的差來計 算每個組的深度信息， 其中，圖像處理設備還包括校正單元，該校正單元配置為校正每個組的深度信息的誤 差，該誤差是由于像差而生成的，及 其中，計算單元配置為根據(jù)由校正單元校正后的每個組的深度信息來計算深度信息圖 像。
6. 如權(quán)利要求1所述的圖像處理設備， 其中，所述多個像素中的所述一個像素在每個組中位于相同的位置。
7. -種圖像捕捉裝置，包括： 圖像捕捉光學系統(tǒng)； 圖像傳感器，包括多個組，每個組包括獲得關于對象的顏色信息的多個像素；及 如權(quán)利要求1至6中任一項所述的圖像處理設備。
8. -種圖像處理方法，該圖像處理方法的特征在于包括： 提取步驟，從圖像傳感器的多個組提取信號，每個信號對應于所述多個組的每個組中 的多個像素中的一個像素，并且生成分別對應于由圖像傳感器捕捉并具有不同模糊度的第 一圖像和第二圖像的第一被提取圖像和第二被提取圖像，所述多個像素獲得關于對象的不 同顏色信息；及 計算步驟，根據(jù)第一被提取圖像和第二被提取圖像之間的模糊度的差來計算代表關于 對象的深度信息的分布的深度信息圖像， 其中，每個對應于每個組中的多個像素中的一個像素并且從多個組提取出來的信號是 對應于獲得相同顏色信息的像素的信號。
9. 如權(quán)利要求8所述的圖像處理方法， 其中，所述多個像素包括獲得紅色信息的像素、獲得綠色信息的像素和獲得藍色信息 的像素。
10. 如權(quán)利要求9所述的圖像處理方法， 其中，所述多個像素中的所述一個像素是獲得綠色信息的像素。
11. 如權(quán)利要求8所述的圖像處理方法，還包括： 生成步驟，通過混合分別對應于所述多個像素的信號來生成對應于所述多個像素中的 所述一個像素的混合信號， 其中，在提取步驟中，從每個組提取混合信號并且生成第一被提取圖像和第二被提取 圖像。
12. 如權(quán)利要求8所述的圖像處理方法， 其中，計算步驟包括 基于第一被提取圖像和第二被提取圖像之間的模糊度的差來計算每個組的深度信息 的步驟， 校正每個組的深度信息的誤差的校正步驟，該誤差是由于像差而生成的，及 根據(jù)在校正步驟中校正后的每個組的深度信息來計算深度信息圖像的步驟。
13. 如權(quán)利要求8所述的圖像處理方法， 其中，所述多個像素中的所述一個像素在每個組中位于相同的位置。
【文檔編號】H04N9/04GK104519328SQ201410519935
【公開日】2015年4月15日 申請日期:2014年9月30日 優(yōu)先權(quán)日:2013年10月2日
【發(fā)明者】石原圭一郎 申請人:佳能株式會社