專(zhuān)利名稱(chēng)：在圖像采集設(shè)備中進(jìn)行天空檢測(cè)的裝置和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理和模式識(shí)別，更具體地，本發(fā)明涉及一種在圖像采集設(shè)備中 進(jìn)行天空檢測(cè)的裝置和方法。
背景技術(shù)：
對(duì)于在例如照相機(jī)、攝像機(jī)等的圖像采集設(shè)備中進(jìn)行天空檢測(cè)的技術(shù)，現(xiàn)有技術(shù) 中存在一些方法，例如在美國(guó)專(zhuān)利US6，504，951 (Jiebo Luo et al.)中提出了一種在圖像 中進(jìn)行天空檢測(cè)的方法。該方法首先根據(jù)顏色進(jìn)行天空像素的分類(lèi)，然后在可能的天空像 素中提取聯(lián)通區(qū)域，消除那些紋理大于一定閾值的區(qū)域，最后計(jì)算剩下區(qū)域的飽和度衰減 梯度，將衰減梯度符合預(yù)設(shè)閾值的區(qū)域保留作為最終的天空區(qū)域。在Jiebo Luo,and Stephen P. A physical model-based approach to detecting sky in photographic images (在拍攝的圖像中進(jìn)行天空檢測(cè)的基于物理模型的方法)， IEEE Trans on Image Processing，2002中提出了一種基于物理模型的天空檢測(cè)方法。該 方法包含三個(gè)步驟基于顏色的分類(lèi)，區(qū)域提取，基于物理模型的天空簽名驗(yàn)證。上述天空檢測(cè)方法的計(jì)算復(fù)雜度較高，無(wú)法進(jìn)行實(shí)時(shí)天空檢測(cè)，并且這些方法都 是僅基于圖像的像素信息，而沒(méi)有充分利用圖像采集設(shè)備的有用信息。

發(fā)明內(nèi)容
本發(fā)明的公開(kāi)提供了在圖像采集設(shè)備中進(jìn)行實(shí)時(shí)天空檢測(cè)的算法，其充分利用了 圖像的像素信息、圖像采集設(shè)備上的距離圖、和圖像的方向信息等。根據(jù)本發(fā)明的一個(gè)方面，提供了一種在圖像采集設(shè)備中進(jìn)行天空檢測(cè)的裝置，包 括圖像采集單元，采集彩色圖像信息；顏色特征提取單元，對(duì)采集到的圖像的每個(gè)像素提 取顏色特征；距離測(cè)量單元，測(cè)量采集到的圖像的每個(gè)像素到鏡頭的距離；第一分類(lèi)單元， 基于該顏色特征，將采集到的圖像的每個(gè)像素分類(lèi)為天空像素和非天空像素；和第二分類(lèi) 單元，基于上述距離和第一分類(lèi)單元的結(jié)果，進(jìn)一步將采集到的圖像的每個(gè)像素分類(lèi)為天 空像素和非天空像素。根據(jù)本發(fā)明的一個(gè)方面，圖像采集單元包括用于采集圖像信號(hào)的L通道、R通道、G 通道禾口 B通道。根據(jù)本發(fā)明的一個(gè)方面，顏色特征提取單元提取圖像的每個(gè)像素的R通道、G通 道、和B通道的顏色數(shù)值作為該顏色特征。根據(jù)本發(fā)明的一個(gè)方面，距離測(cè)量單元還包括拍攝控制單元，進(jìn)行控制以使用不 同的對(duì)焦距離拍攝圖像；和計(jì)算單元，計(jì)算圖像中每個(gè)像素在不同對(duì)焦距離下的多個(gè)對(duì)比 度，得到多個(gè)對(duì)比度中的最大值所對(duì)應(yīng)的對(duì)焦距離，并由該對(duì)焦距離得出該像素到鏡頭的 上述距離。根據(jù)本發(fā)明的一個(gè)方面，第一分類(lèi)單元使用的分類(lèi)器通過(guò)在一定量的、標(biāo)注好的 天空像素和非天空像素上訓(xùn)練得到。
根據(jù)本發(fā)明的一個(gè)方面，對(duì)于每個(gè)像素，如果在第一分類(lèi)單元中被分類(lèi)為天空像 素，并且在距離測(cè)量單元中測(cè)出的距離的值代表無(wú)限遠(yuǎn)，則將該像素分類(lèi)為天空像素；否 則，如果在第一分類(lèi)單元中被分類(lèi)為非天空像素，或者在距離測(cè)量單元中測(cè)出的距離的值 代表有限距離，則將該像素分類(lèi)為非天空像素。根據(jù)本發(fā)明的一個(gè)方面，在圖像采集設(shè)備中進(jìn)行天空檢測(cè)的裝置還包括方向測(cè) 量單元，測(cè)量采集到的圖像的方向信息；和第三分類(lèi)單元，基于方向測(cè)量單元和第二分類(lèi)單 元的結(jié)果，進(jìn)一步將采集到的圖像的每個(gè)像素分類(lèi)為天空像素和非天空像素。根據(jù)本發(fā)明的一個(gè)方面，圖像的方向信息包括向上、向下、向左、向右。根據(jù)本發(fā)明的一個(gè)方面，第三分類(lèi)單元還包括區(qū)域生長(zhǎng)單元，根據(jù)第二分類(lèi)單元 輸出的分類(lèi)結(jié)果進(jìn)行區(qū)域生長(zhǎng)，生成候選的天空區(qū)域；和合并單元，根據(jù)該方向信息進(jìn)行判 斷，其中如果該候選的天空區(qū)域包含在圖像方向上頂部的像素點(diǎn)，則將候選的天空區(qū)域中 的所有像素劃分為天空像素，否則將候選的天空區(qū)域中的所有像素劃分為非天空像素。根據(jù)本發(fā)明的另一個(gè)方面，提供了一種用于在圖像采集設(shè)備中進(jìn)行天空檢測(cè)的方 法，包括圖像采集步驟，采集彩色圖像信息；顏色特征提取步驟，對(duì)采集到的圖像的每個(gè) 像素提取顏色特征；距離測(cè)量步驟，測(cè)量采集到的圖像的每個(gè)像素到鏡頭的距離；第一分 類(lèi)步驟，基于該顏色特征，將采集到的圖像的每個(gè)像素分類(lèi)為天空像素和非天空像素；和第 二分類(lèi)步驟，基于所測(cè)量的像素到鏡頭的距離和第一分類(lèi)步驟的結(jié)果，進(jìn)一步將采集到的 圖像的每個(gè)像素分類(lèi)為天空像素和非天空像素。根據(jù)本發(fā)明的另一個(gè)方面，該方法還包括方向測(cè)量步驟，測(cè)量采集到的圖像的方 向信息；和第三分類(lèi)步驟，基于方向測(cè)量步驟和第二分類(lèi)步驟的結(jié)果，進(jìn)一步將采集到的圖 像的每個(gè)像素分類(lèi)為天空像素和非天空像素。根據(jù)本發(fā)明的另一個(gè)方面，該方法還包括區(qū)域生長(zhǎng)步驟，根據(jù)第二分類(lèi)步驟輸出 的分類(lèi)結(jié)果進(jìn)行區(qū)域生長(zhǎng)，生成候選的天空區(qū)域；和合并步驟，根據(jù)該方向信息進(jìn)行判斷， 其中如果該候選的天空區(qū)域包含在圖像方向上頂部的像素點(diǎn)，則將候選的天空區(qū)域中的所 有像素劃分為天空像素，否則將候選的天空區(qū)域中的所有像素劃分為非天空像素。通過(guò)使用根據(jù)本發(fā)明上述方面的裝置和方法，可以在圖像采集設(shè)備中實(shí)時(shí)進(jìn)行天 空檢測(cè)，并提高天空檢測(cè)的精度，增強(qiáng)所采集圖像的拍攝效果。


從下面結(jié)合附圖對(duì)本發(fā)明各個(gè)實(shí)施例的詳細(xì)描述中，本發(fā)明的這些和/或其它方 面和優(yōu)點(diǎn)將變得更加清楚并更容易理解，其中圖1是示出根據(jù)本發(fā)明一個(gè)實(shí)施例的進(jìn)行天空檢測(cè)的裝置的方框圖。圖2(a)_(e)是示出原始圖像以及對(duì)應(yīng)低分辨率圖像的R、G、B、L四個(gè)通道數(shù)據(jù)的 圖示。圖3是示出根據(jù)本發(fā)明一個(gè)實(shí)施例的距離測(cè)量單元的結(jié)構(gòu)的方框圖。圖4是示出計(jì)算每個(gè)像素到鏡頭的距離的原理的圖示。圖5(a)_(b)是示出拍攝的圖像及其距離圖的圖示。圖6是示出根據(jù)本發(fā)明一個(gè)實(shí)施例的第二分類(lèi)單元的操作的圖示。圖7是示出根據(jù)本發(fā)明一個(gè)實(shí)施例的進(jìn)行天空檢測(cè)的方法的流程圖。
圖8示出根據(jù)本發(fā)明第二實(shí)施例的進(jìn)行天空檢測(cè)的裝置的方框圖。圖9是示出四種不同方向的圖像的圖示。圖10是示出根據(jù)本發(fā)明一個(gè)實(shí)施例的第三分類(lèi)單元的結(jié)構(gòu)的方框圖。圖11是示出執(zhí)行區(qū)域生長(zhǎng)過(guò)程的示例程序步驟的圖示。圖12(a)_(b)是示出區(qū)域生長(zhǎng)結(jié)果的示意圖。圖13是示出根據(jù)本發(fā)明另一個(gè)實(shí)施例的進(jìn)行天空檢測(cè)的方法的流程圖。圖14是示出根據(jù)本發(fā)明另一個(gè)實(shí)施例的第三分類(lèi)單元的操作流程圖。
具體實(shí)施例方式下面將結(jié)合附圖詳細(xì)描述本發(fā)明的具體實(shí)施例。如果考慮到對(duì)某些相關(guān)現(xiàn)有技術(shù) 的詳細(xì)描述可能會(huì)混淆本發(fā)明的要點(diǎn)，則將不會(huì)在這里提供其詳細(xì)描述。在實(shí)施例中，相同 附圖標(biāo)記用于表示執(zhí)行相同功能的相同元件或單元。采用本發(fā)明公開(kāi)的進(jìn)行天空檢測(cè)的裝置和方法的圖像采集設(shè)備可以是例如照相 機(jī)、攝像機(jī)等設(shè)備。圖1示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的進(jìn)行天空檢測(cè)的裝置的方框圖。如圖1所示，根據(jù)本發(fā)明一個(gè)實(shí)施例的進(jìn)行天空檢測(cè)的裝置1包括圖像采集單元 10、顏色特征提取單元11、距離測(cè)量單元12、第一分類(lèi)單元13、第二分類(lèi)單元14。在圖1的裝置1中，顏色特征提取單元11和距離測(cè)量單元12分別連接于圖像采 集單元10，并分別從圖像采集單元10接收數(shù)據(jù)。第一分類(lèi)單元13連接于顏色特征提取單 元11，以及連接于能夠提供基于顏色特征的天空分類(lèi)器數(shù)據(jù)庫(kù)15，并可以從顏色特征提取 單元11和天空分類(lèi)器數(shù)據(jù)庫(kù)15接收數(shù)據(jù)。天空分類(lèi)器數(shù)據(jù)庫(kù)15可以位于根據(jù)本發(fā)明實(shí) 施例進(jìn)行天空檢測(cè)的裝置1的外部，用于向第一分類(lèi)單元13提供基于顏色特征的天空分類(lèi) 器數(shù)據(jù)。第二分類(lèi)單元14連接于距離測(cè)量單元12和第一分類(lèi)單元13，并從距離測(cè)量單元 12和第一分類(lèi)單元13接收數(shù)據(jù)。圖像采集單元10采集彩色圖像信息。顏色特征提取單元11對(duì)采集到的圖像的每 個(gè)像素提取顏色特征。距離測(cè)量單元12測(cè)量采集到的圖像的每個(gè)像素到鏡頭的距離。第 一分類(lèi)單元13基于該顏色特征，將采集到的圖像的每個(gè)像素分類(lèi)為天空像素和非天空像 素。第二分類(lèi)單元14基于該目標(biāo)對(duì)焦距離和第一分類(lèi)單元的結(jié)果，進(jìn)一步將采集到的圖像 的每個(gè)像素分類(lèi)為天空像素和非天空像素。圖像采集單元10為后續(xù)的各處理單元采集圖像數(shù)據(jù)，其可以包括例如鏡頭、快門(mén) 以及成像所需的CCD(電耦合器件)等。根據(jù)本發(fā)明的一個(gè)實(shí)施例，圖像采集單元10包括 用于采集圖像信號(hào)的L(亮度)通道、R(紅色)通道、G(綠色)通道和B(藍(lán)色)通道，其中 通過(guò)上述四個(gè)通道采集進(jìn)行天空檢測(cè)所需的圖像信號(hào)。對(duì)于天空檢測(cè)來(lái)說(shuō)，使用低分辨率 的圖像會(huì)更有利于圖像采集設(shè)備上的實(shí)時(shí)處理。根據(jù)本發(fā)明的一個(gè)實(shí)施例，可以使用16*16 分辨率的圖像數(shù)據(jù)，其中每一個(gè)像素相當(dāng)于最終700萬(wàn)像素的全幅圖像上的一個(gè)204*153 大小的圖像塊。圖2(a)_(e)是示出原始圖像以及對(duì)應(yīng)低分辨率圖像的R、G、B、L四個(gè)通道的數(shù)據(jù) 的圖示。如圖2 (a) -(e)所示，圖2 (a)是最終的全幅圖像，圖2 (b)、圖2 (c)、圖2 (d)、圖2 (e) 示出的是圖2(a)的圖像所對(duì)應(yīng)的16*16圖像信號(hào)。每個(gè)像素包含四個(gè)通道的數(shù)據(jù)L通道數(shù)據(jù)，R通道數(shù)據(jù)，G通道數(shù)據(jù)，和B通道數(shù)據(jù)，其中每個(gè)數(shù)據(jù)表示該像素在該通道的特征數(shù) 值。低分辨率的16*16圖像信號(hào)可以被圖像采集設(shè)備的硬件實(shí)時(shí)捕獲。顏色特征提取單元11對(duì)所采集的圖像中的每個(gè)像素點(diǎn)提取一系列的顏色特征。 根據(jù)本發(fā)明的一個(gè)實(shí)施例，使用三維的顏色特征矢量，即R通道值、G通道值、B通道值作為 上述像素的顏色特征，顏色特征提取單元11提取圖像的每個(gè)像素的R通道、G通道、和B通 道的顏色數(shù)值作為該顏色特征。由于天空在顏色上通常是藍(lán)色，直接使用R、G、B值就可以 對(duì)天空和非天空有很強(qiáng)的區(qū)分性。距離測(cè)量單元12測(cè)量在CXD上形成的圖像中每個(gè)像素點(diǎn)到圖像采集設(shè)備的鏡頭 的距離，測(cè)量該距離的具體方法將在后面進(jìn)行詳細(xì)的描述。第一分類(lèi)單元13根據(jù)顏色特征提取單元11提取的顏色特征和天空分類(lèi)器數(shù)據(jù)庫(kù) 15提供的天空分類(lèi)器數(shù)據(jù)(形成該數(shù)據(jù)的具體方法將在后面進(jìn)行詳細(xì)的描述)，將采集的 圖像的每個(gè)像素分類(lèi)為代表天空的像素(以后稱(chēng)作天空像素)和代表非天空的像素(以后 稱(chēng)作非天空像素)兩種類(lèi)別。第二分類(lèi)單元14接收第一分類(lèi)單元13的處理結(jié)果和距離測(cè)量單元12的測(cè)量結(jié) 果，進(jìn)一步將每個(gè)像素分類(lèi)為天空像素和非天空像素。如上所述，第一分類(lèi)單元13使用基于顏色特征的天空分類(lèi)器數(shù)據(jù)將所采集的圖 像的每個(gè)像素劃分為天空像素和非天空像素兩類(lèi)。根據(jù)本發(fā)明的一個(gè)實(shí)施例，使用線性核 函數(shù)的支持向量機(jī)(Support Vector Machine, SVM)來(lái)構(gòu)建天空分類(lèi)器。在使用根據(jù)本發(fā)明一個(gè)實(shí)施例的進(jìn)行天空檢測(cè)的裝置的圖像采集設(shè)備出廠前，需 針對(duì)每個(gè)圖像采集設(shè)備訓(xùn)練特定的天空分類(lèi)器，計(jì)算并獲得天空分類(lèi)器數(shù)據(jù)，并將所獲得 的天空分類(lèi)器數(shù)據(jù)預(yù)先裝載到第一分類(lèi)單元13中。第一分類(lèi)單元使用的上述分類(lèi)器是通過(guò)在一定量的標(biāo)注好的天空像素和非天空 像素上訓(xùn)練得到。即，在對(duì)天空分類(lèi)器進(jìn)行訓(xùn)練的階段，先在樣本圖像上手工標(biāo)注一些天空 像素和非天空像素作為正、負(fù)樣本。對(duì)每個(gè)像素點(diǎn)，提取一個(gè)特征矢量^。假定標(biāo)注了 η個(gè) 正樣本和m個(gè)負(fù)樣本，令k = n+m,則有特征矢量集F = {fj，i = 1. . . k，以及標(biāo)號(hào)集Y = {yj，i = 1... k。其中yi是&所對(duì)應(yīng)的類(lèi)別標(biāo)號(hào)，定義如下
=|1，當(dāng)f,.為正樣本時(shí) y' = |θ,當(dāng)f,為負(fù)樣本時(shí)在訓(xùn)練前，要先選擇合適的核函數(shù)。根據(jù)本發(fā)明的一個(gè)實(shí)施例，選擇計(jì)算復(fù)雜度比 較低的線性核函數(shù)K (Xi, Xj) = Xi · χ」在訓(xùn)練過(guò)程中，訓(xùn)練算法從特征矢量集F中選出一特征矢量集V= {vj, i = 1. . . ην,并且對(duì)每個(gè)特征矢量Vi，該算法都會(huì)計(jì)算出其對(duì)應(yīng)的權(quán)重％。在預(yù)測(cè)過(guò)程中，所采用的分類(lèi)函數(shù)如下
ηνfun{v) = Σ Y1Q1 * Kivl，v) + b
/=1其中yi是Vi所對(duì)應(yīng)的樣本標(biāo)號(hào)，b是訓(xùn)練算法計(jì)算出的常數(shù)。當(dāng)使用線性核函數(shù)時(shí)，分類(lèi)函數(shù)可改寫(xiě)為
7 其中w可以在預(yù)測(cè)前事先計(jì)算出來(lái)，從而節(jié)省了預(yù)測(cè)所需時(shí)間。這樣，可以針對(duì)某一特定圖像采集設(shè)備而獲得天空分類(lèi)器數(shù)據(jù)w和b，并將上述天 空分類(lèi)器數(shù)據(jù)w和b預(yù)先存儲(chǔ)在圖像采集設(shè)備的第一分類(lèi)單元13中，或者將其存儲(chǔ)在第一 分類(lèi)單元13與之電連接并可以對(duì)其進(jìn)行數(shù)據(jù)存取的特定存儲(chǔ)器(未示出)中，供圖像采集 設(shè)備在進(jìn)行天空檢測(cè)時(shí)使用。這樣，對(duì)于輸入的特征矢量v(可以是圖像采集設(shè)備在拍攝過(guò)程中獲得的特征矢 量，例如是前述的顏色特征等)，其對(duì)應(yīng)的類(lèi)別標(biāo)號(hào)可按如下方式預(yù)測(cè)得到 對(duì)于任一個(gè)圖像像素，如果其對(duì)應(yīng)的類(lèi)別標(biāo)號(hào)yv = 1，第一分類(lèi)單元13將其劃分 為天空像素，如果其對(duì)應(yīng)的類(lèi)別標(biāo)號(hào)yv = 0，則第一分類(lèi)單元13將其劃分為非天空像素。根據(jù)本發(fā)明的其它實(shí)施例，其它機(jī)器學(xué)習(xí)算法也可用于訓(xùn)練天空分類(lèi)器，例如k 緊鄰(k-NN)，Adaboost等等。由于上述訓(xùn)練算法和過(guò)程是本領(lǐng)域技術(shù)人員所知道的，因此 這里不再進(jìn)行詳細(xì)描述。下面將描述距離測(cè)量單元12的結(jié)構(gòu)和操作。圖3是示出根據(jù)本發(fā)明一個(gè)實(shí)施例的距離測(cè)量單元12的結(jié)構(gòu)的方框圖。距離測(cè)量單元12用于測(cè)量圖像中任一像素到圖像采集設(shè)備的鏡頭的距離。如圖 3所示，距離測(cè)量單元12包括圖像拍攝控制單元121以及計(jì)算單元122。根據(jù)本發(fā)明的一 個(gè)實(shí)施例，在用圖像采集設(shè)備進(jìn)行拍攝前的對(duì)焦過(guò)程中，圖像拍攝控制單元121對(duì)圖像采 集單元10進(jìn)行控制，使其用不同的對(duì)焦距離拍攝多幅圖像，并將所拍攝的多幅圖像發(fā)送給 計(jì)算單元122。計(jì)算單元122對(duì)于圖像中的每個(gè)像素，計(jì)算其在不同對(duì)焦距離下的多個(gè)對(duì)比 度，得到多個(gè)對(duì)比度中的最大值所對(duì)應(yīng)的對(duì)焦距離，并由該對(duì)焦距離得出該像素到鏡頭的 上述距離。根據(jù)本發(fā)明的一個(gè)實(shí)施例，像素到鏡頭的上述距離可以直接采用多個(gè)對(duì)比度中 的最大值所對(duì)應(yīng)的對(duì)焦距離。圖4是示出了根據(jù)本發(fā)明實(shí)施例計(jì)算像素到鏡頭的距離的原理的圖示。如圖4所示，在圖像拍攝控制單元121的控制下，使用不同的對(duì)焦距離拍攝了多幅 圖像(示于圖4左側(cè))，其中每幅圖像中包括預(yù)定數(shù)目的像素，例如像素A、B等。對(duì)應(yīng)于每 個(gè)像素，使用不同的對(duì)焦距離拍攝的該像素的對(duì)比度隨對(duì)焦距離變化的關(guān)系表示在圖4中 右側(cè)的坐標(biāo)圖中，其中使用不同的對(duì)焦距離拍攝的像素A的對(duì)比度隨對(duì)焦距離變化的關(guān)系 用曲線a’表示，使用不同的對(duì)焦距離拍攝的像素B的對(duì)比度隨對(duì)焦距離變化的關(guān)系用曲線b’表示。在曲線a’中，最高對(duì)比度所對(duì)應(yīng)的橫軸上的點(diǎn)a表示該像素A到鏡頭的距離，在
曲線b’中，最高對(duì)比度所對(duì)應(yīng)的橫軸上的點(diǎn)b表示該像素B到鏡頭的距離。 圖像上某個(gè)像素點(diǎn)的對(duì)比度為該像素點(diǎn)的像素值與相鄰像素點(diǎn)的像素值的差的
絕對(duì)值的和。對(duì)于像素I (X，y)，其四個(gè)鄰域像素分別為I (x-1，y)，I (χ+1, y)，I (χ, y_l)，
I(x，y+1)，則該點(diǎn)的對(duì)比度值為 當(dāng)圖像中一個(gè)像素點(diǎn)代表的被拍攝對(duì)象距離圖像采集設(shè)備的鏡頭非常遠(yuǎn)時(shí)，在該 像素點(diǎn)的對(duì)比度曲線上無(wú)法找到峰值點(diǎn)。在這種情況下，設(shè)置該像素點(diǎn)到鏡頭的距離為無(wú) 限遠(yuǎn)。通過(guò)上述方法，距離測(cè)量單元12獲得所拍攝的該幅圖像上所有像素點(diǎn)到鏡頭的 距離的數(shù)值，形成距離圖。圖5(a)_(b)是示出拍攝的圖像及其距離圖的圖示。如圖5(a)_(b)所示，其中圖5(a)給出了示例圖像，而圖5 (b)則示出了按上述方 法由距離測(cè)量單元12計(jì)算出的對(duì)應(yīng)的距離圖，其中無(wú)限遠(yuǎn)用INF表示。上述獲得距離及其距離圖的方法不對(duì)本發(fā)明的范圍構(gòu)成限制，本領(lǐng)域的技術(shù)人員 可以使用已有技術(shù)中獲得像素到鏡頭的距離的任何方法來(lái)形成距離圖。圖6是示出根據(jù)本發(fā)明一個(gè)實(shí)施例的第二分類(lèi)單元的操作的圖示。如圖6所示，第二分類(lèi)單元14接收第一分類(lèi)單元13的分類(lèi)結(jié)果和在距離測(cè)量單 元12中形成的該幅圖像的距離圖的數(shù)據(jù)，并對(duì)其中的每個(gè)像素進(jìn)行判斷如果該像素在第 一分類(lèi)單元13中被分類(lèi)為天空像素，并且在距離測(cè)量單元12中被測(cè)出的像素到鏡頭的距 離為無(wú)限遠(yuǎn)，則將該像素設(shè)為天空像素；否則，即如果該像素在第一分類(lèi)單元13中被分類(lèi) 為非天空像素，或者即使該像素在第一分類(lèi)單元13中被分類(lèi)為天空像素，但是其在距離測(cè) 量單元12中被測(cè)出的像素到鏡頭的距離不是無(wú)限遠(yuǎn)(代表有限值)，則將該像素設(shè)為非天 空像素。然后，第二分類(lèi)單元14輸出新的天空檢測(cè)結(jié)果。圖像采集設(shè)備中的例如圖像形成 單元(未示出)等根據(jù)第二分類(lèi)單元14輸出的新的天空檢測(cè)結(jié)果，形成所拍攝的最終圖 像。圖7是示出根據(jù)本發(fā)明一個(gè)實(shí)施例的進(jìn)行天空檢測(cè)的方法的流程圖。如圖7所示，在步驟S701，采集彩色圖像信息。在步驟S702，對(duì)采集到的圖像的每 個(gè)像素提取顏色特征。在步驟S703，測(cè)量采集到的圖像的每個(gè)像素到鏡頭的距離。在步驟 S704，基于提取的顏色特征，將采集到的圖像的每個(gè)像素分類(lèi)為天空像素和非天空像素。在 步驟S705，基于所測(cè)出的像素到鏡頭的距離和第一分類(lèi)單元的結(jié)果，進(jìn)一步將采集到的圖 像的每個(gè)像素分類(lèi)為天空像素和非天空像素。注意，上述步驟的執(zhí)行順序不對(duì)本發(fā)明的范圍構(gòu)成限制，根據(jù)本發(fā)明的其它實(shí)施 例，可以以任何其它順序或者單獨(dú)或者并行執(zhí)行上述各個(gè)步驟。根據(jù)本發(fā)明的一個(gè)實(shí)施例，上述步驟S701可以由圖1中所示的圖像采集單元10 來(lái)實(shí)現(xiàn)，步驟S702可以由圖1中所示的顏色特征提取單元11來(lái)實(shí)現(xiàn)，步驟S703可以由圖 1中所示的距離測(cè)量單元12來(lái)實(shí)現(xiàn)，步驟S704可以由圖1中所示的第一分類(lèi)單元13來(lái)實(shí) 現(xiàn)，步驟S705可以由圖1中所示的第二分類(lèi)單元14來(lái)實(shí)現(xiàn)。
圖8示出了根據(jù)本發(fā)明第二實(shí)施例的在圖像采集設(shè)備中進(jìn)行天空檢測(cè)的裝置的 方框圖。如圖8所示，根據(jù)本發(fā)明第二實(shí)施例的在圖像采集設(shè)備中進(jìn)行天空檢測(cè)的裝置 800與根據(jù)本發(fā)明第一實(shí)施例的裝置1的區(qū)別在于，在根據(jù)本發(fā)明第二實(shí)施例的裝置800中 增加了方向測(cè)量單元801和第三分類(lèi)單元802。根據(jù)第二實(shí)施例的裝置800中的其它部分， 例如圖像采集單元10、顏色特征提取單元11、距離測(cè)量單元12、第一分類(lèi)單元13和第二分 類(lèi)單元14的結(jié)構(gòu)、操作和功能與根據(jù)第一實(shí)施例的裝置1中相同，這里不再贅述。根據(jù)本發(fā)明的第二實(shí)施例，方向測(cè)量單元801連接于圖像采集單元10，并且第三 分類(lèi)單元802分別連接于方向測(cè)量單元801和第二分類(lèi)單元14，從方向測(cè)量單元801和第 二分類(lèi)單元14接收數(shù)據(jù)，并將結(jié)果輸出到裝置800的外部。第二分類(lèi)單元14不將結(jié)果直 接輸出到裝置1或裝置800的外部，而是將其結(jié)果輸入到第三分類(lèi)單元802中。根據(jù)本發(fā)明的一個(gè)實(shí)施例，方向測(cè)量單元801測(cè)量采集到的圖像的方向信息。第 三分類(lèi)單元802基于方向測(cè)量單元801和第二分類(lèi)單元14的結(jié)果，進(jìn)一步將采集到的圖像 的每個(gè)像素分類(lèi)為天空像素和非天空像素。方向測(cè)量單元801可以檢測(cè)四種不同的圖像方向向上，向下，向左，向右，即圖像 的方向信息包括向上、向下、向左、和向右。本發(fā)明不限于此，方向測(cè)量單元801還可以檢測(cè) 圖像的任何方向。圖9是示出四種不同方向的圖像的圖示。如圖9所示，“向上”方向的圖像表示該圖像中的天空在圖像的上方，“向左”方向 的圖像表示該圖像中的天空在圖像的左方，“向右”方向的圖像表示該圖像中的天空在圖像 的右方，“向下”方向的圖像表示該圖像中的天空在圖像的下方。圖10示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的第三分類(lèi)單元的結(jié)構(gòu)的方框圖。如圖10所示，第三分類(lèi)單元802包括相互連接的區(qū)域生長(zhǎng)單元8021和合并單元 8022。區(qū)域生長(zhǎng)單元8021根據(jù)第二分類(lèi)單元14輸出的分類(lèi)結(jié)果進(jìn)行區(qū)域生長(zhǎng)，生成候選 的天空區(qū)域。合并單元8022根據(jù)方向信息進(jìn)行判斷，其中如果該候選的天空區(qū)域包含在圖 像方向頂部的像素點(diǎn)，則將候選的天空區(qū)域中的所有像素劃分為天空像素，否則將候選的 天空區(qū)域中的所有像素劃分為非天空像素。具體地，區(qū)域生長(zhǎng)單元8021接收第二分類(lèi)單元14的分類(lèi)結(jié)果，并在第二分類(lèi)單元 14的分類(lèi)結(jié)果上進(jìn)行區(qū)域生長(zhǎng)，將相鄰且顏色相近的像素連成候選的天空區(qū)域。合并單元 8022接收從區(qū)域生長(zhǎng)單元8021輸出的候選天空區(qū)域以及方向測(cè)量單元801的測(cè)量結(jié)果，并 進(jìn)行判斷如果候選的天空區(qū)域包含圖像方向頂部的像素點(diǎn)，則將候選區(qū)域中的所有像素 劃分為天空像素，否則，將候選區(qū)域中的所有像素劃分為非天空像素。對(duì)“向左”的方向，頂 部的像素點(diǎn)是圖像最左邊的點(diǎn)；對(duì)“向上”的方向，頂部的像素點(diǎn)是圖像最上邊的點(diǎn)，對(duì)“向 右”的方向，頂部的像素點(diǎn)是圖像最右邊的點(diǎn)，對(duì)“向下”的方向，頂部的像素點(diǎn)是圖像最下 邊的點(diǎn)。第三分類(lèi)單元802將新的天空檢測(cè)結(jié)果輸出到裝置800的外部，以供進(jìn)一步處理。 例如，第三分類(lèi)單元802將新的天空檢測(cè)結(jié)果輸出到圖像采集設(shè)備中的例如圖像形成單元 (未示出)等，以根據(jù)第三分類(lèi)單元802輸出的新的天空檢測(cè)結(jié)果，形成所拍攝的最終圖像。圖11是示出了執(zhí)行區(qū)域生長(zhǎng)過(guò)程的示例程序步驟的圖示。
如圖11所示，在st印Ι-st印8 (步驟1至步驟8)中，首先構(gòu)建一個(gè)與圖像信號(hào)同樣 大小的區(qū)域標(biāo)號(hào)矩陣M，例如是16X16大小的矩陣，其每個(gè)元素對(duì)應(yīng)圖像中相應(yīng)位置的像 素。將M中每個(gè)元素的值初始化為0。再構(gòu)建一個(gè)與圖像信號(hào)同樣大小的矩陣B，并根據(jù)第 二分類(lèi)單元14的分類(lèi)結(jié)果將矩陣B中的各元素初始化為0或1。另外，初始化一個(gè)標(biāo)號(hào)計(jì) 數(shù)變量C為0。在生長(zhǎng)階段，依次處理M中的每個(gè)元素(x，y)。如果M(x，y)為0，設(shè)置M(x， y)的值為當(dāng)前標(biāo)號(hào)C，并將點(diǎn)(X，y)設(shè)置成種子點(diǎn)，向其鄰域像素生長(zhǎng)，當(dāng)且僅當(dāng)兩個(gè)鄰域 像素(x0，y0)和Yi)滿(mǎn)足如下條件時(shí)，將它們連在一起b(x0, y0) = b(Xi, Yi)當(dāng)從種子點(diǎn)(X，y)開(kāi)始的生長(zhǎng)完成時(shí)，在種子點(diǎn)(X，y)的鄰域像素點(diǎn)中，具有相 同的第二分類(lèi)單元的分類(lèi)結(jié)果的那些像素被連接在一起，并且它們的區(qū)域標(biāo)號(hào)M(x，y)被 設(shè)成相同的數(shù)值。當(dāng)M中的所有元素都已經(jīng)被賦予區(qū)域標(biāo)號(hào)時(shí)，原圖像被劃分成Cn個(gè)區(qū)域 (Cn是標(biāo)號(hào)計(jì)數(shù)變量C的最終值)。圖12(a)-(b)是示出區(qū)域生長(zhǎng)結(jié)果的示意圖。如圖12 (a)-(b)所示，假定第二分類(lèi)單元14的輸出結(jié)果矩陣B如圖12(a)所示， 則經(jīng)過(guò)區(qū)域生長(zhǎng)輸出的區(qū)域標(biāo)號(hào)矩陣M如圖12 (b)所示，其中Cn = 2，灰色區(qū)域是第一個(gè)區(qū) 域Ctl，白色區(qū)域是第二個(gè)區(qū)域Q。圖13是示出根據(jù)本發(fā)明另一個(gè)實(shí)施例的進(jìn)行天空檢測(cè)的方法的流程圖。如圖13所示，在步驟S1301，采集彩色圖像信息。在步驟S1302，對(duì)采集到的圖像 的每個(gè)像素提取顏色特征。在步驟S1303，測(cè)量采集到的圖像的每個(gè)像素到鏡頭的距離。在 步驟S1304，基于提取的顏色特征，將采集到的圖像的每個(gè)像素分類(lèi)為天空像素和非天空像 素。在步驟S1305，基于測(cè)出的像素到鏡頭的距離和第一分類(lèi)單元的結(jié)果，進(jìn)一步將采集到 的圖像的每個(gè)像素分類(lèi)為天空像素和非天空像素。在步驟S1306，測(cè)量采集到的圖像的方向 信息。在步驟S1307，根據(jù)步驟S1305輸出的分類(lèi)結(jié)果和步驟S1306測(cè)量的方向信息，進(jìn)一 步將采集到的圖像的每個(gè)像素分類(lèi)為天空像素和非天空像素。注意，上述步驟的執(zhí)行順序不對(duì)本發(fā)明的范圍構(gòu)成限制，根據(jù)本發(fā)明的其它實(shí)施 例，可以以任何其它順序或者單獨(dú)或者并行執(zhí)行上述各個(gè)步驟。根據(jù)本發(fā)明的一個(gè)實(shí)施例，上述步驟S1301可以由圖8中所示的圖像采集單元10 來(lái)實(shí)現(xiàn)，步驟S1302可以由圖8中所示的顏色特征提取單元11來(lái)實(shí)現(xiàn)，步驟S1303可以由 圖8中所示的距離測(cè)量單元12來(lái)實(shí)現(xiàn)，步驟S1304可以由圖8中所示的第一分類(lèi)單元13來(lái) 實(shí)現(xiàn)，步驟S1305可以由圖8中所示的第二分類(lèi)單元14來(lái)實(shí)現(xiàn)，步驟S1306可以由圖8中 所示的方向測(cè)量單元801來(lái)實(shí)現(xiàn)，步驟S 1307可以由圖8中所示的第三分類(lèi)單元802來(lái)實(shí) 現(xiàn)。圖14是示出上述步驟S1307的進(jìn)一步處理的流程圖。如圖14所示，在步驟S1401，在步驟S1305輸出的分類(lèi)結(jié)果的基礎(chǔ)上進(jìn)行區(qū)域生 長(zhǎng)，以生成并輸出候選的天空區(qū)域。在步驟S1402，結(jié)合步驟S1306輸出的圖像的方向信息， 判斷候選的天空區(qū)域是否包含圖像頂部的像素點(diǎn)。如果步驟S1402的答復(fù)為肯定的“是”， 則處理前進(jìn)到步驟S1403，否則處理前進(jìn)到步驟S1404。在步驟S1403，將該候選的天空區(qū)域 中的所有像素劃分為天空像素。在步驟S 1404，將該候選的天空區(qū)域中的所有像素劃分為 非天空像素。
注意，上述步驟的執(zhí)行順序不對(duì)本發(fā)明的范圍構(gòu)成限制，根據(jù)本發(fā)明的其它實(shí)施 例，可以以任何其它順序或者單獨(dú)或者并行執(zhí)行上述各個(gè)步驟。根據(jù)本發(fā)明的一個(gè)實(shí)施例，上述步驟S1401可以由圖10中所示的區(qū)域生長(zhǎng)單元 8021來(lái)實(shí)現(xiàn)，步驟S1402至步驟S1404可以由圖10中所示的合并單元8022來(lái)實(shí)現(xiàn)。需要說(shuō)明的是，本發(fā)明的實(shí)施例可以通過(guò)硬件、軟件、固件或它們結(jié)合的方式來(lái)實(shí) 現(xiàn)，其實(shí)現(xiàn)方式不對(duì)本發(fā)明的范圍構(gòu)成限制。本發(fā)明實(shí)施例中的各個(gè)功能元件(單元)相 互之間的連接關(guān)系也不對(duì)本發(fā)明的范圍構(gòu)成限制，其中的一個(gè)或多個(gè)功能元件可以包括或 連接于其它任意的功能元件。本發(fā)明可以應(yīng)用于圖像采集設(shè)備中的天空檢測(cè)、自動(dòng)白平衡等領(lǐng)域。雖然上面已經(jīng)結(jié)合附圖示出并描述了本發(fā)明的一些實(shí)施例，但是本領(lǐng)域的技術(shù)人 員應(yīng)當(dāng)理解，在不偏離本發(fā)明的原則和精神的情況下，可以對(duì)這些實(shí)施例做出變化和改變， 所做的變化和改變?nèi)匀宦湓诒景l(fā)明及其等價(jià)物的保護(hù)范圍之內(nèi)。
權(quán)利要求
一種用于在圖像采集設(shè)備中進(jìn)行天空檢測(cè)的裝置，包括圖像采集單元，采集彩色圖像信息；顏色特征提取單元，對(duì)采集到的圖像的每個(gè)像素提取顏色特征；距離測(cè)量單元，測(cè)量采集到的圖像的每個(gè)像素到鏡頭的距離；第一分類(lèi)單元，基于所述顏色特征，將采集到的圖像的每個(gè)像素分類(lèi)為天空像素和非天空像素；和第二分類(lèi)單元，基于所述距離和第一分類(lèi)單元的結(jié)果，進(jìn)一步將采集到的圖像的每個(gè)像素分類(lèi)為天空像素和非天空像素。
2.如權(quán)利要求1所述的裝置，所述圖像采集單元包括用于采集圖像信號(hào)的L通道、R通 道、G通道禾口 B通道。
3.如權(quán)利要求1所述的裝置，所述顏色特征提取單元提取圖像的每個(gè)像素的R通道、G 通道、和B通道的顏色數(shù)值作為所述顏色特征。
4.如權(quán)利要求1所述的裝置，所述距離測(cè)量單元包括 拍攝控制單元，進(jìn)行控制以使用不同的對(duì)焦距離拍攝圖像；和計(jì)算單元，計(jì)算圖像中每個(gè)像素在不同對(duì)焦距離下的多個(gè)對(duì)比度，得到所述多個(gè)對(duì)比 度中的最大值所對(duì)應(yīng)的對(duì)焦距離，并由該對(duì)焦距離得出該像素到鏡頭的所述距離。
5.如權(quán)利要求1所述的裝置，其中所述第一分類(lèi)單元使用的分類(lèi)器通過(guò)在一定量的標(biāo) 注好的天空像素和非天空像素上訓(xùn)練得到。
6.如權(quán)利要求1所述的裝置，其中對(duì)于所述每個(gè)像素，如果在第一分類(lèi)單元中被分類(lèi) 為天空像素，并且在距離測(cè)量單元中測(cè)出的所述距離的值代表無(wú)限遠(yuǎn)，則將該像素分類(lèi)為 天空像素；否則，如果在第一分類(lèi)單元中被分類(lèi)為非天空像素，或者在距離測(cè)量單元中測(cè)出 的所述距離的值代表有限距離，則將該像素分類(lèi)為非天空像素。
7.如權(quán)利要求1所述的裝置，還包括方向測(cè)量單元，測(cè)量采集到的圖像的方向信息；和第三分類(lèi)單元，基于方向測(cè)量單元和第二分類(lèi)單元的結(jié)果，進(jìn)一步將采集到的圖像的 每個(gè)像素分類(lèi)為天空像素和非天空像素。
8.如權(quán)利要求7所述的裝置，所述圖像的方向信息包括向上、向下、向左、和向右。
9.如權(quán)利要求7所述的裝置，所述第三分類(lèi)單元包括區(qū)域生長(zhǎng)單元，根據(jù)第二分類(lèi)單元輸出的分類(lèi)結(jié)果進(jìn)行區(qū)域生長(zhǎng)，生成候選的天空區(qū) 域；和合并單元，根據(jù)所述方向信息進(jìn)行判斷，其中如果所述候選的天空區(qū)域包含在圖像方 向頂部的像素點(diǎn)，則將候選的天空區(qū)域中的所有像素劃分為天空像素，否則將候選的天空 區(qū)域中的所有像素劃分為非天空像素。
10.一種用于在圖像采集設(shè)備中進(jìn)行天空檢測(cè)的方法，包括 圖像采集步驟，采集彩色圖像信息；顏色特征提取步驟，對(duì)采集到的圖像的每個(gè)像素提取顏色特征； 距離測(cè)量步驟，測(cè)量采集到的圖像的每個(gè)像素到鏡頭的距離； 第一分類(lèi)步驟，基于所述顏色特征，將采集到的圖像的每個(gè)像素分類(lèi)為天空像素和非 天空像素；和第二分類(lèi)步驟，基于所述距離和第一分類(lèi)步驟的結(jié)果，進(jìn)一步將采集到的圖像的每個(gè) 像素分類(lèi)為天空像素和非天空像素。
11.如權(quán)利要求10所述的方法，還包括方向測(cè)量步驟，測(cè)量采集到的圖像的方向信息；和第三分類(lèi)步驟，基于方向測(cè)量步驟和第二分類(lèi)步驟的結(jié)果，進(jìn)一步將采集到的圖像的 每個(gè)像素分類(lèi)為天空像素和非天空像素。
12.如權(quán)利要求11所述的方法，還包括區(qū)域生長(zhǎng)步驟，根據(jù)第二分類(lèi)步驟輸出的分類(lèi)結(jié)果進(jìn)行區(qū)域生長(zhǎng)，生成候選的天空區(qū) 域；和合并步驟，根據(jù)所述方向信息進(jìn)行判斷，其中如果所述候選的天空區(qū)域包含圖像方向 頂部的像素點(diǎn)，則將候選的天空區(qū)域中的所有像素劃分為天空像素，否則將候選的天空區(qū) 域中的所有像素劃分為非天空像素。
全文摘要
本發(fā)明提供了一種用于在圖像采集設(shè)備中進(jìn)行天空檢測(cè)的裝置和方法。該裝置包括圖像采集單元，采集彩色圖像信息；顏色特征提取單元，對(duì)采集到的圖像的每個(gè)像素提取顏色特征；距離測(cè)量單元，測(cè)量采集到的圖像的每個(gè)像素到鏡頭的距離；第一分類(lèi)單元，基于該顏色特征，將采集到的圖像的每個(gè)像素分類(lèi)為天空像素和非天空像素；和第二分類(lèi)單元，基于該距離和第一分類(lèi)單元的結(jié)果，進(jìn)一步將采集到的圖像的每個(gè)像素分類(lèi)為天空像素和非天空像素。通過(guò)使用上述裝置和方法，可以在圖像采集設(shè)備中實(shí)時(shí)進(jìn)行天空檢測(cè)，并提高天空檢測(cè)的精度。
文檔編號(hào)H04N5/225GK101930533SQ200910147779
公開(kāi)日2010年12月29日 申請(qǐng)日期2009年6月19日 優(yōu)先權(quán)日2009年6月19日
發(fā)明者師忠超, 李滔, 王剛, 袁勛 申請(qǐng)人:株式會(huì)社理光