基于上下文推理的天空檢測(cè)算法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于場(chǎng)景理解技術(shù)領(lǐng)域，設(shè)及基于上下文推理的天空檢測(cè)算法。
【背景技術(shù)】
[0002] 隨著計(jì)算機(jī)和機(jī)器人技術(shù)的發(fā)展，智能機(jī)器人已經(jīng)不僅在制造方面，而且在軍用、 民用、科學(xué)研究等許多方面得到了廣泛的應(yīng)用。本文針對(duì)地面機(jī)器人等視覺系統(tǒng)中的重要 的預(yù)處理步驟一天空檢測(cè)一做出詳細(xì)的討論，并提出相應(yīng)的算法。天空區(qū)域是室外圖像的 重要組成部分，并且提供了有關(guān)周圍環(huán)境的重要信息。在由斯坦福大學(xué)研制的地面自主機(jī) 器人中，運(yùn)用簡(jiǎn)單的天空識(shí)別算法提高了道路檢測(cè)效果。目前存在的天空檢測(cè)算法主要有 基于顏色先驗(yàn)的方法、基于梯度先驗(yàn)的方法和基于模型融合的方法?；陬伾闰?yàn)的天空 識(shí)別算法假設(shè)天空的主要顏色為藍(lán)色，并基于該假設(shè)對(duì)識(shí)別天空?；陬伾闰?yàn)的天空識(shí) 別算法速度較快，但是識(shí)別精度較低。運(yùn)是因?yàn)樘炜赵诓煌瑫r(shí)間段、不同天氣條件下，天空 的顏色會(huì)發(fā)生顯著變化，因此基于顏色的天空識(shí)別算法無法適應(yīng)天空顏色的變化。
[0003] 基于梯度先驗(yàn)的天空識(shí)別算法假設(shè)天空區(qū)域的梯度變化較為平緩。該算法通過構(gòu) 造一個(gè)能量函數(shù)優(yōu)化求解得到圖像中梯度較為平滑的連續(xù)區(qū)域，即為天空區(qū)域。但是當(dāng)天 空中存在云彩時(shí)，天空中存在明顯的梯度變化，該算法的假設(shè)不再成立。因此基于梯度的天 空識(shí)別算法不適用于天空中存在云、太陽等附著物的情況?；诙嗄Ｐ腿诤系奶炜諜z測(cè)算 法綜合利用顏色、梯度等多種模型，提高了算法的適應(yīng)性。但是在天空?qǐng)鼍皥D像中天空區(qū)域 與非天空區(qū)域之間可能存在較大相似性，比如天空與白色地面建筑物。對(duì)于運(yùn)種情況，上述 算法都無法較好的處理。上述算法盡管在特定領(lǐng)域能取得較好的效果，但是無法適應(yīng)天空 復(fù)雜的變化W及天空與非天空區(qū)域間存在的相似性。究其原因，上述算法在檢測(cè)天空時(shí)僅 僅利用了有限的先驗(yàn)知識(shí)，不能涵蓋多樣的天空變化。為了滿足實(shí)際需求，有必要探索更更 有效的天空檢測(cè)方法。不同于目前天空檢測(cè)算法中所采用的思路，本文將天空檢測(cè)看做場(chǎng) 景理解問題。
[0004] 場(chǎng)景理解作為計(jì)算機(jī)視覺的基本問題，近年來得到了越來越多的理論研究和實(shí)際 應(yīng)用。2000年W來，隨著計(jì)算機(jī)視覺技術(shù)和認(rèn)知學(xué)的快速發(fā)展，對(duì)場(chǎng)景圖像中單一形式物體 的識(shí)別逐漸過渡到對(duì)類內(nèi)多形式物體的識(shí)別，W及場(chǎng)景的全局理解和場(chǎng)景物體間上下文信 息的建模。在天空?qǐng)鼍皥D像中，天空區(qū)域與非天空區(qū)域之間存在明顯的上下文約束，比如， 位于天空區(qū)域中的對(duì)象W更大的概率屬于天空區(qū)域。利用運(yùn)種上下文約束關(guān)系，可W幫助 消除天空與非天空區(qū)域之間存在的歧意，從而減少識(shí)別錯(cuò)誤。在場(chǎng)景理解理論中，馬爾科夫 隨機(jī)場(chǎng)(Markov random field,MRF),條件隨機(jī)場(chǎng)（Conditional random field,CRF)等模 型常用于對(duì)上下文約束關(guān)系建模。此外，在場(chǎng)景理解中通常運(yùn)用機(jī)器學(xué)習(xí)分類模型對(duì)局部 區(qū)域區(qū)域初步分類，相比于簡(jiǎn)單的由人工挖掘的先驗(yàn)知識(shí)，機(jī)器學(xué)習(xí)方法可W從數(shù)據(jù)中自 適應(yīng)的學(xué)習(xí)到規(guī)則W適應(yīng)復(fù)雜的數(shù)據(jù)分布。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的在于提供基于上下文推理模型的天空檢測(cè)算法，解決了現(xiàn)有的算法 盡管在特定領(lǐng)域能取得較好的效果，但是無法適應(yīng)天空復(fù)雜的變化W及天空與非天空區(qū)域 間存在的相似性的問題。
[0006] 本發(fā)明所采用的技術(shù)方案是按照下面步驟進(jìn)行：
[0007] 步驟1:天空樣本數(shù)據(jù)集建立;數(shù)據(jù)集包含采集的若干原始圖像；
[0008] 步驟2:場(chǎng)景分割;對(duì)數(shù)據(jù)集中的原始圖像做超像素分割，分割出若干超像素；
[0009] 步驟3:用合并超像素的方式產(chǎn)生圖像的多尺度分割;合并相鄰超像素得到圖像的 多尺度分割；
[0010] 步驟4:計(jì)算超像素屬于天空區(qū)域的概率;圖像的多尺度分割中一個(gè)超像素可能屬 于多個(gè)不同的Region,將每一個(gè)超像素區(qū)域作為一個(gè)識(shí)別單元，累加多個(gè)Region屬于天空 或非天空的概率并做歸一化處理，該超像素區(qū)域中的像素要么被全部識(shí)別為天空，要么被 全部識(shí)別為非天空，運(yùn)樣將一幅圖像分為天空區(qū)域和非天空區(qū)域；
[0011] 步驟5:提取正負(fù)樣本；由天空區(qū)域產(chǎn)生的超像素為正樣本，由非天空區(qū)域產(chǎn)生的 超像素作負(fù)樣本，對(duì)于一個(gè)超像素，N表示超像素中包含的像素總數(shù)，Nb表示超像素中天空 像素的數(shù)目，Nr表示超像素中非天空像素的數(shù)目；
[0012] 超像素為正樣本的條件：
[0014]超像素為負(fù)樣本的條件：
'，
[0016] 步驟6:超像素特征提取;從正負(fù)樣本中選擇能將天空與非天空區(qū)域分開且能夠表 達(dá)場(chǎng)景語義信息的特征;特征包括顏色特征、紋理特征、位置特征、直線特征;將四種特征拼 成一個(gè)向量，作為超像素的最終特征；
[0017] 步驟7:局部超像素分類；訓(xùn)練分類器來識(shí)別天空區(qū)域;對(duì)每個(gè)超像素區(qū)域，SVM得 到一個(gè)置信度值confidence,將每個(gè)置信度值利用Logistic函數(shù)壓縮到[0，1]區(qū)間，作為該 超像素屬于天空區(qū)域的似然值：
[0018] Ci ￡ {sky, non-sky} ci = sky, C2 = non-sky
[0019] L(vi,ci) = g(conf idence)
[0021] L(Vi,C2) = l-L(Vi,ci)
[0022] sky表示天空，non-sky，L(Vi ,Cl)表示超像素屬于天空區(qū)域的似然值，同樣L(vi, C2)表示超像素屬于非天空區(qū)域的似然值，初步檢測(cè)天空區(qū)域，將SVM分類器輸出為正1的超 像素標(biāo)記為天空，輸出為負(fù)1的標(biāo)記為非天空；
[0023] 步驟8:上下文推理;在超像素基礎(chǔ)上構(gòu)建了一個(gè)CRF條件隨機(jī)場(chǎng)模型，定義圖G = (V，E)，其中頂點(diǎn)veV，邊e&必cFx^，V集合中元素為超像素，E集合中元素為相鄰超像 素間的邊，ei康示相鄰超像素 Vi與Vj之間的邊，1康示Vi被分配的類別，CRF能量函數(shù)通常包 含數(shù)據(jù)項(xiàng)Datal'erm和平滑項(xiàng)SmoothTerm, DataTerm迫使1接近預(yù)測(cè)值P ,SmoothTerm保持1的 局部一致性，通過最小化能量函數(shù)E(I)得到最后的檢測(cè)結(jié)果，CRF模型如式：
[002引其中數(shù)據(jù)項(xiàng)：
[0026] 巫（Vi,li) = exp(-L(Vi,c))l(li^c)
[0027] 1(.)表示示性函數(shù)，當(dāng)輸入為真時(shí)輸出1，否則輸出0;
[0028] E(I)的定義中平滑項(xiàng)有S部分組成：
[0029] c(v,'，巧）=e鄧(HI W/ Il 純(/一 &')
[0030] Ii V研k定義為Vi與V撕顏色特征的歐幾里得距離；
[0031 ] f知巧）=勘p(- Ii VT 11 //)1巧^的Il VTl #定義為V i與V j的紋理特征的歐幾里得距 離；
[0032] 〇{vi,vj) = exp：(- Il Vo Il v)l(// ^ Ij)
[0033] Il VO||f/定義為Vi與V說中屯、點(diǎn)坐標(biāo)的歐幾里得距離。
[0034] 進(jìn)一步，所述步驟1中，天空樣本數(shù)據(jù)集中原始圖像分為13個(gè)類別，分別為:清晨、 中午、下午、傍晚、多云、霧靈、陰天、城市、鄉(xiāng)村、草原、森林、沙漠、山區(qū)。
[0035] 進(jìn)一步，所述步驟4中Region屬于天空或非天空的概率可由SVM分類器輸出的置信 度值得到。
[0036] 進(jìn)一步，所述步驟6中，顏色特征提取方法:提取超像素區(qū)域的顏色直方圖特征并 作歸一化處理；
[0037] 紋理特征提取方法:采用Leung和MaUk提出的LM filter bank提取超像素的紋理 特