一種基于圖像背景剪除的動(dòng)態(tài)視覺(jué)測(cè)量方法
【專利摘要】本申請(qǐng)公開(kāi)了一種基于圖像背景剪除的動(dòng)態(tài)視覺(jué)測(cè)量方法，其中，圍繞測(cè)量場(chǎng)布置有攝像機(jī)，所述攝像機(jī)具有固定的拍攝視野，所述方法包括以下步驟：步驟1、所述攝像機(jī)拍攝當(dāng)前圖像；步驟2、將所述當(dāng)前圖像與對(duì)應(yīng)于先前光照條件的背景圖像進(jìn)行對(duì)應(yīng)像素的像素值相減，將相減結(jié)果大于第一預(yù)定閾值的像素判定為前景像素，將相減結(jié)果不大于第一預(yù)定閾值的像素判定為背景像素；步驟3、根據(jù)當(dāng)前圖像的前景像素的數(shù)目占總像素?cái)?shù)目的比例、以及當(dāng)前圖像相對(duì)于所述背景模型的變化的梯度方向的一致性，判定當(dāng)前光照條件是否相對(duì)于先前光照條件而發(fā)生變化；步驟4、如果當(dāng)前光照條件相對(duì)于先前光照條件而發(fā)生變化，則重建對(duì)應(yīng)于當(dāng)前光照條件的背景圖像。
【專利說(shuō)明】一種基于圖像背景剪除的動(dòng)態(tài)視覺(jué)測(cè)量方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及高效率動(dòng)態(tài)視覺(jué)測(cè)量中的圖像處理領(lǐng)域，特別涉及在照明條件變化的情況下的一種有效的圖像背景剪除技術(shù)、以及這種技術(shù)在視覺(jué)測(cè)量中的應(yīng)用。

【背景技術(shù)】
[0002]隨著大型飛機(jī)、載人航天和大型雷達(dá)等國(guó)家重要工程的快速推進(jìn)，對(duì)大型零件設(shè)備的變形和大空間內(nèi)物體的運(yùn)動(dòng)狀態(tài)的實(shí)時(shí)監(jiān)測(cè)技術(shù)得到了快速發(fā)展。計(jì)算機(jī)技術(shù)、電子技術(shù)、光學(xué)技術(shù)的日趨完善以及圖像處理、模式識(shí)別等技術(shù)的不斷進(jìn)步，視覺(jué)測(cè)量技術(shù)已逐漸成為大型構(gòu)件和設(shè)備狀態(tài)信息的最主要的監(jiān)測(cè)手段。
[0003]目前，大型構(gòu)件和設(shè)備狀態(tài)檢測(cè)主要包括接觸式和非接觸式兩種。接觸式狀態(tài)檢測(cè)技術(shù)主要包括:人工采用卡具測(cè)量和三坐標(biāo)測(cè)量機(jī)。人工采用卡具測(cè)量的操作簡(jiǎn)單、成本低，是目前生產(chǎn)中較多采用的一種測(cè)量方法，但測(cè)量效率低、精度差、無(wú)法實(shí)現(xiàn)動(dòng)態(tài)測(cè)量。三坐標(biāo)測(cè)量機(jī)是完成三坐標(biāo)測(cè)量的通用設(shè)備，具有很好的測(cè)量精度，但測(cè)量范圍有限，同樣無(wú)法實(shí)現(xiàn)動(dòng)態(tài)測(cè)量。非接觸式檢測(cè)技術(shù)主要有激光跟蹤儀、3D激光測(cè)距儀、全站儀、經(jīng)緯儀、視覺(jué)檢測(cè)技術(shù)等。激光跟蹤儀、3D激光測(cè)距儀、全站儀及經(jīng)緯儀適于一般現(xiàn)場(chǎng)條件，測(cè)量范圍大、精度高，但主要缺點(diǎn)是測(cè)量效率低，一次只能實(shí)現(xiàn)單點(diǎn)測(cè)量，無(wú)法實(shí)現(xiàn)大型構(gòu)件或設(shè)備的表面信息測(cè)量和動(dòng)態(tài)測(cè)量。
[0004]制約大型構(gòu)件和設(shè)備的動(dòng)態(tài)視覺(jué)測(cè)量的關(guān)鍵技術(shù)難點(diǎn)主要是:在對(duì)大型構(gòu)件和設(shè)備的監(jiān)測(cè)過(guò)程中會(huì)產(chǎn)生大量冗余數(shù)據(jù)，導(dǎo)致計(jì)算機(jī)處理數(shù)據(jù)量大、工作效率低下等問(wèn)題，并且對(duì)于環(huán)境照明條件的突然變化，會(huì)導(dǎo)致動(dòng)態(tài)視覺(jué)測(cè)量失效的問(wèn)題。
[0005]實(shí)時(shí)背景剪除技術(shù)，在視頻，跟蹤，探測(cè)和實(shí)物放大系統(tǒng)中都是一個(gè)難題。之前在視頻處理上的研究已經(jīng)取得了很大的成果，但很少涉及光照條件突然變化的情況。在之前的研究中，背景保留技術(shù)可以通過(guò)更新背景模型來(lái)處理逐漸改變的光照條件，但在光照條件突然發(fā)生改變的時(shí)，這種方法會(huì)失效。


【發(fā)明內(nèi)容】

[0006]有鑒于此，本發(fā)明的主要目的在于一種基于圖像背景剪除的動(dòng)態(tài)視覺(jué)測(cè)量方法，其解決了現(xiàn)有動(dòng)態(tài)視覺(jué)測(cè)量中由于高分辨率視頻圖像信息量大、圖像的傳輸和處理比較困難的問(wèn)題，在保證了動(dòng)態(tài)視頻測(cè)量的精度的前提下，提高了動(dòng)態(tài)測(cè)量的效率。并且本發(fā)明所涉及的圖像背景剪除技術(shù)能夠有效的克服測(cè)量環(huán)境中光照條件的變化，獲取測(cè)量點(diǎn)的圖像信息。
[0007]圍繞被測(cè)物體布置多個(gè)視覺(jué)測(cè)量站，從不同的角度對(duì)目標(biāo)進(jìn)行拍攝，并對(duì)被測(cè)物所需的測(cè)量點(diǎn)行全局標(biāo)定，建立全局坐標(biāo)系。對(duì)測(cè)量場(chǎng)內(nèi)物體進(jìn)行連續(xù)測(cè)量。測(cè)量主要包括長(zhǎng)度測(cè)量和位移測(cè)量，也可以進(jìn)行位姿測(cè)量。
[0008]在測(cè)量過(guò)程中，測(cè)量場(chǎng)內(nèi)景物在視覺(jué)測(cè)量站的投影包括被測(cè)物體及其背景。測(cè)量的主要依據(jù)是被測(cè)物體，特別是測(cè)量靶標(biāo)在視覺(jué)測(cè)量站中的投影，形成圖像中的前景圖像；測(cè)量場(chǎng)內(nèi)其它物體的投影形成圖像中的背景圖像。其中背景圖像所占區(qū)域較大，對(duì)數(shù)據(jù)傳輸及測(cè)量速度等有負(fù)面影響。為此，本發(fā)明提出使用背景剪除方法去除背景圖像，保留前景圖像。
[0009]在動(dòng)態(tài)測(cè)量過(guò)程中，被測(cè)物體的移動(dòng)將造成圖像的變化；而由于光照等方面的影響，背景圖像也會(huì)發(fā)生變化。本發(fā)明的特點(diǎn)在于將不同的變化區(qū)分開(kāi)來(lái)。特別是測(cè)量場(chǎng)內(nèi)光照發(fā)生突然變化時(shí)，前景圖像和背景圖像都將發(fā)生巨大變化，采用傳統(tǒng)的背景剪除難以進(jìn)行前景和背景的區(qū)分。本發(fā)明提出的背景剪除方法能夠在測(cè)量場(chǎng)內(nèi)光照發(fā)生突然變化時(shí)，保持對(duì)背景和前景的建模過(guò)程，保證前景和背景圖像的區(qū)分。
[0010]在測(cè)量過(guò)程中，攝像機(jī)位置保持不變，其視場(chǎng)范圍亦保持不變。在測(cè)量場(chǎng)內(nèi)每個(gè)攝像機(jī)的背景剪除算法在各個(gè)采集的圖像序列中進(jìn)行。不同攝像機(jī)背景剪除后的結(jié)果在特征匹配過(guò)程中進(jìn)行對(duì)應(yīng)，隨即采用立體視覺(jué)算法，計(jì)算測(cè)量靶標(biāo)坐標(biāo)。
[0011]根據(jù)本發(fā)明的實(shí)施例，提供了一種基于圖像背景剪除的動(dòng)態(tài)視覺(jué)測(cè)量方法，其中，圍繞測(cè)量場(chǎng)布置有攝像機(jī)，所述攝像機(jī)具有固定的拍攝視野，所述方法包括以下步驟:步驟1、所述攝像機(jī)拍攝當(dāng)前圖像；步驟2、將所述當(dāng)前圖像與對(duì)應(yīng)于先前光照條件的背景圖像進(jìn)行對(duì)應(yīng)像素的像素值相減，將相減結(jié)果大于第一預(yù)定閾值的像素判定為前景像素，將相減結(jié)果不大于第一預(yù)定閾值的像素判定為背景像素；步驟3、根據(jù)當(dāng)前圖像的前景像素的數(shù)目占總像素?cái)?shù)目的比例、以及當(dāng)前圖像相對(duì)于所述背景模型的變化的梯度方向的一致性，判定當(dāng)前光照條件是否相對(duì)于先前光照條件而發(fā)生變化；步驟4、如果當(dāng)前光照條件相對(duì)于先前光照條件而發(fā)生變化，則重建對(duì)應(yīng)于當(dāng)前光照條件的背景圖像。
[0012]本發(fā)明的有益效果主要在于:提出了一種將圖像背景剪除過(guò)濾技術(shù)，其應(yīng)用到對(duì)大型構(gòu)件和設(shè)備的視覺(jué)測(cè)量過(guò)程中，即，在對(duì)監(jiān)測(cè)信息數(shù)據(jù)處理前對(duì)所監(jiān)測(cè)到的圖像數(shù)據(jù)進(jìn)行過(guò)濾(剪除背景部分)，剔除大量的冗余數(shù)據(jù)，從而縮短計(jì)算機(jī)處理圖像數(shù)據(jù)的時(shí)間，提高視覺(jué)測(cè)量技術(shù)的工作效率，并且通過(guò)背景圖像模型的重建，還能有效地克服因周?chē)h(huán)境照明條件的突然變化而引起的測(cè)量失效的問(wèn)題。

【專利附圖】

【附圖說(shuō)明】
[0013]圖1為根據(jù)本發(fā)明的實(shí)施例的基于圖像背景剪除的動(dòng)態(tài)視覺(jué)測(cè)量方法的示意流程圖。
[0014]圖2至4為根據(jù)本發(fā)明的實(shí)施例的期望最大化方法的示意流程圖。
[0015]圖5和6用來(lái)示出根據(jù)本發(fā)明的實(shí)施例的動(dòng)態(tài)視覺(jué)測(cè)量方法的預(yù)分類(lèi)過(guò)程所采用的摩斯理論的原理。

【具體實(shí)施方式】
[0016]下面，結(jié)合附圖對(duì)技術(shù)方案的實(shí)施作進(jìn)一步的詳細(xì)描述。
[0017]本領(lǐng)域的技術(shù)人員能夠理解，盡管以下的說(shuō)明涉及到有關(guān)本發(fā)明的實(shí)施例的很多技術(shù)細(xì)節(jié)，但這僅為用來(lái)說(shuō)明本發(fā)明的原理的示例、而不意味著任何限制。本發(fā)明能夠適用于不同于以下例舉的技術(shù)細(xì)節(jié)之外的場(chǎng)合，只要它們不背離本發(fā)明的原理和精神即可。
[0018]另外，為了避免使本說(shuō)明書(shū)的描述限于冗繁，在本說(shuō)明書(shū)中的描述中，可能對(duì)可在現(xiàn)有技術(shù)資料中獲得的部分技術(shù)細(xì)節(jié)進(jìn)行了省略、簡(jiǎn)化、變通等處理，這對(duì)于本領(lǐng)域的技術(shù)人員來(lái)說(shuō)是可以理解的，并且這不會(huì)影響本說(shuō)明書(shū)的公開(kāi)充分性。
[0019]背景剪除旨在將圖像像素分為背景和前景，這種分類(lèi)的依據(jù)是物體和背景表面的不同。一張圖像中場(chǎng)景點(diǎn)的顏色是靠它的反射率和照明所決定的。反射率是一個(gè)物體的固有屬性，不會(huì)隨著照明條件的改變而改變。而背景中的場(chǎng)景點(diǎn)卻只被照明條件的變化所影響。如果一個(gè)前景中的物體阻擋了背景中的場(chǎng)景點(diǎn)，那么反射率和照明條件都會(huì)被改變。相對(duì)于背景來(lái)說(shuō)相關(guān)比率比較明顯，因此可以通過(guò)圖像照明比率來(lái)預(yù)分類(lèi)圖像像素為前景和后景。根據(jù)本發(fā)明的實(shí)施例，基于摩斯理論的原理，在照明比圖像中進(jìn)行持續(xù)性拓?fù)溥\(yùn)算，從而完成圖像前景和背景的預(yù)分類(lèi)。在預(yù)分類(lèi)階段是有錯(cuò)誤存在的，但可以通過(guò)期望值最大化(EM)將錯(cuò)誤最大程度地去除。
[0020]在期望值最大化構(gòu)架中，可以處理突然的光照條件改變。一種期望值最大化算法可以在輸入樣本的一系列變量的責(zé)任值分配和一些統(tǒng)計(jì)模型的參數(shù)估計(jì)間轉(zhuǎn)換。因?yàn)槠鋬?yōu)良的特性，期望值最大化已經(jīng)被廣泛地應(yīng)用到背景剪除中。根據(jù)本發(fā)明的實(shí)施例，利用高斯混合模型描述前景中的像素，用另一個(gè)高斯混合模型描述背景中的照明比率?；谇笆鲱A(yù)分類(lèi)結(jié)果，可以計(jì)算高斯混合模型成分的責(zé)任值分配，然后對(duì)高斯混合模型的參數(shù)值進(jìn)行估計(jì)。
[0021]初始化在期望值最大化計(jì)算中非常重要。預(yù)分類(lèi)結(jié)果只被應(yīng)用在了第一次最大期望步驟上，在后面反復(fù)迭代的期望步驟上，沒(méi)有在涉及到概率分布的分解。因此，在初始化中的錯(cuò)誤并不會(huì)影響接下來(lái)的期望值最大化反復(fù)，實(shí)驗(yàn)結(jié)果證實(shí)，此種構(gòu)想得出了很好的結(jié)果。
[0022]下面參照?qǐng)D1來(lái)具體說(shuō)明根據(jù)本發(fā)明的實(shí)施例的基于圖像背景剪除的動(dòng)態(tài)視覺(jué)測(cè)量方法的實(shí)現(xiàn)。
[0023]首先，在初始化階段(其在初始光照條件下進(jìn)行)，測(cè)量場(chǎng)內(nèi)沒(méi)有被測(cè)物體。此時(shí)，每個(gè)攝像機(jī)(單個(gè)或多個(gè)攝像機(jī))各自獲取多幅圖像，各自基于其獲取的圖像，建立背景模型(即，初始光照條件下的背景圖像)。在背景模型中，每個(gè)像素的像素值具有紅(r)、綠(g)、藍(lán)(b)三個(gè)通道值，這三個(gè)通道值分別是多幅圖像的相應(yīng)像素的相應(yīng)通道值的中值(或均值)。在測(cè)量初始化階段，每個(gè)攝像機(jī)可以獲得101至201幅圖像。獲取圖像的數(shù)目為奇數(shù)，以便于進(jìn)行上述中值計(jì)算。
[0024]之后，被測(cè)物體進(jìn)入測(cè)量場(chǎng)，S卩，被測(cè)物體完整出現(xiàn)在各個(gè)攝像機(jī)的拍攝視野中。在被測(cè)物體進(jìn)入測(cè)量場(chǎng)之后，在各個(gè)攝像機(jī)的圖像中得到相應(yīng)的圖像(投影)。之后，在初始光照條件下，根據(jù)在初始化階段生成的背景模型、以及當(dāng)前獲得的圖像，可以進(jìn)行背景剪除。背景剪除的輸入是背景模型和當(dāng)前圖像，其輸出是二值圖像(背景剪除結(jié)果圖像，例如，黑白圖像)。二值圖像表示圖像中相應(yīng)像素點(diǎn)屬于圖像前景或者圖像背景。具體地，在背景剪除的過(guò)程中，可以將背景模型和當(dāng)前圖像的對(duì)應(yīng)像素(同一位置的像素)的像素值相減，如果差(所述當(dāng)前圖像與所述背景圖像的對(duì)應(yīng)像素的紅(r)、綠(g)、藍(lán)(b)三個(gè)通道值的差值的絕對(duì)值之和)超過(guò)閾值，則該像素在背景剪除結(jié)果圖像中的像素值為1(或其他值，例如255)，即表示該像素屬于圖像前景；否則，該像素在背景剪除結(jié)果圖像中的像素值為O (或其他值)，即表示該像素屬于圖像背景。
[0025]至此，進(jìn)行了在初始光照條件下的初始背景模型的建立，完成了初始化階段。
[0026]接下來(lái)進(jìn)入實(shí)際測(cè)量階段。如果光照條件未發(fā)生變化(仍處于初始光照條件下)，則仍可以根據(jù)初始背景模型、以及當(dāng)前獲得的圖像，進(jìn)行背景剪除。
[0027]另一方面，如果初始光照條件發(fā)生改變，那么，由于實(shí)際圖像背景與在初始化階段生成的背景模型存在差異，若仍使用在初始化階段生成的背景模型進(jìn)行上述背景剪除，獲得的二值圖像很可能包含錯(cuò)誤，即，某些像素被錯(cuò)誤地劃分為圖像前景或圖像背景。例如，在被測(cè)物體及其背景圖像在攝像機(jī)的拍攝圖像中都發(fā)生較大變化(亮度變化)的情況下，在進(jìn)行背景剪除時(shí)，當(dāng)前拍攝圖像與初始背景模型的對(duì)應(yīng)像素之間的像素值的差很可能大于閾值，導(dǎo)致在背景剪除結(jié)果(二值圖像)中的大部分像素將為1，即，大部分圖像區(qū)域都將被分類(lèi)為前景，而這是不符合實(shí)際情況的。
[0028]作為示例，對(duì)于環(huán)境光照是否變化，可以根據(jù)背景剪除結(jié)果來(lái)確定。具體地，如果采用當(dāng)前背景模型(其可為初始背景模型、或者之后重建的新背景模型)的背景剪除結(jié)果中，前景區(qū)域的像素?cái)?shù)目占圖像像素總數(shù)的比率超過(guò)閾值、且當(dāng)前拍攝圖像相對(duì)于當(dāng)前背景模型的變化的梯度方向一致(圖像每一個(gè)像素的像素值變化梯度一致性，梯度的變化一致性由梯度方向一致的像素?cái)?shù)衡量。這里，如果圖像發(fā)生變化的原因是前景，像素值的梯度方向很難保持一致。)，則判定測(cè)量場(chǎng)內(nèi)的環(huán)境光照發(fā)生變化。否則，判定測(cè)量場(chǎng)內(nèi)的環(huán)境光照未發(fā)生變化。
[0029]在測(cè)量場(chǎng)環(huán)境光照發(fā)生變化時(shí)，需要對(duì)背景模型進(jìn)行重建，使得背景模型與當(dāng)前光照情況相符合，即，生成新的適于當(dāng)前光照條件的背景模型。反之，如果光照情況未發(fā)生變化，背景剪除的結(jié)果即可用于測(cè)量。根據(jù)背景剪除的結(jié)果來(lái)判斷環(huán)境光照是否變化，可以大幅降低計(jì)算量，并且對(duì)被測(cè)物體的變化及時(shí)感知。
[0030]如上所述，在測(cè)量場(chǎng)光照情況發(fā)生變化時(shí)需要進(jìn)行背景重建，其輸入為當(dāng)前背景模型和當(dāng)前獲取的圖像。背景模型重建通過(guò)期望值最大化(EM)方法(例如，參見(jiàn)參考文獻(xiàn)3、4)進(jìn)行。
[0031]下面描述背景模型的重建過(guò)程。
[0032]首先，計(jì)算當(dāng)前圖像相對(duì)于初始背景模型的光照比，生成當(dāng)前的光照比圖像，然后，利用拓?fù)浞椒▽?duì)光照比圖像進(jìn)行預(yù)分類(lèi)(例如，通過(guò)采用摩斯理論的預(yù)分類(lèi)方法)，光照比圖像的所有像素被分為前景像素和背景像素，生成初始的光照比高斯混合模型、以及前景像素的高斯混合模型(模型的初始參數(shù))(可參見(jiàn)參考文獻(xiàn)5中的方法，在光照發(fā)生劇烈變化時(shí)，根據(jù)最大期望值方法計(jì)算所得的光照比高斯混合模型的參數(shù)，對(duì)背景模型進(jìn)行重建。)。在光照條件發(fā)生變化時(shí)，背景模型中每個(gè)像素的高斯混合模型需要進(jìn)行重建。其中光照比高斯混合模型描述了當(dāng)前圖像相對(duì)于初始背景模型的光照變化分布。由于預(yù)分類(lèi)的結(jié)果可能包含某些像素的誤分類(lèi)，為了消除誤分類(lèi)，使用期望值最大化(EM)方法，對(duì)高斯混合模型重建，即，通過(guò)EM方法，將通過(guò)上述預(yù)分類(lèi)得到的初始的模型參數(shù)收斂到理想值，從而生成全局光照比高斯混合模型的參數(shù)，包括其平均值和方差等。
[0033]下面舉例說(shuō)明上面各個(gè)步驟的實(shí)現(xiàn)過(guò)程。
[0034]I)光照比的計(jì)算:
[0035]設(shè)和餌，丄={1，2，...，n}是初始背景模型圖像m和當(dāng)前輸入圖像U的像素向量，其中會(huì)有一系列潛在的可變因素{Υ? = {1，2，...，η}，1 = I(Yi = O)表示像素i是在前景中。圖像中的像素值是反射率Qi和照明率Ki的乘積結(jié)果:? = QiKi
[0036]其中是，Ki是 3X3 對(duì)角矩陣，Qi e R3，Hi e R3。
[0037]背景和輸入圖像有不同的照明條件。計(jì)算在兩種像素間的照明比率，一張形成背景和一張形成輸入圖像。
[0038]
[0039]如果一個(gè)像素在背景中，那么反射特性應(yīng)該是Qiim = Qiill0因此比率是:
κ.Γ
[0040]Rl=-TTiTF
K1.J
[0041]其中It是一個(gè)3X1的向量。
[0042]如果一個(gè)像素在前景中，比率會(huì)被反射率和照明的不同所影響，而且在比率圖像和背景點(diǎn)對(duì)比中會(huì)很顯著。雖然背景點(diǎn)在前景中和它們?cè)诒尘爸袝?huì)有很相似的反射率，但是這情況在所有的背景去除方法中是不同的。
[0043]2)預(yù)分類(lèi)
[0044]利用照明比圖像，來(lái)將圖像像素預(yù)分類(lèi)為前景和背景。前景區(qū)域在比率圖像中通常是是明顯的。比率圖像由一個(gè)3X1的向量構(gòu)成《=(<，片，，其中(r、g、b)指RGB
通道。通過(guò)計(jì)算三個(gè)通道中的最大值，將照明比圖像轉(zhuǎn)換成I維:
[0045]Rf ,R^')
[0046]最大通道很好地描述了前景區(qū)域。
[0047]接下來(lái)，利用一個(gè)拓?fù)涞姆椒?例如，根據(jù)摩斯理論(Morse theory，參見(jiàn)參考文獻(xiàn)I和2))來(lái)對(duì)Amax進(jìn)行預(yù)分類(lèi)。
[0048]摩斯理論將具有多種用途的函數(shù)運(yùn)用到有多種用途的拓?fù)鋵W(xué)上。如果摩斯函數(shù)所有的關(guān)鍵點(diǎn)都是非退化的，一個(gè)光滑的映射關(guān)系M— R表示:一個(gè)流形協(xié)議M就是摩斯函數(shù)，對(duì)于一個(gè)函數(shù)的關(guān)鍵點(diǎn)，在這些關(guān)鍵點(diǎn)上函數(shù)的差異都消失了或者不存在了，例如一個(gè)已給出的最大值和最小值，在它們之間的一些列點(diǎn)屬于一個(gè)平穩(wěn)的流形(簡(jiǎn)單地說(shuō)，流形是拓?fù)浣Y(jié)構(gòu)與微分幾何)。在圖5中展示了平穩(wěn)和不平穩(wěn)的流形。這里還會(huì)有一些不平穩(wěn)的流形(如果這些點(diǎn)穿過(guò)了最小值)?？梢愿鶕?jù)這些關(guān)鍵點(diǎn)間的關(guān)系給出標(biāo)簽。像在圖6中展示的，這些操作有創(chuàng)建、復(fù)制和取消。具體地，預(yù)分類(lèi)可包括以下步驟:第一步，計(jì)算每個(gè)像素的最大照明比，即，每一個(gè)圖像像素的三個(gè)通道分別有其照明比，在三個(gè)照明比中取最大值。第二步，密度估計(jì)。在照明比圖像中，求每一個(gè)3x3窗口的像素的最大照明比的均值(即，最大照明比之和除以9)，作為此窗口的近似密度估計(jì)值。第三步，對(duì)所有窗口的密度估計(jì)值進(jìn)行排序。第四步，在密度估計(jì)值的排序基礎(chǔ)上，進(jìn)行流形計(jì)算，同時(shí)從最小密度估計(jì)值和最大密度估計(jì)值開(kāi)始，利用摩斯理論進(jìn)行拓?fù)溆?jì)算，直到從最小密度估計(jì)值開(kāi)始估計(jì)的流形的最大密度估計(jì)值、與從最大密度估計(jì)值開(kāi)始估計(jì)的流形的最小密度估計(jì)值相等為止，得到每個(gè)窗口所屬的流形(從而每個(gè)像素所屬的流形，密度估計(jì)是根據(jù)每個(gè)窗口的均值獲得。)。第五步，根據(jù)上一步的輸出(拓?fù)?，利用摩斯理論計(jì)算每個(gè)流形的穩(wěn)定性，從而確定前景和背景的預(yù)分類(lèi)(確定每個(gè)窗口(每個(gè)像素)是否處于穩(wěn)定流形中，如果是屬于穩(wěn)定流形，那么，相應(yīng)的像素分類(lèi)為背景；反之，相應(yīng)像素分類(lèi)為背景。)，具體地，前景的流形穩(wěn)定性小于背景的流形穩(wěn)定性。流形的穩(wěn)定性可由摩斯理論中的關(guān)鍵點(diǎn)數(shù)目(有關(guān)關(guān)鍵點(diǎn)的定義及計(jì)算方法，可參見(jiàn)參考文獻(xiàn)I和2)表示。關(guān)鍵點(diǎn)數(shù)目多，流形屬于非穩(wěn)定流形；與此相對(duì)應(yīng)，流形中關(guān)鍵點(diǎn)少，即為穩(wěn)定流形。背景的流形是穩(wěn)定流形；而前景是非穩(wěn)定流形。
[0049]利用高斯轉(zhuǎn)換實(shí)現(xiàn)了密度的近似估計(jì)，這種方法很高效，估計(jì)結(jié)果很正常并且分別儲(chǔ)存在文件中。我們從最大值到最小值進(jìn)行密度估計(jì)，繼續(xù)計(jì)算關(guān)鍵點(diǎn)間的連續(xù)性。在開(kāi)始的時(shí)候，出現(xiàn)了一些穩(wěn)定的拓?fù)浣Y(jié)構(gòu)。在一些凸起的成分出現(xiàn)過(guò)后，拓?fù)浣Y(jié)構(gòu)慢慢趨于平緩直到一些不知名的成分出現(xiàn)后。同時(shí)，我們也從最小值開(kāi)始密度估計(jì)，從最大值和最小值開(kāi)始的拓?fù)涠己芷椒€(wěn)，并且在某些特定的比率特性點(diǎn)達(dá)到了一致。
[0050]將平穩(wěn)拓?fù)浞诸?lèi)明顯區(qū)域作為前景區(qū)域，許多小區(qū)域在噪聲中被分離出包含到預(yù)分類(lèi)結(jié)果中，并在預(yù)分類(lèi)中將這些剪除。預(yù)分類(lèi)的結(jié)果用u (y I RiJ來(lái)表示。
[0051]預(yù)分類(lèi)的結(jié)果通常都包含錯(cuò)誤，這是可想而知的，因?yàn)樵谟行┣闆r下照明條件是沒(méi)有區(qū)別的。不過(guò)這些錯(cuò)誤能在期望值最大化反復(fù)中被剪除，
[0052]3)期望最大化方法
[0053]下面參照?qǐng)D2至圖4來(lái)描述期望最大化方法(可參見(jiàn)參考文獻(xiàn)3、4)。
[0054]第一步，顏色和照明比表示。
[0055]用帶有成分C的GMM表示前景外貌:
[0056]o(Hi u \Υ?λ^) - ? PMiHi u |Λ ,Σ )


c=l
[0057]這里λ。和Σ。分別是GMM的平均數(shù)和協(xié)方差矩陣；β。是Cth的矩陣權(quán)重；M(Hi；u| λ。，Σ。)是3維高斯變量pdf。
[0058]同樣，用帶有成分[的GMM來(lái)表征背景中的比率圖像:
[0059]OiRi |.ν?Λ,Σ) = Σ A MiRj \λ,Σ )


c=c+\
[0060]因?yàn)榍熬癎MM無(wú)法覆蓋一些像素，所以必須統(tǒng)一分配來(lái)統(tǒng)計(jì)前景中的模糊像素。


I
模糊像素的發(fā)生概率為i用下式來(lái)定義統(tǒng)一分配。

β +7+1
[0061]^//,,,Ιν,,Λ,Σ) = ^——

256^
[0062]下面進(jìn)行期望值最大化推理過(guò)程。期望值最大化推理的目的是為了計(jì)算變量的條件概率，推理過(guò)程被確切地闡述為最大可能估計(jì):
[0063]P* = arg max log Π Σ ο{,RnYi |ρ)


i i
[0064]其中:ρ= {λ，Σ, β }
[0065]第二步，期望化。
[0066]E步計(jì)算了相關(guān)于i點(diǎn)的每一個(gè)成分的回應(yīng)，并且提高了輔助分配p(t+1)=argmax, ι (p, P ω)的可能性。這里t (p，P ω)是t_th反復(fù)中可能性最低的界限。p是作為 P (y I R, Hu, P ) = ο (y I R, Hu, P ω)的最佳選擇。
[0067]在第一次反復(fù)E步中，參數(shù)P是未知的，通過(guò)介紹預(yù)分類(lèi)結(jié)果來(lái)初始化期望值最大化。基于近似前景概率和GMM的統(tǒng)一初始化來(lái)計(jì)算高斯混合模型的責(zé)任值，并以此來(lái)描述前景外貌:
[0068]q(::L = ~β(:]Μ(Η,Μ μΓ,ΣΓΜν =
[0069]這里Mi是后來(lái)給出的正常因素。
[0070]然后，通過(guò)計(jì)算高斯混合模型的責(zé)任值來(lái)描述背景中的照明比率:
[0071]= 士彥。球),Σ(>(戶0|',)
[0072]這里I是函數(shù)行列式Ri (Hi；u)的決定因素，以此來(lái)完成Pdf (概率密度函數(shù))。
[0073]還可以根據(jù)統(tǒng)一分配來(lái)計(jì)算模糊像素的責(zé)任值:
[0074]=^U(}? = 1IU
[0075]這個(gè)正常因素是通過(guò)= Σ::ΓΓ+1 ql'f}來(lái)計(jì)算的。
[0076]在期望值最大化的第一次反復(fù)后，Θ的參數(shù)在M步中被估計(jì)出。在下面的反復(fù)中，E步可以不包含預(yù)分類(lèi)結(jié)果u (y I U。責(zé)任值是通過(guò)以下的式子來(lái)計(jì)算的。
[0077]= ^βΙηΜ(Η?Μ |Λ(?,,Σ<?
[0078]CH1 C+Z- = 士頌 |Α?
[0079]CkWc+i, = 把L.
[0080]第三步，最大化。
[0081]參見(jiàn)圖4，基于在E步計(jì)算出來(lái)的責(zé)任值，可以算出期望的價(jià)值被完成的可能性。組成矩陣的權(quán)重可以通過(guò)下式算出:
γη "(沖
[0082]β^ι+1) = /?r
1m
[0083]可以通過(guò)下式估計(jì)出前景高斯混合模型的向量平均值:
[0084]Λ(/+1> =去 Σ quhHuu
Mc
[0085]前景中高斯混合模型的協(xié)方差矩陣是通過(guò)下式計(jì)算的
[0086]
Σ{?Α> = — tq{,+l)(H.-λ )(Η.-λ )τ

CΛ rh,c V I,Uc/V IMC,

Mc
[0087]同樣，背景中高斯混合模型的平均值和協(xié)方差矩陣是通過(guò)下式計(jì)算的:
[0088]K+1 =

Mc ?=ι
[0089]Σ</+1 * = —- Σ q(if] (R1- Λ.\ f

Mc ?'=1
[0090]矩陣組成部分的權(quán)重是通過(guò)下式來(lái)計(jì)算的:
[0091]Mc=Tq^l>

i=l ’
[0092]在背景高斯混合模型中描述的像素概率在t+Ι次反復(fù)后可通過(guò)下式來(lái)計(jì)算:
[0093]o(i+1,(v = l\p\HUi) = tq^+l)
1C=I
[0094]利用得到的光照比高斯混合模型中的三個(gè)通道的平均值，進(jìn)行背景模型重建。
[0095]之后，利用重建的背景模型，對(duì)環(huán)境光照變化后的當(dāng)前輸入圖像進(jìn)行正確的前景與背景分類(lèi)。從而提高視覺(jué)測(cè)量的效率，降低數(shù)據(jù)傳輸及處理的壓力。
[0096]綜上所述，本領(lǐng)域的技術(shù)人員能夠理解，對(duì)本發(fā)明的上述實(shí)施例能夠做出各種修改、變型、以及替換，其均落入如所附權(quán)利要求限定的本發(fā)明的保護(hù)范圍。
[0097]參考文獻(xiàn)列表
[0098]K Milnorj J.:Morse theory.Princeton University Press (1963)
[0099]2、Gyulassyj A.，Bremer, P.T.，Hamannj B.，Pascuccij V.: A practicalapproach to morse — smale complex computat1n.1EEE Trans.Vis.Comput.Graph.14(2008) 1619 - 1626
[0100]3、Dempster, A.P.，Laird, N.M.，Rubin, D.B.:Maximum likelihood fromincomplete data via the em algorithm.Journal of the Royal Statistical Society.Series B (Methodological) 39 (1998) 1 - 38
[0101]4、Neal，R.，Hinton，G.:A view of the EM algorithm that justifiesincremental, sparse, and other variants, Learning in Graphical Model.A BradfordBook (1998)
[0102]5λ Zivkovicj Z., van der Heijdenj F.!Efficient adaptive density estimat1nper image pixel for the task of background subtract1n.Pattern Recognit1nLetters 27(2006)773 - 780。
【權(quán)利要求】
1.一種基于圖像背景剪除的動(dòng)態(tài)視覺(jué)測(cè)量方法，其中，圍繞測(cè)量場(chǎng)布置有攝像機(jī)，所述攝像機(jī)具有固定的拍攝視野，所述動(dòng)態(tài)視覺(jué)測(cè)量方法包括以下步驟: 步驟1、所述攝像機(jī)拍攝當(dāng)前圖像； 步驟2、將所述當(dāng)前圖像與對(duì)應(yīng)于先前光照條件的背景圖像進(jìn)行對(duì)應(yīng)像素的像素值相減，將相減結(jié)果大于第一預(yù)定閾值的像素判定為前景像素，將相減結(jié)果不大于第一預(yù)定閾值的像素判定為背景像素； 步驟3、根據(jù)當(dāng)前圖像的前景像素的數(shù)目占總像素?cái)?shù)目的比例、以及當(dāng)前圖像相對(duì)于所述背景模型的變化的梯度方向的一致性，判定當(dāng)前光照條件是否相對(duì)于先前光照條件而發(fā)生變化； 步驟4、如果當(dāng)前光照條件相對(duì)于先前光照條件而發(fā)生變化，則重建對(duì)應(yīng)于當(dāng)前光照條件的背景圖像。
2.根據(jù)權(quán)利要求1所述的動(dòng)態(tài)視覺(jué)測(cè)量方法，還包括以下步驟: 步驟5、將所述當(dāng)前圖像與對(duì)應(yīng)于當(dāng)前光照條件的重建后的背景圖像進(jìn)行對(duì)應(yīng)像素的像素值相減，將相減結(jié)果大于預(yù)定閾值的像素判定為前景像素，將相減結(jié)果不大于預(yù)定閾值的像素判定為背景像素。
3.根據(jù)權(quán)利要求1所述的動(dòng)態(tài)視覺(jué)測(cè)量方法，其中，在所述步驟3中，如果當(dāng)前圖像的前景像素的數(shù)目占總像素?cái)?shù)目的比例大于第二預(yù)定閾值、且當(dāng)前圖像相對(duì)于所述對(duì)應(yīng)于先前光照條件的背景模型的變化的梯度方向一致，則判定當(dāng)前光照條件是否相對(duì)于先前光照條件而發(fā)生變化。
4.根據(jù)權(quán)利要求1所述的動(dòng)態(tài)視覺(jué)測(cè)量方法，其中，在步驟I之前，還包括以下初始化步驟:在初始光照條件下，所述攝像機(jī)獲取多幅圖像，計(jì)算多幅圖像的各個(gè)像素的紅(r)、綠(g)、藍(lán)(b)三個(gè)通道值的中值，將計(jì)算結(jié)果保存為所述對(duì)應(yīng)于先前光照條件的背景圖像， 其中，在步驟3中，所述相減結(jié)果是所述當(dāng)前圖像與所述背景圖像的對(duì)應(yīng)像素的紅(r)、綠(g)、藍(lán)(b)三個(gè)通道值的差值的絕對(duì)值之和。
5.根據(jù)權(quán)利要求1所述的動(dòng)態(tài)視覺(jué)測(cè)量方法，其中，所述步驟4包括: 步驟41、計(jì)算當(dāng)前圖像相對(duì)于背景圖像的對(duì)應(yīng)像素的像素值的比率，保存作為當(dāng)前的光照比圖像； 步驟42、利用拓?fù)浞椒▽?duì)光照比圖像進(jìn)行預(yù)分類(lèi)，光照比圖像的所有像素被分為前景像素和背景像素，生成初始的光照比高斯混合模型、每個(gè)像素的高斯混合模型以及前景像素的高斯混合模型，其中光照比高斯混合模型描述當(dāng)前圖像相對(duì)于背景圖像的像素值變化分布，前景像素的高斯混合模型用于描述前景像素的分布。
6.根據(jù)權(quán)利要求5所述的動(dòng)態(tài)視覺(jué)測(cè)量方法，其中，所述步驟42包括: 步驟421、在所述光照比圖像中，對(duì)每一個(gè)3x3像素窗口的中的紅(r)、綠(g)、藍(lán)(b)三個(gè)通道值的比率中的最大比率求均值，作為此窗口的近似密度估計(jì)； 步驟422、對(duì)所有密度估計(jì)值進(jìn)行排序； 步驟423、利用摩斯理論，進(jìn)行拓?fù)溆?jì)算，得到每個(gè)窗口中的像素所屬的流形； 步驟424、利用摩斯理論，計(jì)算每個(gè)流形的穩(wěn)定性，將穩(wěn)定性大于第三預(yù)定閾值的流形中的像素預(yù)分類(lèi)為前景，將其余像素預(yù)分類(lèi)為背景。
7.根據(jù)權(quán)利要求5所述的動(dòng)態(tài)視覺(jué)測(cè)量方法，其中，所述步驟4還包括: 步驟43、使用期望值最大化(EM)方法，將通過(guò)所述預(yù)分類(lèi)得到的初始的高斯混合模型的參數(shù)收斂到最終值，從而生成全局光照比高斯混合模型的參數(shù)，包括其平均值和方差等。
8.根據(jù)權(quán)利要求7所述的動(dòng)態(tài)視覺(jué)測(cè)量方法，其中，所述步驟4還包括: 步驟44、使用在步驟43中得到的全局光照比高斯混合模型的紅(r)、綠(g)、藍(lán)(b)三個(gè)通道的平均值，生成所述對(duì)應(yīng)于當(dāng)前光照條件的背景圖像。
9.根據(jù)權(quán)利要求2至8中的一個(gè)所述的動(dòng)態(tài)視覺(jué)測(cè)量方法，其中，所述攝像機(jī)是多個(gè)攝像機(jī)，用來(lái)從不同的角度進(jìn)行拍攝，并基于背景剪除的結(jié)果，進(jìn)行長(zhǎng)度測(cè)量和位移測(cè)量，在特征匹配過(guò)程中進(jìn)行對(duì)應(yīng)，隨即采用立體視覺(jué)算法，計(jì)算測(cè)量靶標(biāo)坐標(biāo)。
【文檔編號(hào)】G06T7/00GK104200473SQ201410443113
【公開(kāi)日】2014年12月10日 申請(qǐng)日期:2014年9月2日 優(yōu)先權(quán)日:2014年9月2日
【發(fā)明者】王君秋, 張振偉, 楊超, 甘志超, 周莉 申請(qǐng)人:中航高科技發(fā)展有限公司, 中國(guó)航空工業(yè)集團(tuán)公司北京長(zhǎng)城航空測(cè)控技術(shù)研究所, 中航高科智能測(cè)控有限公司