基于深度的背景模型更新方法和系統(tǒng)的制作方法
【技術領域】
[0001] 本申請涉及圖像處理領域，且更具體地，涉及基于深度的背景模型更新方法和系 統(tǒng)。
【背景技術】
[0002] 背景建模（并由此進行前景分割）在對象檢測和定位中十分重要。但是，在背景 建模的過程中也存在一些干擾和擾動。一個主要的因素是全局的或局部的光照改變包括但 不限于辦公室區(qū)域內控制作用的開關燈，暫時的燈泡遮擋，W及拉下/收起窗簾等，而送會 導致虛假的前景像素。例如，在光照條件變亮的情況下，可能原本未被背景建模的區(qū)域由于 光照增加而顯露出真實的背景，然而此時由于原本未被背景建模，因此可能將此新增的區(qū) 域錯誤地識別為前景像素，送樣就導致不僅背景模型仍然不正確、且導致錯誤地識別了虛 假的前景像素。
[0003] 圖1示出了現(xiàn)有技術中的由于光照情況突然變化而檢測的錯誤的前景像素的示 意圖。圖1顯示了當光照變亮時出現(xiàn)大量虛假的前景像素。其中，第一列的RGB(Red(紅）、 Green(綠）、Blue(藍））圖像，深度圖像和前景圖像是在較暗光照條件下獲得的，而第二列 的RGB圖像，深度圖像和前景圖像是在較亮光照條件下獲得的?？蒞看到在左圖的圈中，幾 乎沒有像素擁有深度值，送是因為較差的光照使物體表面的紋理難W分辨（或利用立體相 機拍攝的左右圖不匹配），因此將送些不能分辨的像素的深度值設置為0。在光線變亮W 后，該圈內的許多像素在紋理增強的條件下得W分辨而獲得了深度值。送樣，對于送些像素 來說，在暗光照條件下建立的背景模型將不能與在較亮光照下獲取的深度值匹配，導致了 許多如右下圖中所示的虛假前景像素。而送些虛假前景像素對于進一步的檢測和跟蹤來說 是有害的。
[0004] 事實上，許多研究人員已經提出一些在光照改變的條件下改進背景建模的方法。 但大部分方法是針對RGB圖像，W及光照緩慢變化的情形。但是并沒有針對深度圖像、尤其 是光照劇烈變化（如開關等）的情形。因此，本發(fā)明旨在解決或緩解針對深度圖像的由光 照劇烈變化引起的背景建模問題。

【發(fā)明內容】

[0005] 根據(jù)本公開的一個方面，提供一種基于深度的背景模型更新方法，包括：響應于預 定的背景更新條件發(fā)生，接收在預定的背景更新條件發(fā)生之后的一個或多個拍攝的深度圖 像；根據(jù)原始背景模型，得到所述一個或多個拍攝的深度圖像中相比于在預定的背景更新 條件發(fā)生時新增的前景圖像；針對新增的前景圖像中的前景像素，比較當前的深度值和在 預定的背景更新條件發(fā)生之前的深度值；如果當前的深度值大于所述之前的深度值，則將 當前新增的前景像素更新到原始背景模型中作為更新后的背景模型。
[0006] 根據(jù)本公開的另一個方面，提供一種基于深度的背景模型更新系統(tǒng)，包括；接收裝 置，被配置為響應于預定的背景更新條件發(fā)生，接收在預定的背景更新條件發(fā)生之后的一 個或多個拍攝的深度圖像；得到裝置，被配置為根據(jù)原始背景模型，得到所述一個或多個拍 攝的深度圖像中相比于在預定的背景更新條件發(fā)生時新增的前景圖像；比較裝置，被配置 為針對新增的前景圖像中的前景像素，比較當前的深度值和在預定的背景更新條件發(fā)生之 前的深度值；更新裝置，被配置為如果當前的深度值大于所述之前的深度值，則將當前新增 的前景像素更新到原始背景模型中作為更新后的背景模型。
【附圖說明】
[0007] 圖1示出了現(xiàn)有技術中的由于光照情況突然變化而檢測的錯誤的前景像素的示 意圖。
[0008] 圖2示出了應用本發(fā)明的實施例的方法的硬件環(huán)境示例圖。
[0009]圖3示出了根據(jù)本發(fā)明的一個實施例的基于深度的背景模型更新方法的流程圖。
[0010] 圖4示出了根據(jù)本發(fā)明的另一實施例的更具體的基于深度的背景模型更新方法 的流程圖。
[0011] 圖5示出了光照條件變化的亮度增加的示意圖。
[0012] 圖6示出了真實的前景深度和真實的背景深度之間的關系。
[0013] 圖7示出了在光照條件變化后的像素的深度值增加的示意圖。
[0014] 圖8示出了根據(jù)本發(fā)明的一個實施例的基于深度的背景模型更新系統(tǒng)的方框圖。
【具體實施方式】
[0015] 現(xiàn)在將詳細參照本發(fā)明的具體實施例，在附圖中例示了本發(fā)明的例子。盡管將結 合具體實施例描述本發(fā)明，但將理解，不是想要將本發(fā)明限于所述的實施例。相反，想要覆 蓋由所附權利要求限定的在本發(fā)明的精神和范圍內包括的變更、修改和等價物。應注意，送 里描述的方法步驟都可W由任何功能塊或功能布置來實現(xiàn)，且任何功能塊或功能布置可被 實現(xiàn)為物理實體或邏輯實體、或者兩者的組合。
[0016] 為了使本領域技術人員更好地理解本發(fā)明，下面結合附圖和【具體實施方式】對本發(fā) 明作進一步詳細說明。
[0017] W對象識別（鑒別類別）和跟蹤恢復為最終目標，目前背景建模（也即一種前景 分割方法）的方案是十分重要的，因為它能夠提供對象檢測和跟蹤所需的3D投影點。但是， 在送一建模過程中有一些擾動。
[0018] 逐像素的背景建模可W被大致分為靜態(tài)背景建模方法和動態(tài)背景建模方法。在 此，靜態(tài)建模方法W深度圖為輸入，用一個單高斯模型表達一個給定像素處的深度值的均 值即變化量（方差）。而動態(tài)建模WRGB圖像作為輸入，用多高斯模型表達一個像素處的像 素值的變化。顯然，在靜態(tài)背景建模中，單高斯模型的約束使得在送個模型中只有一個峰值 會出現(xiàn)，表達了在一段時間上深度值的統(tǒng)計特性。另一方面，在動態(tài)背景建模中有多個高斯 模型，送些高斯模型的線性組合表達了在一段時間上深度值的統(tǒng)計特性。
[0019] 導致上述問題的原因可能是：理想情況下深度信息是固有的物理距離，不隨光照 而變，但是實際中，較暗的光照將會導致觀測對象的紋理變弱（比如，像素與其局部區(qū)域的 對比度變弱）。從而在視差搜索階段無法匹配左右圖的像素，成為無效點，其深度值可W 被設置為0。利用送種深度圖建立的背景模型（采取在多頓深度圖上逐像素統(tǒng)計均值與方 差），將無法與在光照變亮時突然變得能夠進行左右匹配的無效點重新獲得的較為精確的 深度值相適應。送會進一步產生大量虛假前景點，難W滿足實際應用需求。
[0020] 但是另一方面，在最初始的背景建模完成后，場景中可能會存在移動的對象（如 人），它們是真實的前景像素。因此，需要在消除有光照劇變引起的虛假前景像素的同時保 持真實的前景像素。
[0021] 送實際上并非一個簡單的光照改變的問題。更確切地說，光照改變只是問題的觸 發(fā)因子。如圖1所示，真實的前景像素是由感興趣對象（人）運動產生的，而圖1的右下圖 的圈中的像素（虛假的前景點）是由于光照條件出發(fā)的舊模型和新數(shù)據(jù)的不匹配造成的。 因此，為了實現(xiàn)在場景中進行對象（如人）的檢測送一目標，問題被轉化成；怎樣在消除虛 假的前景像素的同時保持盡可能多的真實前景像素?？紤]兩個極端的情形。一個是去掉全 部前景像素，如果送樣，所有的虛假前景像素都被去掉了。但同時真實的前景像素也損失 了。另一種情形是保持前景像素不變，如果送樣，所有真實的前景像素都被保持，但同時虛 假像素也未能去除。于是送是一個惇論。
[0022] 根據(jù)將要克服的技術問題，需要構建一個光照自適應的方案，它能夠在光照變亮 時去除虛假的前景點的同時維護由于對象運動產生的真正的前景點。
[0023] 解決送個問題有兩個考慮：
[0024] (1)使用某個預定義的條件來觸發(fā)積累過程，W定位新出現(xiàn)的前景像素（例如，一 個光照檢測單元，它僅在檢測到光照有劇烈變亮時、在此時的較為理想條件下、觸發(fā)背景的 更新），然后總是用當前的深度值逐像素地更新背景模型。兩種前景像素將會產生：通過對 象運動產生的真實的前景像素，W及通過光照改變引起的虛假的前景像素。對于送兩類像 素，需要提供一種統(tǒng)一的處理方法，并未對它們進行正式的分類。
[00巧](2)考慮一個物理原理；對于一個給定的像素位置，真實前景的深度總是小于背 景的深度。據(jù)此，在像素水平，對象的運動將可能暴露背景像素，從而留出加大的深度值。送 樣就提供了背景模型更新的目標像素的基礎。
[0026] 根據(jù)基本思路中的考慮，本發(fā)明可W從W下角度出發(fā)：
[0027] (1)檢測預先定義的條件W觸發(fā)定位新出現(xiàn)的前景點的積累；
[0028] (2)逐像素地進行深度比較W消除錯誤的模型更新，也即，僅更新運動的前景像 素。
[0029] 因此，可W使得在較暗光照條件下建立的背景模型在光照條件變好W后進行更 新。因此，在經歷了郝一時期W后將不會有顯著的錯誤的前景像素出現(xiàn)，使得更新的背景模 型對于快速的關照變化魯棒。
[0030] 圖2示出了應用本發(fā)明的實施例的方法的硬件環(huán)境示例圖。
[0031] 如圖2所示，立體相機（例如雙目相機）可W將拍攝到的立體圖像傳輸?shù)浇獯a器， 解碼器可W將其解碼并轉換為任何需要的圖像、例如視差（即深度）圖、灰度圖等，數(shù)字信 號處理器則可W將目標圖像（包括但不限于視差圖、灰度圖）作為輸入，并與存儲設備交互 來進行處理W輸出更新的背景模型和其他相關數(shù)據(jù)到車輛控制模塊，而車輛控制模塊可W 根據(jù)檢測到的目標和其他相關數(shù)據(jù)來進行車輛的控制，例如檢測前景、識別行人、車輛、道 路、自主駕駛等。其中，數(shù)字信號處理器可W連接輸入設備（雙目相機與解碼器）、輸出設備 (車輛控