專利名稱：一種基于背景建模對(duì)雙目視覺圖像的運(yùn)動(dòng)捕捉方法
一種基于背景建模對(duì)雙目視覺圖像的運(yùn)動(dòng)捕捉方法技術(shù)領(lǐng)域
本發(fā)明屬計(jì)算機(jī)視覺技術(shù)和數(shù)字互動(dòng)娛樂領(lǐng)域，涉及一種利用雙目攝像頭和背景 建模技術(shù)完成的背景分割和運(yùn)動(dòng)捕捉的過程。
背景技術(shù)：
運(yùn)動(dòng)捕捉技術(shù)指的是利用計(jì)算機(jī)視覺或者其他手段，能夠?qū)崟r(shí)、準(zhǔn)確地捕捉到人 體的運(yùn)動(dòng)過程。隨著計(jì)算機(jī)軟硬件的發(fā)展和計(jì)算機(jī)用戶需求的提高，運(yùn)動(dòng)捕捉技術(shù)在數(shù)字 娛樂、視頻監(jiān)控、運(yùn)動(dòng)分析等領(lǐng)域里面的作用愈發(fā)明顯。
然而運(yùn)動(dòng)捕捉技術(shù)的發(fā)展也受到各種條件的制約而出現(xiàn)諸多局限性。比如光線的 變化、復(fù)雜的背景以及運(yùn)動(dòng)過程的遮擋等問題。這些因素使得運(yùn)動(dòng)捕捉的過程變得更加的 困難。然而，通過利用雙目視覺的方法進(jìn)行背景分割的結(jié)果，在場(chǎng)景中的前景只有人體的前 提下，運(yùn)動(dòng)捕捉問題將被轉(zhuǎn)化為分析場(chǎng)景的前景輪廓問題，使得計(jì)算量大大簡(jiǎn)化。同時(shí)，在 數(shù)字互動(dòng)娛樂領(lǐng)域，運(yùn)動(dòng)捕捉技術(shù)作為一種視頻交互技術(shù)，也是近年來游戲中人機(jī)交互的 研究熱點(diǎn)。而且攝像頭已經(jīng)成為個(gè)人電腦的通用配備，通用的、沉浸式的人機(jī)交互方式越來 越成為數(shù)字娛樂研究的熱點(diǎn)。所以，基于背景分割技術(shù)的雙目視覺運(yùn)動(dòng)捕捉技術(shù)具有廣泛 的應(yīng)用領(lǐng)域的研究前景。發(fā)明內(nèi)容
本發(fā)明的目的是利用雙目攝像頭得到場(chǎng)景的前景與背景的分割，同時(shí)在此基礎(chǔ)上 完成運(yùn)動(dòng)捕捉的過程。本方法首先對(duì)干凈背景進(jìn)行訓(xùn)練，采集一定幀數(shù)的背景圖片，完成背 景模型的建立。在此基礎(chǔ)上，利用新采集的圖像同背景模型的顏色差異和雙目視覺的深度 信息，完成圖切網(wǎng)絡(luò)圖的建立，并利用動(dòng)態(tài)圖切的方法，對(duì)場(chǎng)景前景和背景進(jìn)行分割。同時(shí) 在分割的基礎(chǔ)上，對(duì)前景的人體進(jìn)行結(jié)構(gòu)的分析，得到上體軀干各個(gè)部分的定位，從而完成 運(yùn)動(dòng)捕捉的過程。
為實(shí)現(xiàn)上述目的，本發(fā)明提供基于背景建模對(duì)雙目視覺圖像的運(yùn)動(dòng)捕捉方法包括 步驟如下
步驟Sl 將雙目攝像頭位置固定，關(guān)閉白平衡，獲取雙目視覺圖像；
步驟S2 對(duì)獲取的雙目視覺圖像，在設(shè)定幀數(shù)的干凈背景圖像下進(jìn)行背景建模， 得到背景模型；
步驟S3 利用計(jì)算機(jī)雙目視覺獲取的雙目深度信息，計(jì)算像素屬于前景和背景的 概率；
步驟S4 利用雙目深度信息和背景建模數(shù)據(jù)和動(dòng)態(tài)圖切算法，將雙目視覺圖像前 景和背景進(jìn)行分割，并提取前景輪廓；
步驟S5 前景輪廓進(jìn)行細(xì)化，確定人體關(guān)鍵點(diǎn)，完成運(yùn)動(dòng)捕捉。
本發(fā)明的積極效果
本發(fā)明利用計(jì)算機(jī)視覺和圖像處理技術(shù)，自然地從場(chǎng)景中分離出前景的人體，并完成上體軀干的運(yùn)動(dòng)捕捉，從而實(shí)現(xiàn)自然的人機(jī)交互。傳統(tǒng)的交互方式的特點(diǎn)是以手接觸 為主，如鼠標(biāo)、鍵盤等。隨著計(jì)算機(jī)視覺技術(shù)的發(fā)展，越來越多的系統(tǒng)通過攝像頭的方法自 然的完成了人機(jī)交互的過程，用戶可以通過視覺的方式更方便地體驗(yàn)到人機(jī)交互的樂趣， 同時(shí)，作為游戲的接口，使得游戲玩家獲得更多的沉浸感。
另外，本發(fā)明利用了雙目視覺的采集和背景模型的建立。雙目視覺的采用主要是 充分利用了深度信息，考慮到前景往往屬于離攝像頭較近的區(qū)域，同時(shí)避免了由陰影、遮擋 導(dǎo)致的分割錯(cuò)誤的問題。另外，建立背景模型可以使得分割的代價(jià)更好的得到計(jì)算，同時(shí)利 用動(dòng)態(tài)圖切的方法，使得分割更加快速。


圖IA是本發(fā)明的整體流程圖1是本發(fā)明的雙目視覺成像圖2是本發(fā)明利用雙目視覺獲取的左圖和右圖以及視差；
圖3是本發(fā)明的圖切算法的最大流或最小割的網(wǎng)絡(luò)流圖4是本發(fā)明的流程圖5是本發(fā)明的一組視頻背景分割的效果圖6是本發(fā)明背景分割結(jié)果的邊界平滑示意圖7是本發(fā)明輪廓的細(xì)化和關(guān)鍵部位提取的結(jié)果。
具體實(shí)施方式
下面將結(jié)合附圖對(duì)本發(fā)明加以詳細(xì)說明，所描述的實(shí)施例僅旨在便于對(duì)本發(fā)明的 理解，而對(duì)其不起任何限定作用。
下面通過實(shí)例進(jìn)一步說明一種基于背景建模的運(yùn)動(dòng)捕捉方法的操作過程。
本實(shí)例的所有代碼均為C++編寫，在Microsoft visual studio 2005環(huán)境下運(yùn) 行，還可以采用其他軟硬件條件，在此不再贅述。
圖IA示出本發(fā)明基于背景建模對(duì)雙目視覺圖像的運(yùn)動(dòng)捕捉方法的整體流程圖。
本發(fā)明基于背景建模對(duì)雙目視覺圖像的運(yùn)動(dòng)捕捉方法，基于雙目視覺和背景分 割，其方法包括步驟如下
步驟Sl 將雙目攝像頭位置固定，關(guān)閉白平衡，獲取雙目視覺圖像；
步驟S2 對(duì)獲取的雙目視覺圖像，在設(shè)定幀數(shù)的干凈背景圖像下進(jìn)行背景建模， 得到背景模型；
步驟S3 利用計(jì)算機(jī)雙目視覺獲取的雙目深度信息，計(jì)算像素屬于前景和背景的 概率；
步驟S4 利用雙目深度信息和背景建模數(shù)據(jù)和動(dòng)態(tài)圖切算法，將雙目視覺圖像前 景和背景進(jìn)行分割，并提取前景輪廓；
步驟S5 前景輪廓進(jìn)行細(xì)化，確定人體關(guān)鍵點(diǎn)，完成運(yùn)動(dòng)捕捉。
根據(jù)步驟S2中所述獲取雙目視覺圖像步驟包括
步驟S211 保證攝像頭的位置固定，場(chǎng)景中沒有明顯的明暗變化；
步驟S212 關(guān)閉攝像頭的自動(dòng)白平衡，在攝像頭的硬件參數(shù)中，一般有自動(dòng)曝光參數(shù)和自動(dòng)白平衡的功能，以便在場(chǎng)景光線變化時(shí)實(shí)現(xiàn)自動(dòng)調(diào)節(jié)圖片質(zhì)量的功能；在背景 建模中，需要設(shè)定白平衡參數(shù)固定；
步驟S213 采集固定幀數(shù)(100幀)的干凈背景圖像，儲(chǔ)存在內(nèi)存中。
根據(jù)步驟S2中所述在設(shè)定幀數(shù)的干凈背景圖像下進(jìn)行背景建模的步驟包括如 下
步驟S221 利用高斯背景模型采集雙目視覺圖像中每一幀的彩色圖像，分別用R， G，B代表紅色，綠色和藍(lán)色三通道的值，取值范圍為0 255 ；
步驟S221 在背景建模過程中獲取了 N個(gè)圖像，每個(gè)圖像包含320X240個(gè)像素， 計(jì)算每個(gè)像素的亮度I和色度(r, g)。其中，r = R/(R+G+B)，g = G/(R+G+B)，R，G，B分別 表示顏色通道中的紅色，綠色和藍(lán)色分量的值；
步驟S221 建立像素級(jí)別的融合背景模型；計(jì)算每個(gè)像素的亮度和色度在N個(gè)圖 像中的均值和方差，并存入內(nèi)存；
步驟S221 在亮度空間建立特征背景模型，在色度空間建立基于的色度模型。將 獲取的色度和亮度空間中的背景模型存入內(nèi)存。
根據(jù)對(duì)步驟S2中所述雙目視覺圖像中的每個(gè)像素的深度數(shù)據(jù)代價(jià)進(jìn)行計(jì)算，得 到每個(gè)像素的深度代價(jià)，從而將雙目深度信息引入，具體步驟包括
步驟231 采集并保存雙目視覺圖像，分別記為左圖像和右圖像；
步驟232 為左圖像的每個(gè)像素設(shè)定一個(gè)深度值，所述深度值用左圖像和右圖像 的視差表示；
步驟233 針對(duì)每個(gè)深度值，計(jì)算左圖像和右圖像的差異代價(jià)；
步驟234:統(tǒng)計(jì)左圖像中的代價(jià)值，并且將左圖像中的代價(jià)值按照所述代價(jià)值的 大小分成四組；
步驟235 將每一組的代價(jià)值對(duì)該像素的前景和背景的代價(jià)進(jìn)行更新，其中屬于 前景的代價(jià)按照對(duì)視差的指數(shù)關(guān)系進(jìn)行減少，背景的代價(jià)按照視差的指數(shù)關(guān)系進(jìn)行增加。
根據(jù)步驟S4中所述利用雙目深度信息和背景建模數(shù)據(jù)和動(dòng)態(tài)圖切算法，將雙目 視覺圖像前景和背景進(jìn)行分割，并提取前景輪廓，具體步驟包括
步驟S41 背景建模結(jié)束后，讀入新讀取的雙目視覺圖像，所述雙目視覺圖像包括 左圖像和右圖像；
步驟S42 利用雙目視覺數(shù)據(jù)代價(jià)獲得的結(jié)果，得到雙目信息的數(shù)據(jù)代價(jià)；
步驟S43 利用背景模型，同左圖的像素進(jìn)行比較，獲得基于色彩代價(jià)值，利用圖 切算法的基本原理，建立最大流或最小割的網(wǎng)絡(luò)流；
步驟S44 利用步驟S42和步驟S43獲得的兩個(gè)數(shù)據(jù)代價(jià)值，得到圖切算法中的數(shù) 據(jù)代價(jià)值；
步驟S45 利用左圖像素之間的對(duì)比度關(guān)系，對(duì)圖切算法中的平滑項(xiàng)進(jìn)行賦值；
步驟S46 利用動(dòng)態(tài)圖切算法，將基于像素層面的視頻流進(jìn)行分割，分割結(jié)果分為 兩部分，一部分為前景，另外一部分為背景。
步驟S47 將分割的前景背景按照0或1存儲(chǔ)在相同大小的圖片中，并將0或1的 前景背景圖片獲得邊緣輪廓；
步驟S48 利用高頻濾波的方式將邊緣去噪，使得邊緣更加平滑；6
步驟S49 利用前幾幀的數(shù)據(jù)對(duì)錯(cuò)誤的分割區(qū)域進(jìn)行校正。
根據(jù)步驟S5利用圖片去噪、細(xì)化方式，獲取人體軀干的關(guān)鍵點(diǎn)，從而實(shí)現(xiàn)運(yùn)動(dòng)捕 捉的效果步驟包括
步驟S51 將經(jīng)過后處理的人體輪廓進(jìn)行縮放；
步驟S52 將縮放的人體輪廓進(jìn)行細(xì)化；
步驟S53 將細(xì)化的人體輪廓進(jìn)行擴(kuò)大，擴(kuò)大到原來的大小；
步驟S54 再次將輪廓進(jìn)行細(xì)化；
步驟S55 找到鄰域像素大于2的節(jié)點(diǎn)，并取其重心值，設(shè)定為人體重心；
步驟S56 沿著重心上下搜索，找到節(jié)點(diǎn)，設(shè)定為頭部和腰部；
步驟S57 沿著重心左右搜索，找到左臂和右臂，并且按照比例和離心率確定肘部 和肩部；
步驟S58 將確定的9個(gè)關(guān)鍵點(diǎn)同前幾幀進(jìn)行比較，獲得較為穩(wěn)定和準(zhǔn)確的人體軀干位置。
如圖1所示的第一步是采集圖像。本方法采用雙目視覺視頻輸入。圖中，(χ,γ,ζ) 表示的是世界坐標(biāo)系的坐標(biāo)；( ，yj和( ，yK)表示同一個(gè)物體在左圖和右圖中的像素坐 標(biāo)。
(1)數(shù)字圖像處理的信息多是二維信息，處理信息量很大。這里的一幅圖像用二維 函數(shù)f (χ，y)表示，其中χ，y是二維坐標(biāo)，f (χ，y)表示點(diǎn)(x，y)點(diǎn)的顏色信息。攝像頭從 空間中采集鏡頭內(nèi)的所有光學(xué)信息，這些信息進(jìn)入計(jì)算機(jī)之后，轉(zhuǎn)換為符合計(jì)算機(jī)標(biāo)準(zhǔn)的 彩色模型，以進(jìn)入程序進(jìn)行數(shù)字圖像處理，并保證視頻的連貫性和實(shí)時(shí)性。從采集的圖像中 對(duì)每一個(gè)像素進(jìn)行處理總共320X240個(gè)像素76800個(gè)像素點(diǎn)。采集的視頻最初效果如圖 1所示。項(xiàng)目隨后的所有的操作和運(yùn)算都是基于這每一幀的320XM0像素。雙目視覺中， 同一個(gè)像素在左右兩圖中成像的位置不同，而位置差異的大小，反映的是圖像的深度。兩個(gè) 像素點(diǎn)的相對(duì)移動(dòng)可以通過像素的匹配計(jì)算出來。本發(fā)明的方法利用這些信息，輔助完成 前景和背景的分割。如圖2所示，雙目信息的利用是用左右兩幅圖匹配的代價(jià)來實(shí)現(xiàn)。其 中P表示的是某像素在左圖中的位置，P+d表示該像素在右圖中的位置，d表示的就是該像 素的視差(Display)。
(2)本發(fā)明在利用雙目深度信息的過程，由兩部分組成。
步驟一在像素xi計(jì)算出的匹配代價(jià)，根據(jù)不同的視差值分成四組(視差d的最 大值設(shè)定為32)
A組像素Xi有最匹配的視差，即最優(yōu)視差(Disparity)，最匹配的程度)d> 16， 表示該像素非常屬于前景；
B組像素Xi有最匹配的視差，即最優(yōu)視差(Disparity)，最匹配的程度)d彡16and d > 12，表示該像素有很大的可能屬于前景；
C組像素Xi有最匹配的視差，即最優(yōu)視差(Disparity)，最匹配的程度)d彡12and d > 5，表示該像素有很大的可能屬于背景；
D組像素Xi有最匹配的視差，即最優(yōu)視差(Disparity)，最匹配的程度)d彡5，表 示該像素非常屬于背景。
在這樣的假設(shè)下，本發(fā)明需要更少的時(shí)間來將像素分成四組，而不是對(duì)每一個(gè)像7素進(jìn)行32個(gè)可能的視差進(jìn)行假設(shè)。
步驟二 為圖切算法設(shè)定合適的數(shù)據(jù)代價(jià)值。本發(fā)明數(shù)據(jù)項(xiàng)分別包括該像素屬于 前景或背景的代價(jià)，分別用Di(B)表示。像素的視差值越大，那么它屬于前景的可 能性越大，于是0“朽的值對(duì)應(yīng)減小,Di (B)的值對(duì)應(yīng)增大。通過這樣的對(duì)應(yīng)關(guān)系，本發(fā)明提 出了一個(gè)對(duì)應(yīng)方案，用如下公式進(jìn)行表達(dá)Diit(F)=Di(F)-Xfi dc'
'’‘入‘‘Dlt(B)=Di(B) + ^- ,c,
對(duì)于所有的t = A，B，C，D，λ t > 0。其中塔⑵)表示的是融入雙目信息的背景模 型數(shù)據(jù)項(xiàng)，分別屬于t=A，B，C，D四組。Di(B)表示的是單目視覺的背景分割數(shù)據(jù)項(xiàng)。Xt 是雙目數(shù)據(jù)代價(jià)的參數(shù)，i表示的是像素坐標(biāo)。K,(巧表示的是融入雙目信息的前景模型數(shù) 據(jù)項(xiàng)。d表示的視差值(Disparity)。ct表示的是控制d的參數(shù)。
如圖3所示，圖切算法的的最大流或最小割的網(wǎng)絡(luò)流圖。其中p，q表示的是相鄰 的兩個(gè)像素。圖4所示的是圖切算法的流程圖，包括前端的賦值和后端的分割部分。
(3)圖切算法是背景分割的重要組成部分，其主要內(nèi)容是利用最大流或最小割的 原理，將圖像中的像素按照一定的路徑進(jìn)行分割，并計(jì)算出哪些分別屬于前景或和背景。
圖像中前景或背景的分割問題，可以視為計(jì)算機(jī)視覺領(lǐng)域里的二元標(biāo)識(shí)問題。如 果像素點(diǎn)i屬于前景，則標(biāo)記這個(gè)像素的標(biāo)簽= F，F(xiàn)指的是前景。同理，如果此像素屬 于背景，則標(biāo)記為fi = B。對(duì)應(yīng)到二值標(biāo)簽問題，標(biāo)號(hào)集僅包含兩個(gè)標(biāo)號(hào)。圖切算法所構(gòu)造 的賦權(quán)圖包含兩個(gè)與之對(duì)應(yīng)的頂點(diǎn)s和t。如圖3所示，圖中，左圖是給出由3X3的原始圖 片構(gòu)造的賦權(quán)圖G，G =〈V，ε >，其中V是頂點(diǎn)集，是由普通節(jié)點(diǎn)及兩個(gè)分別叫做源節(jié)點(diǎn)S 和終止節(jié)點(diǎn)T兩部分組成的。其中S和T分別代表前景和背景的二值標(biāo)簽為頂點(diǎn)ε代表 的是連接頂點(diǎn)的邊，邊的權(quán)值大小在上圖中用簡(jiǎn)化的粗細(xì)來表示。
動(dòng)態(tài)圖切的流程如圖4。能量函數(shù)中包括數(shù)據(jù)項(xiàng)和平滑項(xiàng)，它們的設(shè)置直接影響著 圖切算法最終的分割結(jié)果。圖5表示的是本發(fā)明的幾組視頻分割結(jié)果，其中左側(cè)3幅圖是 輸入視頻中做視頻的左像，右側(cè)3幅圖是分割后的結(jié)果。
(4)本發(fā)明設(shè)計(jì)了一個(gè)頻域內(nèi)的低通濾波器來平滑邊界。沿著邊界曲線C，如圖6 中所示本發(fā)明的邊界平滑的過程的邊緣曲線，左上圖表示輸入源圖像，右上圖表示分割的 結(jié)果；左下圖表示的平花錢的前景或背景的邊緣，右下圖表示的是平滑后的結(jié)果。以一定間 隔采樣得到的點(diǎn)序列ζ(i) = [x(i),y(i)l其復(fù)數(shù)表示形式為
z(i) = x(i)+jy(i)
離散Z (i)的傅立葉變換為1 K-I
/(μ) =-XΛ /:0
式中，j，u，K分別表示復(fù)數(shù)符號(hào)，頻率和常數(shù)項(xiàng)，f(u)是z(i)的傅立葉變換，稱為 邊界的傅立葉描繪子，是邊界點(diǎn)序列在頻域中的表示。由傅立葉變換理論可知，高頻分量包 含細(xì)節(jié)，低頻分量決定整體形狀。曲線因?yàn)橛忻滩挪还饣?，這些不光滑區(qū)域含有高頻分 量。對(duì)f(u)的高頻部分進(jìn)行濾波就可以得到光滑曲線。本發(fā)明定義低頻能量比并濾除5% 的高頻能量8
其中I · I為取模運(yùn)算。取使r (1) > 0. 95成立的最小1值為低通濾波器的截止 頻率。利用傅立葉系數(shù)的性質(zhì)/(/) = 7(￡-1-/) (7是f的共軛復(fù)數(shù))。在系數(shù)f(u)中，消去 從ι到K-1-1范圍內(nèi)的高頻成分。再進(jìn)行傅立葉逆變換，曲線突變的部分得到了平滑。
如圖7所示是本發(fā)明的運(yùn)動(dòng)捕捉結(jié)果，其中左側(cè)圖中是視頻中左圖的兩幀圖像， 右側(cè)是分割結(jié)果已經(jīng)提取的關(guān)鍵點(diǎn)和骨架。關(guān)鍵點(diǎn)已用圓圈表示，骨架用線表示。
(5)本發(fā)明在分割的基礎(chǔ)上的運(yùn)動(dòng)捕捉包括三個(gè)步驟，
步驟一將分割的結(jié)果進(jìn)行后處理，獲得相對(duì)平滑和穩(wěn)定的輪廓區(qū)域，由于涉及到 輪廓分割，所以邊界不需要精確的計(jì)算。在沒要較大空洞的情況下，可以較好的完成本文需 要的骨架運(yùn)動(dòng)跟蹤效果。
步驟二 將分割的輪廓進(jìn)行定位，確定九個(gè)點(diǎn)的基本構(gòu)成。其中包括A1,A2,A3是代 表組，此處A1, A2, A3, A4, A5, A6, A7, A8, A9九個(gè)點(diǎn)。A1, A2, A3分別代表頭部和軀干三個(gè)點(diǎn)，A4, A5, A6和A7, A8, A9分別代表左臂和右臂的三個(gè)點(diǎn)。
步驟三將九個(gè)點(diǎn)安裝骨架輪廓的順序進(jìn)行連接，完成運(yùn)動(dòng)捕捉。
以上所述，僅為本發(fā)明中的具體實(shí)施方式
，但本發(fā)明的保護(hù)范圍并不局限于此，任 何熟悉該技術(shù)的人在本發(fā)明所揭露的技術(shù)范圍內(nèi)，可理解想到的變換或替換，都應(yīng)涵蓋在 本發(fā)明的權(quán)利要求書的保護(hù)范圍之內(nèi)。
權(quán)利要求
1.一種基于背景建模對(duì)雙目視覺圖像的運(yùn)動(dòng)捕捉方法，是基于雙目視覺和背景分割的 方法，其特征在于，包括步驟如下步驟Sl 將雙目攝像頭位置固定，關(guān)閉白平衡，獲取雙目視覺圖像； 步驟S2 對(duì)獲取的雙目視覺圖像，在設(shè)定幀數(shù)的干凈背景圖像下進(jìn)行背景建模，得到 背景模型；步驟S3 利用計(jì)算機(jī)雙目視覺獲取的雙目深度信息，計(jì)算像素屬于前景和背景的概率；步驟S4 利用雙目深度信息和背景建模數(shù)據(jù)和動(dòng)態(tài)圖切算法，將雙目視覺圖像前景和 背景進(jìn)行分割，并提取前景輪廓；步驟S5 前景輪廓進(jìn)行細(xì)化，確定人體關(guān)鍵點(diǎn)，完成運(yùn)動(dòng)捕捉。
2.根據(jù)權(quán)利要求1所述的基于背景建模對(duì)雙目視覺圖像的運(yùn)動(dòng)捕捉方法，其特征在 于步驟S2中所述獲取雙目視覺圖像的步驟包括如下步驟S211 保證攝像頭的位置固定，場(chǎng)景中沒有明顯的明暗變化； 步驟S212:關(guān)閉攝像頭的自動(dòng)白平衡，在攝像頭的硬件參數(shù)中，一般有自動(dòng)曝光參數(shù) 和自動(dòng)白平衡的功能，以便在場(chǎng)景光線變化時(shí)實(shí)現(xiàn)自動(dòng)調(diào)節(jié)圖片質(zhì)量的功能；在背景建模 中，需要設(shè)定白平衡參數(shù)固定；步驟S213 采集固定幀數(shù)干凈背景圖像，儲(chǔ)存在內(nèi)存中。
3.根據(jù)權(quán)利要求1所述的基于背景建模對(duì)雙目視覺圖像的運(yùn)動(dòng)捕捉方法，其特征在 于步驟S2中所述在設(shè)定幀數(shù)的干凈背景圖像下進(jìn)行背景建模的步驟包括如下步驟S221 利用高斯背景模型采集雙目視覺圖像中每一幀的彩色圖像，分別用R，G，B 代表紅色，綠色和藍(lán)色三通道的值，取值范圍為0 255 ；步驟S221 在背景建模過程中獲取了 N個(gè)圖像，每個(gè)圖像包含320X 240個(gè)像素，計(jì)算 每個(gè)像素的亮度I和色度(r，g)，其中，r = R/ (R+G+B)，g = G/ (R+G+B)，R，G，B分別表示顏 色通道中的紅色，綠色和藍(lán)色分量的值；步驟S221 建立像素級(jí)別的融合背景模型；計(jì)算每個(gè)像素的亮度和色度在N個(gè)圖像中 的均值和方差，并存入內(nèi)存；步驟S221 在亮度空間建立特征背景模型，在色度空間建立基于的色度模型，將獲取 的色度和亮度空間中的背景模型存入內(nèi)存。
4.根據(jù)權(quán)利要求1所述的基于背景建模對(duì)雙目視覺圖像的運(yùn)動(dòng)捕捉方法，其特征在 于對(duì)步驟S2中所述雙目視覺圖像中的每個(gè)像素的深度數(shù)據(jù)代價(jià)進(jìn)行計(jì)算，得到每個(gè)像素 的深度代價(jià)，從而將雙目深度信息引入，具體步驟包括如下步驟231 采集并保存雙目視覺圖像，分別記為左圖像和右圖像； 步驟232:為左圖像的每個(gè)像素設(shè)定一個(gè)深度值，所述深度值用左圖像和右圖像的視 差表不；步驟233 針對(duì)每個(gè)深度值，計(jì)算左圖像和右圖像的差異代價(jià)； 步驟234:統(tǒng)計(jì)左圖像中的代價(jià)值，并且將左圖像中的代價(jià)值按照所述代價(jià)值的大小 分成四組；步驟235 將每一組的代價(jià)值對(duì)該像素的前景和背景的代價(jià)進(jìn)行更新，其中屬于前景 的代價(jià)按照對(duì)視差的指數(shù)關(guān)系進(jìn)行減少，背景的代價(jià)按照視差的指數(shù)關(guān)系進(jìn)行增加。
5.根據(jù)權(quán)利要求1所述的基于背景建模對(duì)雙目視覺圖像的運(yùn)動(dòng)捕捉方法，其特征在 于步驟S4所述利用雙目深度信息和背景建模數(shù)據(jù)和動(dòng)態(tài)圖切算法，將雙目視覺圖像前景 和背景進(jìn)行分割，并提取前景輪廓，具體步驟包括如下步驟S41 背景建模結(jié)束后，讀入新讀取的雙目視覺圖像，所述雙目視覺圖像包括左圖 像和右圖像；步驟S42 利用雙目視覺數(shù)據(jù)代價(jià)獲得的結(jié)果，得到雙目信息的數(shù)據(jù)代價(jià)； 步驟S43 利用背景模型，同左圖的像素進(jìn)行比較，獲得基于色彩代價(jià)值，利用圖切算 法的基本原理，建立最大流或最小割的網(wǎng)絡(luò)流；步驟S44 利用步驟S42和步驟S43獲得的兩個(gè)數(shù)據(jù)代價(jià)值，得到圖切算法中的數(shù)據(jù)代 價(jià)值；步驟S45 利用左圖像素之間的對(duì)比度關(guān)系，對(duì)圖切算法中的平滑項(xiàng)進(jìn)行賦值； 步驟S46 利用動(dòng)態(tài)圖切算法，將基于像素層面的視頻流進(jìn)行分割，分割結(jié)果分為兩部 分，一部分為前景，另外一部分為背景；步驟S47 將分割的前景背景按照0或1存儲(chǔ)在相同大小的圖片中，并將0或1的前景 背景圖片獲得邊緣輪廓；步驟S48 利用高頻濾波的方式將邊緣去噪，使得邊緣更加平滑； 步驟S49 利用前幾幀的數(shù)據(jù)對(duì)錯(cuò)誤的分割區(qū)域進(jìn)行校正。
6.根據(jù)權(quán)利要求1所述的基于背景建模對(duì)雙目視覺圖像的運(yùn)動(dòng)捕捉方法，其特征在 于利用圖片去噪、細(xì)化方式，獲取人體軀干的關(guān)鍵點(diǎn)，從而實(shí)現(xiàn)運(yùn)動(dòng)捕捉的效果步驟包括 如下步驟S51 將經(jīng)過后處理的人體輪廓進(jìn)行縮放； 步驟S52 將縮放的人體輪廓進(jìn)行細(xì)化； 步驟S53 將細(xì)化的人體輪廓進(jìn)行擴(kuò)大，擴(kuò)大到原來的大?。?步驟S54 再次將輪廓進(jìn)行細(xì)化；步驟S55 找到鄰域像素大于2的節(jié)點(diǎn)，并取其重心值，設(shè)定為人體重心； 步驟S56 沿著重心上下搜索，找到節(jié)點(diǎn)，設(shè)定為頭部和腰部；步驟S57 沿著重心左右搜索，找到左臂和右臂，并且按照比例和離心率確定肘部和肩部；步驟S58 將確定的9個(gè)關(guān)鍵點(diǎn)同前幾幀進(jìn)行比較，獲得較為穩(wěn)定和準(zhǔn)確的人體軀干位置。
全文摘要
本發(fā)明是一種基于背景分割對(duì)雙目視覺圖像的運(yùn)動(dòng)捕捉方法，可以完成對(duì)于人體作為前景的分割，同時(shí)對(duì)人體的上身軀干部分進(jìn)行運(yùn)動(dòng)捕捉，從而完成人機(jī)交互的效果。本方法是在背景建模的基礎(chǔ)上，通過對(duì)攝像頭采集的干凈背景進(jìn)行高斯模型的建立，然后將采集的視頻同背景模型進(jìn)行比較，并通過雙目攝像頭所獲得的深度信息，將場(chǎng)景的每一個(gè)像素給定一個(gè)屬于前景或背景的概率值，并通過圖切算法完成對(duì)場(chǎng)景前景和背景的分割。在分割前景是人體上身軀干的情況下，通過對(duì)前景輪廓的細(xì)化、去噪和關(guān)鍵點(diǎn)的確定，獲得人體的基本骨架模型，從而完成運(yùn)動(dòng)捕捉的過程。
文檔編號(hào)G06F3/01GK102034247SQ20101060254
公開日2011年4月27日 申請(qǐng)日期2010年12月23日 優(yōu)先權(quán)日2010年12月23日
發(fā)明者時(shí)嶺, 王陽(yáng)生 申請(qǐng)人:中國(guó)科學(xué)院自動(dòng)化研究所