一種利用普通體感相機(jī)非接觸式測量呼吸率的方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種利用普通體感相機(jī)非接觸式測量呼吸率的方法。該方法設(shè)備簡單、安裝攜帶方便，隱蔽性更強(qiáng)，操作簡單，適合于基于呼吸信號的情感非接觸式隱蔽識別。
【背景技術(shù)】
[0002]開發(fā)具有情感的計(jì)算機(jī)系統(tǒng)的關(guān)鍵的一步是使計(jì)算機(jī)能夠識別人類的情感，因此情感識別是情感計(jì)算領(lǐng)域中的重要組成部分。目前情感識別主要依靠面部表情、語音、身體姿勢、生理信號等。但在學(xué)術(shù)論文“心率變異性在身心疾病和情緒障礙研宄中的應(yīng)用(心理學(xué)進(jìn)展，2006，14 (2):261-265)”中，作者提出面部表情、語音、姿勢等容易受到主觀意識的控制。而生理信號由自主神經(jīng)系統(tǒng)和內(nèi)分泌系統(tǒng)支配，很難被人為的抑制，所以能更可靠的反映人的情感狀態(tài)。
[0003]呼吸率是重要的生理信號，對呼吸率的監(jiān)測可以達(dá)到識別情感的目的。例如呼吸率的增加意味著情感的喚起；在學(xué)術(shù)論文“聽覺材料誘發(fā)恐懼情緒下皮膚電阻、呼吸頻率及心率變異性的變化(中華行為醫(yī)學(xué)與腦科學(xué)雜志，2009，2:145-147)”中，作者發(fā)現(xiàn)恐懼情緒可使呼吸率增加。
[0004]目前呼吸率的測量方法可分為接觸式的測量方法和非接觸式的測量方法兩種。接觸式的測量方法要求被試對象佩戴接觸式的傳感器，如纏繞胸帶等。這樣的測量方法會(huì)引起被試的不適，不利于長時(shí)間的測量。在利用呼吸率來識別人類情感的應(yīng)用中，接觸式的測量方法也會(huì)暴露情感識別的意圖，在特定場合(如刑事偵查、面試、談判等)不利于被試表達(dá)真實(shí)的情感。
[0005]利用熱成像設(shè)備或雷達(dá)可以非接觸式的測量呼吸率。但熱成像或大功率雷達(dá)設(shè)備造價(jià)高、體積大、不便于攜帶、隱蔽性差、不利于情感的隱蔽測量。中國公開號為CN102988051A，名稱為“用于計(jì)算機(jī)操作者健康的監(jiān)測裝置及方法”的專利公開文件中采用微功率生物雷達(dá)測量呼吸率，但要求被試者胸部距發(fā)射天線與接受天線間的距離不超過0.5米，這樣的距離也不利于情感的隱蔽測量。

【發(fā)明內(nèi)容】

[0006]本發(fā)明提供一種利用普通體感相機(jī)連續(xù)測量呼吸率的方法，該方法設(shè)備簡單、隱蔽性強(qiáng)，被試與相機(jī)間的距離可在1.2-3.5米范圍內(nèi)，操作簡單，適用于非接觸式情感識別的場合，具有廣闊的發(fā)展空間和應(yīng)用背景。
[0007]為了實(shí)現(xiàn)上述目的，采用以下技術(shù)方案:
A.采集被試處于坐立姿勢的全身深度視頻；
B.利用骨骼點(diǎn)找出被試的胸腔區(qū)域；
C.計(jì)算每一幀中胸腔區(qū)域內(nèi)的所有像素點(diǎn)的深度均值，得到深度均值隨時(shí)間變化的曲線；
D.設(shè)置一個(gè)長度為N秒的時(shí)間窗，當(dāng)數(shù)據(jù)占滿時(shí)間窗時(shí)，時(shí)間窗內(nèi)開始處理數(shù)據(jù)看；之后的時(shí)間窗每次舍棄窗內(nèi)前M秒數(shù)據(jù)，后面新的M秒數(shù)據(jù)補(bǔ)入；其中M與N均為正整數(shù)；
E.對時(shí)間窗內(nèi)深度均值曲線去噪預(yù)處理；
F.提取身體處于非晃動(dòng)時(shí)間段的深度數(shù)據(jù)，將處于正常呼吸周期范圍內(nèi)的呼吸周期取平均值，將均值作為當(dāng)前滑動(dòng)窗輸出的呼吸周期T ;
G.根據(jù)呼吸周期計(jì)算呼吸率RR=60*(1/T)。
[0008]該方法的有益效果是:在實(shí)現(xiàn)非接觸式情感識別時(shí)，被試通常在室內(nèi)采取坐立的姿勢，處于聊天對話、觀看影像、閱讀等場景中。這時(shí)被試處于相對靜止、或左右晃動(dòng)、或前后晃動(dòng)的運(yùn)動(dòng)狀態(tài)。本發(fā)明提供的解決方案可以解決被試身體處于運(yùn)動(dòng)狀態(tài)時(shí)胸腔起伏運(yùn)動(dòng)被身體運(yùn)動(dòng)掩蓋的問題。本發(fā)明采用非接觸式測量方法，使得被試者更加舒適。由于使用普通的體感相機(jī)設(shè)備，本發(fā)明比熱成像和雷達(dá)等設(shè)備的要求更簡單，減小了系統(tǒng)實(shí)現(xiàn)的復(fù)雜度，安裝攜帶方便，隱蔽性更強(qiáng)，操作簡單。
【附圖說明】
[0009]圖1是本發(fā)明中數(shù)據(jù)采集過程中的流程圖；
圖2是本發(fā)明中數(shù)據(jù)處理過程中的流程圖；
圖3是經(jīng)過去噪預(yù)處理后的胸腔區(qū)域的深度曲線；
圖4是基于胸腔深度曲線產(chǎn)生的呼吸率曲線。
【具體實(shí)施方式】
[0010]以下采用微軟公司的Kinect體感相機(jī)為例，結(jié)合附圖和具體實(shí)施對本發(fā)明做進(jìn)一步說明。
[0011]一種利用普通體感相機(jī)非接觸式測量呼吸率的方法，包括下列步驟:
A.利用Kinect實(shí)時(shí)采集被試處于坐立姿勢的全身深度視頻，采樣頻率30HZ，被試距離相機(jī)1.2-3.5米，相機(jī)在被試前方，可以高于被試。
[0012]B.利用骨骼點(diǎn)找出被試的胸腔區(qū)域。例如:區(qū)域可以是左肩、右肩、脊柱點(diǎn)構(gòu)成的矩形區(qū)域，也可以是左肩、右肩、髖部中點(diǎn)構(gòu)成的矩形區(qū)域等。
[0013]C.計(jì)算每一幀中胸腔區(qū)域內(nèi)的所有像素點(diǎn)的深度均值，得到深度均值隨時(shí)間變化的曲線。隨著呼吸運(yùn)動(dòng)，胸腔平面與攝像機(jī)的距離會(huì)產(chǎn)生周期性的變化，深度均值也會(huì)產(chǎn)生周期性的變化。存儲(chǔ)每一幀胸腔平面的深度均值，作為呼吸數(shù)據(jù)。
[0014]D.設(shè)置一個(gè)長度為N秒的時(shí)間窗，當(dāng)數(shù)據(jù)占滿時(shí)間窗時(shí)，時(shí)間窗內(nèi)開始處理數(shù)據(jù)。之后的時(shí)間窗每次舍棄窗內(nèi)前M秒數(shù)據(jù)，后面新的M秒數(shù)據(jù)補(bǔ)入。例如:N=20，15,10 ；M=l，2。在圖1 和圖 2 中 N=1, M=2。
[0015]E.對時(shí)間窗內(nèi)深度均值曲線去噪預(yù)處理，去掉除身體晃動(dòng)引起的強(qiáng)噪聲外的其他噪聲干擾。例如:可以采用帶通濾波器:0.1Hz一 IHz (6bpm一60bpm)，也可以采用小波變換加分段平滑處理等。圖3中顯示了經(jīng)過去噪預(yù)處理后的胸腔區(qū)域的深度曲線。
[0016]F.波形分類，并根據(jù)分類情況計(jì)算呼吸周期:找出時(shí)間窗內(nèi)所有波峰波谷，峰值和谷值從前到后按順序排列，計(jì)算所有相鄰波峰波谷值相減的絕對值，所有絕對值中存在一個(gè)以上的值大于20mm (呼吸運(yùn)動(dòng)引起的波動(dòng)不會(huì)超過2cm)時(shí)，則認(rèn)為當(dāng)前窗內(nèi)數(shù)據(jù)疊加有身體運(yùn)動(dòng)；根據(jù)有無身體晃動(dòng)的疊加分成兩個(gè)處理方案 Fl.窗口內(nèi)沒疊加身體晃動(dòng)
找出窗口內(nèi)所有波峰和其對應(yīng)時(shí)刻，相鄰波峰對應(yīng)時(shí)刻相減得到瞬時(shí)周期，判斷這些瞬時(shí)周期是否在呼吸周期正常范圍內(nèi)(ls~10s，由呼吸頻率范圍0.1Hz-1Hz得出)，舍棄不合適的周期，保留合理的周期。將所有保留下來的瞬時(shí)周期取平均，作為當(dāng)前滑動(dòng)窗輸出的呼吸周期T。
[0017]F2.窗口內(nèi)疊加有身體晃動(dòng)
F21.定位有身體晃動(dòng)的時(shí)間段(例如圖3中身體前傾或者后仰的時(shí)段)。
[0018]F22.考察窗口內(nèi)身體晃動(dòng)時(shí)間段以外的非晃動(dòng)數(shù)據(jù)段，判斷每個(gè)非晃動(dòng)數(shù)據(jù)段內(nèi)是否至少可以找到兩個(gè)波峰(或者波谷)，兩個(gè)波峰(或者波谷)確定一個(gè)完整呼吸周期。如果數(shù)據(jù)段內(nèi)不存在完整的呼吸周期，則將該數(shù)據(jù)段舍棄；如果數(shù)據(jù)段內(nèi)存在完整呼吸周期，則該數(shù)據(jù)保留下來作為有效數(shù)據(jù)段。
[0019]F23.將有效數(shù)據(jù)段，按Fl的方法計(jì)算每個(gè)數(shù)據(jù)段內(nèi)的瞬時(shí)周期(如果只有波谷，則相鄰波谷對應(yīng)時(shí)刻相減得到瞬時(shí)周期)；把所有有效數(shù)據(jù)段計(jì)算得到的瞬時(shí)周期放在一起取平均，得到當(dāng)前滑動(dòng)窗輸出的平均呼吸周期T。
[0020]F24.如果整個(gè)滑動(dòng)窗內(nèi)不存在有效數(shù)據(jù)段，則該時(shí)間窗的呼吸周期取上一滑動(dòng)窗的平均呼吸周期。
[0021]G.由平均呼吸周期T，計(jì)算得到當(dāng)前滑動(dòng)窗呼吸頻率RR=60*(1/T)，即每分鐘呼吸多少次(bpm)，在每個(gè)滑動(dòng)窗末尾對應(yīng)時(shí)刻輸出，持續(xù)2s。等待下一個(gè)滑動(dòng)窗內(nèi)的呼數(shù)據(jù)占滿時(shí)，再重新更新呼吸率。
[0022]圖4中顯示了基于胸腔深度曲線產(chǎn)生的呼吸率曲線。
[0023]本發(fā)明參照當(dāng)前較佳實(shí)施方案就行了描述，本領(lǐng)域的技術(shù)人員能理解設(shè)計(jì)原則，上述較佳實(shí)施方式僅用來說明本發(fā)明，并非用來限定本發(fā)明的保護(hù)范圍，任何在本發(fā)明的精神和原則范圍之內(nèi)，所做的任何修飾、等效替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的權(quán)利保護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1.一種利用普通體感相機(jī)非接觸式測量呼吸率的方法，其特征在于，包括以下步驟: A.采集被試處于坐立姿勢的全身深度視頻； B.利用骨骼點(diǎn)找出被試的胸腔區(qū)域； C.計(jì)算每一幀中胸腔區(qū)域內(nèi)的所有像素點(diǎn)的深度均值，得到深度均值隨時(shí)間變化的曲線； D.設(shè)置一個(gè)長度為N秒的時(shí)間窗，當(dāng)數(shù)據(jù)占滿時(shí)間窗時(shí)，時(shí)間窗內(nèi)開始處理數(shù)據(jù)； 之后的時(shí)間窗每次舍棄窗內(nèi)前M秒數(shù)據(jù)，后面新的M秒數(shù)據(jù)補(bǔ)入； 其中M與N均為正整數(shù)； E.對時(shí)間窗內(nèi)深度均值曲線去噪預(yù)處理； F.提取身體處于非晃動(dòng)時(shí)間段內(nèi)的深度數(shù)據(jù)，將處于正常呼吸周期范圍內(nèi)的呼吸周期取平均值，將均值作為當(dāng)前滑動(dòng)窗輸出的呼吸周期T ; G.根據(jù)呼吸周期計(jì)算呼吸率RR=60*(1/T)。
2.如權(quán)利要求1所述的利用普通體感相機(jī)非接觸式測量呼吸率的方法，其特征在于:步驟B中的胸腔區(qū)域?yàn)樽蠹?、右肩、脊柱點(diǎn)構(gòu)成的矩形區(qū)域，或者為左肩、右肩、髖部中點(diǎn)構(gòu)成的矩形區(qū)域。
3.如權(quán)利要求1所述的利用普通體感相機(jī)非接觸式測量呼吸率的方法，其特征在于，所述步驟F中判斷身體是否晃動(dòng)的方法為:找出時(shí)間窗內(nèi)所有波峰波谷，峰值和谷值從前到后按順序排列，計(jì)算所有相鄰波峰波谷值相減的絕對值，所有絕對值中存在一個(gè)以上的值大于20_時(shí)，則認(rèn)為當(dāng)前窗內(nèi)數(shù)據(jù)疊加有身體運(yùn)動(dòng)。
4.如權(quán)利要求1所述的利用普通體感相機(jī)非接觸式測量呼吸率的方法，其特征在于，所述步驟F中還包括對時(shí)間窗內(nèi)存在身體晃動(dòng)時(shí)間段的數(shù)據(jù)處理方法: F21.定位有身體晃動(dòng)的時(shí)間段； F22.考察窗口內(nèi)身體晃動(dòng)時(shí)間段以外的非晃動(dòng)數(shù)據(jù)段，判斷每個(gè)非晃動(dòng)數(shù)據(jù)段內(nèi)是否至少可以找到兩個(gè)波峰或者波谷，兩個(gè)波峰或波谷確定一個(gè)完整呼吸周期； 如果數(shù)據(jù)段內(nèi)不存在完整的呼吸周期，則將該數(shù)據(jù)段舍棄；如果數(shù)據(jù)段內(nèi)存在完整呼吸周期，則該數(shù)據(jù)保留下來作為有效數(shù)據(jù)段； F23.將有效數(shù)據(jù)段中，相鄰波峰或者波谷對應(yīng)時(shí)刻相減得到瞬時(shí)周期，判斷這些瞬時(shí)周期是否在呼吸周期正常范圍內(nèi)，舍棄不合適的周期，保留有效周期；把所有有效數(shù)據(jù)段計(jì)算得到的有效瞬時(shí)周期放在一起取平均，得到當(dāng)前滑動(dòng)窗輸出的平均呼吸周期T ; F24.如果整個(gè)滑動(dòng)窗內(nèi)不存在有效數(shù)據(jù)段，則該時(shí)間窗的呼吸周期取上一滑動(dòng)窗的平均呼吸周期。
【專利摘要】本發(fā)明公開了一種利用普通體感相機(jī)非接觸式測量呼吸率的方法。本方法首先采集被試對象坐立時(shí)的全身深度值視頻，并提取每一幀中胸腔范圍內(nèi)的深度平均值，得到因變量為深度均值自變量為時(shí)間的函數(shù)關(guān)系式。接著通過函數(shù)的幅值判斷被試是否相對靜止或存在大幅的身體前后運(yùn)動(dòng)。最后通過均值函數(shù)計(jì)算呼吸率：本發(fā)明可在距離被試1.2-3.5米范圍內(nèi)測量呼吸率，不用接觸被試，所以在測量時(shí)使得被試者更加舒適。本發(fā)明使用普通的體感相機(jī)設(shè)備，比熱成像和雷達(dá)等設(shè)備的要求更簡單，減小了系統(tǒng)實(shí)現(xiàn)的復(fù)雜度，安裝攜帶方便、隱蔽性更強(qiáng)、操作簡單。
【IPC分類】A61B5-08, A61B5-16
【公開號】CN104720811
【申請?zhí)枴緾N201510155068
【發(fā)明人】陳通, 單禹皓, 劉光遠(yuǎn)
【申請人】西南大學(xué)
【公開日】2015年6月24日
【申請日】2015年4月3日