本發(fā)明涉及一種基于圖像識(shí)別的學(xué)生坐姿檢測與糾正系統(tǒng)。

背景技術(shù)：

目前，我國的青少年兒童近視發(fā)病率已居世界第二位，相關(guān)資料顯示:在校學(xué)生近視率日漸上升，大學(xué)生達(dá)70％、中學(xué)生達(dá)30％～40％、小學(xué)生已達(dá)20％。同時(shí)，因坐姿不正確產(chǎn)生的脊椎彎曲的學(xué)生比例也很高。預(yù)防青少年兒童近視和駝背是全社會(huì)關(guān)心的問題。兒童學(xué)習(xí)時(shí)坐姿歪斜、彎腰曲背、視距過近等現(xiàn)象是導(dǎo)致近視、斜視和頸椎發(fā)育不良的主要原因。當(dāng)前國內(nèi)外解決青少年兒童錯(cuò)誤坐姿的主要方法是物理類的矯正器，如耳掛式坐姿矯正器、脊椎矯正器等,它們大多從物理角度起到預(yù)防近視的目的，并要求學(xué)生長期佩戴這些矯正器。而長時(shí)間佩戴矯正器，可能會(huì)導(dǎo)致孩子們的不適甚至厭煩。利用超聲波測距傳感技術(shù)開發(fā)的矯正器，起到了一定的作用，但通常情況下因?yàn)楣P桿以及手臂遮擋的影響，使得系統(tǒng)誤差率較大，給使用者到來不悅的體驗(yàn)。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于解決上述的技術(shù)問題而提供一種基于圖像識(shí)別的學(xué)生坐姿檢測與糾正系統(tǒng)，在不直接接觸學(xué)生身體的情況下，通過視頻圖像實(shí)現(xiàn)對(duì)學(xué)生坐姿的實(shí)時(shí)監(jiān)控，對(duì)錯(cuò)誤姿態(tài)進(jìn)行語音提示，從而達(dá)到及時(shí)發(fā)現(xiàn)和糾正錯(cuò)誤坐姿的目的。

為實(shí)現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：

一種基于圖像識(shí)別的學(xué)生坐姿檢測與糾正系統(tǒng)，包括：

人臉圖像檢測模塊，用于檢測進(jìn)入拍攝區(qū)域的人臉圖像；

人臉姿態(tài)估計(jì)模塊，用于獲取人臉器官的幾何特征，定位人臉特征點(diǎn)并利用獲得的人臉特征點(diǎn)構(gòu)建人臉特征三角形；當(dāng)人臉發(fā)生姿態(tài)變化時(shí)，利用該人臉特征三角形的位置變化進(jìn)行姿態(tài)參數(shù)的估計(jì)，獲得估計(jì)姿態(tài)參數(shù)：

音頻輸出模塊，用于比較估計(jì)姿態(tài)參數(shù)與標(biāo)準(zhǔn)姿態(tài)參數(shù)，并根據(jù)比較結(jié)果輸出姿態(tài)糾正提示音頻。

所述人臉特征點(diǎn)包括2個(gè)眼角、2個(gè)嘴角和鼻尖。

所述標(biāo)準(zhǔn)姿態(tài)參數(shù)對(duì)應(yīng)的人臉特征三角形為等腰三角形。

所述利用該人臉特征三角形的位置變化進(jìn)行姿態(tài)參數(shù)的估計(jì)，獲得估計(jì)姿態(tài)參數(shù)，具體是計(jì)算人臉特征三角形的三個(gè)角的頂點(diǎn)坐標(biāo)，然后根據(jù)該頂點(diǎn)坐標(biāo)計(jì)算三個(gè)角的角度變化，獲得估計(jì)姿態(tài)參數(shù)。

所述人臉圖像檢測模塊還用于檢測人臉圖像相對(duì)于標(biāo)準(zhǔn)圖像的大小，以判斷人臉的遠(yuǎn)近，并由所述音頻輸出模塊輸出相應(yīng)的提示音頻。

所述人臉姿態(tài)估計(jì)模塊包括：

特征點(diǎn)定位模塊，用于獲取人臉器官的幾何特征，定位人臉特征點(diǎn)并利用獲得的人臉特征點(diǎn)構(gòu)建人臉特征三角形；

姿態(tài)估計(jì)模塊，用于當(dāng)人臉發(fā)生姿態(tài)變化時(shí)，利用該人臉特征三角形的位置變化進(jìn)行姿態(tài)參數(shù)的估計(jì)，獲得估計(jì)姿態(tài)參數(shù)。

所述基于圖像識(shí)別的學(xué)生坐姿檢測與糾正系統(tǒng)，包括嵌入式處理器、顯示器、視頻采集模塊；所述嵌入式處理器包括所述人臉圖像檢測模塊、人臉姿態(tài)估計(jì)模塊；所述顯示器通過視頻線接口與嵌入式處理器連接，所述視頻采集模塊通過usb連接線連接嵌入式處理器，所述音頻輸出模塊與嵌入式處理器連接。

所述嵌入式處理器連接rtc時(shí)鐘模塊。

本發(fā)明在不直接接觸學(xué)生身體的情況下，通過視頻圖像實(shí)現(xiàn)對(duì)學(xué)生坐姿的實(shí)時(shí)監(jiān)控，對(duì)錯(cuò)誤姿態(tài)進(jìn)行語音提示，從而達(dá)到及時(shí)發(fā)現(xiàn)和糾正錯(cuò)誤坐姿的目的。

附圖說明

圖1是基于圖像識(shí)別的學(xué)生坐姿檢測與糾正系統(tǒng)的結(jié)構(gòu)示意圖；

圖2是不同種人臉姿態(tài)的估計(jì)示意圖；

圖3是人臉特征三角形的構(gòu)建示意圖；

圖4是頭部相對(duì)三個(gè)坐標(biāo)軸的運(yùn)動(dòng)示意圖；

圖5是不同種人臉姿態(tài)的分析效果示意圖；

圖6是基于圖像識(shí)別的學(xué)生坐姿檢測與糾正系統(tǒng)的檢測流程圖；

圖7是基于圖像識(shí)別的學(xué)生坐姿檢測與糾正系統(tǒng)的硬件結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面，結(jié)合實(shí)例對(duì)本發(fā)明的實(shí)質(zhì)性特點(diǎn)和優(yōu)勢作進(jìn)一步的說明，但本發(fā)明并不局限于所列的實(shí)施例。

參見圖1所示，一種基于圖像識(shí)別的學(xué)生坐姿檢測與糾正系統(tǒng)，包括：

人臉圖像檢測模塊，用于檢測進(jìn)入攝像區(qū)域的人臉圖像；

人臉姿態(tài)估計(jì)模塊，用于獲取人臉器官的幾何特征，定位人臉特征點(diǎn)并利用獲得的人臉特征點(diǎn)構(gòu)建人臉特征三角形，當(dāng)人臉發(fā)生姿態(tài)變化時(shí)，利用該人臉特征三角形的位置變化進(jìn)行姿態(tài)參數(shù)的估計(jì)，獲得估計(jì)姿態(tài)參數(shù)；

音頻輸出模塊，用于比較估計(jì)姿態(tài)參數(shù)與標(biāo)準(zhǔn)姿態(tài)參數(shù)，并根據(jù)比較結(jié)果輸出姿態(tài)糾正提示音頻。

目前人臉檢測方法已經(jīng)有大量文獻(xiàn)可供參考，技術(shù)已非常成熟。在人臉圖像檢測方面，目前廣泛使用的是基于haar特征的adaboost目標(biāo)檢測算法。viola等提出的基于haar特征的adaboost目標(biāo)檢測方法通過積分圖加快了特征提取速度，實(shí)現(xiàn)了人臉的實(shí)時(shí)檢測，該方法最初由viola等學(xué)者于2001年提出。他們采用待檢測目標(biāo)區(qū)域的多種haar特征值作為目標(biāo)的特征描述，采用adaboost方法，根據(jù)特征對(duì)訓(xùn)練樣本的分類能力進(jìn)行特征選擇，并對(duì)被選特征進(jìn)行加權(quán)組合得到分類器?？紤]到haar特征主要表現(xiàn)為圖像的矩形區(qū)域灰度值求和，他們創(chuàng)造性地提出了積分圖方法加快計(jì)算速度。也正是他們?cè)谶@一領(lǐng)域的特殊貢獻(xiàn)，使實(shí)時(shí)人臉檢測成為可能。最初他們提出的haar特征為4種，隨后為加強(qiáng)目標(biāo)檢測中對(duì)偏轉(zhuǎn)目標(biāo)的適應(yīng)性，一些學(xué)者對(duì)haar的旋轉(zhuǎn)特征進(jìn)行了擴(kuò)展，大大提高了目標(biāo)檢測的準(zhǔn)確度?；趆aar特征的adaboost目標(biāo)檢測算法已成為opencv的功能部件。opencv是intel公司開發(fā)的開源圖像處理和計(jì)算機(jī)視覺函數(shù)庫，它由一系列c函數(shù)和少量c++類構(gòu)成，實(shí)現(xiàn)了圖像處理和計(jì)算機(jī)視覺方面的很多通用算法。為此本發(fā)明采用opencv實(shí)現(xiàn)人臉檢測，在較好的光照條件下幾乎沒有誤檢，并具有良好的實(shí)時(shí)性，為特征點(diǎn)定位創(chuàng)造了條件。

本發(fā)明具體是采用利用opencv的haarcascade_frontalface_atl2.xml模型進(jìn)行人臉圖像檢測。

需要說明的是，本發(fā)明的坐姿檢測與糾正系統(tǒng)可利用opencv里的函數(shù)接口完成視頻采集模塊視頻幀的采集，通過qt開發(fā)的人機(jī)界面實(shí)現(xiàn)圖像實(shí)時(shí)顯示以及人機(jī)互動(dòng)。人臉檢測系統(tǒng)以視頻采集模塊采集到的圖像為輸入得到人臉的位置信息。

本發(fā)明中，所述人臉圖像檢測模塊采用人臉特征檢測器進(jìn)行人臉圖像的檢測，人臉特征檢測器包括眼睛檢測器和嘴巴檢測器。本發(fā)明系統(tǒng)在adaboost算法基礎(chǔ)上在人臉框內(nèi)用人臉特征檢測器檢測眼睛和嘴部。

本發(fā)明系統(tǒng)在人臉檢測框中去進(jìn)一步檢測人眼以及嘴部,人眼檢測部分集中在人臉框的上半部分，嘴部檢測部分集中在人臉框的下半部分，人眼檢測分類器為”haarcascade_eye.xml”，嘴巴檢測分類器為”haarcascade_mcs_mouth.xml”。這樣很大程度上提高了人眼、嘴部檢測定位的準(zhǔn)確性，參見圖2所示。

具體的，本發(fā)明中，所述人臉姿態(tài)估計(jì)模塊進(jìn)一步的包括：

特征點(diǎn)定位模塊，用于獲取人臉器官的幾何特征，定位人臉特征點(diǎn)并利用獲得的人臉特征點(diǎn)構(gòu)建人臉特征三角形；

姿態(tài)估計(jì)模塊，用于當(dāng)人臉發(fā)生姿態(tài)變化時(shí)，利用該人臉特征三角形的位置變化進(jìn)行姿態(tài)參數(shù)的估計(jì)，獲得估計(jì)姿態(tài)參數(shù)。

其中，所述標(biāo)準(zhǔn)姿態(tài)參數(shù)對(duì)應(yīng)的人臉特征三角形為等腰三角形，在通過人臉姿態(tài)估計(jì)模塊估計(jì)出人臉當(dāng)前姿態(tài)參數(shù)后，通過比較估計(jì)姿態(tài)參數(shù)與標(biāo)準(zhǔn)姿態(tài)參數(shù)，即可獲得當(dāng)前姿態(tài)，從而根據(jù)當(dāng)前姿態(tài)，輸出姿態(tài)糾正提示音頻，如當(dāng)前姿態(tài)為偏左，輸出“當(dāng)前偏左，請(qǐng)糾正”的音頻，如當(dāng)前姿態(tài)為偏右，輸出“當(dāng)前偏右，請(qǐng)糾正”的音頻，如當(dāng)前姿態(tài)為俯視狀態(tài)，輸出“當(dāng)前俯視，請(qǐng)糾正”的音頻，如當(dāng)前姿態(tài)為仰視狀態(tài)，輸出“當(dāng)前俯仰，請(qǐng)糾正”的音頻。

具體實(shí)現(xiàn)上，本發(fā)明中，所述利用該人臉特征三角形的位置變化進(jìn)行姿態(tài)參數(shù)的估計(jì)，獲得估計(jì)姿態(tài)參數(shù)，具體是計(jì)算人臉特征三角形的三個(gè)角的頂點(diǎn)坐標(biāo)，然后根據(jù)該頂點(diǎn)坐標(biāo)計(jì)算三個(gè)角的角度變化，獲得估計(jì)姿態(tài)參數(shù)。

具體實(shí)現(xiàn)上，所述人臉特征點(diǎn)包括2個(gè)眼角、2個(gè)嘴角和鼻尖，這樣通過定位的該2個(gè)眼角、2個(gè)嘴角和鼻尖的5個(gè)特征，可以構(gòu)建一個(gè)檢測姿態(tài)變化的人臉特征三角形，通過該人臉特征三角形的位置變化的檢測，即可實(shí)現(xiàn)實(shí)時(shí)獲得實(shí)時(shí)的人臉姿態(tài)參數(shù)，而得到當(dāng)前的估計(jì)姿態(tài)參數(shù)。

如圖3所示，該圖2示出的是一個(gè)標(biāo)準(zhǔn)姿態(tài)下構(gòu)建的人臉特征三角形的示意圖，該人臉特征三角形為等腰三角狀，具有三個(gè)頂點(diǎn)a、b、c。

由于人臉的姿態(tài)主要?dú)w結(jié)與三個(gè)方向的轉(zhuǎn)動(dòng)，分為x,y,z三個(gè)方向的3個(gè)坐標(biāo)軸(參見圖4)的運(yùn)動(dòng)。相應(yīng)的運(yùn)動(dòng)分別稱為橫轉(zhuǎn)(pitch)、傾斜(yaw)和俯仰(roll)，因此可以將人臉姿態(tài)的計(jì)算轉(zhuǎn)化為這三個(gè)角度的計(jì)算。

人臉姿態(tài)檢測,又稱人臉姿態(tài)參數(shù)估計(jì),主要是近似計(jì)算人臉對(duì)應(yīng)于3個(gè)坐標(biāo)軸的偏轉(zhuǎn)角度?；谌四樚卣魅切蔚淖藨B(tài)參數(shù)估計(jì)方法主要是基于人臉幾何結(jié)構(gòu),在一定條件下,可以認(rèn)為人臉是剛性的。當(dāng)人臉姿態(tài)發(fā)生變化時(shí),人臉特征三角形也隨之發(fā)生相應(yīng)的位置偏移。人臉姿態(tài)的參數(shù)估計(jì)就變成人臉特征三角形位置偏移的角度計(jì)算,此時(shí)只要獲得了人臉特征三角形3個(gè)頂點(diǎn)的坐標(biāo),就可以進(jìn)行人臉姿態(tài)參數(shù)的粗略估計(jì)了。

具體處理時(shí)，對(duì)從視頻采集模塊采集的人臉序列圖像進(jìn)行消噪和增強(qiáng)等預(yù)處理后，首先進(jìn)行人臉檢測確定初步位置，再定位2個(gè)眼角、2個(gè)嘴角和鼻尖5個(gè)特征點(diǎn)，然后以一幅人臉正面圖像的特征點(diǎn)位置為參考，結(jié)合任意圖像的特征點(diǎn)位置計(jì)算人臉的三個(gè)角度。

當(dāng)人臉相對(duì)于y軸作偏轉(zhuǎn)運(yùn)動(dòng)時(shí)，人臉特征三角形發(fā)生了扭曲,不再是等腰三角形。人臉向哪個(gè)方向旋轉(zhuǎn)，這個(gè)方向的特征三角形頂角就會(huì)變大。如果∠a>∠b,則判斷人臉向左偏轉(zhuǎn)；相反,如果∠b>∠a,則判斷人臉向右偏轉(zhuǎn)。人臉俯角或仰角是通過人臉三角形的∠c進(jìn)行判斷，在一定范圍內(nèi)，∠c越大，仰角越大；∠c越小，俯角越大。人臉姿態(tài)分析結(jié)果，參見圖5所示，左側(cè)上下兩幅圖分別示出了抬頭(偏高)與低頭(偏低)的姿態(tài)，中間上下兩幅圖分別示出了左搖頭(偏左))與右搖頭(偏右)的狀態(tài)，均可以通過計(jì)算人臉特征三角形的三個(gè)頂點(diǎn)的角的大小變化來判斷實(shí)現(xiàn)，然后根據(jù)判斷的結(jié)果來輸出對(duì)應(yīng)的糾正提示音頻。

系統(tǒng)工作時(shí)，如圖6所示，系統(tǒng)開機(jī)后，運(yùn)行人臉姿態(tài)檢測程序軟件，然后判斷檢測區(qū)域是否有人臉，如有則進(jìn)行人臉特征點(diǎn)位進(jìn)行判斷當(dāng)前姿態(tài)，之后根據(jù)不同的檢測狀態(tài)，輸出相應(yīng)的警告或提示，在用戶退出系統(tǒng)后，關(guān)閉設(shè)備退出。

目前,現(xiàn)有的人臉姿態(tài)檢測與估計(jì)的方法大體上可以分為以下兩類:

①基于2d人臉外觀的學(xué)習(xí)方法,這些方法都試圖在2d人臉外觀特征(如密度、顏色、梯度、直方圖等)和3d人臉姿態(tài)之間建立一種映射關(guān)系,從而通過基于2d人臉外觀的學(xué)習(xí)方法實(shí)現(xiàn)姿態(tài)的檢測與估計(jì)。其中比較典型的有l(wèi)is利用獨(dú)立元分析來訓(xùn)練多姿態(tài)人臉子空間并進(jìn)行人臉姿態(tài)估計(jì)；使用連接外眉點(diǎn)和嘴的中心點(diǎn),形一個(gè)人臉t字型模型實(shí)現(xiàn)人臉姿態(tài)估計(jì)，但由于人臉姿態(tài)估計(jì)就是根據(jù)圖像確定人臉在三維空間中姿態(tài)參數(shù)的過程。實(shí)踐證明該種估計(jì)方法效果差，不能準(zhǔn)確進(jìn)行估計(jì)。

②認(rèn)為人臉姿態(tài)檢測本身就是一個(gè)3d問題,只有通過3d信息才能表征人臉姿態(tài)的本質(zhì)特征。因此,這類方法往往通過抽取3d特征來表征不同姿態(tài),或者利用不同視角下的多幅圖像,在三維空間中重建人臉的3d模型實(shí)現(xiàn)姿態(tài)的檢測。這類方法往往對(duì)圖像的大小和質(zhì)量要求很高,并且會(huì)花費(fèi)大量的運(yùn)算時(shí)間。

進(jìn)一步的，本發(fā)明中，所述人臉圖像檢測模塊還用于檢測人臉圖像相對(duì)于標(biāo)準(zhǔn)圖像的大小，以判斷人臉的遠(yuǎn)近，并由所述音頻輸出模塊輸出相應(yīng)的提示音頻。檢測到的人臉大(相對(duì)標(biāo)準(zhǔn)距離的人臉)，則偏近；相反，檢測到的人臉小(相對(duì)標(biāo)準(zhǔn)距離的人臉)，則偏遠(yuǎn)，并根據(jù)檢測的結(jié)果當(dāng)前偏近或偏遠(yuǎn)的糾正音頻，提示使用者糾正。參見圖5右側(cè)上下兩幅圖，分別示出了偏近與偏遠(yuǎn)的兩種姿態(tài)的情況。

參見圖7所示，進(jìn)一步的，本發(fā)明中，所述基于圖像識(shí)別的學(xué)生坐姿檢測與糾正系統(tǒng)，包括嵌入式處理器、顯示器、用于采集人臉圖像的視頻采集模塊；所述嵌入式處理器內(nèi)置處理軟件，該處理軟件包括所述人臉圖像檢測模塊、人臉姿態(tài)估計(jì)模塊；所述顯示器通過視頻線接口與嵌入式處理器連接，所述視頻采集模塊通過usb連接線連接嵌入式處理器，所述音頻輸出模塊與嵌入式處理器的音頻接口相連接。

所述的顯示器采用h43電阻觸摸屏，所述嵌入式處理器采用s5p4418。

進(jìn)一步的，本發(fā)明中，所述嵌入式處理器連接rtc時(shí)鐘模塊。

本發(fā)明通過檢測進(jìn)入攝像區(qū)域的人臉圖像，獲取人臉器官的幾何特征，定位人臉特征點(diǎn)并利用獲得的人臉特征點(diǎn)構(gòu)建人臉特征三角形，當(dāng)人臉發(fā)生姿態(tài)變化時(shí)，利用該人臉特征三角形的位置變化進(jìn)行姿態(tài)參數(shù)的估計(jì)，獲得估計(jì)姿態(tài)參數(shù)，比較估計(jì)姿態(tài)參數(shù)與標(biāo)準(zhǔn)姿態(tài)參數(shù)，并根據(jù)比較結(jié)果輸出姿態(tài)糾正提示音頻，從而實(shí)現(xiàn)了在不直接接觸學(xué)生身體的情況下，通過視頻圖像實(shí)現(xiàn)對(duì)學(xué)生坐姿的實(shí)時(shí)監(jiān)控，對(duì)錯(cuò)誤姿態(tài)進(jìn)行語音提示，從而達(dá)到及時(shí)發(fā)現(xiàn)和糾正錯(cuò)誤坐姿的目的。

以上所述僅是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出，對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明原理的前提下，還可以做出若干改進(jìn)和潤飾，這些改進(jìn)和潤飾也應(yīng)視為本發(fā)明的保護(hù)范圍。