專利名稱：基于視頻檢測(cè)的駕駛員駕駛行為監(jiān)控裝置的制作方法
技術(shù)領(lǐng)域：
本實(shí)用新型涉及汽車安全技術(shù)領(lǐng)域，具體涉及基于視頻檢測(cè)的駕駛員駕駛行為監(jiān)控裝置。
背景技術(shù)：
在人、車、路組成的駕駛系統(tǒng)中，駕駛員是交通事故的最大誘因。2009年，我國(guó)道路交通事故近M萬(wàn)起，死亡近6. 8萬(wàn)人。其中，絕大部分事故是由于駕駛員操作失誤和疲勞駕駛造成的。由于年齡、生理或心理健康狀況、情緒等方面的變化，即使優(yōu)秀駕駛員也不一定能長(zhǎng)久地保持其原有的良好駕駛狀態(tài)，但駕駛員本人卻很難意識(shí)到這種漸進(jìn)性的衰減或消退。因此，監(jiān)控駕駛員的駕駛行為并對(duì)違規(guī)行為給予警報(bào)，對(duì)提高駕駛員的駕駛能力并降低其駕駛負(fù)荷，協(xié)調(diào)好駕駛員與車輛以及交通環(huán)境之間的關(guān)系，從本質(zhì)上減少交通事故狀況的發(fā)生，具有重要意義。目前，國(guó)內(nèi)外在監(jiān)控駕駛員駕駛行為方面已經(jīng)取得了一些研究成果，大致可分為兩種一種是根據(jù)駕駛員的呼氣中的酒精含量判斷是否飲酒；根據(jù)駕駛員的眼皮和眼球的相對(duì)反射原理來(lái)判斷駕駛員是否疲勞駕駛；根據(jù)駕駛員的腦電波或心電圖來(lái)判斷駕駛員是否疲勞等一些監(jiān)控駕駛員在生理上是否處于正常狀態(tài)的裝置來(lái)對(duì)駕駛員的駕駛狀態(tài)進(jìn)行評(píng)價(jià)。另一種針對(duì)駕駛員的頭部活動(dòng)情況、面部特征(如眼睛，頭部，臉部)變化等特征，運(yùn)用計(jì)算機(jī)圖像處理和模式識(shí)別技術(shù)進(jìn)行分析，以判斷駕駛員的駕駛行為和精神狀態(tài)。然而，這些研究成果都是間接地對(duì)其駕駛行為進(jìn)行判斷監(jiān)控，并沒(méi)有對(duì)駕駛員的駕駛行為本身直接進(jìn)行研究，存在測(cè)量誤差和硬件成本較高等限制。

實(shí)用新型內(nèi)容為了解決上述現(xiàn)有技術(shù)所存在的問(wèn)題，本實(shí)用新型提供了基于視頻檢測(cè)的駕駛員駕駛行為監(jiān)控裝置，本實(shí)用新型通過(guò)攝像頭采集包含駕駛員手部與方向盤的圖像，再對(duì)圖像的處理與識(shí)別來(lái)判斷駕駛員在駕駛期間是否有違規(guī)行為，并根據(jù)相應(yīng)違規(guī)動(dòng)作做出警報(bào)提示駕駛員。本實(shí)用新型可以有效地避免因駕駛員違規(guī)操作而造成的交通事故。本實(shí)用新型是通過(guò)以下的技術(shù)方案實(shí)現(xiàn)的一種基于視頻檢測(cè)的駕駛員駕駛行為監(jiān)控裝置，包括電源模塊、圖像采集與預(yù)處理模塊、功能按鍵模塊、警報(bào)器、顯示屏、外部存儲(chǔ)卡及中央處理器。其中電源模塊的一個(gè)輸出端與圖像采集與預(yù)處理模塊的電源輸入端相連，電源模塊的另一輸出端與中央處理器的電源輸入端相連；圖像采集與預(yù)處理模塊的圖像輸出接口與中央處理器的圖像輸入接口相連，且圖像采集與預(yù)處理模塊的總線接口與中央處理器的總線接口相連；功能按鍵模塊的輸出端與中央處理器的通用輸入輸出接口相連；警報(bào)器的輸入端與中央處理器的PWM輸出接口連接；顯示屏的輸入端與中央處理器的顯示輸出接口相連；外部存儲(chǔ)卡通過(guò)外部存儲(chǔ)卡插槽中央處理器相連。上述的一種基于視頻檢測(cè)的駕駛員駕駛行為監(jiān)控裝置中，所述的電源模塊包括濾波電路、變壓電路及后備電源；電源模塊分別給攝像頭和中央處理器提供工作電壓；另外， 當(dāng)工作電壓處于異常狀態(tài)時(shí)(低于正常電壓或者斷電)，后備電源給圖像采集與預(yù)處理模塊及中央處理器提供一段時(shí)間的工作電壓，以防止異常電壓的情況下設(shè)備產(chǎn)生數(shù)據(jù)丟失的現(xiàn)象。上述的一種基于視頻檢測(cè)的駕駛員駕駛行為監(jiān)控裝置中，所述的圖像采集與預(yù)處理模塊包括攝像頭及視頻處理芯片，攝像頭的輸出接口與視頻處理芯片的輸入端經(jīng)視頻電纜相連，中央處理器的總線接口與圖像采集與預(yù)處理模塊中視頻處理芯片的總線接口相連；駕駛員手部和方向盤位于所述攝像頭的視野內(nèi)，以便后觀察所述駕駛員的手部動(dòng)作； 中央處理器通過(guò)總線接口對(duì)視頻處理芯片內(nèi)部寄存器進(jìn)行配置，從而圖像采集與預(yù)處理模塊具有了對(duì)輸入模擬信號(hào)的預(yù)處理功能，預(yù)處理包括色度和亮度的控制，輸出數(shù)據(jù)格式及輸出圖像同步信號(hào)的選擇控制等；預(yù)處理后的數(shù)據(jù)再通過(guò)視頻處理芯片的圖像輸出接口傳輸?shù)街醒胩幚砥?。上述的一種基于視頻檢測(cè)的駕駛員駕駛行為監(jiān)控裝置中，所述的功能按鍵模塊， 可用于手動(dòng)建立感興趣區(qū)域和自動(dòng)建立感興趣區(qū)域的確認(rèn)。上述的一種基于視頻檢測(cè)的駕駛員駕駛行為監(jiān)控裝置中，所述的警報(bào)器，主要用于當(dāng)駕駛員發(fā)生不同的違規(guī)駕駛行為時(shí)，會(huì)產(chǎn)生相應(yīng)的警報(bào)來(lái)提醒；還可用于設(shè)備自檢。上述的一種基于視頻檢測(cè)的駕駛員駕駛行為監(jiān)控裝置中，所述的顯示屏，主要用于顯示預(yù)覽處理后的圖像。上述的一種基于視頻檢測(cè)的駕駛員駕駛行為監(jiān)控裝置中，所述的中央處理器包括圖像輸入接口、通用輸入輸出接口、PWM輸出接口、顯示屏輸出接口、外部存儲(chǔ)區(qū)插槽， 電源輸入接口及總線接口。其中中央處理器的圖像輸入接口與圖像采集與預(yù)處理模塊的圖像輸出接口相連，且中央處理器的總線接口與圖像采集與預(yù)處理模塊的總線接口相連， 中央處理器通用輸入輸出接口與功能按鍵模塊輸出端相連，中央處理器的PWM輸出接口與警報(bào)器的輸出端連接，中央處理器的顯示輸出接口與顯示屏的輸入端相連，中央處理器通過(guò)外部存儲(chǔ)卡插槽與外部存儲(chǔ)卡相連，中央處理器的電源輸入接口與電源模塊相連。中央處理器主要負(fù)責(zé)圖像數(shù)據(jù)格式的轉(zhuǎn)換、對(duì)基于視頻檢測(cè)的駕駛員駕駛行為的識(shí)別、功能按鍵模塊和警報(bào)器的驅(qū)動(dòng)、傳輸數(shù)據(jù)到顯示屏及保存數(shù)據(jù)信息到外部存儲(chǔ)卡中。上述的中央處理器對(duì)基于視頻檢測(cè)的駕駛員駕駛行為的識(shí)別包括讀取經(jīng)格式轉(zhuǎn)換后的圖像數(shù)據(jù)、定位方向盤、建立感興趣區(qū)域、提取手部特征(對(duì)原圖的感興趣區(qū)域進(jìn)行特征提取)、對(duì)提取的手部特征(0-1特征矩陣)依據(jù)駕駛員手部與方向盤的位置關(guān)系進(jìn)行分類識(shí)別以及建立違規(guī)規(guī)則庫(kù)，并依據(jù)規(guī)則庫(kù)判斷駕駛員操作是否違規(guī)。上述的一種基于視頻檢測(cè)的駕駛員駕駛行為監(jiān)控裝置，其監(jiān)控方法為電源啟動(dòng)后，設(shè)備自檢以及圖像采集與預(yù)處理模塊通過(guò)中央處理器的總線接口配置內(nèi)部寄存器，從而具有對(duì)輸入模擬信號(hào)經(jīng)行預(yù)處理的功能。圖像采集與預(yù)處理模塊中的攝像頭負(fù)責(zé)采集圖像數(shù)據(jù)，圖像采集與預(yù)處理模塊中的視頻處理芯片對(duì)圖像模擬信號(hào)進(jìn)行預(yù)處理，預(yù)處理包括色度和亮度的控制，輸出數(shù)據(jù)格式及輸出圖像同步信號(hào)的選擇控制；預(yù)處理后的數(shù)據(jù)經(jīng)中央處理器格式轉(zhuǎn)換，再進(jìn)行一種基于視頻檢測(cè)的駕駛員駕駛行為識(shí)別，若判斷為違規(guī)行為，警報(bào)器產(chǎn)生相應(yīng)的報(bào)警，并把對(duì)應(yīng)的違規(guī)圖片保存到外部存儲(chǔ)卡中，把違規(guī)記錄寫入記錄文件，以便后期核對(duì)跟蹤。違規(guī)記錄文件內(nèi)容包括違規(guī)時(shí)間，違規(guī)動(dòng)作，持續(xù)時(shí)間，對(duì)應(yīng)違規(guī)圖像的編號(hào)組成。上述的基于視頻檢測(cè)的駕駛員駕駛行為識(shí)別方法，具體步驟如下步驟1，讀取經(jīng)格式轉(zhuǎn)換后的圖像數(shù)據(jù)，所讀取的有效圖像應(yīng)該包含方向盤和駕駛員的手部姿態(tài)等信息(以下稱原圖)；步驟2，定位方向盤。對(duì)讀取的圖像數(shù)據(jù)進(jìn)行二次處理，包括灰度變換、圖像濾波、 邊緣提取和輪廓增強(qiáng)四個(gè)步驟得到邊緣圖像。經(jīng)二次處理可以消除圖像噪聲，增強(qiáng)方向盤的可檢測(cè)性，從而提高特征提取和圖像識(shí)別的可靠性；對(duì)經(jīng)過(guò)二次處理得到的邊緣圖像，利用橢圓擬合算法對(duì)方向盤的輪廓進(jìn)行提取、檢測(cè)和定位；步驟3，建立感興趣區(qū)域。在原圖依據(jù)已定位的方向盤建立感興趣區(qū)域，感興趣區(qū)域包含方向盤和駕駛員的手部信息的區(qū)域；步驟4，對(duì)原圖的感興趣區(qū)域進(jìn)行特征提取，主要是手部特征提取。該步驟將感興趣區(qū)域劃分為M*N個(gè)子區(qū)，采用膚色模型判斷各子區(qū)是否包含手部特征，建立0-1特征矩陣。步驟5，對(duì)提取的0-1特征矩陣(代表手部特征)依據(jù)駕駛員手部與方向盤的位置關(guān)系進(jìn)行分類識(shí)別，將駕駛員駕駛動(dòng)作區(qū)分為正常駕駛、雙手壓盤、雙手離盤、右手離盤、左手離盤、雙手交叉右手在上以及雙手交叉左手在上。步驟6，基于駕駛員駕駛動(dòng)作的持續(xù)時(shí)間與頻率建立違規(guī)規(guī)則庫(kù)，并依據(jù)規(guī)則庫(kù)判斷駕駛員操作是否違規(guī)。步驟2中，圖像中的方向盤形狀大部分為橢圓形或圓形，需要對(duì)圖像進(jìn)行橢圓檢測(cè)來(lái)對(duì)方向盤進(jìn)行定位。由于車載視頻圖像中方向盤輪廓具備最大的圓或橢圓外形輪廓， 所以對(duì)經(jīng)過(guò)二次處理得到的邊緣圖像，可以采用直接最小二乘橢圓擬合算法對(duì)方向盤的輪廓進(jìn)行提取并檢測(cè)出最大的橢圓形狀來(lái)完成對(duì)方向盤區(qū)域的定位。步驟3中，完成對(duì)方向盤區(qū)域的定位后，以方向盤為中心截取相應(yīng)的感興趣區(qū)域。 感興趣區(qū)域的截取主要由方向盤的中心位置、大小和駕駛員頭部輪廓特征的位置對(duì)應(yīng)關(guān)系決定。具體截取時(shí)，通過(guò)從方向盤區(qū)域以設(shè)定比例系數(shù)向外延伸的方式完成截取。對(duì)于不同的車型，該比例系數(shù)由實(shí)驗(yàn)標(biāo)定或根據(jù)經(jīng)驗(yàn)確定。步驟4中，該步驟將感興趣區(qū)域劃分為M*N個(gè)子區(qū)，采用膚色模型判斷各子區(qū)是否包含手部特征，建立0-1特征矩陣。選定簡(jiǎn)單高斯模型作為膚色模型，對(duì)各子區(qū)的手部膚色進(jìn)行識(shí)別，建立0-1特征矩陣，其中1代表膚色像素值，0代表背景像素值。這種方法分兩步走，首先選擇合適的膚色模型并確定模型的參數(shù)，參數(shù)確定過(guò)程如下選取大量符合人體膚色特征的像素點(diǎn)作為樣本，統(tǒng)計(jì)其分布并建立膚色高斯模型。然后利用該模型來(lái)判別新的像素或區(qū)域是否為膚色。首先選取正常光照、強(qiáng)光、夜晚(弱光)下大量符合不同光照下人體膚色特征的像素點(diǎn)作為樣本，統(tǒng)計(jì)其分布并建立膚色高斯模型；然后利用不同光照下的模型來(lái)判別新的像素或區(qū)域是否為膚色；其中依據(jù)圖像灰度分布判斷處于何種光照條件。步驟5中，在獲得0-1特征矩陣(代表手部特征)后，采用神經(jīng)網(wǎng)絡(luò)和貝葉斯網(wǎng)絡(luò)分類器對(duì)其進(jìn)行分類識(shí)別，具體實(shí)現(xiàn)過(guò)程如下1)根據(jù)不同的車型，按一定比例和數(shù)量選取各種駕駛行為的圖片；2)運(yùn)用前述方法對(duì)選取的圖像進(jìn)行處理得到與各類駕駛行為對(duì)應(yīng)的運(yùn)動(dòng)狀態(tài)參數(shù)，組成訓(xùn)練實(shí)例集；3)用訓(xùn)練實(shí)例集對(duì)神經(jīng)網(wǎng)絡(luò)和貝葉斯網(wǎng)絡(luò)分類器進(jìn)行訓(xùn)練得到適應(yīng)于各類車型的駕駛行為分類器。通過(guò)分類器可識(shí)別不同手部基本動(dòng)作，建立基本違規(guī)駕駛行為特征庫(kù)，再根據(jù)這些基本違規(guī)動(dòng)作建立基本違規(guī)駕駛行為特征庫(kù)。步驟6中，違規(guī)規(guī)則由一種或以上的基本違規(guī)動(dòng)作，以及該動(dòng)作的持續(xù)時(shí)間，發(fā)生頻率來(lái)共同決定違規(guī)規(guī)則；結(jié)合感興趣區(qū)和違規(guī)規(guī)則庫(kù)，判斷行為是否違規(guī)。若按上述方法判斷結(jié)果為違規(guī)行為，警報(bào)器產(chǎn)生相應(yīng)的報(bào)警，并把對(duì)應(yīng)的違規(guī)圖片保存到外部存儲(chǔ)卡中，把違規(guī)記錄寫入記錄文件，以便后期核對(duì)跟蹤。違規(guī)記錄文件內(nèi)容包括違規(guī)時(shí)間，違規(guī)動(dòng)作，持續(xù)時(shí)間，對(duì)應(yīng)違規(guī)圖像的編號(hào)組成。由于采用了以上的方案，使本實(shí)用新型具有以下優(yōu)點(diǎn)和效果1、本實(shí)用新型采用跟蹤駕駛員手部動(dòng)作來(lái)判斷駕駛員是否違規(guī)，開辟了一條新的直接有效的監(jiān)控途徑，對(duì)預(yù)防由于違規(guī)駕駛行為導(dǎo)致的交通事故具有重要的意義。2、本實(shí)用新型通過(guò)中央處理器對(duì)皮膚檢測(cè)來(lái)提取手部特征，選擇簡(jiǎn)單高斯模型作為膚色模型，考慮到了落入膚色模型范圍內(nèi)像素點(diǎn)的分布情況，應(yīng)用概率密度公式判斷像素點(diǎn)屬于膚色的概率，而不是直接將所有落入模型范圍內(nèi)的像素點(diǎn)簡(jiǎn)單歸類為膚色點(diǎn)，相對(duì)于區(qū)域模型能更好的表示膚色分布，對(duì)膚色檢測(cè)效率也高的多，并且模型的參數(shù)也易于計(jì)算。因此本裝置具有檢測(cè)精度高和可靠性高的優(yōu)點(diǎn)。3、本實(shí)用新型通過(guò)中央處理器識(shí)別駕駛員駕駛行為，當(dāng)駕駛員存在違規(guī)駕駛操作時(shí)，便產(chǎn)生相應(yīng)的警報(bào)提醒駕駛員，同時(shí)將違規(guī)圖片保存到外部存儲(chǔ)卡中，以便后期跟蹤查詢，有圖有據(jù)，可以有效減少駕駛員的不良駕駛行為。4、本實(shí)用新型中的裝置智能程度高、體積小、抗干擾性強(qiáng)，便于應(yīng)用推廣。
圖1是基于視頻檢測(cè)的駕駛員駕駛行為監(jiān)控裝置的結(jié)構(gòu)示意圖。圖2是基于視頻檢測(cè)的駕駛員違規(guī)駕駛行為識(shí)別方法的流程圖。
具體實(shí)施方式
以下結(jié)合附圖對(duì)本實(shí)用新型的具體實(shí)施作進(jìn)一步說(shuō)明，但本實(shí)用新型的實(shí)施和保護(hù)范圍不限于此。本實(shí)施方式中，攝像頭采集包含駕駛員手部與方向盤的圖像，通過(guò)對(duì)圖像的處理與識(shí)別來(lái)判斷駕駛員在駕駛期間是否有違規(guī)行為，并根據(jù)相應(yīng)違規(guī)動(dòng)作做出警報(bào)提示駕駛員。本實(shí)用新型可以有效地避免因駕駛員違規(guī)操作而造成的交通事故。如圖1所示，一種基于視頻檢測(cè)的駕駛員駕駛行為監(jiān)控裝置，包括電源模塊1、圖像采集與預(yù)處理模塊2、 功能按鍵模塊3、警報(bào)器4、顯示屏5、外部存儲(chǔ)卡6及中央處理器7。其中電源模塊1的一個(gè)輸出端與圖像采集與預(yù)處理模塊2的電源輸入端相連，電源模塊1的另一輸出端與中央處理器7的電源輸入端相連；圖像采集與預(yù)處理模塊2的圖像輸出接口與中央處理器7的圖像輸入接口相連，且圖像采集與預(yù)處理模塊2中的視頻處理芯片的總線接口(I 2 C總線接口)與中央處理器7的總線接口(I 2 C總線接口 )相連；功能按鍵模塊3的輸出端與中央處理器7的通用輸入輸出接口相連；警報(bào)器4的輸入端與中央處理器7的PWM 輸出接口連接；顯示屏5的輸入端與中央處理器7的顯示輸出接口相連；外部存儲(chǔ)卡6通過(guò)外部存儲(chǔ)卡插槽中央處理器7相連。所述的電源模塊1，包括濾波電路、變壓電路及后備電源；電源模塊1分別給攝像
6頭和中央處理器提供工作電壓；另外，當(dāng)工作電壓處于異常狀態(tài)時(shí)(低于正常電壓或者斷電)，后備電源給圖像采集與預(yù)處理模塊2及中央處理器7提供一段時(shí)間的工作電壓，以防止異常電壓的情況下設(shè)備產(chǎn)生數(shù)據(jù)丟失的現(xiàn)象。所述的圖像采集與預(yù)處理模塊2，包括攝像頭及視頻處理芯片，實(shí)施例中視頻處理芯片選用SAA7113芯片，SAA7113芯片支持多種視頻信號(hào)的輸入及數(shù)據(jù)輸出格式；攝像頭的輸出接口與視頻處理芯片的輸入端經(jīng)視頻電纜相連，中央處理器7通過(guò)總線接口(I 2 C總線接口)與預(yù)處理模塊2中的視頻處理芯片的I 2 C總線接口相連；駕駛員手部和方向盤位于所述攝像頭的視野內(nèi)，以便觀察所述駕駛員的手部動(dòng)作；中央處理器7通過(guò)總線接口 (I 2 C總線接口)對(duì)配置SAA7113芯片內(nèi)部相應(yīng)寄存器，從而圖像采集與預(yù)處理模塊2具有了對(duì)輸入模擬信號(hào)的預(yù)處理功能，預(yù)處理包括色度和亮度的控制，輸出數(shù)據(jù)格式及輸出圖像同步信號(hào)的選擇控制等；圖像采集與預(yù)處理模塊2的工作原理如下攝像頭感應(yīng)環(huán)境變化，輸出的PAL制式模擬信號(hào)經(jīng)視頻電纜傳輸?shù)綀D像數(shù)據(jù)采集與預(yù)處理模塊2，圖像數(shù)據(jù)采集與預(yù)處理模塊2中的SAA7113芯片(SAA7113芯片支持多種視頻信號(hào)的輸入及數(shù)據(jù)輸出格式)開始采集PAL制式模擬信號(hào)(只對(duì)輸入的一路復(fù)合視頻信號(hào)采樣)，圖像數(shù)據(jù)采集與預(yù)處理模塊2中的SAA7113芯片的視頻模擬輸出信號(hào)經(jīng)預(yù)處理后以ITO656協(xié)議的標(biāo)準(zhǔn)的 4:2:2的數(shù)字輸出，并作為中央處理器7 (S3C2440)的圖像輸入輸出(camera interface) 接口的輸入。所述的功能按鍵模塊3，可用于手動(dòng)建立感興趣區(qū)域以及對(duì)自動(dòng)建立感興趣區(qū)域的確認(rèn)。所述的警報(bào)器4，主要用于當(dāng)駕駛員發(fā)生不同的違規(guī)駕駛時(shí)，會(huì)產(chǎn)生相應(yīng)的警報(bào)器來(lái)提醒；還可用于設(shè)備自檢。所述的顯示屏5，主要用于顯示預(yù)覽處理后的圖像。所述的中央處理器7，也稱MCU，該實(shí)施例中選用三星S3C2440微處理器的ARM9芯片，主頻400MHz，133MHz總線頻率。中央處理器模塊7包括圖像輸入接口、通用輸入輸出接口、PWM輸出接口、顯示輸出接口、外部存儲(chǔ)卡插槽，電源輸入接口及總線接口(I 2 C總線接口)。其中，中央處理器7的圖像輸入接口與圖像采集與預(yù)處理模塊2的圖像輸出接口相連，且中央處理器7的總線接口(I 2 C總線接口)與圖像采集與預(yù)處理模塊2的總線接口 (I 2 C總線接口)相連；中央處理器7的通用輸入輸出接口與功能按鍵模塊3輸出端相連； 中央處理器7的PWM輸出接口與警報(bào)器4的輸入端連接；中央處理器7的顯示輸出接口與顯示屏5的輸入端相連；中央處理器7通過(guò)外部存儲(chǔ)卡與插槽外部存儲(chǔ)卡6相連；中央處理器7的電源輸入接口與電源模塊1相連。中央處理器7主要負(fù)責(zé)圖像數(shù)據(jù)格式的轉(zhuǎn)換、對(duì)基于視頻檢測(cè)的駕駛員駕駛行為的識(shí)別、驅(qū)動(dòng)功能按鍵模塊3和警報(bào)器4、傳輸數(shù)據(jù)到顯示屏5及數(shù)據(jù)信息保存到外部存儲(chǔ)卡中。上述的中央處理器對(duì)基于視頻檢測(cè)的駕駛員駕駛行為的識(shí)別包括讀取經(jīng)格式轉(zhuǎn)換后的圖像數(shù)據(jù)、定位方向盤、建立感興趣區(qū)域、手部特征提取(對(duì)原圖的感興趣區(qū)域進(jìn)行特征提取)、對(duì)提取手部特征(0-1特征矩陣)依據(jù)駕駛員手部與方向盤的位置關(guān)系進(jìn)行分類識(shí)別以及建立違規(guī)規(guī)則庫(kù)，并依據(jù)規(guī)則庫(kù)判斷駕駛員操作是否違規(guī)。上述的一種基于視頻檢測(cè)的駕駛員駕駛行為監(jiān)控裝置，其監(jiān)控方法大致如下電源模塊1啟動(dòng)后，設(shè)備自檢以及圖像采集與預(yù)處理模塊2通過(guò)中央處理器7的總線接口配置內(nèi)部寄存器，從而圖像采集與預(yù)處理模塊2具有了對(duì)輸入模擬信號(hào)的預(yù)處理功能。圖像采集與預(yù)處理模塊2中的攝像頭負(fù)責(zé)采集圖像數(shù)據(jù)，圖像采集與預(yù)處理模塊2中的視頻處理芯片對(duì)圖像模擬信號(hào)進(jìn)行預(yù)處理，預(yù)處理包括色度和亮度的控制，輸出數(shù)據(jù)格式及輸出圖像同步信號(hào)的選擇控制；預(yù)處理后的數(shù)據(jù)經(jīng)中央處理器7圖像數(shù)據(jù)格式轉(zhuǎn)換，再進(jìn)行一種基于視頻檢測(cè)的駕駛員駕駛行為識(shí)別；若判斷為違規(guī)行為，警報(bào)器產(chǎn)生相應(yīng)的報(bào)警， 并把對(duì)應(yīng)的違規(guī)圖片保存到外部存儲(chǔ)卡6中，把違規(guī)記錄寫入記錄文件，以便后期核對(duì)跟蹤。違規(guī)記錄文件內(nèi)容包括違規(guī)時(shí)間，違規(guī)動(dòng)作，持續(xù)時(shí)間，對(duì)應(yīng)違規(guī)圖像的編號(hào)組成。上述的一種基于視頻檢測(cè)的駕駛員駕駛行為識(shí)別方法如圖2所示，具體步驟如下步驟1，讀取經(jīng)格式轉(zhuǎn)換后的圖像數(shù)據(jù)，所讀取的有效圖像應(yīng)該包含方向盤和駕駛員的手部姿態(tài)等信息(以下稱原圖)；步驟2，定位方向盤。對(duì)讀取的圖像數(shù)據(jù)進(jìn)行二次處理，包括灰度變換、圖像濾波、 邊緣提取和輪廓增強(qiáng)四個(gè)步驟，得到邊緣圖像。經(jīng)二次處理可以消除圖像噪聲，增強(qiáng)方向盤的可檢測(cè)性，從而提高特征提取和圖像識(shí)別的可靠性；對(duì)經(jīng)過(guò)二次處理得到的邊緣圖像，利用橢圓擬合算法對(duì)方向盤的輪廓進(jìn)行提取、檢測(cè)和定位；步驟3，建立感興趣區(qū)域。在原圖依據(jù)已定位的方向盤建立感興趣區(qū)域，感興趣區(qū)域包含方向盤和駕駛員的手部信息的區(qū)域；步驟4，對(duì)步驟1中所讀取圖像的感興趣區(qū)域進(jìn)行特征提取，主要是手部特征提取。該步驟將感興趣區(qū)域劃分為M*N個(gè)子區(qū)，采用膚色模型判斷各子區(qū)是否包含手部特征， 建立0-1特征矩陣。步驟5，對(duì)提取的0-1特征矩陣(代表手部特征)依據(jù)駕駛員手部與方向盤的位置關(guān)系進(jìn)行分類識(shí)別，將駕駛員駕駛動(dòng)作區(qū)分為正常駕駛、雙手壓盤、雙手離盤、右手離盤、左手離盤、雙手交叉右手在上以及雙手交叉左手在上。步驟6，基于駕駛員駕駛動(dòng)作的持續(xù)時(shí)間與頻率建立違規(guī)規(guī)則庫(kù)，并依據(jù)規(guī)則庫(kù)判斷駕駛員操作是否違規(guī)。步驟2中，圖像中的方向盤形狀大部分為橢圓形或圓形，需要對(duì)圖像進(jìn)行橢圓檢測(cè)來(lái)對(duì)方向盤進(jìn)行定位。常用的橢圓檢測(cè)可分為基于投票和最優(yōu)化的兩大類方法。投票類方法的代表算法包括Hough變換和RANSAC等算法。最優(yōu)化方法則包含最小二乘法和遺傳算法等。由于橢圓參數(shù)較多，投票類研究的重點(diǎn)一般都在于數(shù)據(jù)點(diǎn)的篩選和橢圓幾何性質(zhì)的利用。Hough變換，RANSAC都是采用映射的方法，將樣本點(diǎn)投影到參數(shù)空間，用累加器或者類聚的方法來(lái)檢測(cè)橢圓。這類算法有很好的健壯性，能一次檢測(cè)多個(gè)橢圓，但是需要復(fù)雜的運(yùn)算和大量的存儲(chǔ)空間。另一類方法包括最小二乘擬合算法，遺傳算法以及其他最優(yōu)化橢圓擬合方法。這類方法的主要特點(diǎn)在于準(zhǔn)確性高，不過(guò)無(wú)法直接用于多個(gè)橢圓的檢測(cè)，對(duì)噪聲的敏感程度高于前一類方法。由于車載視頻圖像中方向盤輪廓是具備最大的圓或橢圓外形輪廓，即只需檢測(cè)出一個(gè)最大的橢圓形狀，所以本實(shí)施方式采用了直接最小二乘橢圓擬合算法提取方向盤輪廓并檢測(cè)出最大的橢圓形狀，再檢測(cè)出該橢圓的外切矩形，來(lái)完成對(duì)方向盤區(qū)域的定位。步驟3中，感興趣區(qū)域的截取主要由方向盤的中心位置、大小和駕駛員頭部輪廓特征的位置對(duì)應(yīng)關(guān)系決定。具體截取時(shí)，完成對(duì)方向盤區(qū)域定位后，通過(guò)從方向盤區(qū)域以一定比例系數(shù)向外延伸的方式完成截取。對(duì)于不同的車型，該比例系數(shù)由實(shí)驗(yàn)標(biāo)定或可根據(jù)經(jīng)驗(yàn)確定。步驟4中，對(duì)截取的區(qū)域進(jìn)行特征提取，主要是手部特征，可通過(guò)對(duì)皮膚的檢測(cè)來(lái)提取手部特征。該步驟將感興趣區(qū)域劃分為M*N個(gè)子區(qū)，采用膚色模型判斷各子區(qū)是否包含手部特征，建立0-1特征矩陣。為了檢測(cè)出皮膚，需要選定合適的膚色模型，對(duì)截取區(qū)域的手部膚色進(jìn)行識(shí)別，圖像處理中常用膚色模型大致分為兩類簡(jiǎn)單閾值分割和概率模型。其中概率模型有直方圖模型，簡(jiǎn)單高斯模型和混合高斯模型。簡(jiǎn)單高斯模型是假設(shè)膚色分布為單峰高斯分布的一種模型。簡(jiǎn)單高斯模型考慮到了落入膚色模型范圍內(nèi)像素點(diǎn)的分布情況，應(yīng)用概率密度公式判斷像素點(diǎn)屬于膚色的概率，而不是直接將所有落入模型范圍內(nèi)的像素點(diǎn)簡(jiǎn)單歸類為膚色點(diǎn)，相對(duì)于區(qū)域模型能更好的表示膚色分布，因此相對(duì)來(lái)說(shuō)它的膚色檢測(cè)效率也高的多， 并且模型的參數(shù)也易于計(jì)算。本實(shí)施方式采用簡(jiǎn)單高斯模型作為膚色模型，對(duì)各子區(qū)的手部膚色進(jìn)行識(shí)別。建立0-1特征矩陣，其中1代表膚色像素值，0代表背景像素值。這種方法分兩步走，首先選擇合適的膚色模型并確定模型的參數(shù)，參數(shù)確定過(guò)程如下選取大量符合人體膚色特征的像素點(diǎn)作為樣本，統(tǒng)計(jì)其分布并建立膚色高斯模型。然后利用該模型來(lái)判別新的像素或區(qū)域是否為膚色。首先選取正常光照、強(qiáng)光、夜晚(弱光)下大量符合不同光照下人體膚色特征的像素點(diǎn)作為樣本，統(tǒng)計(jì)其分布并建立膚色高斯模型；然后利用不同光照下的模型來(lái)判別新的像素或區(qū)域是否為膚色，從而建立0-1特征矩陣。其中依據(jù)圖像灰度分布判斷處于何種光照條件。步驟5中，對(duì)提取的0-1特征矩陣(代表手部特征)進(jìn)行分類識(shí)別。本實(shí)用新型方法采用的是神經(jīng)網(wǎng)絡(luò)和貝葉斯網(wǎng)絡(luò)分類器對(duì)0-1特征矩陣進(jìn)行分類識(shí)別，通過(guò)識(shí)別不同的特征矩陣，辨別是否屬于違規(guī)駕駛行為。在獲得0-1特征矩陣后，采用神經(jīng)網(wǎng)絡(luò)和貝葉斯網(wǎng)絡(luò)分類器對(duì)其進(jìn)行分類識(shí)別，具體實(shí)現(xiàn)過(guò)程如下1)根據(jù)不同的車型，按一定比例和數(shù)量選取各種駕駛行為的圖片；2)運(yùn)用前述方法對(duì)選取的圖像進(jìn)行處理得到與各類駕駛行為對(duì)應(yīng)狀態(tài)參數(shù)，組成訓(xùn)練實(shí)例集；3)用訓(xùn)練實(shí)例集對(duì)神經(jīng)網(wǎng)絡(luò)和貝葉斯網(wǎng)絡(luò)分類器進(jìn)行訓(xùn)練得到適應(yīng)于各類車型的駕駛行為分類器。通過(guò)分類器即可識(shí)別不同的手部基本動(dòng)作，建立基本違規(guī)駕駛行為特征庫(kù)，該實(shí)施例中通過(guò)分類器可識(shí)別七種基本動(dòng)作正常駕駛、雙手壓盤、雙手離盤、右手離盤、左手離盤、雙手交叉右手在上、雙手交叉左手在上。步驟6，基于駕駛員駕駛動(dòng)作的持續(xù)時(shí)間與頻率建立違規(guī)規(guī)則庫(kù)，并依據(jù)規(guī)則庫(kù)判斷駕駛員操作是否違規(guī)。若按上述方法判斷結(jié)果為違規(guī)行為，警報(bào)器產(chǎn)生相應(yīng)的報(bào)警，并把對(duì)應(yīng)的違規(guī)圖片保存到外部存儲(chǔ)卡6中，把違規(guī)記錄寫入記錄文件，以便后期核對(duì)跟蹤。違規(guī)記錄文件內(nèi)容包括違規(guī)時(shí)間，違規(guī)動(dòng)作，持續(xù)時(shí)間，對(duì)應(yīng)違規(guī)圖像的編號(hào)組成。本實(shí)施例能夠自動(dòng)識(shí)別駕駛員駕駛期間是否有手部違規(guī)動(dòng)作，向駕駛員提供警報(bào)，并把違規(guī)記錄寫入記錄文件，以便后期核對(duì)跟蹤。本實(shí)施例的準(zhǔn)確度高，能夠有效避免駕駛員因違規(guī)操作而造成的交通事故的發(fā)生。
權(quán)利要求1.基于視頻檢測(cè)的駕駛員駕駛行為監(jiān)控裝置，其特征在于包括電源模塊、圖像采集與預(yù)處理模塊、功能按鍵模塊、警報(bào)器、顯示屏、外部存儲(chǔ)卡及中央處理器，其中電源模塊的一個(gè)輸出端與圖像采集與預(yù)處理模塊的電源輸入端相連，電源模塊的另一輸出端與中央處理器的電源輸入端相連；圖像采集與預(yù)處理模塊的圖像輸出接口與中央處理器的圖像輸入接口相連，且圖像采集與預(yù)處理模塊的總線接口與中央處理器的總線接口相連；功能按鍵模塊的輸出端與中央處理器的通用輸入輸出接口相連；警報(bào)器的輸入端與中央處理器的 PWM輸出接口連接；顯示屏的輸入端與中央處理器的顯示輸出接口相連；外部存儲(chǔ)卡通過(guò)外部存儲(chǔ)卡插槽中央處理器相連。
2.根據(jù)權(quán)利要求1所述的監(jiān)控裝置，其特征在于所述電源模塊包括濾波電路、變壓電路及后備電源。
3.根據(jù)權(quán)利要求1所述的監(jiān)控裝置，其特征在于所述圖像采集與預(yù)處理模塊包括攝像頭及視頻處理芯片，攝像頭的輸出接口與視頻處理芯片的輸入端經(jīng)視頻電纜相連，中央處理器的總線接口與圖像采集與預(yù)處理模塊中視頻處理芯片的總線接口相連；駕駛員手部和方向盤位于所述攝像頭的視野內(nèi)。
4.根據(jù)權(quán)利要求1 3任一項(xiàng)所述的監(jiān)控裝置，其特征在于所述中央處理器包括圖像輸入接口、通用輸入輸出接口、PWM輸出接口、顯示屏輸出接口、外部存儲(chǔ)區(qū)插槽、電源輸入接口及總線接口，中央處理器的圖像輸入接口與圖像采集與預(yù)處理模塊的圖像輸出接口相連，且中央處理器的總線接口與圖像采集與預(yù)處理模塊的總線接口相連，中央處理器通用輸入輸出接口與功能按鍵模塊輸出端相連，中央處理器的PWM輸出接口與警報(bào)器的輸出端連接，中央處理器的顯示輸出接口與顯示屏的輸入端相連，中央處理器通過(guò)外部存儲(chǔ)卡插槽與外部存儲(chǔ)卡相連，中央處理器的電源輸入接口與電源模塊相連。
專利摘要本實(shí)用新型提供基于視頻檢測(cè)的駕駛員駕駛行為監(jiān)控裝置。監(jiān)控裝置包括中央處理器和分別與其連接的圖像采集與預(yù)處理模塊、功能按鍵模塊、警報(bào)器、顯示屏、外部存儲(chǔ)卡和電源模塊，監(jiān)控時(shí)，設(shè)備自檢及中央處理器配置圖像數(shù)據(jù)采集與預(yù)處理模塊的內(nèi)部寄存器；圖像采集與預(yù)處理模塊負(fù)責(zé)采集圖像數(shù)據(jù)及對(duì)圖像模擬信號(hào)進(jìn)行預(yù)處理；預(yù)處理后的數(shù)據(jù)經(jīng)中央處理器格式轉(zhuǎn)換；再進(jìn)行基于視頻檢測(cè)的駕駛員駕駛行為識(shí)別；若判斷為違規(guī)行為，警報(bào)器產(chǎn)生相應(yīng)的報(bào)警，并把對(duì)應(yīng)的違規(guī)圖片保存到外部存儲(chǔ)卡中，以便后期核對(duì)跟蹤。本實(shí)用新型能夠有效監(jiān)控駕駛員在駕駛期間是否有違規(guī)行為，對(duì)違規(guī)行為發(fā)出警報(bào)，可以有效的避免因駕駛員違規(guī)操作而造成的交通事故。
文檔編號(hào)G06K9/62GK202177912SQ201120266698
公開日2012年3月28日 申請(qǐng)日期2011年7月26日 優(yōu)先權(quán)日2011年7月26日
發(fā)明者徐建閩, 沈文超 申請(qǐng)人:華南理工大學(xué), 廣州運(yùn)星科技有限公司