細(xì)胞/卷積神經(jīng)網(wǎng)絡(luò)智能視覺駕駛疲勞監(jiān)測(cè)加速器的制造方法
【專利摘要】本實(shí)用新型提出了細(xì)胞/卷積神經(jīng)網(wǎng)絡(luò)智能視覺駕駛疲勞監(jiān)測(cè)加速器，屬于人工智能技術(shù)領(lǐng)域。本實(shí)用新型以細(xì)胞/卷積神經(jīng)網(wǎng)絡(luò)為核心，細(xì)胞/卷積神經(jīng)網(wǎng)絡(luò)芯片連接攝像頭和微處理器，微處理器連接內(nèi)存模塊、顯示屏、揚(yáng)聲器、LED提示燈、通信接口模塊和電源等必要的外圍部件，構(gòu)成一個(gè)具有疲勞駕駛識(shí)別功能的智能視覺駕駛疲勞監(jiān)測(cè)加速器，提高了識(shí)別速度和精度，為駕駛員駕駛提供了更好的安全性，市場(chǎng)潛力巨大。
【專利說(shuō)明】
細(xì)胞/卷積神經(jīng)網(wǎng)絡(luò)智能視覺駕駛疲勞監(jiān)測(cè)加速器
技術(shù)領(lǐng)域
[0001] 本實(shí)用新型屬于人工智能技術(shù)領(lǐng)域，具體地說(shuō)，涉及細(xì)胞/卷積神經(jīng)網(wǎng)絡(luò) (Cellular/Convolutional Neural Networks，CNN)智能視覺駕駛疲勞監(jiān)測(cè)加速器。
【背景技術(shù)】
[0002] 隨著社會(huì)經(jīng)濟(jì)的發(fā)展和人們生活水平的提高，整個(gè)社會(huì)對(duì)交通運(yùn)輸?shù)男枨笕找嬖?加，現(xiàn)代交通運(yùn)輸業(yè)的飛速發(fā)展，交通量的快速增長(zhǎng)使道路交通狀況惡化，交通事故已成為 當(dāng)今世界面臨的嚴(yán)重問題之一。
[0003] 中國(guó)道路交通事故死亡人數(shù)已經(jīng)連續(xù)數(shù)年居于世界第一位。根據(jù)中國(guó)交通事故年 鑒統(tǒng)計(jì)，交通事故給我國(guó)國(guó)家財(cái)產(chǎn)和人民生命財(cái)產(chǎn)安全造成了巨大損失，而且這些事故很 大一部分是駕駛員的原因，如表1.1所示，在2005年甚至達(dá)到了92.69%。
[0004] 表1.1我國(guó)1999-2009年道路交通事故統(tǒng)計(jì)表
[0006] 歐美各國(guó)的交通事故統(tǒng)計(jì)分析表明，每年世界的道路交通事故多達(dá)10億次之多， 造成汽車碰撞事故的原因25.30%產(chǎn)生于駕駛疲勞。由此可見，在頻繁發(fā)生的交通事故中， 駕駛疲勞已成為引發(fā)交通事故的重要因素之一。因此，如何有效地檢測(cè)和預(yù)防駕駛疲勞，對(duì) 于減少交通事故發(fā)生，有十分重要現(xiàn)實(shí)意義。
[0007] 駕駛疲勞是由于駕駛時(shí)間過長(zhǎng)，駕駛車輛的動(dòng)作反復(fù)、連續(xù)的次數(shù)過多，使駕駛員 生理與心理機(jī)能減弱，在客觀上出現(xiàn)駕駛機(jī)能下降的現(xiàn)象。駕駛疲勞會(huì)影響駕駛員的注意 力、感覺、知覺、思維、判斷、意志、決定和運(yùn)動(dòng)等諸多方面，疲勞駕駛使得駕駛員出現(xiàn)動(dòng)作遲 誤或過早、操作停頓或修正時(shí)間不當(dāng)?shù)炔话踩蛩?，易發(fā)生道路交通事故。
[0008] 疲勞是一種很常見的生理現(xiàn)象，其產(chǎn)生的原理十分復(fù)雜，并且會(huì)伴隨著人體眾多 指標(biāo)的變化。因此，疲勞評(píng)測(cè)的方法也多種多樣。目前疲勞的評(píng)測(cè)方法主要分為兩類:一種 為主觀評(píng)測(cè)方法，即通過調(diào)查被測(cè)駕駛員生理或心理方面的疲勞癥狀，估算其疲勞程度;另 一種是客觀評(píng)測(cè)方法，它主要針對(duì)行駛過程中駕駛員生理、心理、駕駛員操作行為及車輛行 態(tài)的一些特異性指標(biāo)進(jìn)行檢測(cè)，來(lái)判斷駕駛員的疲勞狀態(tài)。
[0009] 疲勞駕駛客觀評(píng)測(cè)分為生理參數(shù)檢測(cè)和行為特征檢測(cè)兩種手段。生理參數(shù)的檢測(cè) 主要基于腦電圖、眼電圖、肌電圖、心電圖、呼吸氣流(鼻聲傳感器）、呼吸效果（胸腔部傳感 器）、動(dòng)脈血液氧飽和(手指探針)時(shí)的體溫（用紅外線耳朵探針獲得)等，生理參數(shù)疲勞測(cè)評(píng) 方法結(jié)果比較準(zhǔn)確，但由于一般是在駕駛前或者駕駛后測(cè)量。因此，不能滿足實(shí)時(shí)性要求， 而且在駕駛過程中，傳感器、電極或者其他檢測(cè)儀器會(huì)直接接觸駕駛員身體，從而會(huì)影響駕 駛員的正常駕駛?；谛袨樘卣鞯臋z測(cè)方法主要有PERCLOS(Percentage of Eyelid Closure Over the Pupil Over Time，眼睛閉合時(shí)間比分比）檢測(cè)、頭部位置檢測(cè)、視線方 向檢測(cè)、嘴部狀態(tài)檢測(cè)、方向盤轉(zhuǎn)動(dòng)情況的檢測(cè)、車輛行駛速度檢測(cè)、車道偏離檢測(cè)等。
[0010] 每種疲勞評(píng)測(cè)方法都有自身的優(yōu)缺點(diǎn)，因此，應(yīng)用信息融合技術(shù)，結(jié)合駕駛員生理 特征和行為特征的監(jiān)測(cè)方法將是比較理想的監(jiān)測(cè)方法。例如，歐盟2004年啟動(dòng)了一項(xiàng)名為 "AWAKE"的駕駛行為綜合監(jiān)控系統(tǒng)項(xiàng)目，該項(xiàng)目利用壓力感應(yīng)器和攝像機(jī)等多種傳感器，通 過駕駛生理狀態(tài)(駕駛員視線方向、眼瞼運(yùn)動(dòng)和方向盤握緊力等），結(jié)合駕駛員行為特征(車 道跟蹤、油門加速度計(jì)、周邊車距檢測(cè)和制動(dòng)器的使用等）的分析，能夠較全面的對(duì)駕駛員 的狀態(tài)和行為進(jìn)行監(jiān)測(cè)和評(píng)價(jià)。該系統(tǒng)主要由兩大部分組成:一是駕駛員疲勞實(shí)時(shí)監(jiān)測(cè)模 塊，二是報(bào)警模塊。疲勞實(shí)時(shí)監(jiān)測(cè)模塊不僅能有效識(shí)別直接反應(yīng)駕駛員疲勞的信息和間接 反應(yīng)疲勞駕駛行為的數(shù)據(jù)，還能把駕駛員狀態(tài)劃為三個(gè)等級(jí):清醒、可能疲勞和疲勞。報(bào)警 系統(tǒng)由聲音、視覺和觸覺報(bào)警器組成，當(dāng)監(jiān)測(cè)模塊檢測(cè)到駕駛員疲勞時(shí)，分析處于哪個(gè)等 級(jí)，通過報(bào)警器發(fā)出不同強(qiáng)弱的聲光刺激或安全帶抖動(dòng)來(lái)提醒駕駛員。
[0011] 無(wú)論從基礎(chǔ)研究還是應(yīng)用技術(shù)，駕駛疲勞評(píng)測(cè)和檢測(cè)都取得了很多成果，為交通 事故的預(yù)防提供了重要的支撐，但仍存在如下問題：（1)車輛參數(shù)的動(dòng)態(tài)變化監(jiān)測(cè)駕駛疲勞 具有實(shí)時(shí)性強(qiáng)，對(duì)駕駛員無(wú)干擾的優(yōu)點(diǎn)，但容易受到車輛類型的限制，由于個(gè)體的差異，很 難得到統(tǒng)一的評(píng)價(jià)標(biāo)準(zhǔn)，對(duì)駕駛疲勞的判斷準(zhǔn)確性不高；（2)心率、脈搏等生理指標(biāo)與駕駛 疲勞密切相關(guān)，但很難做到實(shí)時(shí)檢測(cè)，并且設(shè)備一般都是穿戴式，對(duì)司機(jī)的干擾較大，影響 司機(jī)的正常駕駛;（3)成本過高的問題，需要便攜式的傳感器和計(jì)算機(jī)甚至通訊裝置。
[0012] 隨著計(jì)算機(jī)視覺、圖像處理和模式識(shí)別技術(shù)得到了進(jìn)一步的發(fā)展和完善，基于駕 駛員臉部特征的非接觸式疲勞檢測(cè)算法的研究和疲勞預(yù)警系統(tǒng)的開發(fā)已經(jīng)成為了主流之 一。人們已經(jīng)開發(fā)了許多基于傳統(tǒng)的圖像處理和模式識(shí)別的疲勞駕駛監(jiān)測(cè)系統(tǒng)，但沒有得 到廣泛應(yīng)用。而人工智能中的深度學(xué)習(xí)目前是計(jì)算機(jī)視覺、圖像處理和模式識(shí)別的熱點(diǎn)，已 經(jīng)取得了令人矚目的成就。因此，基于深度學(xué)習(xí)技術(shù)的智能視覺駕駛疲勞檢測(cè)系統(tǒng)將具有 重要的實(shí)際應(yīng)用價(jià)值。
[0013] 迄今為止，人類歷史上已經(jīng)歷了三次工業(yè)革命，分別為機(jī)器工業(yè)革命、電汽工業(yè)革 命、計(jì)算機(jī)工業(yè)革命，相對(duì)應(yīng)解決了機(jī)器動(dòng)力問題、能源傳輸問題、信息處理及傳輸問題，都 為人類社會(huì)帶來(lái)了生產(chǎn)力的巨大變革。目前，全球仍然在第三次工業(yè)革命的持續(xù)探索中，包 括互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)浪潮都?xì)w屬于其一系列衍生現(xiàn)象。下一次工業(yè)革命將是一次能完全 替代人角色的人工智能革命。實(shí)質(zhì)上，是人類復(fù)制了另一個(gè)自己，利用制造出來(lái)的機(jī)器人完 全替代自身從事自主、智能的行為。目前這樣一場(chǎng)轟轟烈烈的第四次工業(yè)革命，正在悄然向 我們走來(lái)。
[0014] 人工智能早在計(jì)算機(jī)學(xué)伊始時(shí)就已經(jīng)產(chǎn)生，它最早是在1956年被作為一門學(xué)術(shù)學(xué) 科建立起來(lái)。從那時(shí)起，科學(xué)界就認(rèn)為每隔十年左右就會(huì)在此方面有大的突破性進(jìn)展。在 1940年的神經(jīng)學(xué)研究中，人們就已經(jīng)發(fā)現(xiàn)人類的大腦實(shí)際上就是一條神經(jīng)網(wǎng)絡(luò)，Alan Turing認(rèn)為基于此概念建造一個(gè)電子大腦是可行的。1951年，一個(gè)24歲的研究生Marvin Minsky建造了世界第一個(gè)神經(jīng)網(wǎng)絡(luò)機(jī)，這臺(tái)機(jī)器也被稱為SNARC，它同時(shí)也是史上第一臺(tái)人 工自我學(xué)習(xí)機(jī)器。
[0015] 機(jī)器學(xué)習(xí)屬于人工智能的一個(gè)分支，而神經(jīng)網(wǎng)絡(luò)是機(jī)器學(xué)習(xí)的一個(gè)分支，是最實(shí) 用、最有效的一個(gè)人工智能的分支。
[0016] 早在1988年，楊林博士發(fā)表了如下兩篇產(chǎn)生廣泛影響的"細(xì)胞神經(jīng)網(wǎng)絡(luò)"論文和相 關(guān)發(fā)明專利：
[0017] Leon 0 , Chua ； Lin Yang，"Cel lular Neural Networks : Theory"，IEEE Trans.Circuits and Systems,vol.35(10)0ct.1988,pp.1257-1272〇
[0018] Leon 0,Chua；Lin Yang，"Cellular Neural Networks Applications，"IEEE Trans-Circuits and Systems,vol.35(10)0ct.1988,pp.1273-1290〇
[0019] Leon 0,Chua；Lin Yang，"Cellular Neural Network'' ,United States Patent， Patent Number:5,140,670,Date of Patent:Aug.18,1992。
[0020] 在論文中，楊林博士提出了幾個(gè)關(guān)鍵的基礎(chǔ)性概念:并行處理、模擬電路、鄰域直 接連接、非鄰域間接作用、非線性器件、多層網(wǎng)絡(luò)、卷積算子、參數(shù)重新配置、應(yīng)用于圖像處 理等，為神經(jīng)網(wǎng)絡(luò)的發(fā)展奠定了良好的基礎(chǔ)，具體的技術(shù)細(xì)節(jié)在后面再描述。
[0021 ] 深度學(xué)習(xí)（Deep Learning)的概念由Hinton等人于2006年提出。深度學(xué)習(xí)領(lǐng)域中 的突破引發(fā)了人工智能革命。近年來(lái)，微軟、臉書、谷歌、IBM、百度等公司推出了各自的深度 學(xué)習(xí)系統(tǒng)，運(yùn)用"深度學(xué)習(xí)"技術(shù)提出了許多語(yǔ)音和圖像的識(shí)別、合成算法。這些算法是一種 計(jì)算機(jī)模擬人腦神經(jīng)網(wǎng)絡(luò)的算法。簡(jiǎn)單來(lái)說(shuō)，就是用計(jì)算機(jī)搭建一個(gè)人工神經(jīng)網(wǎng)絡(luò)，然后通 過已有的大量數(shù)據(jù)不斷訓(xùn)練優(yōu)化它。
[0022] 人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方式是通過向它展示大量的訓(xùn)練范例，然后逐漸對(duì)網(wǎng)絡(luò)參數(shù) 進(jìn)行調(diào)整，直至它能夠反饋出令人滿意的分類。一個(gè)典型的網(wǎng)絡(luò)是由10-30層（目前最深的 達(dá)到了 150層)人工神經(jīng)元堆積架構(gòu)而成的。舉例說(shuō)明，當(dāng)將一個(gè)圖片信息發(fā)送給一個(gè)神經(jīng) 網(wǎng)絡(luò)時(shí)，輸入層接收信息并且進(jìn)行低層次的處理后將結(jié)果輸出給下一個(gè)層級(jí)，周而復(fù)始，直 到到達(dá)最后一個(gè)層級(jí)，來(lái)決定該圖像的分析結(jié)果。
[0023] 為了獲得更好的學(xué)習(xí)結(jié)果，神經(jīng)網(wǎng)絡(luò)的規(guī)模越來(lái)越大，層數(shù)越來(lái)越多，就成為了深 度神經(jīng)網(wǎng)絡(luò)，深度神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)的一個(gè)重要分支。最早Google的深度神經(jīng)網(wǎng)絡(luò) Distblief用了1000臺(tái)機(jī)器、16000核處理，網(wǎng)絡(luò)規(guī)模大概是10億個(gè)神經(jīng)元，而后Andrew Ng 在Stanford大學(xué)用16臺(tái)服務(wù)器，總共64個(gè)GPU，并且用了一個(gè)超級(jí)性能的交換機(jī) InfiniBand，可訓(xùn)練的網(wǎng)絡(luò)規(guī)模達(dá)到了 112億個(gè)神經(jīng)元。最近，百度深度學(xué)習(xí)的網(wǎng)絡(luò)規(guī)模已 經(jīng)達(dá)到了200億的節(jié)點(diǎn)。估計(jì)不遠(yuǎn)的將來(lái)，深度神經(jīng)網(wǎng)絡(luò)的規(guī)模將達(dá)到1000億個(gè)神經(jīng)元，規(guī) 模越大，對(duì)并行架構(gòu)、優(yōu)化算法提出前所未有的挑戰(zhàn)，但超大規(guī)模后可能會(huì)獲得更多新的認(rèn) 知。
[0024]基于上述深度學(xué)習(xí)的新算法和技術(shù)的部分性能已超過了人類大腦。人工智能在深 度學(xué)習(xí)領(lǐng)域算法方面獲得了一定突破的同時(shí)，國(guó)內(nèi)外一些公司就將商業(yè)機(jī)會(huì)瞄準(zhǔn)了如何用 芯片實(shí)現(xiàn)這些已優(yōu)化參數(shù)的深度神經(jīng)網(wǎng)絡(luò)算法，獲得人工智能行為。例如，近期麻省理工 (MIT)、高通(Qualcomm)、英特爾（Intel)、Nvidia、Movidius等都在研發(fā)深度學(xué)習(xí)芯片。
[0025] 麻省理工學(xué)院（MIT)日前在國(guó)際固態(tài)電路大會(huì)（International Solid State Circuits Conference，ISSCC)發(fā)表一款深度學(xué)習(xí)芯片Eyeriss，用來(lái)實(shí)現(xiàn)人工神經(jīng)網(wǎng)路。 MIT宣稱該芯片的效能是一般常用GPU的10倍，能夠直接在設(shè)備上執(zhí)行人工智能算法，不需 要通過網(wǎng)絡(luò)來(lái)處理資料。MIT表示，提升Eyeriss效能的關(guān)鍵在于最小化GPU核(Core)和存儲(chǔ) 器間交換資料的頻率，而一般GPU核是共享單一的存儲(chǔ)器，但是Eyeriss的每個(gè)核有自己的 專用存儲(chǔ)器。此外，每一個(gè)核都能夠和鄰近的核直接溝通，如果需要共享資料時(shí)，就不用透 過主要存儲(chǔ)器來(lái)傳遞，當(dāng)卷積神經(jīng)網(wǎng)路有很多節(jié)點(diǎn)在處理相同資料時(shí)，鄰近的核間能夠直 接溝通很重要。而提升芯片效能還有一個(gè)關(guān)鍵是跨核心分配任務(wù)的專用電路，可以在不同 類型的類神經(jīng)網(wǎng)路重新配置，或是跨核自動(dòng)配置資料。這些性能提高的關(guān)鍵點(diǎn)符合當(dāng)年楊 林博士提出的基本原則。
[0026] 從上面所述看，對(duì)駕駛員疲勞檢測(cè)要求實(shí)時(shí)、準(zhǔn)確、對(duì)駕駛員無(wú)負(fù)荷(最好與駕駛 員無(wú)物理接觸）、對(duì)人體無(wú)危害、智能化，但不管是谷歌、百度等的大規(guī)模深度神經(jīng)網(wǎng)絡(luò)，還 是MIT等的深度學(xué)習(xí)芯片，由于規(guī)模、功耗、體積、成本或計(jì)算效率等問題，現(xiàn)階段用于汽車 駕駛疲勞監(jiān)測(cè)系統(tǒng)中還存在一定的難度。

【發(fā)明內(nèi)容】

[0027] 本實(shí)用新型提出了一種細(xì)胞/卷積神經(jīng)網(wǎng)絡(luò)智能視覺疲勞駕駛監(jiān)測(cè)加速器，以蜂 窩/卷積神經(jīng)網(wǎng)絡(luò)（Cellular/Convolutional Neural Networks，CNN)為核心，由攝像頭（圖 像獲?。?、內(nèi)存、微處理器MCU和通信接口模塊等組成了一個(gè)圖像識(shí)別深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò) 加速器，提高了集成度，降低了功耗，提供了圖像識(shí)別速度和精度，能夠?qū)崟r(shí)完成圖像識(shí)別， 并且配置靈活，通過可編程配置可完成不同的圖像識(shí)別功能，以較低的成本，有效地達(dá)到疲 勞駕駛監(jiān)測(cè)目的。
[0028] 本實(shí)用新型提出的細(xì)胞/卷積神經(jīng)網(wǎng)絡(luò)智能視覺駕駛疲勞監(jiān)測(cè)加速器，由以下模 塊組成：
[0029] 攝像頭，用于獲得駕駛員駕駛時(shí)特定狀態(tài)的圖像或視頻，把得到的圖像或視頻送 給機(jī)器視覺識(shí)別芯片；
[0030] 機(jī)器視覺識(shí)別芯片，按預(yù)置的功能處理攝像頭輸入的圖像信號(hào)得到相應(yīng)的特征 值，送給微處理器；
[0031] 微處理器，設(shè)置和檢測(cè)機(jī)器視覺識(shí)別芯片的工作狀態(tài)，接收機(jī)器視覺識(shí)別芯片送 來(lái)的圖像特征數(shù)據(jù)，運(yùn)行圖像識(shí)別和疲勞評(píng)測(cè)算法，確認(rèn)駕駛員駕駛狀態(tài)，并控制異常狀態(tài) 發(fā)生時(shí)發(fā)出的聲音警示；
[0032] 內(nèi)存模塊，保存輸入的原始數(shù)據(jù)、中間計(jì)算結(jié)果和最終的圖像特征數(shù)值；
[0033]顯示屏，用以顯示機(jī)器視覺識(shí)別芯片或系統(tǒng)的工作狀態(tài)和系統(tǒng)配置信息，以及播 放提醒圖片或視頻；
[0034]通信接口模塊，完成命令、數(shù)據(jù)的交換和傳輸；
[0035]麥克風(fēng)，拾取用戶的聲音信號(hào)，經(jīng)微處理器送給機(jī)器視覺識(shí)別芯片；
[0036]揚(yáng)聲器，用于播放語(yǔ)音警示信息；
[0037] 提示燈，用于發(fā)出警示燈光；
[0038] 電源模塊，為機(jī)器視覺識(shí)別芯片和系統(tǒng)提供穩(wěn)定的供電；
[0039]其特征在于所述的機(jī)器視覺識(shí)別芯片連接攝像頭和微處理器，微處理器連接內(nèi)存 模塊、顯示屏、通信接口、麥克風(fēng)、揚(yáng)聲器、提示燈和電源，構(gòu)成基于智能視覺識(shí)別的駕駛疲 勞監(jiān)測(cè)加速器。
[0040] 所述的細(xì)胞/卷積神經(jīng)網(wǎng)絡(luò)智能視覺駕駛疲勞監(jiān)測(cè)加速器，其特征在于，所述的機(jī) 器視覺識(shí)別芯片是細(xì)胞/卷積神經(jīng)網(wǎng)絡(luò)芯片。
[0041] 所述的細(xì)胞/卷積神經(jīng)網(wǎng)絡(luò)智能視覺駕駛疲勞監(jiān)測(cè)加速器，其特征在于所述的特 征包括眼部特征、唇部特征、面部表情特征、身體姿態(tài)特征和各種狀態(tài)的融合。
[0042] 所述的細(xì)胞/卷積神經(jīng)網(wǎng)絡(luò)智能視覺駕駛疲勞監(jiān)測(cè)加速器，其特征在于，所述的加 速器工作參數(shù)可事先設(shè)置，并可在使用過程中通過程序再次設(shè)置。
[0043] 所述的細(xì)胞/卷積神經(jīng)網(wǎng)絡(luò)智能視覺駕駛疲勞監(jiān)測(cè)加速器，其特征在于，所述的機(jī) 器視覺識(shí)別芯片實(shí)現(xiàn)的算法包括自動(dòng)編碼器、稀疏編碼、限制玻爾茲曼機(jī)、深信度網(wǎng)絡(luò)和深 度卷積神經(jīng)網(wǎng)絡(luò)。
[0044] 所述的細(xì)胞/卷積神經(jīng)網(wǎng)絡(luò)智能視覺駕駛疲勞監(jiān)測(cè)加速器，其特征在于，所述的圖 像特征可以通過無(wú)線網(wǎng)絡(luò)上傳到后端或者云端進(jìn)行監(jiān)測(cè)，監(jiān)測(cè)到疲勞駕駛狀態(tài)時(shí)，遠(yuǎn)程進(jìn) 行警示、警告。
[0045] 所述的細(xì)胞/卷積神經(jīng)網(wǎng)絡(luò)智能視覺駕駛疲勞監(jiān)測(cè)加速器，其特征在于，所述的細(xì) 胞/卷積神經(jīng)網(wǎng)絡(luò)智能視覺駕駛疲勞監(jiān)測(cè)加速器可以內(nèi)置于汽車后視鏡、獨(dú)立的便攜終端、 作為汽車組件置于某個(gè)位置。
[0046] 由上述方案可以看出，本實(shí)用新型圍繞細(xì)胞/卷積神經(jīng)網(wǎng)絡(luò)CNN，和攝像頭、內(nèi)存、 微處理器和通信接口等，構(gòu)成一個(gè)具有模式識(shí)別功能的智能視覺疲勞駕駛監(jiān)測(cè)加速器，提 高圖像識(shí)別速度和精度，克服了現(xiàn)有大規(guī)模深度神經(jīng)網(wǎng)絡(luò)或深度學(xué)習(xí)芯片的不足，具有集 成度高、功耗小、計(jì)算速度快、配置靈活等特點(diǎn)。智能視覺駕駛疲勞檢測(cè)加速器使得疲勞駕 駛監(jiān)測(cè)終端像人類視覺系統(tǒng)一樣，具有"看懂"世界的能力，當(dāng)駕駛員駕駛疲勞時(shí)，除了對(duì)眼 睛狀態(tài)發(fā)生變化進(jìn)行監(jiān)測(cè)外，還可以對(duì)其表情，是否在打哈欠，以及坐姿等等都可以同時(shí)進(jìn) 行監(jiān)測(cè)，更好的為駕駛員安全駕駛提供保障。本實(shí)用新型適用范圍廣，市場(chǎng)潛力巨大。
【附圖說(shuō)明】
[0047]圖1是駕駛疲勞監(jiān)測(cè)的信號(hào)處理基本流程圖。
[0048]圖2是本實(shí)用新型提出的CNN智能視覺疲勞駕駛監(jiān)測(cè)加速器原理框圖。
[0049] 圖3是4X4兩維蜂窩神經(jīng)網(wǎng)絡(luò)示意圖。
[0050] 圖4是單個(gè)細(xì)胞等效電路的舉例。
【具體實(shí)施方式】
[0051] 下面將結(jié)合附圖對(duì)本實(shí)用新型的具體實(shí)施例進(jìn)行詳細(xì)描述。
[0052]基于機(jī)器視覺的駕駛疲勞監(jiān)測(cè)的信號(hào)處理基本流程如圖1所示，由以下四部分組 成:①圖像采集，主要通過攝像頭采集駕駛員的頭面部圖像或身體行為;②圖像處理與視覺 特征提取，包括圖像預(yù)處理(濾波、增強(qiáng)、畸變校正等)和人臉定位，面部特征分割、跟蹤與視 覺特征提取，獲得有效識(shí)別直接反應(yīng)駕駛員疲勞的信息和間接反應(yīng)疲勞駕駛行為的數(shù)據(jù)； ③駕駛疲勞評(píng)測(cè)，根據(jù)獲得的駕駛行為特征數(shù)據(jù)，采用模式識(shí)別方法或直接運(yùn)用疲勞標(biāo)準(zhǔn) 判斷駕駛疲勞的狀態(tài)，即由面部或身體特征的變化，如是否打哈欠及頻率、點(diǎn)頭的幅度和 頻率、眨眼頻率、眼瞼閉合時(shí)間、瞳孔縮小量、視線是否下移、視線跳躍的范圍和頻率來(lái)確定 駕駛員是否處于駕駛疲勞狀態(tài)，給出疲勞評(píng)測(cè)等級(jí)，比如清醒、可能疲勞、疲勞和極度疲勞 等;④預(yù)警提示，預(yù)警系統(tǒng)由聲音、視覺或燈光報(bào)警器組成，當(dāng)監(jiān)測(cè)到駕駛員疲勞時(shí)，分析處 于哪個(gè)疲勞狀態(tài)，通過報(bào)警器發(fā)出不同強(qiáng)弱的聲音和亮光刺激來(lái)提醒駕駛員注意。
[0053] 根據(jù)基于機(jī)器視覺的駕駛疲勞監(jiān)測(cè)的信號(hào)處理基本流程，本實(shí)用新型以先進(jìn)的細(xì) 胞/卷積神經(jīng)網(wǎng)絡(luò)(CNN)芯片為核心，和攝像頭（圖像獲?。?、微處理器、內(nèi)存、通信接口、揚(yáng)聲 器和LED燈等構(gòu)造一個(gè)深度學(xué)習(xí)的智能視覺疲勞駕駛監(jiān)測(cè)加速器，提高疲勞駕駛監(jiān)測(cè)終端 的識(shí)別速度和精度，加速器原理框圖如圖2所示。
[0054] 細(xì)胞/卷積神經(jīng)網(wǎng)絡(luò)(CNN)芯片：用于圖像特征提取，提取出攝像頭送來(lái)的圖像或 視頻中的所關(guān)注的圖像主要特征。CNN芯片的核心是細(xì)胞/卷積神經(jīng)網(wǎng)絡(luò)(CNN)，CNN網(wǎng)絡(luò)的 原理框圖如圖3所示，CNN網(wǎng)絡(luò)可以構(gòu)建現(xiàn)在正火熱的深度學(xué)習(xí)系統(tǒng)。如同人類的神經(jīng)網(wǎng)絡(luò)， CNN由大量非線性模擬電路組成，能夠?qū)崟r(shí)處理輸入的信號(hào)，當(dāng)然現(xiàn)在這些非線性模擬電路 的功能也可以采用數(shù)字電路來(lái)實(shí)現(xiàn)。這些非線性模擬電路構(gòu)成的單元稱之為細(xì)胞(Cell)， 達(dá)數(shù)百萬(wàn)個(gè)的細(xì)胞按一定的規(guī)則排列，只有最鄰近的細(xì)胞才直接互相相連，交換信息。遠(yuǎn)端 的細(xì)胞通過耦合間接地發(fā)揮影響。每個(gè)細(xì)胞由線性電容、線性電阻、非線性的壓控電流源、 獨(dú)立的電壓源和獨(dú)立的電流源等組成，如圖4所示，也可以用數(shù)字電路實(shí)現(xiàn)與圖4等效的功 能。CNN利用了模擬和數(shù)字兩個(gè)世界的優(yōu)勢(shì)，特別適用于信號(hào)平行處理，它的連續(xù)時(shí)間特性 可以實(shí)時(shí)處理信號(hào)。
[0055]圖3給出的是二維一層CNN網(wǎng)絡(luò)結(jié)構(gòu)，可以進(jìn)一步構(gòu)筑多層的CNN，增加學(xué)習(xí)的深 度，如同現(xiàn)在的深度學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)。CNN細(xì)胞的參數(shù)是可以通過事先設(shè)置，并在后面使用過 程中通過程序再次設(shè)置。
[0056]不同的CNN細(xì)胞、不同的CNN層可以完成不同的圖像處理功能，比如不同細(xì)胞分別 完成圖像降噪、圖像紋理、邊緣檢測(cè)、圖像分割、凸凹角檢測(cè)、邊界提取、孔洞填充、骨架提 取、裁剪等，從而實(shí)時(shí)地得到圖像的各種特征，便于后續(xù)微處理進(jìn)一步實(shí)現(xiàn)圖像識(shí)別、表示 和描述。當(dāng)然，圖像的識(shí)別、表示和描述同樣可以由不同配置的CNN實(shí)現(xiàn)。
[0057] CNN芯片是基于深度學(xué)習(xí)原理的神經(jīng)網(wǎng)絡(luò)，包括輸入層、多層隱藏層和輸出層。當(dāng) 將駕駛員的行為樣本提供給CNN芯片后，CNN芯片神經(jīng)元的激活值從輸入層經(jīng)各中間隱藏層 向輸出層傳輸，從底往上優(yōu)化各層連接權(quán)值，在輸出層的各神經(jīng)單元間獲得網(wǎng)絡(luò)的輸入響 應(yīng)，然后按照減少目標(biāo)輸出與實(shí)際誤差的目標(biāo)，自頂往下，從輸出層經(jīng)過各隱藏層逐層修正 各層的連接權(quán)值，最后回到輸入層。隨著這種誤差傳播修正不斷地進(jìn)行，網(wǎng)絡(luò)對(duì)輸入駕駛員 行為模式響應(yīng)的正確率也不斷上升，最終使誤差達(dá)到設(shè)定的目標(biāo)值。CNN芯片具有較好的泛 化能力和容錯(cuò)能力。
[0058]在本具體實(shí)施例子中，通過CNN芯片的深度學(xué)習(xí)功能能夠快速獲得駕駛員的駕駛 狀態(tài)，實(shí)現(xiàn)圖1所示的視覺特征檢測(cè)和提取功能，獲得面部或身體特征的變化，例如眼部狀 態(tài)、唇部狀態(tài)、面部表情、身體姿態(tài)和各種狀態(tài)的融合，得到打哈欠及頻率、點(diǎn)頭的幅度和頻 率、眨眼頻率、眼瞼閉合時(shí)間、瞳孔縮小量、視線是否下移、視線跳躍的范圍和頻率等，以便 后面的處理模塊根據(jù)這些狀態(tài)參量確定駕駛員駕駛的疲勞程度。
[0059] 這里描述的CNN主要是從提取圖像特征出發(fā)的，當(dāng)然CNN也可用于語(yǔ)音或聲音的深 度學(xué)習(xí)，提取語(yǔ)音信號(hào)或聲音信號(hào)的特征提取，比如聲紋特征，然后用于語(yǔ)音或聲音的識(shí) 另IJ，原理和圖像是類似的。應(yīng)用信息融合技術(shù)，結(jié)合駕駛員圖像特征和聲音特征獲得更好 的駕駛疲勞監(jiān)測(cè)。
[0060] CNN獲得的圖像或視覺特征信號(hào)可以直接送給微處理器MCU，兩者連接接口可以是 串行或并行數(shù)據(jù)接口。
[0061] 關(guān)于CNN更詳細(xì)的原理，請(qǐng)參見前面給出的楊林博士所申請(qǐng)的發(fā)明專利和發(fā)表的 學(xué)術(shù)論文?；贑NN原理，已完成集成電路一智能視覺芯片（Smart Vision Integrated Circuit，SViC)的設(shè)計(jì)和流片。
[0062] 攝像頭：用于拍攝我們所關(guān)注或要處理的特定標(biāo)識(shí)的圖像或視頻，在本實(shí)施例子 中就是駕駛員駕駛狀態(tài)的圖像或者視頻，把獲得的圖像或者視頻送給CNN芯片。市場(chǎng)上攝像 頭非常多，一般都能滿足本實(shí)施例的要求，本實(shí)施例中采用了索尼頂X135,采用背照式成像 傳感器，分辨率為4224 X 3176。
[0063] 微處理器MCU:微處理連接到CNN芯片，和CNN芯片進(jìn)行通訊，設(shè)置和檢查CNN芯片的 工作狀態(tài)。設(shè)置CNN芯片的初始工作模式，在系統(tǒng)運(yùn)行期間，它可以讀取CNN芯片的工作狀 態(tài)，并重新設(shè)置CNN中各個(gè)細(xì)胞的配置參數(shù)，獲得不同的圖像特征。根據(jù)所選用微處理器的 能力，讓微處理器依據(jù)CNN獲得的圖像特征，參與部分圖像識(shí)別工作，微處理器和CNN芯片配 合加速完成不同的圖像識(shí)別功能，提高識(shí)別速度和識(shí)別性能，一起起到圖像識(shí)別加速的作 用。依靠識(shí)別出的圖像內(nèi)容，可以完成駕駛員駕駛狀態(tài)的監(jiān)測(cè)和鑒別，實(shí)現(xiàn)圖1中駕駛疲勞 評(píng)測(cè)模塊功能；或者微處理器把相關(guān)特征和初步識(shí)別結(jié)果通過無(wú)線網(wǎng)絡(luò)上傳到云端，由云 端進(jìn)行處理后返回結(jié)果，確定駕駛員駕駛狀態(tài)，并決定是否發(fā)出警示。
[0064]在本實(shí)施例中，微處理選用了ARM內(nèi)核的處理器，具有功耗低、運(yùn)行速度快、種類多 等特性，目前占據(jù)市場(chǎng)主導(dǎo)地位，高通、三星、聯(lián)發(fā)科、華為、全志、瑞芯微、晶晨等眾多公司 都能提供ARM微處理器。在本實(shí)施例中選用了三星公司的S5PV210作為微處理器，S5PV210 采用了ARM CortexTM-A8內(nèi)核，ARM V7指令集，主頻可達(dá)lGHZ，64/32位內(nèi)部總線結(jié)構(gòu)，32/ 32KB的數(shù)據(jù)/指令一級(jí)緩存，512KB的二級(jí)緩存，可以實(shí)現(xiàn)2000DMIPS(每秒運(yùn)算2億條指令 集）的高性能運(yùn)算能力。S5PV210具有強(qiáng)大的硬件編解碼功能，內(nèi)建MFC(Multi Format Codec)和PowerVR SGX540 3D圖形引擎和2D圖形引擎，能夠支持DX9，SM3.0，0penGL2.0等PC 級(jí)別顯示技術(shù)。具備IVA3硬件加速器，內(nèi)建的HDMIvl.3,可以將高清視頻輸出到外部顯示器 上。S5PV210的存儲(chǔ)控制器支持LPDDRl，LroDR2和DDR2類型的RAM，F(xiàn)lash支持Nandflash， Norflash，OneNand 等。
[0065] 內(nèi)存：用于保存CNN芯片和微處理器等涉及到的輸入的原始數(shù)據(jù)、中間計(jì)算結(jié)果和 最終的圖像特征數(shù)值等。CNN芯片自身也有存儲(chǔ)器，也可以部分保存圖像特征過程中涉及到 的數(shù)據(jù)。本實(shí)施例中內(nèi)存選用了美光MT47H64M16HR，是DDR2 SDRAM，容量lGbit。微處理器的 Flash擴(kuò)展采用了三星K9F1G08U0E，屬于NAND Flash，容量為1Gb。
[0066] 通信接口模塊：完成加速器和外部的命令、數(shù)據(jù)交換，支持串行數(shù)據(jù)接口，包括 USB、I2C等，并行數(shù)據(jù)接口，諸如三星S5PV210等，一般ARM處理器本身就具有USB、I 2C、并行數(shù) 據(jù)接口、0TG等接口。還支持RJ45接口的以太網(wǎng)，以及無(wú)線網(wǎng)絡(luò)WiFi接口。本實(shí)施例中以太網(wǎng) 控制器選用了 WIZnet公司的W5500,支持通過有線網(wǎng)與支付服務(wù)器的通信。WiFi模塊選用了 安信可ESP8266。
[0067] 觸摸液晶顯示屏LCD:微處理器還連接有觸摸液晶顯示屏，用以顯示CNN芯片或系 統(tǒng)的工作狀態(tài)和系統(tǒng)配置等信息，以及通過觸摸屏接受用戶的輸入。當(dāng)監(jiān)測(cè)到駕駛員疲勞 時(shí)，根據(jù)疲勞程度，通過LCD顯示屏播放不同的視頻，提醒駕駛員注意。
[0068] 本實(shí)施例的觸摸液晶顯示屏采用了淘晶馳TJC4024T032_011R屏，觸摸方式為電阻 式。
[0069]麥克風(fēng)：用于將用戶的聲音信號(hào)轉(zhuǎn)換為電信號(hào)，通過微處理器Μ⑶送給CNN芯片，進(jìn) 行聲音特征提取，進(jìn)而完成聲音識(shí)別，可以和圖像、視覺等融合到一起構(gòu)成多模態(tài)特征行為 監(jiān)測(cè)。本實(shí)施例對(duì)麥克風(fēng)沒有特殊要求，一般市場(chǎng)上的麥克風(fēng)都可滿足要求。
[0070] 揚(yáng)聲器:用于當(dāng)監(jiān)測(cè)到駕駛員疲勞時(shí)播放語(yǔ)音提示信息，比如警示音。本實(shí)施例對(duì) 揚(yáng)聲器沒有特殊要求，一般市場(chǎng)上的揚(yáng)聲器都可滿足要求。
[0071] LED提示燈:半導(dǎo)體發(fā)光二極管，是一種固態(tài)的半導(dǎo)體器件，它可以直接把電轉(zhuǎn)化 為光。當(dāng)監(jiān)測(cè)到駕駛員疲勞時(shí)，根據(jù)疲勞狀態(tài)，LED提示燈發(fā)出不同強(qiáng)弱和顏色的亮光，刺激 駕駛員。也可以用于指示系統(tǒng)的工作狀態(tài)。
[0072]電源:用于給CNN芯片和系統(tǒng)提供所需的穩(wěn)定供電。
[0073]上述內(nèi)存芯片、通信接口芯片或模塊、麥克風(fēng)、揚(yáng)聲器以及觸摸液晶顯示屏、LED等 都通過合適的管腳連接到微處理芯片上。
[0074]可以把上述CNN駕駛疲勞監(jiān)測(cè)系統(tǒng)加速器集成到一起，做成后視鏡的形式，或者做 成獨(dú)立的便攜終端，或者和車輛做更深入的集成，作為汽車的一個(gè)功能模塊，設(shè)計(jì)到汽車合 適的位置。
[0075]本實(shí)施例采用了Android操作系統(tǒng)，所涉及到軟件，在此就不再贅述了。
[0076] 上述實(shí)施例中涉及到的細(xì)胞/卷積神經(jīng)網(wǎng)絡(luò)（Cellular/Convolutional Neural NetW〇rkS，CNN)芯片，在實(shí)際具體實(shí)施中，也可以替換為采用其它機(jī)器視覺識(shí)別算法的芯 片，例如基于淺度學(xué)習(xí)（Shal low Learning)的機(jī)器視覺識(shí)別芯片、基于自動(dòng)編碼器 (AutoEncoder)、稀疏編碼（Sparse Coding)、限制玻爾茲曼機(jī)（Restricted Boltzmann Machine，RBM)、深信度網(wǎng)絡(luò)（Deep Belief Networks)等算法的深度學(xué)習(xí)（Deep Learning) 的機(jī)器視覺識(shí)別芯片。
[0077] 本實(shí)施例的特征在于所述的細(xì)胞/卷積神經(jīng)網(wǎng)絡(luò)(CNN)芯片和攝像頭、內(nèi)存、微處 理器、通信接口模塊和電源等構(gòu)成了駕駛疲勞監(jiān)測(cè)中的圖像或視頻特征提取和識(shí)別加速 器。
[0078]本實(shí)用新型圍繞細(xì)胞/卷積神經(jīng)網(wǎng)絡(luò)CNN，和攝像頭、內(nèi)存、微處理器和通信接口 等，構(gòu)成一個(gè)具有模式識(shí)別功能的智能視覺疲勞駕駛監(jiān)測(cè)加速器，提高駕駛員駕駛行為的 識(shí)別速度和精度，克服了現(xiàn)有大規(guī)模深度神經(jīng)網(wǎng)絡(luò)或深度學(xué)習(xí)芯片的不足，具有集成度高、 功耗小、速度快、配置靈活等特點(diǎn)。能更好地為駕駛員安全駕駛提供保障。
[0079]上述【具體實(shí)施方式】以較佳實(shí)施例對(duì)本實(shí)用新型進(jìn)行了說(shuō)明，但這只是為了便于理 解而舉的一個(gè)形象化的實(shí)例，不應(yīng)被視為是對(duì)本實(shí)用新型范圍的限制。同樣，根據(jù)本實(shí)用新 型的技術(shù)方案及其較佳實(shí)施例的描述，可以做出各種可能的等同改變或替換，而所有這些 改變或替換都應(yīng)屬于本實(shí)用新型權(quán)利要求的保護(hù)范圍。
【主權(quán)項(xiàng)】
1. 細(xì)胞/卷積神經(jīng)網(wǎng)絡(luò)智能視覺駕駛疲勞監(jiān)測(cè)加速器，由以下模塊組成： 攝像頭，用于獲得駕駛員駕駛時(shí)特定狀態(tài)的圖像或視頻，把得到的圖像或視頻送給機(jī) 器視覺識(shí)別芯片； 機(jī)器視覺識(shí)別芯片，按預(yù)置的功能處理攝像頭輸入的圖像信號(hào)得到相應(yīng)的特征值，送 給微處理器； 微處理器，設(shè)置和檢測(cè)機(jī)器視覺識(shí)別芯片的工作狀態(tài)，接收機(jī)器視覺識(shí)別芯片送來(lái)的 圖像特征數(shù)據(jù)，運(yùn)行圖像識(shí)別和疲勞評(píng)測(cè)算法，確認(rèn)駕駛員駕駛狀態(tài)，并控制異常狀態(tài)發(fā)生 時(shí)發(fā)出的聲音警示； 內(nèi)存模塊，保存輸入的原始數(shù)據(jù)、中間計(jì)算結(jié)果和最終的圖像特征數(shù)值； 顯示屏，用以顯示機(jī)器視覺識(shí)別芯片或系統(tǒng)的工作狀態(tài)和系統(tǒng)配置信息，以及播放提 醒圖片或視頻； 通信接口模塊，完成命令、數(shù)據(jù)的交換和傳輸； 麥克風(fēng)，拾取用戶的聲音信號(hào)，經(jīng)微處理器送給機(jī)器視覺識(shí)別芯片； 揚(yáng)聲器，用于播放語(yǔ)音警示信息； 提示燈，用于發(fā)出警示燈光； 電源模塊，為機(jī)器視覺識(shí)別芯片和系統(tǒng)提供穩(wěn)定的供電； 其特征在于所述的機(jī)器視覺識(shí)別芯片連接攝像頭和微處理器，微處理器連接內(nèi)存模 塊、顯示屏、通信接口、麥克風(fēng)、揚(yáng)聲器、提示燈和電源，構(gòu)成基于智能視覺識(shí)別的駕駛疲勞 監(jiān)測(cè)加速器。2. 根據(jù)權(quán)利要求1所述的細(xì)胞/卷積神經(jīng)網(wǎng)絡(luò)智能視覺駕駛疲勞監(jiān)測(cè)加速器，其特征在 于，所述的機(jī)器視覺識(shí)別芯片是細(xì)胞/卷積神經(jīng)網(wǎng)絡(luò)芯片。3. 根據(jù)權(quán)利要求1所述的細(xì)胞/卷積神經(jīng)網(wǎng)絡(luò)智能視覺駕駛疲勞監(jiān)測(cè)加速器，其特征在 于所述的特征包括眼部特征、唇部特征、面部表情特征、身體姿態(tài)特征和各種狀態(tài)的融合。4. 根據(jù)權(quán)利要求1所述的細(xì)胞/卷積神經(jīng)網(wǎng)絡(luò)智能視覺駕駛疲勞監(jiān)測(cè)加速器，其特征在 于，所述的加速器工作參數(shù)可事先設(shè)置，并可在使用過程中通過程序再次設(shè)置。5. 根據(jù)權(quán)利要求1所述的細(xì)胞/卷積神經(jīng)網(wǎng)絡(luò)智能視覺駕駛疲勞監(jiān)測(cè)加速器，其特征在 于，所述的機(jī)器視覺識(shí)別芯片實(shí)現(xiàn)的算法包括自動(dòng)編碼器、稀疏編碼、限制玻爾茲曼機(jī)、深 信度網(wǎng)絡(luò)和深度卷積神經(jīng)網(wǎng)絡(luò)。6. 根據(jù)權(quán)利要求1所述的細(xì)胞/卷積神經(jīng)網(wǎng)絡(luò)智能視覺駕駛疲勞監(jiān)測(cè)加速器，其特征在 于，所述的圖像特征可以通過無(wú)線網(wǎng)絡(luò)上傳到后端或者云端進(jìn)行監(jiān)測(cè)，監(jiān)測(cè)到疲勞駕駛狀 態(tài)時(shí)，遠(yuǎn)程進(jìn)行警示、警告。7. 根據(jù)權(quán)利要求1所述的細(xì)胞/卷積神經(jīng)網(wǎng)絡(luò)智能視覺駕駛疲勞監(jiān)測(cè)加速器，其特征在 于，所述的細(xì)胞/卷積神經(jīng)網(wǎng)絡(luò)智能視覺駕駛疲勞監(jiān)測(cè)加速器可以內(nèi)置于汽車后視鏡、獨(dú)立 的便攜終端、作為汽車組件置于某個(gè)位置。
【文檔編號(hào)】G08B21/06GK205680247SQ201620325384
【公開日】2016年11月9日
【申請(qǐng)日】2016年4月19日 公開號(hào)201620325384.9, CN 201620325384, CN 205680247 U, CN 205680247U, CN-U-205680247, CN201620325384, CN201620325384.9, CN205680247 U, CN205680247U
【發(fā)明人】陳進(jìn)民, 虞惠華
【申請(qǐng)人】陳進(jìn)民