本發(fā)明屬于自動(dòng)駕駛技術(shù)領(lǐng)域，具體涉及一種結(jié)構(gòu)化道路自動(dòng)駕駛運(yùn)輸車及控制方法。

背景技術(shù)：

交通運(yùn)輸長(zhǎng)期以來(lái)就是社會(huì)發(fā)展的推進(jìn)器，2016年僅天貓雙十一一天就產(chǎn)生了6.57億物流訂單。隨著物流快遞量的與日俱增，快遞員的負(fù)擔(dān)也大大加重。由于每天的快遞量較多，快遞員即使是在中午的時(shí)候很難得到休息，加上快遞員在為客戶運(yùn)送物品的時(shí)候還要不停地關(guān)注著手機(jī)訂單，運(yùn)送快遞的車輛便容易發(fā)生事故，讓不少人坐立不安。

因此，使用一種能夠減輕物流負(fù)擔(dān)的快遞貨運(yùn)系統(tǒng)便十分重要，現(xiàn)行的方案主要有以下幾種：

中國(guó)發(fā)明專利201620108720.4提出了一種使用無(wú)人機(jī)系統(tǒng)運(yùn)送快遞的平臺(tái)，包括無(wú)人機(jī)和固定裝置，利用底部設(shè)有的可豎直升降和分離連接的快遞盒實(shí)現(xiàn)了快遞運(yùn)送的功能。目前國(guó)內(nèi)很多物流公司如順豐京東等都在農(nóng)村做試點(diǎn)對(duì)無(wú)人機(jī)運(yùn)送快遞進(jìn)行了測(cè)試，在一定程度上解放了部分勞動(dòng)力。但由于無(wú)人機(jī)體型較小，一臺(tái)無(wú)人機(jī)往往只能承載一份快遞，效率并不高。非軍用無(wú)人機(jī)的電池續(xù)航時(shí)間和可遙控距離都比較小，即使是性能較好的無(wú)人機(jī)實(shí)際可遙控范圍也都在幾千米之內(nèi)，如果依靠無(wú)人機(jī)解放勞動(dòng)力，物流公司可能需要花費(fèi)更多的資金去建立快遞點(diǎn)，城市中的高樓大廈、景觀照明、綠化數(shù)目等也都可能給無(wú)人機(jī)的飛行帶來(lái)隱患。因此，雖然無(wú)人機(jī)有機(jī)會(huì)解決“農(nóng)村最后一千米”的快遞配送問(wèn)題，但實(shí)現(xiàn)城市中大量訂單的配送在短期內(nèi)卻似乎并不可能，難以解決城市中快遞員送貨辛苦、事故頻發(fā)等問(wèn)題。

與無(wú)人機(jī)送貨相比，將自動(dòng)駕駛技術(shù)運(yùn)用到快遞物流行業(yè)似乎是更加可行的辦法。

在自動(dòng)駕駛技術(shù)應(yīng)用于貨運(yùn)行業(yè)的實(shí)例中，上海港機(jī)重工有限公司提出了一種方法以提升物件運(yùn)輸?shù)男屎瓦\(yùn)輸過(guò)程中的安全性，申請(qǐng)?zhí)枺?00710044004.x。所述方法為在路面上作出車輛行駛軌跡的標(biāo)識(shí)線，并在車輛上安裝攝像機(jī)系統(tǒng)和運(yùn)動(dòng)控制系統(tǒng)，類似于尋跡車，通過(guò)計(jì)算機(jī)對(duì)實(shí)時(shí)拍攝的標(biāo)識(shí)線進(jìn)行視頻圖像分析，計(jì)算偏離量數(shù)據(jù)，實(shí)現(xiàn)了車輛的自動(dòng)駕駛、無(wú)人駕駛。但系統(tǒng)中只應(yīng)用了前后兩個(gè)攝像機(jī)，沒有其它相關(guān)的攝像頭和傳感器，因此在駕駛的過(guò)程中只能用來(lái)識(shí)別已經(jīng)鋪設(shè)好的標(biāo)識(shí)線，沒有對(duì)道路周圍的實(shí)時(shí)情況如標(biāo)志牌、行人車輛等進(jìn)行監(jiān)測(cè)的功能，安全性不高。

深度學(xué)習(xí)在過(guò)去的一年中獲得了極快的發(fā)展，并逐漸應(yīng)用到了自動(dòng)駕駛領(lǐng)域中，國(guó)內(nèi)的一小部分電商公司如京東、阿里等也正計(jì)劃將無(wú)人駕駛技術(shù)應(yīng)用到快遞運(yùn)輸上，2016年9月京東宣布中國(guó)首輛無(wú)人配送快遞車已經(jīng)進(jìn)入道路測(cè)試階段，其核心算法就是深度學(xué)習(xí)。與國(guó)外很多的研究團(tuán)隊(duì)采用的方法相似，均使用了深度學(xué)習(xí)、圖像識(shí)別、大數(shù)據(jù)應(yīng)用等諸多先進(jìn)的技術(shù)，實(shí)現(xiàn)了無(wú)人駕駛的功能，但同時(shí)對(duì)技術(shù)和硬件成本的要求也很高，且體型比較小，缺少嚴(yán)密的報(bào)警系統(tǒng)，很多的無(wú)人快遞車一次都只能運(yùn)動(dòng)一個(gè)包裹，即使是比較大的京東快遞車也只有6個(gè)載貨艙，且有貨物大小的限制。此外，深度學(xué)習(xí)算法的一個(gè)最主要的特點(diǎn)就是從數(shù)據(jù)中學(xué)習(xí)，一個(gè)訓(xùn)練好的自動(dòng)駕駛模型在大多數(shù)道路上由機(jī)器駕駛一般是沒有問(wèn)題的，但遇到奇怪的路時(shí)就很容易識(shí)別不了，尤其是在行人多、路面窄的街區(qū)和小區(qū)中比較蜿蜒的小路上，每次遇到難以識(shí)別的道路時(shí)就重新訓(xùn)練模型是一項(xiàng)比較費(fèi)時(shí)費(fèi)力的任務(wù)。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于克服上述不足，提供一種結(jié)構(gòu)化道路自動(dòng)駕駛運(yùn)輸車及控制方法，使得在大多數(shù)情況下系統(tǒng)可以完全無(wú)人監(jiān)督駕駛，緊急情況下會(huì)自動(dòng)減速并向人反饋信息，同時(shí)針對(duì)我國(guó)道路的多樣化和模型參數(shù)訓(xùn)練耗費(fèi)時(shí)間和成本的問(wèn)題構(gòu)建了一個(gè)與自動(dòng)駕駛系統(tǒng)相輔助的模型參數(shù)共享平臺(tái)。

為了達(dá)到上述目的，一種結(jié)構(gòu)化道路自動(dòng)駕駛運(yùn)輸車，包括監(jiān)督駕駛室和貨倉(cāng)，貨倉(cāng)后部設(shè)置有第一攝像頭，貨倉(cāng)的側(cè)面分別設(shè)置有第二攝像頭和第三攝像頭，監(jiān)督駕駛艙前部設(shè)置有無(wú)畸變高速攝像頭、雙目攝像頭和前部超聲波測(cè)距單元，貨倉(cāng)的兩側(cè)均設(shè)置有若干側(cè)面超聲波測(cè)距單元，貨倉(cāng)頂部設(shè)置有激光雷達(dá)，貨倉(cāng)內(nèi)設(shè)置有g(shù)ps模塊；

所述第一攝像頭、第二攝像頭、第三攝像頭、無(wú)畸變高速攝像頭、雙目攝像頭、激光雷達(dá)、側(cè)面超聲波測(cè)距單元、前部超聲波測(cè)距單元和gps模塊均連接中央處理單元；

所述第一攝像頭、第二攝像頭、第三攝像頭、無(wú)畸變高速攝像頭用于實(shí)時(shí)采集車輛四周路況的rgb圖像數(shù)據(jù)，傳遞給中央處理單元中不同的神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提??；

所述雙目攝像頭位于監(jiān)督駕駛室正前方的中央位置，用于實(shí)時(shí)關(guān)注著車輛正前方的情況，構(gòu)建深度圖，傳遞給中央處理單元進(jìn)行測(cè)距；

所述激光雷達(dá)用于360°測(cè)算周圍物體的位置、速度等特征量，構(gòu)建點(diǎn)云圖，感知周圍環(huán)境，傳遞給中央處理單元，形成精度為厘米級(jí)的3d環(huán)境地圖；

所述側(cè)面超聲波測(cè)距單元和前部超聲波測(cè)距單元用于障礙物的測(cè)距；

所述中央處理單元用于接收第一攝像頭、第二攝像頭、第三攝像頭、無(wú)畸變高速攝像頭、雙目攝像頭、激光雷達(dá)、側(cè)面超聲波測(cè)距單元、前部超聲波測(cè)距單元和gps模塊的數(shù)據(jù)，利用隱含式?jīng)Q策神經(jīng)網(wǎng)絡(luò)確定系統(tǒng)的前進(jìn)、后退、停止及轉(zhuǎn)向決策，并將動(dòng)作指令傳遞給車輛控制單元。

所述貨倉(cāng)包括小型貨倉(cāng)、中型貨倉(cāng)和大型貨倉(cāng)。

所述第一攝像頭采用遠(yuǎn)焦攝像頭，第二攝像頭采用廣角攝像頭，第三攝像頭采用魚眼攝像頭。

所述中央處理單元包括：

視覺處理模塊：包括圖形處理器gpu和中央處理器cpu，用于接受攝像頭獲得的圖像數(shù)據(jù)，同時(shí)接受超聲波測(cè)距單元所獲得的距離數(shù)據(jù)和激光雷達(dá)獲得的周圍物體相關(guān)特征量，完成對(duì)轉(zhuǎn)向角度的判斷，分割出道路、行人、車輛等，同時(shí)讀取交通信號(hào)燈和交通信號(hào)標(biāo)志信息，綜合分析所得數(shù)據(jù)傳遞給決策模塊和人機(jī)交互模塊，并利用點(diǎn)云圖和深度圖結(jié)合修正反饋；

決策模塊：用于根據(jù)障礙物數(shù)據(jù)及控制指令數(shù)據(jù)判斷系統(tǒng)的移動(dòng)模式，即前進(jìn)、后退、停止或是角度轉(zhuǎn)向，并將其編碼為決策指令數(shù)據(jù)傳遞給車輛控制單元；

人機(jī)交互模塊：用于根據(jù)障礙物數(shù)據(jù)及控制指令數(shù)據(jù)判斷是否需要進(jìn)行危險(xiǎn)預(yù)警向車主或行人返回信息，并將其編碼為決策指令數(shù)據(jù)傳遞給車輛控制單元；

危險(xiǎn)預(yù)警模塊：根據(jù)深度圖、點(diǎn)云圖和測(cè)距單元返回的信息，在緊急情況下自動(dòng)減速，必要時(shí)向車主和行人返回信息進(jìn)行提醒。

一種結(jié)構(gòu)化道路自動(dòng)駕駛運(yùn)輸車的控制方法，包括以下步驟：

步驟一，通過(guò)第一攝像頭、第二攝像頭、第三攝像頭、無(wú)畸變高速攝像頭獲取周圍環(huán)境的的rgb圖像數(shù)據(jù)，雙目攝像頭獲取深度圖數(shù)據(jù)，激光雷達(dá)獲取點(diǎn)云圖數(shù)據(jù)，側(cè)面超聲波測(cè)距單元、前部超聲波測(cè)距單元獲取周圍障礙物的距離，gps模塊進(jìn)行地圖匹配判斷位置信息；

步驟二，中央處理器根據(jù)第一攝像頭、第二攝像頭、第三攝像頭、無(wú)畸變高速攝像頭的數(shù)據(jù)處理四個(gè)不同的神經(jīng)網(wǎng)絡(luò)處理數(shù)據(jù)，將激光雷達(dá)生成的點(diǎn)云圖與雙目攝像頭生成的深度圖相結(jié)合，判斷危險(xiǎn)目標(biāo)是否在危險(xiǎn)區(qū)域內(nèi)，并修正控制并反饋輸出，中央處理器分析各個(gè)神經(jīng)網(wǎng)絡(luò)輸出的數(shù)據(jù)，結(jié)合危險(xiǎn)預(yù)警所得到的信息，判斷是否需要向車主和行人返回信息并輸出；

步驟三，中央處理的綜合各個(gè)神經(jīng)網(wǎng)絡(luò)的輸出和危險(xiǎn)預(yù)警模塊返回的信息控制車輛的前進(jìn)、后退、停止及固定角度轉(zhuǎn)向，特殊情況下通過(guò)屏幕或語(yǔ)音輸出向車主或行人返回信息。

所述步驟二中，四個(gè)不同的神經(jīng)網(wǎng)絡(luò)包括：

第一個(gè)卷積神經(jīng)網(wǎng)絡(luò)輸出轉(zhuǎn)向角度；

第二個(gè)全卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行分割和語(yǔ)義理解；

第三個(gè)神經(jīng)網(wǎng)絡(luò)尋找交通信號(hào)燈和交通信號(hào)標(biāo)志；

第四個(gè)多尺度卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)前面的人或其他動(dòng)物。

所述步驟三中，訓(xùn)練端到端深度學(xué)習(xí)的駕駛決策功能控制流程為：

第一步，在訓(xùn)練系統(tǒng)之前，首先假定方向控制命令為其中r是以米為單位的轉(zhuǎn)彎半徑，同時(shí)假定左轉(zhuǎn)彎的為負(fù)，右轉(zhuǎn)彎的為正，其中假定為方向控制命令的好處在于避免了出現(xiàn)因直線行駛導(dǎo)致轉(zhuǎn)彎半徑r為無(wú)窮大的情況；

第二步，通過(guò)四個(gè)攝像頭采集彩色rgb圖像，對(duì)視頻進(jìn)行降采樣同時(shí)添加部分偏移和旋轉(zhuǎn)數(shù)據(jù)；

第三步，訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)的權(quán)重值：該網(wǎng)絡(luò)由輸入層、輸出層及隱層構(gòu)成，其中隱層包括九層，一個(gè)歸一層，五個(gè)卷積層和三個(gè)全連接層，在前三層采用2×2的卷積，其卷積核為5×5，后兩層采用無(wú)步幅卷積，卷積核是3×3，五個(gè)卷積層之后是全連接層，最后輸出一個(gè)數(shù)字，即轉(zhuǎn)彎半徑的倒數(shù)；

第四步，判斷神經(jīng)網(wǎng)絡(luò)輸出是否出現(xiàn)錯(cuò)誤：若沒有出現(xiàn)錯(cuò)誤，輸出位移和方向控制指令，若出現(xiàn)錯(cuò)誤，利用反向傳播來(lái)調(diào)整權(quán)重重新進(jìn)行優(yōu)化；

第五步：根據(jù)正確的位移和方向控制指令記錄調(diào)整口方向盤的操作，積累數(shù)據(jù)進(jìn)行仿真實(shí)驗(yàn)和上路測(cè)試。

所述步驟三中，危險(xiǎn)預(yù)警機(jī)制的控制流程為：

第一步，單目攝像頭采集rgb圖像數(shù)據(jù)，輸入到multinet網(wǎng)絡(luò)模型中；

第二步，multinet網(wǎng)絡(luò)模型完成道路分割，街道分類和車輛檢測(cè)，multinet網(wǎng)絡(luò)模型基于編碼器—解碼器架構(gòu)，編碼器由vgg網(wǎng)絡(luò)架構(gòu)的卷積層和池化層組成，共有13層，生成圖像張量，為解碼提供豐富的圖像特征，解碼器由三部分組成，分為分類解碼器、語(yǔ)義解碼器和檢測(cè)解碼器，分類解碼器利用編碼器生成的圖像特征，先對(duì)圖像特征矩陣進(jìn)行1×1的卷積，接著通過(guò)全連接層，并使用softmax函數(shù)層分類，從而得出所屬類別的概率，檢測(cè)解碼器利用編碼產(chǎn)生的特征，通過(guò)500個(gè)1×1的卷積產(chǎn)生隱藏的大小為39×12×500的圖像張量，再通過(guò)1×1的卷積產(chǎn)生分辨率為39×12的6個(gè)通道，語(yǔ)義分割解碼器基于全卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，輸入的編碼通過(guò)卷積池化層產(chǎn)生分辨率為39×12的分割，接著利用三個(gè)反卷積進(jìn)行上采樣，跳層實(shí)現(xiàn)從較低的層來(lái)獲取具有高分辨率的特征，再通過(guò)卷積并將其添加到上采樣的結(jié)果中，三個(gè)解碼器共享計(jì)算加速處理；

第三步，與雙目攝像頭得到的深度圖相匹配，獲得左右圖像的差異，進(jìn)而進(jìn)行深度的轉(zhuǎn)換，完成測(cè)距，判斷前后車輛的距離，

第四步，根據(jù)前后車輛距離判斷是否安全，如果安全則不作任何響應(yīng)，如果不安全車輛根據(jù)具體情況進(jìn)行減速或者其他判斷，需要情況下向車主或行人返回信息提醒。

所述步驟三中，標(biāo)志牌識(shí)別控制流程為：

第一步，四個(gè)攝像頭采集rgb圖，并根據(jù)采集得到的數(shù)據(jù)進(jìn)行圖像預(yù)處理，將所有的圖片拉伸到相同的大小范圍；

第二步，檢測(cè)分割出交通標(biāo)志信號(hào)燈或交通信號(hào)標(biāo)志，提取關(guān)鍵的信息特征，首先創(chuàng)建tensorflow圖對(duì)象，設(shè)置占位符放置圖片和標(biāo)簽，然后定義全連接層，使用可以在分類任務(wù)上取得小于0的部分函數(shù)值為0的relu函數(shù)作為激活函數(shù)，全連接層輸出對(duì)數(shù)矢量，采用交叉熵作為損失函數(shù)，利用softmax將標(biāo)簽數(shù)據(jù)和神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果轉(zhuǎn)化為概率；

第三步，進(jìn)行循環(huán)的訓(xùn)練，與信息庫(kù)中的交通標(biāo)志信號(hào)燈和交通標(biāo)志信號(hào)進(jìn)行對(duì)比得出結(jié)果進(jìn)行駕駛決策的判斷。

與現(xiàn)有技術(shù)相比，本發(fā)明的裝置通過(guò)攝像頭讀入圖像，傳遞給具有不同作用的神經(jīng)網(wǎng)絡(luò)進(jìn)行計(jì)算。將各個(gè)神經(jīng)網(wǎng)絡(luò)組隊(duì)分工，實(shí)現(xiàn)了自動(dòng)駕駛、標(biāo)志理解、危險(xiǎn)預(yù)警、人機(jī)交互等功能，并受到共享單車的啟發(fā)，創(chuàng)建了一個(gè)模型參數(shù)共享平臺(tái)，有助于解決人們?cè)谏窠?jīng)網(wǎng)絡(luò)難以理解的路上行駛自動(dòng)駕駛車輛訓(xùn)練參數(shù)模型費(fèi)時(shí)費(fèi)力的問(wèn)題，提高了資源的利用率。

本發(fā)明的控制方法基于計(jì)算機(jī)視覺和深層神經(jīng)網(wǎng)絡(luò)技術(shù)，在實(shí)現(xiàn)了主要功能的基礎(chǔ)上算法的思路較為簡(jiǎn)潔，不需要特別冗長(zhǎng)的代碼，強(qiáng)調(diào)從數(shù)據(jù)中學(xué)習(xí)，本發(fā)明結(jié)合自動(dòng)駕駛系統(tǒng)創(chuàng)建了參數(shù)共享平臺(tái)，有利于節(jié)省自動(dòng)駕駛研究過(guò)程中針對(duì)難識(shí)別的路訓(xùn)練參數(shù)模型的時(shí)間，很大程度上提高了資源利用率；本發(fā)明在控制過(guò)程中隱藏了決策過(guò)程，車輛自己模仿人的駕駛行為，使自動(dòng)駕駛技術(shù)更加有效地貼近生活，將神經(jīng)網(wǎng)絡(luò)進(jìn)行專職分工，組隊(duì)實(shí)現(xiàn)不同的功能，每個(gè)網(wǎng)絡(luò)只做適合自己的事，提高了系統(tǒng)的整體穩(wěn)定性。

附圖說(shuō)明

圖1為本發(fā)明的主視圖；

圖2為本發(fā)明的右視圖；

圖3為本發(fā)明的后視圖；

圖4為本發(fā)明的自動(dòng)駕駛系統(tǒng)結(jié)構(gòu)圖；

圖5為本發(fā)明訓(xùn)練駕駛決策功能的流程圖；

圖6為本發(fā)明危險(xiǎn)預(yù)警機(jī)制控制流程圖；

圖7為本發(fā)明標(biāo)志牌識(shí)別控制流程圖；

圖8為本發(fā)明參數(shù)共享平臺(tái)使用流程圖。

具體實(shí)施方式

下面結(jié)合附圖對(duì)本發(fā)明做進(jìn)一步說(shuō)明。

參見圖1至3，一種結(jié)構(gòu)化道路自動(dòng)駕駛運(yùn)輸車，包括監(jiān)督駕駛室12和貨倉(cāng)，貨倉(cāng)后部設(shè)置有第一攝像頭1，貨倉(cāng)的側(cè)面分別設(shè)置有第二攝像頭2和第三攝像頭3，監(jiān)督駕駛艙12前部設(shè)置有無(wú)畸變高速攝像頭4、雙目攝像頭5和前部超聲波測(cè)距單元8，貨倉(cāng)的兩側(cè)均設(shè)置有若干側(cè)面超聲波測(cè)距單元7，貨倉(cāng)頂部設(shè)置有激光雷達(dá)6，貨倉(cāng)內(nèi)設(shè)置有g(shù)ps模塊；

第一攝像頭1、第二攝像頭2、第三攝像頭3、無(wú)畸變高速攝像頭4、雙目攝像頭5、激光雷達(dá)6、側(cè)面超聲波測(cè)距單元7、前部超聲波測(cè)距單元8和gps模塊均連接中央處理單元；

第一攝像頭1、第二攝像頭2、第三攝像頭3、無(wú)畸變高速攝像頭4用于實(shí)時(shí)采集車輛四周路況的rgb圖像數(shù)據(jù)，傳遞給中央處理單元中不同的神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提??；

雙目攝像頭5位于監(jiān)督駕駛室12正前方的中央位置，用于實(shí)時(shí)關(guān)注著車輛正前方的情況，構(gòu)建深度圖，傳遞給中央處理單元進(jìn)行測(cè)距；

激光雷達(dá)6用于360°測(cè)算周圍物體的位置、速度等特征量，構(gòu)建點(diǎn)云圖，感知周圍環(huán)境，傳遞給中央處理單元，形成精度為厘米級(jí)的3d環(huán)境地圖；

側(cè)面超聲波測(cè)距單元7和前部超聲波測(cè)距單元8用于障礙物的測(cè)距；

中央處理單元用于接收第一攝像頭1、第二攝像頭2、第三攝像頭3、無(wú)畸變高速攝像頭4、雙目攝像頭5、激光雷達(dá)6、側(cè)面超聲波測(cè)距單元7、前部超聲波測(cè)距單元8和gps模塊的數(shù)據(jù)，利用隱含式?jīng)Q策神經(jīng)網(wǎng)絡(luò)確定系統(tǒng)的前進(jìn)、后退、停止及轉(zhuǎn)向決策，并將動(dòng)作指令傳遞給車輛控制單元。

中央處理單元包括：

視覺處理模塊：包括圖形處理器gpu和中央處理器cpu，用于接受攝像頭獲得的圖像數(shù)據(jù)，同時(shí)接受超聲波測(cè)距單元所獲得的距離數(shù)據(jù)和激光雷達(dá)獲得的周圍物體相關(guān)特征量，完成對(duì)轉(zhuǎn)向角度的判斷，分割出道路、行人、車輛等，同時(shí)讀取交通信號(hào)燈和交通信號(hào)標(biāo)志信息，綜合分析所得數(shù)據(jù)傳遞給決策模塊和人機(jī)交互模塊，并利用點(diǎn)云圖和深度圖結(jié)合修正反饋；

決策模塊：用于根據(jù)障礙物數(shù)據(jù)及控制指令數(shù)據(jù)判斷系統(tǒng)的移動(dòng)模式，即前進(jìn)、后退、停止或是角度轉(zhuǎn)向，并將其編碼為決策指令數(shù)據(jù)傳遞給車輛控制單元；

人機(jī)交互模塊：用于根據(jù)障礙物數(shù)據(jù)及控制指令數(shù)據(jù)判斷是否需要進(jìn)行危險(xiǎn)預(yù)警向車主或行人返回信息，并將其編碼為決策指令數(shù)據(jù)傳遞給車輛控制單元；

危險(xiǎn)預(yù)警模塊：根據(jù)深度圖、點(diǎn)云圖和測(cè)距單元返回的信息，在緊急情況下自動(dòng)減速，必要時(shí)向車主和行人返回信息進(jìn)行提醒。

優(yōu)選的，貨倉(cāng)包括小型貨倉(cāng)9、中型貨倉(cāng)10和大型貨倉(cāng)11，第一攝像頭1采用遠(yuǎn)焦攝像頭，第二攝像頭2采用廣角攝像頭，第三攝像頭3采用魚眼攝像頭。

參見圖4，一種結(jié)構(gòu)化道路自動(dòng)駕駛運(yùn)輸車的控制方法，包括以下步驟：

步驟一，通過(guò)第一攝像頭1、第二攝像頭2、第三攝像頭3、無(wú)畸變高速攝像頭4獲取周圍環(huán)境的的rgb圖像數(shù)據(jù)，雙目攝像頭5獲取深度圖數(shù)據(jù)，激光雷達(dá)6獲取點(diǎn)云圖數(shù)據(jù)，側(cè)面超聲波測(cè)距單元7、前部超聲波測(cè)距單元8獲取周圍障礙物的距離，gps模塊進(jìn)行地圖匹配判斷位置信息；

步驟二，中央處理器根據(jù)第一攝像頭1、第二攝像頭2、第三攝像頭3、無(wú)畸變高速攝像頭4的數(shù)據(jù)處理四個(gè)不同的神經(jīng)網(wǎng)絡(luò)處理數(shù)據(jù)，將激光雷達(dá)6生成的點(diǎn)云圖與雙目攝像頭5生成的深度圖相結(jié)合，判斷危險(xiǎn)目標(biāo)是否在危險(xiǎn)區(qū)域內(nèi)，并修正控制并反饋輸出，中央處理器分析各個(gè)神經(jīng)網(wǎng)絡(luò)輸出的數(shù)據(jù)，結(jié)合危險(xiǎn)預(yù)警所得到的信息，判斷是否需要向車主和行人返回信息并輸出；

步驟三，中央處理的綜合各個(gè)神經(jīng)網(wǎng)絡(luò)的輸出和危險(xiǎn)預(yù)警模塊返回的信息控制車輛的前進(jìn)、后退、停止及固定角度轉(zhuǎn)向，特殊情況下通過(guò)屏幕或語(yǔ)音輸出向車主或行人返回信息。

所述步驟二中，四個(gè)不同的神經(jīng)網(wǎng)絡(luò)包括：

第一個(gè)卷積神經(jīng)網(wǎng)絡(luò)輸出轉(zhuǎn)向角度；

第二個(gè)全卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行分割和語(yǔ)義理解；

第三個(gè)神經(jīng)網(wǎng)絡(luò)尋找交通信號(hào)燈和交通信號(hào)標(biāo)志；

第四個(gè)多尺度卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)前面的人或其他動(dòng)物。

參見圖5，訓(xùn)練端到端深度學(xué)習(xí)的駕駛決策功能控制流程為：

第一步，在訓(xùn)練系統(tǒng)之前，首先假定方向控制命令為其中r是以米為單位的轉(zhuǎn)彎半徑，同時(shí)假定左轉(zhuǎn)彎的為負(fù)，右轉(zhuǎn)彎的為正，其中假定為方向控制命令的好處在于避免了出現(xiàn)因直線行駛導(dǎo)致轉(zhuǎn)彎半徑r為無(wú)窮大的情況；

第二步，通過(guò)四個(gè)攝像頭采集彩色rgb圖像，對(duì)視頻進(jìn)行降采樣同時(shí)添加部分偏移和旋轉(zhuǎn)數(shù)據(jù)；

第三步，訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)的權(quán)重值：該網(wǎng)絡(luò)由輸入層、輸出層及隱層構(gòu)成，其中隱層包括九層，一個(gè)歸一層，五個(gè)卷積層和三個(gè)全連接層，在前三層采用2×2的卷積，其卷積核為5×5，后兩層采用無(wú)步幅卷積，卷積核是3×3，五個(gè)卷積層之后是全連接層，最后輸出一個(gè)數(shù)字，即轉(zhuǎn)彎半徑的倒數(shù)；

第四步，判斷神經(jīng)網(wǎng)絡(luò)輸出是否出現(xiàn)錯(cuò)誤：若沒有出現(xiàn)錯(cuò)誤，輸出位移和方向控制指令，若出現(xiàn)錯(cuò)誤，利用反向傳播來(lái)調(diào)整權(quán)重重新進(jìn)行優(yōu)化；

第五步：根據(jù)正確的位移和方向控制指令記錄調(diào)整口方向盤的操作，積累數(shù)據(jù)進(jìn)行仿真實(shí)驗(yàn)和上路測(cè)試。

參見圖6，危險(xiǎn)預(yù)警機(jī)制的控制流程為：

第一步，單目攝像頭采集rgb圖像數(shù)據(jù)，輸入到multinet網(wǎng)絡(luò)模型中；

第二步，multinet網(wǎng)絡(luò)模型完成道路分割，街道分類和車輛檢測(cè)，multinet網(wǎng)絡(luò)模型基于編碼器—解碼器架構(gòu)，編碼器由vgg網(wǎng)絡(luò)架構(gòu)的卷積層和池化層組成，共有13層，生成圖像張量，為解碼提供豐富的圖像特征，解碼器由三部分組成，分為分類解碼器、語(yǔ)義解碼器和檢測(cè)解碼器，分類解碼器利用編碼器生成的圖像特征，先對(duì)圖像特征矩陣進(jìn)行1×1的卷積，接著通過(guò)全連接層，并使用softmax函數(shù)層分類，從而得出所屬類別的概率，檢測(cè)解碼器利用編碼產(chǎn)生的特征，通過(guò)500個(gè)1×1的卷積產(chǎn)生隱藏的大小為39×12×500的圖像張量，再通過(guò)1×1的卷積產(chǎn)生分辨率為39×12的6個(gè)通道，語(yǔ)義分割解碼器基于全卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，輸入的編碼通過(guò)卷積池化層產(chǎn)生分辨率為39×12的分割，接著利用三個(gè)反卷積進(jìn)行上采樣，跳層實(shí)現(xiàn)從較低的層來(lái)獲取具有高分辨率的特征，再通過(guò)卷積并將其添加到上采樣的結(jié)果中，三個(gè)解碼器共享計(jì)算加速處理；

第三步，與雙目攝像頭得到的深度圖相匹配，獲得左右圖像的差異，進(jìn)而進(jìn)行深度的轉(zhuǎn)換，完成測(cè)距，判斷前后車輛的距離，

第四步，根據(jù)前后車輛距離判斷是否安全，如果安全則不作任何響應(yīng)，如果不安全車輛根據(jù)具體情況進(jìn)行減速或者其他判斷，需要情況下向車主或行人返回信息提醒。

參見圖7，標(biāo)志牌識(shí)別控制流程為：

第一步，四個(gè)攝像頭采集rgb圖，并根據(jù)采集得到的數(shù)據(jù)進(jìn)行圖像預(yù)處理，將所有的圖片拉伸到相同的大小范圍；

第二步，檢測(cè)分割出交通標(biāo)志信號(hào)燈或交通信號(hào)標(biāo)志，提取關(guān)鍵的信息特征，首先創(chuàng)建tensorflow圖對(duì)象，設(shè)置占位符放置圖片和標(biāo)簽，然后定義全連接層，使用可以在分類任務(wù)上取得小于0的部分函數(shù)值為0的relu函數(shù)作為激活函數(shù)，全連接層輸出對(duì)數(shù)矢量，采用交叉熵作為損失函數(shù)，利用softmax將標(biāo)簽數(shù)據(jù)和神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果轉(zhuǎn)化為概率；

第三步，進(jìn)行循環(huán)的訓(xùn)練，與信息庫(kù)中的交通標(biāo)志信號(hào)燈和交通標(biāo)志信號(hào)進(jìn)行對(duì)比得出結(jié)果進(jìn)行駕駛決策的判斷。

參見圖8，參數(shù)共享平臺(tái)的使用方法為：

在訓(xùn)練自動(dòng)駕駛系統(tǒng)的過(guò)程中遇到難以理解的路時(shí)便記錄下其它開過(guò)此路的車的數(shù)據(jù)，然后根據(jù)數(shù)據(jù)訓(xùn)練參數(shù)模型，將其發(fā)布到云端，如果有其他人想在類似的道路上行駛自動(dòng)駕駛車輛，只需要直接加載參數(shù)模型都可以，平臺(tái)針對(duì)自動(dòng)駕駛系統(tǒng)，所有人都可以上傳自己訓(xùn)練的參數(shù)模型，也可以從中下載自己需要的參數(shù)模型。

雖然神經(jīng)網(wǎng)絡(luò)可以學(xué)習(xí)多種道路特征并做出較高準(zhǔn)確率的決策，但世界上卻有很多并不是那么標(biāo)準(zhǔn)的路，當(dāng)遇到比較難以理解的路時(shí)往往需要根據(jù)道路的特征重新訓(xùn)練參數(shù)模型。目前我國(guó)利用神經(jīng)網(wǎng)絡(luò)技術(shù)研發(fā)自動(dòng)駕駛汽車的機(jī)構(gòu)并不在意少數(shù)，國(guó)內(nèi)卻少有可以參數(shù)共享的平臺(tái)，很多相對(duì)成熟的自動(dòng)駕駛技術(shù)可以很容易地識(shí)別比較寬闊的公路，卻很難在彎曲奇怪的小路上行駛，每次都重新訓(xùn)練費(fèi)時(shí)又費(fèi)力。因此，本發(fā)明在構(gòu)建自動(dòng)駕駛系統(tǒng)的同時(shí)創(chuàng)建了一個(gè)自動(dòng)駕駛相關(guān)的模型參數(shù)共享平臺(tái)，當(dāng)遇到小區(qū)內(nèi)或街區(qū)里比較難以理解的路時(shí)，我們會(huì)記錄下其他開過(guò)此路汽車的數(shù)據(jù)，并以此數(shù)據(jù)訓(xùn)練模型參數(shù)，將參數(shù)發(fā)布到云端，如果有其他人想在該道路上行駛自動(dòng)駕駛車輛，無(wú)論是快遞車、汽車還是大貨車，只需加載該參數(shù)模型就好。

本發(fā)明具有較高的可移植性，無(wú)論是在汽車或是大貨車上都可以采用本發(fā)明提出的自動(dòng)駕駛系統(tǒng)，在這里我們針對(duì)上述描述的社會(huì)問(wèn)題提出一種貨運(yùn)快遞車的應(yīng)用場(chǎng)景，具有以下幾個(gè)特點(diǎn)：

(1)在大多數(shù)情況下車輛可以實(shí)現(xiàn)完全自動(dòng)駕駛，人類只需輔助監(jiān)控，快遞員不必?fù)?dān)心回因?yàn)槠谶^(guò)度或者關(guān)注手機(jī)訂單而發(fā)生交通事故；

(2)外型類似于現(xiàn)階段經(jīng)常使用的快遞小車，屬于中小型車輛，考慮到實(shí)現(xiàn)無(wú)人駕駛，將最初的貨倉(cāng)分割成了獨(dú)立的貨倉(cāng)，包括三種大小，可以容納體積較大的快遞；

(3)貼合應(yīng)用場(chǎng)景可以采用低速行駛的模式，整體安全性較高，具有危險(xiǎn)預(yù)警和人機(jī)交互功能，內(nèi)置顯示屏，在緊急情況下會(huì)自動(dòng)減速，必要時(shí)向車主返回信息和向行人發(fā)出警告；

(4)由于神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的學(xué)習(xí)功能，駕駛室的座位可以折疊，現(xiàn)實(shí)生活中一個(gè)快遞點(diǎn)的快遞車往往只服務(wù)于周圍一定范圍內(nèi)的區(qū)域，在道路較好的情況下，一段時(shí)間之后自動(dòng)駕駛快遞車如果經(jīng)過(guò)測(cè)試無(wú)人干預(yù)也能比較順利地完成貨運(yùn)時(shí)，物流高峰期可以將座位折疊起來(lái)當(dāng)作一個(gè)獨(dú)立的大型儲(chǔ)物倉(cāng)進(jìn)行貨運(yùn)；

(5)gps定位，到達(dá)目的地附近會(huì)自動(dòng)停止通知客戶取貨。