專利名稱：車輛環(huán)視及車道檢測報警系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本實用新型涉及多媒體信息采集與處理技術(shù)領(lǐng)域，尤其涉及車輛環(huán)視及車道檢測 報警系統(tǒng)。
背景技術(shù)：
目前，視頻圖像處理與分析技術(shù)已是一門較為成熟的二維信號處理技術(shù)，現(xiàn)已被 廣泛應用于通信、生物醫(yī)學、工業(yè)檢測和軍事等各個方面，當然在汽車電子中也涉及到大量 的視頻圖像處理。隨著FPGA制作工藝的發(fā)展，其應用領(lǐng)域也在不斷的擴展，在汽車電子領(lǐng)域也有它 廣泛的應用舞臺。由于FPGA具有極強的實時性，也使其對語音、圖像的實時處理成為可能。 由于它是通過面向芯片結(jié)構(gòu)指令的軟件編程來實現(xiàn)其功能的，因而僅修改軟件而不需改硬 件平臺就可以改進系統(tǒng)原有設計方案或原有功能，具有極大的靈活性。又由于FPGA芯片并 非專門為某種功能設計的，因而使用范圍廣、產(chǎn)量大、價格可以降到很低。所以，F(xiàn)PGA在汽 車電子系統(tǒng)中大量應用，將會極大地促進汽車電子技術(shù)的發(fā)展。FPGA在汽車電子系統(tǒng)中大 量應用，將會極大地促進汽車電子技術(shù)的發(fā)展。目前，大多數(shù)圖像處理采用的是DSP處理器，雖然DSP處理器很強的處理能力，但 其價格十分昂貴，另一方面，國內(nèi)現(xiàn)階段尚無車載的全景車道偏離攝像及報警系統(tǒng)的產(chǎn)品， 所以搭建適合這種應用的硬件平臺顯得尤其可貴。

實用新型內(nèi)容為解決現(xiàn)有技術(shù)中對車輛周圍實時的圖像信息采集單一及在現(xiàn)有技術(shù)中采用的 DSP處理器成本高的問題，本實用新型提供一種系統(tǒng)集成度高、成本相對低、適合多路攝像 頭根據(jù)不同的需求進行全景圖像采集處理并且實現(xiàn)車道偏離報警、周邊物體測距等后端應 用的車輛環(huán)視及車道檢測報警系統(tǒng)。為解決上述問題，本實用新型包括若干個用于采集圖像信息的攝像頭，主控制器 FPGA和輸出設備，所述攝像頭輸出數(shù)字信號到所述主控制器FPGA，所述車輛環(huán)視及車道檢 測報警系統(tǒng)還包括處理器ARM、臨時存儲器和FLASH芯片，所述處理器ARM中存儲有用于初 始化攝像頭的配置程序，所述處理器ARM通過主控制器FPGA配置所述攝像頭，所述FLASH 芯片中存儲有用于配置主控制器FPGA的執(zhí)行程序，所述臨時存儲器通過主控制器FPGA接 收并存儲所述攝像頭采集的圖像信息，所述主控制器FPGA讀入所述臨時存儲器中的圖像 信息，并對圖像信息進行處理，所述輸出設備輸出所述主控制器FPGA對圖像信息的處理結(jié) 果。所述輸出設備包括顯示設備和報警器，所述主控制器FPGA對圖像信息的處理結(jié) 果包括由顯示設備輸出的車身周圍實時畫面和周圍物體距離車身的距離，以及由報警器輸 出的車道偏離警報和危險距離警報。所述報警器為一個翁鳴器，所述報警器接收主控制器FPGA發(fā)出的報警信號，并發(fā)出報警聲響。所述攝像頭包括用于完成實時畫面顯示的顯示攝像頭和用于完成車道偏離檢測 報警、車身周圍物體測距的功能攝像頭，所述顯示攝像頭的個數(shù)設置為四個，其中，一個安 裝于兩個車輛前燈的中點位置，兩個分別安裝于車身左右兩側(cè)的車窗與車頂交界處位置， 一個安裝于車身后部車窗與車頂交界處位置，所述功能攝像頭的個數(shù)設置為一個，所述功 能攝像頭安裝于車身前部的車窗與車頂?shù)慕唤犹幹悬c位置。所述車輛環(huán)視及車道檢測報警系統(tǒng)還包括用于信號格式轉(zhuǎn)換的第一芯片組和第 二芯片組，所述第一芯片組和所述第二芯片組分別包括與所述攝像頭數(shù)目相同的芯片，所 述第一芯片組中各芯片的一端分別與各所述顯示攝像頭一一對應連接，另一端與所述第二 芯片組中各芯片對應連接，所述第二芯片組中各芯片連接于主控制器FPGA ；所述第一芯片 組將所述顯示攝像頭輸出的數(shù)字信號轉(zhuǎn)化成低壓差分信號并輸出低壓差分信號到第二芯 片組，所述第二芯片組將接收到的低壓差分信號轉(zhuǎn)化為數(shù)字信號并輸出數(shù)字信號到主控制 器 FPGA。所述功能攝像頭直接與主控制器FPGA相連。所述臨時存儲器為兩個DDR2RAM，主控制器FPGA將圖像信息以幀為單位存儲至兩 個進行乒乓操作的DDR2SDRAM中用以作為幀信息的緩存。所述車輛環(huán)視及車道檢測報警系統(tǒng)還包括一個與主控制器FPGA相連的鐵電存儲 器，所述鐵電存儲器中存儲有用于顯示在顯示設備上的車身模擬圖像。所述顯示設備采用TFT顯示模塊或VGA顯示模塊。采用了本實用新型提供的車輛環(huán)視及車道檢測報警系統(tǒng)后，由于系統(tǒng)中采用了 FPGA配合ARM處理器，可對多路攝像頭根據(jù)不同的需求進行端接并進行相應的圖像處理， FPGA的時鐘延遲可以達到納秒級，非常適合超高速和實時信號處理的汽車領(lǐng)域，此外，本實 用新型還可實現(xiàn)周圍情景顯示、車道偏離報警、周邊物體測距等功能，在車載攝像功能的基 礎(chǔ)上進行了很大的功能擴充。另一方面，由于FPGA價格相對便宜，還可大大降低產(chǎn)品成本。

圖1是本實用新型提供的車輛環(huán)視及車道檢測報警系統(tǒng)一種實施方式的結(jié)構(gòu)框 架圖；圖2是本實用新型提供的車輛環(huán)視及車道檢測報警系統(tǒng)一種實施方式的硬件連 接圖；圖3是本實用新型提供的車輛環(huán)視及車道檢測報警系統(tǒng)一種實施方式的車道偏 離報警系統(tǒng)軟件流程圖；圖4是本實用新型提供的車輛環(huán)視及車道檢測報警系統(tǒng)一種實施方式的單目測 距軟件流程圖。
具體實施方式
為了使本實用新型所解決的技術(shù)問題、技術(shù)方案及有益效果更加清楚明白，以下 結(jié)合附圖及實施例，對本實用新型進行進一步詳細說明。應當理解，此處所描述的具體實施 例僅僅用以解釋本實用新型，并不用于限定本實用新型。[0021]如圖1、圖2所示，根據(jù)本實用新型的車輛環(huán)視及車道檢測報警系統(tǒng)的一種實施方 式，包括若干個用于采集圖像信息的攝像頭1，主控制器FPGA 5和輸出設備13，攝像頭1包 括用于完成實時畫面顯示的顯示攝像頭11和用于完成車道偏離檢測報警、車身周圍物體 測距的功能攝像頭12，由于功能攝像頭12采集的圖像信息直接用于軟件程序中的分析運 算，程序中對圖像的像素及分辨率要求較高，因此本實施方式下，功能攝像頭采用要求較高 的VL5510，顯示攝像頭11采用0V9710，攝像頭1輸出數(shù)字信號到所述主控制器FPGA 5，主 控制器 FPGA 5 選用 XC3SD1800A-FG676 芯片。本實用新型的此種實施方式下，上述顯示攝像頭11的個數(shù)設置為四個，其中，一 個安裝于兩個車輛前燈的中點位置，兩個分別安裝于車身左右兩側(cè)的車窗與車頂交界處位 置，一個安裝于車身后部車窗與車頂交界處位置；上述功能攝像頭12的個數(shù)設置為一個， 其安裝于車身前部的車窗與車頂?shù)慕唤犹幹悬c位置。直接與XC3SD1800A-FG676芯片相連的輸出設備13包括顯示設備7和報警器10， 輸出設備13用于輸出主控制器FPGA 5對圖像信息的處理結(jié)果，處理結(jié)果包括由顯示設備 7輸出的車身周圍的實時畫面和周圍物體距離車身的距離，以及由報警器10輸出的車道偏 離警報和危險距離警報。上述顯示設備7采用TFT液晶屏顯示圖像輸出，當然，也可采用 VGA顯示模塊顯示輸出。報警器10與主控制器FPGA 5連接，報警器10在接收到主控制器 FPGA 5的報警指令后，作出報警相應，本實施方式下，該報警器10為一個嗡鳴器，其接收到 報警指令后，會發(fā)出嗡鳴聲。該車輛環(huán)視及車道檢測報警系統(tǒng)還包括分別與主控制器FPGA 5相連接的處理器 ARM 4、臨時存儲器8和FLASH芯片6，在攝像頭1開始正常傳輸數(shù)據(jù)前，需要對主控制器 FPGA 5進行程序下載，處理器ARM 4采用STM32F103C芯片，其中存儲有用于初始化攝像頭 1的配置程序，上述處理器ARM 4將配置程序通過串口傳輸至主控制器FPGA 5，然后由主控 制器FPGA 5將配置程序轉(zhuǎn)換成多路配置信息同時配置各攝像頭1。臨時存儲器8為若干個DDR2 SDRAM，本實用新型中為兩片MT47H32M16芯片，兩 片MT47H32M16芯片作為圖像信息的緩存通過主控制器FPGA 5進行乒乓操作接收攝像頭1 采集到的圖像信息，并將圖像信息以幀為單位進行存儲。主控制器FPGA 5依次讀入兩片 MT47H32M16芯片中的圖像信息，并對圖像信息進行處理。上述FLASH芯片6選用M25P64芯片，其中存儲有主控制器FPGA 5的執(zhí)行程序，主 控制器FPGA 5通過SPI方式讀取FLASH芯片6中的程序完成配置。由于上述各顯示攝像頭11分別安裝于車身的不同位置，并且各自完成圖像采集 功能，因此，圖像信息在進入主控制器FPGA 5之前，有必要將各顯示攝像頭11采集的圖像 信息轉(zhuǎn)換成適合較長距離傳輸?shù)牡蛪翰罘中盘栍糜趥鬏敳R總。該車輛環(huán)視及車道檢測報 警系統(tǒng)還包括用于信號格式轉(zhuǎn)換的第一芯片組2和第二芯片組3，第一芯片組2和第二芯 片組3分別包括與上述顯示攝像頭11數(shù)目相同的芯片，本實用新型的此種實施方式下，第 一芯片組2采用MAX9257芯片，第二芯片組3采用MAX9258芯片，上述第一芯片組2中各 MAX9257芯片的一端分別與各顯示攝像頭1 一一對應連接，另一端與第二芯片組3中的各 MAX9258芯片對應連接，同時，第二芯片組3中的MAX9258芯片又與主控制器FPGA 5相連 接，上述四路顯示攝像頭11分別將采集的圖像信息經(jīng)MAX9257轉(zhuǎn)換成適合較長距離傳輸?shù)?低壓差分信號傳輸至MAX9258，MAX9258芯片將接收到的低壓差分信號轉(zhuǎn)化為數(shù)字信號并
6將數(shù)字信號匯總輸出到主控制器FPGA 5—同完成相應處理。由于用于將采集到的圖像信 息輸出至主控制器FPGA 5中完成車道偏離報警和車身周圍物體測距功能的功能攝像頭12 數(shù)目僅有一個，因此，該功能攝像頭12可直接與主控制器FPGA 5相連接。本實用新型的該種實施方式下，還包括一個與主控制器FPGA 5相連的鐵電存儲 器9，該鐵電存儲器9中存儲有車身模擬圖像，經(jīng)主控制器FPGA 5處理后的圖像信息與鐵電 存儲器9中存儲的車身模擬圖像疊加顯示在車載TFT液晶屏上。本實用新型的工作原理為，安裝于車身前、后、左、右4個顯示攝像頭11對車身周 邊360度范圍內(nèi)的實時場景進行圖像采集并輸出數(shù)字信號的圖像，顯示攝像頭11將圖像 信息發(fā)送到MAX9257，MAX9257將接收到的數(shù)據(jù)轉(zhuǎn)換成為低壓差分信號進行長距離傳輸?shù)?MAX9258，其中MAX9257最高支持70M的像素頻率，一般攝像頭的時鐘在27MHz以內(nèi)，所以傳 輸部分的時間延遲會很短，MAX9258將低壓差分信號重新還原為數(shù)字信號并將信號傳輸至 主控制器FPGA 5。主控制器FPGA 5讀入圖像信息后，圖像信息以幀為單位傳輸至作為臨時 存儲器8的DDR2SDRAM中作為幀信息的緩存，設計包含有兩個DDR2 SDRAM，可以采用乒乓 操作以利于主控制器FPGA 5的讀取與寫入，由于DDR2 SDRAM的讀取與寫入速度很快，單沿 觸發(fā)時可達到133-400MHZ的工作頻率，并且采用并行數(shù)據(jù)傳輸?shù)姆绞?，所以非常適合作為 幀緩存的存儲器，如此，可以大大降低圖像信息的延遲時間；其后，主控制器FPGA 5重新讀 入存儲在DDR2 SDRAM中的圖像信息并與鐵電存儲器9中存儲的車身模擬圖像疊加顯示在 TFT液晶屏上。此功能可以給駕駛員提供實時的車身周邊的圖像信息。功能攝像頭12將采集到的圖像信息經(jīng)過主控制器FPGA 5傳輸至DDR2 SDRAM中 作為緩存，主控制器FPGA 5也可讀入存儲在DDR2 SDRAM中的該圖像信息并對讀入的圖像 信息進行相應程序處理，處理完成后輸出結(jié)果至TFT液晶屏上進行顯示，用以完成車道偏 離報警及單目測距功能。由于主控制器FPGA 5采用并行處理模式，而且其工作頻率高達 125MHz，處理數(shù)據(jù)的時間延遲在納秒級，所以為高速圖像處理的實時性奠定了穩(wěn)固的基礎(chǔ)。如圖3所示車道偏離報警系統(tǒng)軟件流程圖，車道偏離檢測的功能實現(xiàn)主要借助于 常用的圖像處理算法。對于輸入到主控制器FPGA 5的圖像，選擇合適的掩膜進行平滑運 算，以消除或盡量減少噪聲；在此基礎(chǔ)上去掉完全不包含道路信息的天空部分，并對圖像進 行分窗口處理，計算各圖像的對比度，衡量該矩形窗口的復雜程度，結(jié)合道路圖像的實際情 況，預測其是否包含車道標線，即感興趣區(qū)域的提取；然后對處理后的圖像進行邊緣檢測， 選擇sobel算子，并通過非最大值抑制進行邊緣的細化處理，進一步減少后期處理的復雜 度；再選擇大津法計算合適的閾值對圖像進行二值化處理；最后是車道線的提取和偏離的 判斷選用hough變換檢測直線的方法提取出圖像中的車道線，通過前后幀直線斜率的變 化是否超出閾值判斷報警與否。本過程通過功能攝像頭實時獲取路況信息，圖像信息中檢 測的車道線作為安全提醒的依據(jù)之一，當汽車偏離正常的車道位置，或者超過其他限制因 素的閾值時，系統(tǒng)作出報警提示，此時，主控制器FPGA 5發(fā)出車道偏離報警指令到報警器 10，報警器10發(fā)出嗡鳴聲。圖4所示為單目測距軟件流程圖，首先對攝像頭1的標定，根據(jù)實際需要確定合適 的內(nèi)外參數(shù)，主控制器FPGA 5對于獲取的圖像信息進行濾波處理和邊緣檢測，再通過ostu 法進行二值化，之后結(jié)合實際中各車體的一般特征，選取出感興趣區(qū)域，最后通過圖像坐標 系、相機坐標系及世界坐標系三者間的關(guān)系結(jié)合前面確定的參數(shù)計算實際的距離，該距離值被輸出到TFT液晶屏上用于顯示。通過車身上的功能攝像頭獲取道路情況，同時通過相 關(guān)算法獲取需要的圖像，對圖像中出現(xiàn)的物體，如路標、警示牌、路障等進行單目測距，并且 實時顯示在TFT液晶屏上。當車輛與物體達到危險距離使得危機駕駛安全時，主控制器 FPGA便發(fā)出危險距離報警指令驅(qū)動報警器10報警以提醒駕駛?cè)藛T。采用了本實用新型提供的車輛環(huán)視及車道檢測報警系統(tǒng)后，由于系統(tǒng)中采用了 FPGA配合ARM處理器，可對多路攝像頭根據(jù)不同的需求進行端接并進行相應的圖像處理， FPGA的時鐘延遲可以達到納秒級，非常適合超高速和實時信號處理的汽車領(lǐng)域，此外，本實 用新型還可實現(xiàn)周圍情景顯示、車道偏離報警、周邊物體測距等功能，在車載攝像功能的基 礎(chǔ)上進行了很大的功能擴充。另一方面，由于FPGA價格相對便宜，還可大大降低產(chǎn)品成本。以上內(nèi)容是結(jié)合具體的優(yōu)選實施方式對本實用新型所做的進一步詳細說明，不能 認定本實用新型的具體實施只局限于這些說明。對于本領(lǐng)域的普通技術(shù)人員而言，可以在 不脫離本實用新型的原理的情況下對此實施例進行多種變化、修改、替換和變形，但都應當 視為屬于本實用新型的保護范圍。
權(quán)利要求1.車輛環(huán)視及車道檢測報警系統(tǒng)，包括若干個用于采集圖像信息的攝像頭(1)，主控 制器FPGA(5)和輸出設備(7)，所述攝像頭(1)輸出數(shù)字信號到所述主控制器FPGA(5)， 其特征在于，所述車輛環(huán)視及車道檢測報警系統(tǒng)還包括處理器ARM(4)、臨時存儲器(8)和 FLASH芯片(6)，所述處理器ARM(4)中存儲有用于初始化攝像頭(1)的配置程序，所述處理 器ARM(4)通過主控制器FPGA(5)配置所述攝像頭(1)，所述FLASH芯片(6)中存儲有用于 配置主控制器FPGA(5)的執(zhí)行程序，所述臨時存儲器(8)通過主控制器FPGA(5)接收并存 儲所述攝像頭(1)采集的圖像信息，所述主控制器FPGA(5)讀入所述臨時存儲器(8)中的 圖像信息，并對圖像信息進行處理，所述輸出設備(13)輸出所述主控制器FPGA (5)對圖像 信息的處理結(jié)果。
2.如權(quán)利要求1所述的車輛環(huán)視及車道檢測報警系統(tǒng)，其特征在于，所述輸出設備 (13)包括顯示設備(7)和報警器(10)，所述主控制器FPGA(5)對圖像信息的處理結(jié)果包括由顯示設備(7)輸出的車身周圍實 時畫面和周圍物體距離車身的距離，以及由報警器(10)輸出的車道偏離警報和危險距離警報。
3.如權(quán)利要求2所述的車輛環(huán)視及車道檢測報警系統(tǒng)，其特征在于，所述報警器(10) 為一個嗡鳴器，所述報警器(10)接收主控制器FPGA(5)發(fā)出的報警信號，并發(fā)出報警聲響。
4.如權(quán)利要求1所述的車輛環(huán)視及車道檢測報警系統(tǒng)，其特征在于，所述攝像頭(1)包 括用于完成實時畫面顯示的顯示攝像頭(11)和用于完成車道偏離檢測報警、車身周圍物 體測距的功能攝像頭(12)，所述顯示攝像頭(11)的個數(shù)設置為四個，其中，一個安裝于兩個車輛前燈的中點位 置，兩個分別安裝于車身左右兩側(cè)的車窗與車頂交界處位置，一個安裝于車身后部車窗與 車頂交界處位置，所述功能攝像頭(12)的個數(shù)設置為一個，所述功能攝像頭(12)安裝于車身前部的車 窗與車頂?shù)慕唤犹幹悬c位置。
5.如權(quán)利要求4所述的車輛環(huán)視及車道檢測報警系統(tǒng)，其特征在于，所述車輛環(huán)視及 車道檢測報警系統(tǒng)還包括用于信號格式轉(zhuǎn)換的第一芯片組(2)和第二芯片組(3)，所述第 一芯片組(2)和所述第二芯片組(3)分別包括與所述攝像頭數(shù)目相同的芯片，所述第一芯 片組(2)中各芯片的一端分別與各所述顯示攝像頭(11) 一一對應連接，另一端與所述第二 芯片組(3)中各芯片對應連接，所述第二芯片組(3)中各芯片連接于主控制器FPGA (5)；所述第一芯片組(2)將所述顯示攝像頭(11)輸出的數(shù)字信號轉(zhuǎn)化成低壓差分信號并 輸出低壓差分信號到第二芯片組(3)，所述第二芯片組(3)將接收到的低壓差分信號轉(zhuǎn)化 為數(shù)字信號并輸出數(shù)字信號到主控制器FPGA (5)。
6.如權(quán)利要求4所述的車輛環(huán)視及車道檢測報警系統(tǒng)，其特征在于，所述功能攝像頭 (12)直接與主控制器FPGA (5)相連。
7.如權(quán)利要求1所述的車輛環(huán)視及車道檢測報警系統(tǒng)，其特征在于，所述臨時存儲器 (8)為兩個DDR2 RAM，主控制器FPGA(5)將圖像信息以幀為單位存儲至兩個進行乒乓操作 的DDR2 SDRAM中用以作為幀信息的緩存。
8.如權(quán)利要求1所述的車輛環(huán)視及車道檢測報警系統(tǒng)，其特征在于，所述車輛環(huán)視及 車道檢測報警系統(tǒng)還包括一個與主控制器FPGA(5)相連的鐵電存儲器(9)，所述鐵電存儲器(9)中存儲有用于顯示在顯示設備(7)上的車身模擬圖像。
9.如權(quán)利要求1所述的車輛環(huán)視及車道檢測報警系統(tǒng)，其特征在于，所述顯示設備(7) 采用TFT顯示模塊或VGA顯示模塊。
專利摘要本實用新型提供一種車輛環(huán)視及車道檢測報警系統(tǒng)，包括若干個攝像頭、主控制器FPGA、嵌入式處理器ARM，臨時存儲器和輸出設備，攝像頭將采集到的圖像信息輸出到主控制器FPGA，本實用新型還包括FLASH存儲芯片、鐵電存儲器和報警器，主控制器FPGA將接收到的圖像信息處理后直接輸出顯示，同時主控制器FPGA利用軟件程序完成車道偏離報警及周邊物體測距功能。本系統(tǒng)采用了FPGA配合ARM處理器，可通過多路攝像頭對信息進行采集和處理，F(xiàn)PGA的處理延遲可達到納秒級，非常適合超高速和實時信號處理的汽車領(lǐng)域。另外，F(xiàn)PGA以其靈活的開發(fā)特性可大大節(jié)約開發(fā)成本，由于其價格相對較低，所以可大大降低產(chǎn)品成本。
文檔編號H04N5/76GK201780482SQ20102018374
公開日2011年3月30日 申請日期2010年4月29日 優(yōu)先權(quán)日2010年4月29日
發(fā)明者房璐安, 王立東, 趙一江 申請人:比亞迪股份有限公司