專利名稱：一種汽車導(dǎo)航設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種汽車導(dǎo)航設(shè)備，具體地說，涉及一種使用廣角攝像頭的汽車導(dǎo)航設(shè)備。
背景技術(shù)：
眾所周知，廣角攝像頭的基本特點是，攝像頭視角大，視野寬闊。從某一視點觀察到的景物范圍要比人眼在同一視點所看到的大得多，而且景深長，可以攝取到相當(dāng)大的景物范圍。然而，所有廣角攝像頭都有會有一定程度桶形畸變的存在，例如，如圖1A-1BK示，圖1A示出了由廣角攝像頭攝取的帶有一定程度桶形畸變的圖像，而圖1B示出了對圖1A中的帶有一定程度桶形畸變的圖像進行糾錯處理后得到的圖像，可見，所有由廣角鏡頭拍攝得到的圖像都有會有一定程度桶形畸變，然而，通過變形的圖像很難達到理想的圖像識別效果。因此，在對由廣角鏡頭拍攝的變形的圖像進行識別之前，需要對由廣角鏡頭得到的變形的圖像進行糾錯。魚眼鏡頭是一種廣角鏡頭，可以達到超過180度的視角，這在汽車導(dǎo)航中非常有用。用戶可以通過僅僅兩個魚眼攝像頭而得到360度視角的視頻。而導(dǎo)航所需的視頻是一個持續(xù)的數(shù)據(jù)流，每秒鐘有多個幀。如果進行視頻糾錯，必須對每一幀進行糾錯，這將造成短時間內(nèi)有大量數(shù)據(jù)需要處理，對設(shè)備的性能有很高的要求，而現(xiàn)有技術(shù)中還沒有能夠做到對兩個魚眼鏡頭得到的圖像進行實時糾錯處理和圖像識別并可用于汽車導(dǎo)航的系統(tǒng)。所以，需要一種能夠?qū)蓚€魚眼鏡頭得到的圖像進行實時糾錯的系統(tǒng)和導(dǎo)航設(shè)備，來實時地對兩個魚眼鏡頭拍攝到的圖像進行糾錯處理和圖像識別，并適用于汽車導(dǎo)航。

發(fā)明內(nèi)容
為了解決上述問題，本發(fā)明提供了一種汽車導(dǎo)航用的視頻實時糾錯系統(tǒng)，所述系統(tǒng)包括:廣角攝像頭，用于攝取現(xiàn)實場景的全景視頻；視頻糾錯單元，用于從廣角攝像頭獲取視頻數(shù)據(jù)并對所獲取視頻數(shù)據(jù)進行糾錯；360度全景視頻合成單元，用于從視頻糾錯單元獲取視頻數(shù)據(jù)，并將所述視頻數(shù)據(jù)合成為全景視頻；和圖像識別單元，用于從360度全景視頻合成單元獲取數(shù)據(jù)，并對所述數(shù)據(jù)進行圖像識別。優(yōu)選地，其中所述廣角攝像頭包括:第一魚眼攝像頭，用于攝取視角至少為180度廣角的視頻；第二魚眼攝像頭，用于攝取視角至少為180度廣角的視頻，第一魚眼攝像頭和第二魚眼攝像頭設(shè)置為能攝取到現(xiàn)實場景的全景圖象的位置關(guān)系。優(yōu)選地，其中所述視頻糾錯單元包括:第一魚眼視頻糾錯模塊，用于從第一魚眼攝像頭獲取視頻數(shù)據(jù)并對所獲取視頻數(shù)據(jù)進行糾錯；第二魚眼視頻糾錯模塊，用于從第二魚眼攝像頭獲取視頻數(shù)據(jù)并對所獲取視頻數(shù)據(jù)進行糾錯。優(yōu)選地，其中所述視頻糾錯單元的幀緩存為512MB以上。優(yōu)選地,其中所述視頻糾錯單元支持CUDA 2.0或者2.0以上。
優(yōu)選地，其中所述視頻糾錯單元的處理器為NVIDIA GPU或者NVIDIA Tegra0優(yōu)選地，其中所述圖像識別單元的運算能力為100GFL0PS以上。優(yōu)選地，其中所述圖像識別單元支持CUDA 2.0或者2.0以上。優(yōu)選地，其中所述圖像識別單元單元的處理器為NVIDIA GPU或者NVIDIA Tegra0優(yōu)選地，其中所述視頻糾錯單元的運算能力為100GFL0PS以上。本發(fā)明另一方面提供了 一種汽車導(dǎo)航設(shè)備，所述設(shè)備包括:廣角攝像頭，用于攝取現(xiàn)實場景的全景視頻；視頻糾錯單元，用于從廣角攝像頭獲取視頻數(shù)據(jù)并對所獲取視頻數(shù)據(jù)進行糾錯；360度全景視頻合成單元，用于從視頻糾錯單元獲取視頻，并將所述視頻合成為全景視頻；圖像識別單元，用于從360度全景視頻合成單元獲取數(shù)據(jù)，并對所述數(shù)據(jù)進行圖像識別；和輔助駕駛單元，用于從圖像識別單元獲取數(shù)據(jù)，根據(jù)圖像識別單元所識別出的內(nèi)容提供駕駛信息以輔助駕駛。優(yōu)選地，其中所述廣角攝像頭包括:第一魚眼攝像頭，用于攝取視角至少為180度廣角的視頻；第二魚眼攝像頭，用于攝取視角至少為180度廣角的視頻，第一魚眼攝像頭和第二魚眼攝像頭設(shè)置為至少能攝取到現(xiàn)實場景的全景圖象的位置關(guān)系。優(yōu)選地，其中所述視頻糾錯單元包括:第一魚眼視頻糾錯模塊，用于從第一魚眼攝像頭獲取視頻數(shù)據(jù)并對所獲取視頻數(shù)據(jù)進行糾錯；第二魚眼視頻糾錯模塊，用于從第二魚眼攝像頭獲取視頻數(shù)據(jù)并對所獲取視頻數(shù)據(jù)進行糾錯。優(yōu)選地，所述視頻糾錯單元的幀緩存為512MB以上。優(yōu)選地,所述視頻糾錯單元支持CUDA 2.0或者2.0以上。優(yōu)選地，所述視頻糾錯單元的處理器為NVIDIA GPU或者NVIDIATegra。優(yōu)選地，所述圖像識別單元的運算能力為100GFL0PS以上。優(yōu)選地,所述圖像識別單元支持CUDA 2.0或者2.0以上。優(yōu)選地，所述圖像識別單元單元的處理器為NVIDIA GPU或者NVIDIA Tegra0優(yōu)選地，其中所述視頻糾錯單元的運算能力為100GFL0PS以上。本發(fā)明提供的實時糾錯系統(tǒng)及使用了該系統(tǒng)的導(dǎo)航設(shè)備，可以做到實時地對廣角鏡頭拍攝到的圖像進行糾錯處理和圖像識別，協(xié)助司機安全駕駛，甚至達到無人駕駛。本發(fā)明的其它功能和優(yōu)點將在下面的說明書中闡述，部分將由說明書明顯看出，或者從發(fā)明的實踐中得知。本發(fā)明的優(yōu)點將由書面的說明、權(quán)利要求書和附圖特別指出的結(jié)構(gòu)實現(xiàn)和得到。應(yīng)該理解的是上述概括性說明和后述的詳細(xì)說明是示例性的和解釋性的，意圖提供對于本發(fā)明權(quán)利要求的更進一步的解釋。


附圖提供了對于本發(fā)明更進一步的理解，并入說明書中并構(gòu)成說明書的一部分，解釋本發(fā)明的實施例，并與說明書一起用于解釋本發(fā)明的原理。附圖中:圖1A示出了由廣角鏡頭攝取的帶有一定程度桶形畸變的圖像。圖1B示出了對帶有一定程度桶形畸變的圖像進行糾錯處理后得到的圖像。圖2根據(jù)一個示范性實施例，示出了本發(fā)明所提供的用于汽車導(dǎo)航的實時糾錯系統(tǒng)的結(jié)構(gòu)圖。圖3根據(jù)一個示范性實施例，示出了使用圖形處理器進行并行計算的硬件結(jié)構(gòu)4根據(jù)一個示范性實施例，示出了應(yīng)用本發(fā)明所提供的實時糾錯系統(tǒng)的汽車導(dǎo)航設(shè)備的結(jié)構(gòu)圖。
具體實施例方式在本申請中，將圍繞一種實時糾錯系統(tǒng)及使用了該系統(tǒng)的導(dǎo)航設(shè)備來描述示范性實施例。本領(lǐng)域普通技術(shù)人員應(yīng)認(rèn)識到，下面的描述僅僅是示例性的而并非意圖進行任何方式的限定。受益于本申請的本領(lǐng)域的技術(shù)人員將容易獲得其他實施例的啟示?，F(xiàn)在，將更為詳細(xì)地描述如附圖中所示的示范性實施例的實施方式。貫穿全部附圖以及下列描述，相同的附圖標(biāo)記將盡可能用于表示相同或相似的對象?，F(xiàn)在將詳細(xì)地引用本發(fā)明優(yōu)選的實施例，其實例在附圖中示出。本發(fā)明一方面提供了一種視頻實時糾錯系統(tǒng)，所述實時糾錯系統(tǒng)能夠?qū)τ蓮V角鏡頭拍攝的視頻進行實時糾錯系統(tǒng)。圖2根據(jù)一個示范性實施例，示出了本發(fā)明所提供的用于汽車導(dǎo)航的視頻實時糾錯系統(tǒng)200的結(jié)構(gòu)圖。所述視頻實時糾錯系統(tǒng)200包括:廣角攝像頭210、視頻糾錯單元220、360度全景視頻合成單元205和圖像識別單元206。其中，廣角攝像頭210，用于攝取現(xiàn)實場景的全景視頻。優(yōu)選地，廣角攝像頭210的廣角鏡頭可以使用至少兩個的用于攝取較寬的攝影視角的魚眼鏡頭。魚眼鏡頭是一種廣角鏡頭，可以達到超過180度的視角，這在汽車導(dǎo)航中非常有用。用戶可以通過僅僅兩個魚眼攝像頭而得到360度視角的視頻。如圖2所示，廣角攝像頭包括:第一魚眼攝像頭201、第二魚眼攝像頭202。第一魚眼攝像頭201和第二魚眼攝像頭202的魚眼鏡頭均為視角至少為180度的廣角鏡頭，第一魚眼攝像頭201和第二魚眼攝像頭202設(shè)置為至少能攝取到現(xiàn)實場景的全景圖像的位置關(guān)系。視頻糾錯單元220，用于從廣角攝像頭獲取視頻數(shù)據(jù)并對所獲取視頻數(shù)據(jù)進行糾錯。由于汽車導(dǎo)航系統(tǒng)是實時系統(tǒng)，需要較高的可靠性和快速反應(yīng)能力。因此，需要高性能的并行計算能力來處理實時的視頻，所述處理單元的運算能力至少為100GFL0PS。優(yōu)選地，視頻糾錯單元220可以包括分別用于對從第一魚眼攝像頭201和第二魚眼攝像頭202所獲取的視頻數(shù)據(jù)進行糾錯的兩個視頻糾錯模塊，即，第一魚眼視頻糾錯模塊203和第二魚眼視頻糾錯模塊204。第一魚眼視頻糾錯模塊203和第二魚眼視頻糾錯模塊204分別用于從第一魚眼攝像頭201和第二魚眼攝像頭202獲取視頻數(shù)據(jù)并對所獲取視頻數(shù)據(jù)進行糾錯。優(yōu)選地，視頻糾錯單元的幀緩存至少為512MB。360度全景視頻合成單元205用于從視頻糾錯單元獲取視頻220獲取已糾正好的視頻數(shù)據(jù)，并將第一魚眼視頻糾錯模塊203輸出的視頻數(shù)據(jù)和第二魚眼視頻糾錯模塊204輸出的視頻數(shù)據(jù)視頻合成為360度的全景視頻，輸出給圖像識別單元206。360度全景視頻合成單元205可以使用現(xiàn)有技術(shù)中的全景視頻合成方法，例如，；全景視頻合成的流程圖可以包括以下步驟:1)將各個視頻流中的同步幀都一一對應(yīng)起來；2)對一組同步的視頻幀進行柱面坐標(biāo)變換后，提取圖像中的特征點；3)根據(jù)特征點對相鄰的視頻流中的每一幀進行拼接融合，得到由全景幀組成的全景視頻。圖像識別單元206從360度全景視頻合成單元205獲取數(shù)據(jù)，并使用有高計算性能的處理器對所述數(shù)據(jù)進行圖像識別。圖像識別單元206主要用于對從360度全景視頻合成單元205獲取的全景圖像中的障礙物、行人和車進行識別。優(yōu)選地，視頻糾錯單元220、360度全景視頻合成單元205和圖像識別單元206可以使用具有強大的并行運算能力的圖形處理器來實現(xiàn)，如圖3所示，根據(jù)一個實施例，示出了使用圖形處理器進行并行計算的硬件結(jié)構(gòu)框圖，如圖所示，使用圖形處理器進行并行計算的硬件結(jié)構(gòu)一般包括CPU301、主存儲器302、圖形處理器GPU (graphics processingunits)存儲器303和圖形處理器GPU304。在進行運算處理時，首先，將數(shù)據(jù)從主存儲器302復(fù)制到GPU存儲器303，CPU301發(fā)送指令給圖形處理器GPU304驅(qū)動圖形處理器GPU304進行運算處理，然后圖形處理器GPU304在其多個核心305中根據(jù)CPU301的指令和GPU存儲器303中的數(shù)據(jù)進行并行運算，再將運算結(jié)果傳輸給GPU存儲器303，最后將數(shù)據(jù)從GPU存儲器303復(fù)制到主存儲器302。由于圖形處理器GPU304有上百個可以并行運算的核心305，因此圖形處理器有強大的并行處理能力。當(dāng)數(shù)據(jù)處理的運算量遠(yuǎn)大于數(shù)據(jù)調(diào)度和傳輸?shù)男枰獣r，圖形處理器在性能上可以大大超越傳統(tǒng)的中央處理器。更優(yōu)選地，視頻糾錯單元220、360度全景視頻合成單元205和圖像識別單兀206可以使用輝達公司的基于圖形處理器GPU的CUDA (Compute Unified DeviceArchitecture)平臺來實現(xiàn)，CUDA(Compute Unified Device Architecture)是一種由輝達公司推出的基于圖形處理器的并行計算架構(gòu)，通過使用CUDA架構(gòu)可以使圖形處理器計算性能得到大幅提高，并能夠解決復(fù)雜的計算問題，運算能力能夠達到100GFL0PS以上，因此，能夠達到對魚眼鏡頭得到的圖像進行實時糾錯并進行圖像識別的要求。圖4根據(jù)一個示范性實施例，示出了使用本發(fā)明所提供的上述實時糾錯系統(tǒng)的汽車導(dǎo)航設(shè)備的結(jié)構(gòu)圖。所述汽車導(dǎo)航設(shè)備400包括:視頻實時糾錯系統(tǒng)200和汽車導(dǎo)航輔助單元401。其中，汽車導(dǎo)航輔助單元401用于從視頻實時糾錯系統(tǒng)200中的圖像識別單元206獲取數(shù)據(jù)，根據(jù)視頻實時糾錯系統(tǒng)200中的圖像識別單元206所識別出的與駕駛安全相關(guān)的信息，例如，全景圖象中的障礙物、行人和車等，汽車導(dǎo)航輔助單元401通過將這些駕駛安全相關(guān)的信息提供給司機，來提醒司機，協(xié)助司機進行駕駛，甚至可以通過使用該汽車導(dǎo)航設(shè)備400達到無人駕駛。由此可見，本發(fā)明提供的實時糾錯系統(tǒng)及使用了該系統(tǒng)的導(dǎo)航設(shè)備，可以做到實時地對廣角鏡頭得到的圖像進行糾錯處理和圖像識別，協(xié)助司機安全駕駛，甚至達到無人駕駛。本領(lǐng)域技術(shù)人員可以理解的是，本發(fā)明并不局限于上述實施例，根據(jù)本發(fā)明的教導(dǎo)還可以做出更多種的變型和修改，這些變型和修改均落在本發(fā)明所要求保護的范圍以內(nèi)。本發(fā)明的保護范圍由附屬的權(quán)利要求書及其等效范圍所界定。
權(quán)利要求
1.一種汽車導(dǎo)航用的視頻實時糾錯系統(tǒng)，所述系統(tǒng)包括: 廣角攝像頭，用于攝取現(xiàn)實場景的全景視頻； 視頻糾錯單元，用于 從所述廣角攝像頭獲取視頻數(shù)據(jù)并對所獲取視頻數(shù)據(jù)進行糾錯；360度全景視頻合成單元，用于從視頻糾錯單元獲取視頻，并將所述視頻合成為全景視頻；和 圖像識別單元，用于從360度全景視頻合成單元獲取數(shù)據(jù)，并對所述數(shù)據(jù)進行圖像識別。
2.如權(quán)利要求1所述的系統(tǒng)，其中所述廣角攝像頭包括: 第一魚眼攝像頭，用于攝取視角至少為180度廣角的視頻； 第二魚眼攝像頭，用于攝取視角至少為180度廣角的視頻，第一魚眼攝像頭和第二魚眼攝像頭設(shè)置為至少能攝取到現(xiàn)實場景的全景圖象的位置關(guān)系。
3.如權(quán)利要求2所述的系統(tǒng)，其中所述視頻糾錯單元包括: 第一魚眼視頻糾錯模塊，用于從第一魚眼攝像頭獲取視頻數(shù)據(jù)并對所獲取視頻數(shù)據(jù)進行糾錯； 第二魚眼視頻糾錯模塊，用于從第二魚眼攝像頭獲取視頻數(shù)據(jù)并對所獲取視頻數(shù)據(jù)進行糾錯。
4.如權(quán)利要求1所述的系統(tǒng)，其中所述視頻糾錯單元的幀緩存為512MB以上。
5.如權(quán)利要求1所述的系統(tǒng)，其中所述視頻糾錯單元使用圖形處理器。
6.如權(quán)利要求1所述的系統(tǒng)，其中所述視頻糾錯單元支持CUDA2.0或者CUDA 2.0以上。
7.如權(quán)利要求1中所述的系統(tǒng)，其中所述圖像識別單元的運算能力為100GFL0PS以上。
8.如權(quán)利要求1中所述的系統(tǒng)，其中所述圖像識別單元使用圖形處理器。
9.如權(quán)利要求1所述的系統(tǒng)，其中所述圖像識別單元支持CUDA2.0或者CUDA 2.0以上。
10.如權(quán)利要求1所述的系統(tǒng)，其中所述視頻糾錯單元的運算能力為100GFL0PS以上。
11.一種汽車導(dǎo)航設(shè)備，所述設(shè)備包括: 廣角攝像頭，用于攝取現(xiàn)實場景的全景視頻； 視頻糾錯單元，用于從廣角攝像頭獲取視頻數(shù)據(jù)并對所獲取視頻數(shù)據(jù)進行糾錯； 360度全景視頻合成單元，用于從視頻糾錯單元獲取視頻，并將所述視頻合成為全景視頻； 圖像識別單元，用于從360度全景視頻合成單元獲取數(shù)據(jù)，并對所述數(shù)據(jù)進行圖像識別；和 輔助駕駛單元，用于從圖像識別單元獲取數(shù)據(jù)，根據(jù)圖像識別單元所識別出的內(nèi)容輔助駕駛。
12.如權(quán)利要求11所述的設(shè)備，其中所述廣角攝像頭包括: 第一魚眼攝像頭，用于攝取視角至少為180度廣角的視頻； 第二魚眼攝像頭，用于攝取視角至少為180度廣角的視頻，第一魚眼攝像頭和第二魚眼攝像頭設(shè)置為至少能攝取到現(xiàn)實場景的全景圖象的位置關(guān)系。
13.如權(quán)利要求12所述的設(shè)備，其中所述視頻糾錯單元包括:第一魚眼視頻糾錯模塊，用于從第一魚眼攝像頭獲取視頻數(shù)據(jù)并對所獲取視頻數(shù)據(jù)進行糾錯； 第二魚眼視頻糾錯模塊，用于從第二魚眼攝像頭獲取視頻數(shù)據(jù)并對所獲取視頻數(shù)據(jù)進行糾錯。
14.如權(quán)利要求11所述的設(shè)備，其中所述視頻糾錯單元的幀緩存為512MB以上。
15.如權(quán)利要求11所述的設(shè)備，其中所述視頻糾錯使用圖形處理器。
16.如權(quán)利要求11所述的設(shè)備，其中所述視頻糾錯單元支持CUDA2.0或者CUDA 2.0以上。
17.如權(quán)利要求11所述的設(shè)備，其中所述圖像識別單元的運算能力為100GFL0PS以上。
18.如權(quán)利要求11所述的設(shè)備，其中所述圖像識別單元使用圖形處理器。
19.如權(quán)利要求11所述的設(shè)備，其中所述圖像識別單元支持CUDA2.0或者CUDA 2.0以上。。
20.如權(quán)利要求11所述的`設(shè)備，其中所述視頻糾錯單元的運算能力為100GFL0PS以上。
全文摘要
提供一種用于汽車導(dǎo)航的實時糾錯系統(tǒng)，所述系統(tǒng)包括廣角攝像頭，用于攝取現(xiàn)實場景的全景視頻；視頻糾錯單元，用于從廣角攝像頭獲取視頻數(shù)據(jù)并對所獲取視頻數(shù)據(jù)進行糾錯，運算能力為100GFLOPS以上；360度全景視頻合成單元，用于從視頻糾錯單元獲取視頻，并將所述視頻合成為全景視頻；和圖像識別單元，用于從360度全景視頻合成單元獲取數(shù)據(jù)，并對所述數(shù)據(jù)進行圖像識別。本發(fā)明提供的用于汽車導(dǎo)航的廣角鏡頭實時糾錯系統(tǒng)，可以做到實時地對廣角鏡頭拍攝到的圖像進行糾錯處理和圖像識別并適合用于汽車導(dǎo)航。
文檔編號H04N5/265GK103108154SQ20111035847
公開日2013年5月15日 申請日期2011年11月14日 優(yōu)先權(quán)日2011年11月14日
發(fā)明者鄭文杰 申請人:輝達公司