專利名稱：：單線激光雷達與ccd相機之間相互關(guān)系的標定方法
技術(shù)領(lǐng)域：
：本發(fā)明主要涉及到視覺傳感器與其它傳感器之間相對位置關(guān)系的標定領(lǐng)域，特指一種單線激光雷達與CCD相機的標定。
背景技術(shù)：
：單線激光雷達可以準確實時的提供一定范圍內(nèi)(一般為0°-180°)位于單個掃描平面內(nèi)的距離信息。近年來，單線激光雷達由于具有體積小、價格合理、精度高等優(yōu)勢而被廣泛應(yīng)用于機器人領(lǐng)域，輔助其它傳感器完成特殊的任務(wù)。最常用的方法將相機和單線激光雷達固定在一個處理平臺(例如移動機器人)上，通過激光雷達與CCD相機的配合，完成導(dǎo)航、三維重建等高級任務(wù)。要將激光雷達和相機的圖像信息進行有效的融合，必須預(yù)先對它們之間的相對位置關(guān)系進行標定，獲取傳感器坐標系之間的旋轉(zhuǎn)矩陣和平移矩陣。有從業(yè)者Zhang和Pless率先對單線激光雷達與相機的標定進行了研究，提出了利用相機標定過程常用的棋盤格標定板進行相機和激光雷達混合標定的方法。如(QilongZhang，RobertPless.Extrinsiccalibrationforcameraandlaserrangerfinder(improvescameraintrinsiccalibration).IEEEIR0S，pp.2301-2306，2004)(譯為相機與激光雷達外參數(shù)的標定(同時優(yōu)化相機內(nèi)參數(shù)))中所述，其主要過程為第一步米用張IE友方夕去(ZhengyouZhang.Flexiblecameracalibrationbyviewingaplanefromunknownorientations.InProc.InternationalConferenceonComputerVision,Septemberl999.)(譯為通過多幅未知位置的平面標定板圖像進行相機標定的靈活方法)標定相機的內(nèi)參數(shù)。該方法通過多幅平面棋盤標定板的圖像得到相機的距，fy是Y方向上的相機焦距，(ax，ay)T是成像平面的主點坐標，即投影中心在成像平面上的垂直投影，ax為主點的橫坐標，ay為主點的縱坐標，上標1表示向量或者矩陣的轉(zhuǎn)秩；k1;k2為相機徑向失真參數(shù)，k3，k4為相機切向失真參數(shù)。第二步根據(jù)張正友方法標定出相機相對于棋盤格平面標定板的外參數(shù)，得到相機相對于標定板的(r，t)。r為3X3的旋轉(zhuǎn)矩陣，t為3X1的平移向量。標定板在相機坐標系中的位置可以用向量N表示為N=-r3(r3T·t)，其中r3為r的第三列。第三步從激光雷達數(shù)據(jù)中提取出掃描標定板的掃描點數(shù)據(jù)Pf，Pf為代表激光雷達坐標系中點的3X1的列向量，因為這些點為標定板平面上的反射點，設(shè)變換矩陣(Φ，Δ)將每個激光掃描點變換到相機坐標系，其中Φ為3X3的旋轉(zhuǎn)矩陣，Δ為3Χ1的平移向量，則有Ν(Φ·ΡΓ+Δ)=I|N|I2。根據(jù)這一約束，使用恰當?shù)淖銐蚨嗟狞c即可以解出(Φ，Δ)。從以上的標定過程可以看出，其標定過程嚴重依賴于相機相對于標定板的外參數(shù)精度，即N的信息。但是僅通過平面標定板進行外參數(shù)標定本身存在較大誤差，這一誤差就直接影響了最后標定結(jié)果；另外，根據(jù)其文所述，其標定得到的旋轉(zhuǎn)矩陣往往不滿足標準正交的基本條件，盡管初標定后又根據(jù)ΦΦΤ=1(1為單位矩陣)條件對結(jié)果進行優(yōu)化，但是仍然有較大的誤差；其所提供的仿真實驗的角度誤差為β(Φ)=1.95°，位置誤差為e(A)=2.37cm。另有從業(yè)#Matthew(Matthew,Yuli.Fullyautomatedlaserrangecalibration.)(譯為激光測距儀的全自動標定)等人采用一種特殊制作的四足錐狀體標定鍵對單線激光雷達進行標定，根據(jù)標定鍵特殊的形狀約束，使得反射的激光雷達數(shù)據(jù)可以構(gòu)成一個四邊形。通過分割激光掃描點位于四個足之間各個不同部位的數(shù)據(jù)和標定鍵的形狀進行比對來獲取外參數(shù)信息。這種方法存在的主要技術(shù)問題就在于首先，標定鍵制作工藝要求高；其次，通過標定鍵形狀約束跟分割的數(shù)據(jù)的比對作為掃描位置的估計的方法其數(shù)學變換復(fù)雜，且本身就很難精確，再利用估計的結(jié)果進行標定計算，精度不高；最后，盡管該方法不需要相機的參與，屬于單獨標定的方法，但其標定精度不如上述Zhang等人的方法。綜上所述，現(xiàn)有所存在方法的研究工作重點主要集中于怎樣估計激光雷達的掃描線上。首先，采取估計的方法在數(shù)學上較為復(fù)雜，并且存在誤差；然后，利用本身有誤差的估計結(jié)果來進行外參數(shù)的計算，使得標定結(jié)果的準確度不理想。
發(fā)明內(nèi)容本發(fā)明要解決的技術(shù)問題就在于針對現(xiàn)有技術(shù)存在的技術(shù)問題，本發(fā)明提供一種原理簡單、操作簡單快速、可高精度標定固連在一個設(shè)備上的單線激光雷達和CCD相機從而得到精確的相對位置關(guān)系參數(shù)的單線激光雷達與CCD相機之間相互關(guān)系的標定方法。為解決上述技術(shù)問題，本發(fā)明采用以下技術(shù)方案一種單線激光雷達與CCD相機之間相互關(guān)系的標定方法，其特征在于步驟為(1)、數(shù)據(jù)采集1.1固定并打開相機和激光雷達將單線激光雷達和CXD相機固定在一個處理平臺上，保證在設(shè)備移動過程中兩者之間的相對位置固定，啟動激光掃描雷達和相機；1.2過濾掉單線激光雷達工作時波長低于905nm的光波；1.3設(shè)置標定鍵將標定鍵放置在CXD相機和單線激光雷達的前方，使得標定鍵至少有兩個平面對于CCD相機和激光雷達同時可見；1.4獲取單線激光雷達掃描點的紅外光圖像及相應(yīng)的單線激光雷達距離數(shù)據(jù)保存CCD相機拍攝的紅外圖像，同時保存單次掃描的單線激光雷達距離數(shù)據(jù)；然后重復(fù)1.3，直至獲取η(η^4)組紅外光圖像和距離數(shù)據(jù)；(2)、數(shù)據(jù)處理2.1對第i組單線激光雷達距離數(shù)據(jù)進行處理直接利用距離信息分割出標定鍵兩個不同平面得到的數(shù)據(jù)點，剔除明顯不是標定鍵上反射回來的數(shù)據(jù)值后再分別對兩個面的數(shù)據(jù)進行直線擬合，得到直線后求交點坐標為if，上標L表示為激光雷達坐標系中點；2.2對紅外光圖像進行處理2.2.1首先對圖像進行畸變校正，然后對圖像進行直方圖均衡化處理，使得近似為黑的圖像拉寬灰度范圍；2.2.2高斯濾波，濾掉噪聲；2.2.3圖像二值化，保留單線激光雷達掃描線的信息；2.2.4根據(jù)所放置的標定鍵特性，在紅外光圖像中可以看到兩條有交叉點的掃描線，分別對應(yīng)標定鍵上兩個不同平面反射的激光雷達紅外光的成像；對上述二值化圖像進行Hough變換，提取響應(yīng)最大的兩條直線；計算兩直線交點的圖像坐標，從第i幅圖像得到的坐標記作Pi；按照以上步驟，對η組數(shù)據(jù)進行處理，得到一系列點的圖像坐標和激光雷達坐標系坐標-.P1^P-(i=1,2...)；2.3通過η組對應(yīng)點信息，進行標定計算先采用常規(guī)方法標定出相機的內(nèi)參數(shù)K，其中X=相機焦距，fy是Y方向上的相機焦距，(ax,ay)T是成像平面的主點坐標，ax為主點的橫坐標，ay為主點的縱坐標，本文的所有上標τ均表示矩陣或者向量的轉(zhuǎn)秩；選取四組對應(yīng)點的信息和K一起代入以下方程(1)中，構(gòu)建基于以下方程(1)的方程組，Xi"其中，戶=[XL,Yl,Zl,1]t為點P在激光雷達坐標系中的齊次性坐標，激光掃描面內(nèi)YL=0，ρ=[u,ν,為該點在圖像中的齊次性坐標，U為沿圖像水平方向的坐標值，V為沿豎直方向的坐標值，s為使得圖像坐標歸一化的尺度因子，R為3X3的代表激光雷達和CCD相機之間相互關(guān)系的旋轉(zhuǎn)矩陣，可以用列向量表示為R=[R1,R2,R3]，R”R2>R3分別表示R的第1列、第2列和第3列，T為激光雷達和CXD相機之間的平移向量；根據(jù)單應(yīng)關(guān)系，利用四組點即可求解RpR3和1\再因R2=R1XR3，就得到了R和T的初值；將得到的R、T作為優(yōu)化算法的初始化條件，使用η組對應(yīng)點信息，其中η>4，采用Levenberg-Marquardt優(yōu)化方法使(2)式投影誤差最小化對R、T進行優(yōu)化；其中，Pi和斤分別為第i組對應(yīng)點的圖像點和激光雷達掃描點，minK,T表示以R和T為優(yōu)化變量使目標函數(shù)最小化；通過以上方法求解得到了優(yōu)化的R和T，確定了激光雷達與相機之間的旋轉(zhuǎn)矩陣和平移向量，完成單線激光雷達和CCD相機之間相互關(guān)系的準確標定。作為本發(fā)明的進一步改進所述步驟1.2中是通過長波通濾光片進行濾波，或者在沒有可見光干擾、可見光很弱的暗室進行實驗來實現(xiàn)。所述標定鍵為至少有兩個面表面光滑、交界棱分明的立方體塊、或者用室內(nèi)墻壁角落進行替代。與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點在于1、本發(fā)明的標定成本低。本發(fā)明中需要兩個標定輔助物，標定鍵和濾光片。首先，標定鍵的制作簡單，沒有很高工藝水平要求，只要能提供兩個平面較為光滑的立方體即可，在沒有特殊標定鍵情況下，可以整體移動相機和激光雷達的處理平臺，用兩面墻壁的角落來代替標定鍵達到相同的效果；而前人的方法，特別是Matthew使用四足錐狀體標定鍵，對制作的工藝水平要求很高。然后，標定中使用的長波通濾光片，在市場上很容易購買，如果需要進一步節(jié)約成本，可以在暗室進行標定，排除可見光的影響，可以得到跟濾光片一樣的效果。2、本發(fā)明簡化了標定算法。前人發(fā)明的方法忽視了普通CXD也可以成像激光雷達使用的紅外光的條件，所以聚力于用各種方法來估計激光掃描線的位置，算法復(fù)雜且影響因素多。本發(fā)明充分利用了這一被忽視的條件，用濾光片濾掉可見光，僅讓紅外光成像然后提取激光掃描線。直接得到激光雷達掃描面內(nèi)的控制點投影到圖像中坐標，將標定問題最后可以轉(zhuǎn)化為簡單的單應(yīng)問題求解，整個標定算法較前人的方法都大大簡化。3、本發(fā)明提高了標定精度。本發(fā)明比前人所提供的標定方法精度有很大提高，其主要來自于三個方面第一，本發(fā)明的標定結(jié)果不依賴于標定鍵的工藝精度，即使采用的標定鍵表面光滑程度不夠，通過采取直線擬合和圖像Hough變換的辦法也可以弱化少量不在同一平面上點的影響，前人的標定方法，無論是Pless等人方法中使用的棋盤標定板還是Matthew方法中使用的四足錐狀體標定鍵，其制作精度對標定結(jié)果的影響都很大。并且，精度相對較高的Pless和Zhang提出的方法，其標定還嚴重依賴于每幅圖像標定得到的相機外參數(shù)，相機外參數(shù)在計算過程需要進行平方運算，其誤差經(jīng)放大后嚴重影響標定結(jié)果。本發(fā)明即使采用制作粗糙的標定輔助物，也能得到高精度的標定結(jié)果。第二，在紅外光圖像中和激光雷達掃描面中分別選取對應(yīng)控制點的時候，沒有直接進行點的提取，而是采用計算直線交點的辦法。在圖像中，用Hough變換提取兩條激光掃描線后計算其交點；對掃描兩個不同面的距離數(shù)據(jù)，分別進行直線擬合得到兩條直線后求交點。這樣得到的虛擬對應(yīng)點乃是位于激光掃描面內(nèi)的標定鍵相交棱上的點和它在紅外圖像中的成像，這樣處理可以消除直接提取點的誤差，也可以減少激光掃描數(shù)據(jù)中少量干擾點導(dǎo)致的誤差和圖像中的噪聲誤差，比直接提取點更精確。第三，在標定計算時，采用超過四組的對應(yīng)點構(gòu)建超定方程，采用使得重投影誤差最小化的方法進行優(yōu)化計算，也可以很大程度上減小誤差。通過以上三個方面的措施，可以使得標定精度大大提高。本發(fā)明的誤差來源主要存在于紅外光圖像中提取交點時存在的誤差，實踐表明，在標定鍵跟相機距離不超過2米情況下，激光掃描線的圖像在圖像中分布不會超過10個像素，現(xiàn)將提取得到的圖像點坐標值上再隨機增加士2.5像素范圍內(nèi)均勻分布的誤差，得到的角度誤差為e(R)=W.0458°-0.0630°-0.2636°]，位置誤差為e(t)=To所以，可以認為，本發(fā)明的標定方法標定的位置誤差小于0.5cm，角度誤差小于0.3°，較之于前人的方法，精度都有很大的提高，可以滿足三維重構(gòu)等對精度要求較高的領(lǐng)域的應(yīng)用。圖1是本發(fā)明方法的流程圖；圖2是本發(fā)明的標定過程示意圖3是標定過程的光路圖；圖4為激光雷達距離數(shù)據(jù)處理效果圖；圖5為紅外光圖像處理過程圖；圖6將激光雷達數(shù)據(jù)按標定結(jié)果投影到圖像上與紅外光圖像提取的掃面線對比圖。具體實施例方式以下將結(jié)合說明書附圖對本發(fā)明做進一步詳細說明。如圖1、圖2、圖3、圖4和圖5所示，本發(fā)明單線激光雷達與C⑶相機之間相互關(guān)系的標定方法的流程為(1)數(shù)據(jù)采集1.1固定并打開CXD相機和單線激光雷達。要實現(xiàn)單線激光雷達和CCD相機的相對位置關(guān)系的標定，首先要將它們固定在一個處理平臺上，保證在設(shè)備移動過程中兩者之間的相對位置固定，這樣才能將標定的結(jié)果用于后續(xù)的計算。固定好后啟動CCD相機和單線激光雷達。1.2過濾掉單線激光雷達工作時波長低于905nm的光波；安裝長波通濾光片目前主流的單線激光雷達產(chǎn)品(例如SICK公司的系列單線激光雷達)基本采用的都是對人眼安全的905nm波長的紅外光作為光源。905nm紅外光雖然不在人眼可見的波長范圍(人眼的可見波長范圍為400nm-700nm)，但卻在普通工業(yè)相機的成像范圍之內(nèi)(一般在200nm-1100nm)。這一人眼和CXD相機的成像差異很容易讓人忽視，這使得前人在進行標定時沒有在圖像提取激光雷達掃描線，而是采用其它方法對位置進行估計。長波通光學濾光片作用是過濾掉波長低于某固定值的光波。為了完全濾掉可見光并且讓905nm紅外光通過，只要濾光片過濾值超過可見光波長最長值，且小于905nm即可。市場上滿足這一要求的比較常見的濾光片是850nm和760nm長波通濾光片。將長波通濾光片裝置在相機鏡頭前方。一般都能有尺寸跟相機口徑匹配的濾光片，可以直接進行安裝。在無其它特殊光源干擾的情況下，安裝了長波通濾光片后相機CCD的刺激信號只有激光雷達使用的905nm紅外光。在不具備長波通濾光片的情況下，可以在沒有可見光干擾或者可見光很弱的暗室進行實驗來達到長波通濾光片的效果。1.3設(shè)置標定鍵理想的標定輔助目標為至少有兩個面表面光滑、交界棱分明的立方體塊，可以直接使用傳統(tǒng)相機標定方法中的立體標定鍵或者其它立方體，本發(fā)明中將輔助標定目標通稱為標定鍵。沒有合適立方體物體時，可以用室內(nèi)墻壁角落進行替代。將標定鍵放置在相機和激光雷達前方，使得標定鍵至少有兩個平面對于相機可見，且這兩個面上有部分的激光掃描點，標定放置要求如圖2所示。如果使用墻角代替標定鍵，此時可以整體移動激光雷達_相機系統(tǒng)，達到有相對位移的效果。1.4獲取激光雷達掃描點的紅外光圖像及相應(yīng)的激光雷達距離數(shù)據(jù)。保存CXD相機拍攝的紅外圖像(此時CXD相機接收到的有效刺激信號只有輔助目標上反射的激光雷達紅外光)，同時保存單次掃描的激光雷達距離數(shù)據(jù)。然后重復(fù)上述步驟81.3，直至獲取n(n^4)組紅外光圖像和距離數(shù)據(jù)。(2)數(shù)據(jù)處理2.1激光雷達距離數(shù)據(jù)的處理。由于激光雷達得到的距離數(shù)據(jù)干擾少、精度高，可以直接利用距離信息分割出標定鍵兩個不同平面得到的數(shù)據(jù)點，剔除明顯不是標定鍵上反射回來的數(shù)據(jù)值后再分別對兩個面的數(shù)據(jù)進行直線擬合，得到直線后求交點坐標為PS如圖4所示，從第i組距離數(shù)據(jù)得到的坐標為if該點在實際的數(shù)據(jù)中不存在，相當于得到位于掃描面內(nèi)的標定鍵兩個面相交棱上點，所以稱為虛擬點。2.2紅外光圖像的處理。由于激光雷達使用的紅外光能量不高，并且CCD對該波長的光的相對響應(yīng)系數(shù)較低，使得紅外光響應(yīng)值跟噪聲混合在一起，圖像看起來幾乎是全黑的。從圖像中提取出關(guān)鍵點的圖像坐標具體做法如下2.2.1圖像處理前，根據(jù)相機的特點，如果相機存在較大的畸變，需要采用張正友方法標定相機的畸變參數(shù)Dis，然后圖像進行畸變校正再作后續(xù)處理。然后對圖像進行直方圖均衡化處理，使得近似為黑的圖像拉寬灰度范圍。因為激光雷達掃描點之間相距很小，并且激光雷達一直處在工作狀態(tài)進行連續(xù)掃描，所以人眼可以很清楚的從圖像中辨識出激光雷達掃描點組成了掃描線。2.2.2進行恰當參數(shù)的高斯濾波，盡最大力度濾掉噪聲的影響。2.2.3將圖像二值化，盡量保留激光雷達掃描線的信息。2.2.4根據(jù)所放置的標定鍵特性(有兩個光滑平面、交界棱明顯)，紅外光圖像中可以看到兩條有交叉點的掃描線，分別對應(yīng)標定鍵上兩個不同平面反射的激光雷達紅外光的成像。對二值化圖像進行Hough變換，提取響應(yīng)最大的兩條直線。計算兩直線交點的圖像坐標P，如圖5所示，從第i幅圖像得到的坐標為Pi。此點雖然不是直接提取兩個面相交棱上點的成像點，但是通過直線求交點的方法，增加了兩個面之間的關(guān)系約束，相當于得到位于掃描面內(nèi)的標定鍵兩個面相交棱上點在條圖像中的成像，比直接提取點的精度更高。按照以上步驟，對η組數(shù)據(jù)進行處理，得到一系列點的圖像坐標和激光雷達坐標系坐標(i=l,2...n)02.3，通過η組對應(yīng)點信息，進行標定計算。Pl=[XSYSZS1]Τ為點P在激光雷達坐標系中的齊次性坐標，ρ=[!^，丨？為該點在圖像中的齊次性坐標，U、ν分別為圖像主點的橫、縱坐標，。根據(jù)攝像機的投影變換有如下關(guān)系ρ=sKWPL(1)其中，s為一個使得圖像坐標歸一化的尺度因子，K為
背景技術(shù)：
所述為相機內(nèi)參數(shù)0a;K=0fyay，fx是X方向上的相機焦距，fy是Y方向上的相機焦距，(ax，ay)T是成像001平面的主點坐標，ax為主點的橫坐標，ay為主點的縱坐標，本文的所有上標T均表示矩陣或者向量的轉(zhuǎn)秩；W=[RT]為本發(fā)明需要標定的代表激光雷達和CCD相機之間相互關(guān)系的93X3旋轉(zhuǎn)矩陣和3X1的平移向量的組合，此處可以稱為外參數(shù)。如圖3所示，激光掃描點只存在于激光雷達坐標系中的一個平面上，即所有的點都有滬=0。R可以寫成列向量的形式，即R=[R1R2R3]，分別表示R的第1列、第2列和第3列，則有通過以上變換，很容易將該問題轉(zhuǎn)化為-將激光雷達掃描平面轉(zhuǎn)變換到圖像平面，即有-個單應(yīng)變換求解的問題，設(shè)單應(yīng)矩陣Hρ=sHPl⑶R.Hartley和A.Zisserman(計算機視覺中的多視圖幾何·RichardHartley,AndrewZisserman著；韋穗等譯·合肥安徽大學版社，2002.8.pp:52_55)對解決單應(yīng)問題作了詳細的論述。如其所述，只要給定4組對應(yīng)點，即可用DLT方法得到H的解。本發(fā)明先采用常規(guī)方法標定出相機的內(nèi)參數(shù)K，選取四組對應(yīng)點的信息和K一起代入方程(2)中，構(gòu)建基于方程(2)的方程組，根據(jù)單應(yīng)關(guān)系，求解札、民和1\且12=R1XRy這樣，就得到了R和T的初值。為了消除噪聲等的影響，提高標定精度，將以上得到的R、T作為初始條件，使用η(η>4)組對應(yīng)點信息，采用Levenberg-Marquardt優(yōu)化方法使(4)式投影誤差最小化實現(xiàn)求解。其中，Pi和if如前所述，分別為第i組對應(yīng)點的圖像點和激光雷達掃描點，min:表示以R和T為優(yōu)化變量使目標函數(shù)最小化。通過以上方法求解得到了優(yōu)化的R和T，確定了激光雷達與相機之間的旋轉(zhuǎn)矩陣和平移向量，從而實現(xiàn)了單線激光雷達和CCD相機之間的相互關(guān)系的準確標定。下面將以一個具體實例來說明本發(fā)明的詳細流程。在具體實施時本發(fā)明采用的主要設(shè)備說明如下相機，為瑞士Photonfocus公司生產(chǎn)的高速相機；激光雷達，為德國SICK公司生產(chǎn)的SICK-LMS291-05型號激光雷達；鏡頭，焦距為12cm;標定鍵，沒有進行專門的制作，直接采用實驗室一角替代標定鍵進行標定；濾光片，為中國匯龍光學生產(chǎn)的大自然IR850，30.5mm口徑。按照流程圖1的方案，先將相機和激光雷達固定在可自由移動的小車上，按照1.2方法安裝濾光片，按照1.3的方法，移動設(shè)備平臺，設(shè)定η=8，獲取8組激光雷達距離數(shù)據(jù)和紅外光圖像數(shù)據(jù)完成標定所需數(shù)據(jù)采集工作。接下來進行數(shù)據(jù)處理，首先對激光雷達距離數(shù)據(jù)進行處理，圖4是對激光雷達距離數(shù)據(jù)的處理的效果圖，先將獲取的距離數(shù)據(jù)進行初篩選，利用簡單的距離閾值分割方法去掉明顯不是掃描墻面的數(shù)據(jù)點，然后根據(jù)數(shù)據(jù)值的分布特性分割出分屬兩個不同墻面的掃描數(shù)據(jù)，得到了兩個數(shù)據(jù)子集(如圖中星點和正方點所示)；然后對每個子集進行直線擬合，得到在激光雷達坐標系中描述兩個墻面的直線方程(如圖黑色細線所示)，求兩個直線方程的交點，作為虛擬墻角點的坐標。對紅外圖像處理過程如圖5所示其中(a)為相機獲取的原始圖像，人眼很難直接從中看出有激光掃描線的信息；(b)是對圖像進行直方圖均衡化處理后的結(jié)果，此時人眼可以較清楚的辨識出掃描線；(C)是對直方圖均衡化后的圖像進行濾波，然后進行恰當閾值分割得到的二值化圖像；(d)是對二值化圖像進行Hough變換，提取響應(yīng)最大的兩條直線，并計算它們的交點的結(jié)果。該實例一共使用了8組數(shù)據(jù)，按照以上步驟實現(xiàn)對8組數(shù)據(jù)中對應(yīng)點坐標的提取得到凡Gfi(/=1,2...8)。再根據(jù)張正友方法對相機的內(nèi)參數(shù)進行標定，得到，將對應(yīng)點坐標和K代入式(4)構(gòu)建由16個線性方程組成的方001程組，采用使得重投影誤差最小化的優(yōu)化方法解出旋轉(zhuǎn)矩陣和平移矩陣(該步驟具體實施方法采用了OpenCV提供的函數(shù)cvFindExtrinsicParamter2)。0.99810.0001-0.0616"T=[85.4329，366.9227，-79.4594]。通過以上優(yōu)化方法得到了相機坐標系相對于激光雷達坐標系之間的相對位置參數(shù)R和T，即確定了激光雷達與相機之間的旋轉(zhuǎn)矩陣和平移向量，從而實現(xiàn)了單線激光雷達和CCD相機之間的相互關(guān)系的準確標定。為激光雷達數(shù)據(jù)和CCD相機圖像數(shù)據(jù)的融合打好了基礎(chǔ)。從標定結(jié)果可以看出，旋轉(zhuǎn)矩陣R滿足標準正交條件，平移矩陣符合實際情況。為了進一步驗證標定結(jié)果的準確性，先將激光掃描點的距離數(shù)據(jù)根據(jù)標定結(jié)果轉(zhuǎn)換到相機坐標系再投影到圖像中，與紅外光圖像中提取的掃描線進行對比，如圖6所示其中(a)是紅外光圖像進行直方圖拉伸后的效果，可以較清楚的辨識出激光掃描線；(b)是將圖像閾值化處理的結(jié)果，黑色細線是通過Hough變換對紅外圖像中激光掃描線提取的結(jié)果，黑色小圓圈是將激光雷達掃描數(shù)據(jù)點經(jīng)過標定的結(jié)果轉(zhuǎn)換后投影到圖像的結(jié)果，可以看出，它們重合度很高，結(jié)果正確。以上僅是本發(fā)明的優(yōu)選實施方式，本發(fā)明的保護范圍并不僅局限于上述實施例，凡屬于本發(fā)明思路下的技術(shù)方案均屬于本發(fā)明的保護范圍。應(yīng)當指出，對于本
技術(shù)領(lǐng)域：
的普通技術(shù)人員來說，在不脫離本發(fā)明原理前提下的若干改進和潤飾，應(yīng)視為本發(fā)明的保護范圍。權(quán)利要求一種單線激光雷達與CCD相機之間相互關(guān)系的標定方法，其特征在于步驟為(1)、數(shù)據(jù)采集1.1固定并打開相機和激光雷達將單線激光雷達和CCD相機固定在一個處理平臺上，保證在設(shè)備移動過程中兩者之間的相對位置固定，啟動激光掃描雷達和相機；1.2過濾掉單線激光雷達工作時波長低于905nm的光波；1.3設(shè)置標定鍵將標定鍵放置在CCD相機和單線激光雷達的前方，使得標定鍵至少有兩個平面對于CCD相機和激光雷達同時可見；1.4獲取單線激光雷達掃描點的紅外光圖像及相應(yīng)的單線激光雷達距離數(shù)據(jù)保存CCD相機拍攝的紅外圖像，同時保存單次掃描的單線激光雷達距離數(shù)據(jù)；然后重復(fù)1.3，直至獲取n(n≥4)組紅外光圖像和距離數(shù)據(jù)；(2)、數(shù)據(jù)處理2.1對第i組單線激光雷達距離數(shù)據(jù)進行處理直接利用距離信息分割出標定鍵兩個不同平面得到的數(shù)據(jù)點，剔除明顯不是標定鍵上反射回來的數(shù)據(jù)值后再分別對兩個面的數(shù)據(jù)進行直線擬合，得到直線后求交點坐標為，上標L表示為激光雷達坐標系中點；2.2對紅外光圖像進行處理2.2.1首先對圖像進行畸變校正，然后對圖像進行直方圖均衡化處理，使得近似為黑的圖像拉寬灰度范圍；2.2.2高斯濾波，濾掉噪聲；2.2.3圖像二值化，保留單線激光雷達掃描線的信息；2.2.4根據(jù)所放置的標定鍵特性，在紅外光圖像中可以看到兩條有交叉點的掃描線，分別對應(yīng)標定鍵上兩個不同平面反射的激光雷達紅外光的成像；對上述二值化圖像進行Hough變換，提取響應(yīng)最大的兩條直線；計算兩直線交點的圖像坐標，從第i幅圖像得到的坐標記作pi；按照以上步驟，對n組數(shù)據(jù)進行處理，得到一系列點的圖像坐標和激光雷達坐標系坐標2.3通過n組對應(yīng)點信息，進行標定計算先采用常規(guī)方法標定出相機的內(nèi)參數(shù)K，其中fx是X方向上的相機焦距，fy是Y方向上的相機焦距，(ax，ay)T是成像平面的主點坐標，ax為主點的橫坐標，ay為主點的縱坐標，本文的所有上標T均表示矩陣或者向量的轉(zhuǎn)秩；選取四組對應(yīng)點的信息和K一起代入以下方程(1)中，構(gòu)建基于以下方程(1)的方程組，<mrow><mfencedopen='['close=']'><mtable><mtr><mtd><mi>u</mi></mtd></mtr><mtr><mtd><mi>v</mi></mtd></mtr><mtr><mtd><mn>1</mn></mtd></mtr></mtable></mfenced><mtext>=sK</mtext><mfencedopen='['close=']'><mtable><mtr><mtd><msub><mi>R</mi><mn>1</mn></msub></mtd><mtd><msub><mi>R</mi><mn>2</mn></msub></mtd><mtd><msub><mi>R</mi><mn>3</mn></msub></mtd><mtd><mi>T</mi></mtd></mtr></mtable></mfenced><mfencedopen='['close=']'><mtable><mtr><mtd><msup><mi>X</mi><mi>L</mi></msup></mtd></mtr><mtr><mtd><mn>0</mn></mtd></mtr><mtr><mtd><msup><mi>Z</mi><mi>L</mi></msup></mtd></mtr><mtr><mtd><mn>1</mn></mtd></mtr></mtable></mfenced><mo>=</mo><mi>sK</mi><mfencedopen='['close=']'><mtable><mtr><mtd><msub><mi>R</mi><mn>1</mn></msub></mtd><mtd><msub><mi>R</mi><mn>3</mn></msub></mtd><mtd><mi>T</mi></mtd></mtr></mtable></mfenced><mfencedopen='['close=']'><mtable><mtr><mtd><msup><mi>X</mi><mi>L</mi></msup></mtd></mtr><mtr><mtd><msup><mi>Z</mi><mi>L</mi></msup></mtd></mtr><mtr><mtd><mn>1</mn></mtd></mtr></mtable></mfenced><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>1</mn><mo>)</mo></mrow></mrow>其中，PL＝[XL，YL，ZL，1]T為點P在激光雷達坐標系中的齊次性坐標，激光掃描面內(nèi)YL＝0，p＝[u，v，1]T為該點在圖像中的齊次性坐標，u為沿圖像水平方向的坐標值，v為沿豎直方向的坐標值，s為使得圖像坐標歸一化的尺度因子，R為3×3的代表激光雷達和CCD相機之間相互關(guān)系的旋轉(zhuǎn)矩陣，可以用列向量表示為R＝[R1，R2，R3]，R1、R2、R3分別表示R的第1列、第2列和第3列，T為激光雷達和CCD相機之間的平移向量；根據(jù)單應(yīng)關(guān)系，利用四組點即可求解R1、R3和T，再因R2＝R1×R3，就得到了R和T的初值；將得到的R、T作為優(yōu)化算法的初始化條件，使用n組對應(yīng)點信息，其中n＞4，采用Levenberg-Marquardt優(yōu)化方法使(2)式投影誤差最小化對R、T進行優(yōu)化；<mrow><mfencedopen='{'close=''><mtable><mtr><mtd><msub><mi>min</mi><mrow><mi>R</mi><mo>,</mo><mi>T</mi></mrow></msub><mfrac><mn>1</mn><mn>2</mn></mfrac><msubsup><mi>&Sigma;</mi><mrow><mi>i</mi><mo>=</mo><mn>1</mn></mrow><mi>n</mi></msubsup><msup><mrow><mo>|</mo><mo>|</mo><msub><mi>f</mi><mi>i</mi></msub><mrow><mo>(</mo><mi>R</mi><mo>,</mo><mi>T</mi><mo>,</mo><msubsup><mi>P</mi><mi>i</mi><mi>L</mi></msubsup><mo>,</mo><msub><mi>p</mi><mi>i</mi></msub><mo>)</mo></mrow><mo>|</mo><mo>|</mo></mrow><mn>2</mn></msup></mtd></mtr><mtr><mtd><msub><mi>f</mi><mi>i</mi></msub><mrow><mo>(</mo><mi>R</mi><mo>,</mo><mi>T</mi><mo>,</mo><msubsup><mi>P</mi><mi>i</mi><mi>L</mi></msubsup><mo>,</mo><msub><mi>p</mi><mi>i</mi></msub><mo>)</mo></mrow><mo>=</mo><mi>K</mi><mo>&CenterDot;</mo><mrow><mo>(</mo><msubsup><mi>RP</mi><mi>i</mi><mi>L</mi></msubsup><mo>+</mo><mi>T</mi><mo>)</mo></mrow><mo>-</mo><msub><mi>p</mi><mi>i</mi></msub></mtd></mtr></mtable></mfenced><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>2</mn><mo>)</mo></mrow></mrow>其中，pi和分別為第i組對應(yīng)點的圖像點和激光雷達掃描點，minR，T表示以R和T為優(yōu)化變量使目標函數(shù)最小化；通過以上方法求解得到了優(yōu)化的R和T，確定了激光雷達與相機之間的旋轉(zhuǎn)矩陣和平移向量，完成單線激光雷達和CCD相機之間相互關(guān)系的準確標定。FDA0000023288130000011.tif,FDA0000023288130000012.tif,FDA0000023288130000013.tif,FDA0000023288130000023.tif2.1對第i組單線激光雷達距離數(shù)據(jù)進行處理直接利用距離信息分割出標定鍵兩個不同平面得到的數(shù)據(jù)點，剔除明顯不是標定鍵上反射回來的數(shù)據(jù)值后再分別對兩個面的數(shù)據(jù)進行直線擬合，得到直線后求交點坐標為P;，上標L表示為激光雷達坐標系中點；2.2對紅外光圖像進行處理2.2.1首先對圖像進行畸變校正，然后對圖像進行直方圖均衡化處理，使得近似為黑的圖像拉寬灰度范圍；2.2.2高斯濾波，濾掉噪聲；2.2.3圖像二值化，保留單線激光雷達掃描線的信息；2.2.4根據(jù)所放置的標定鍵特性，在紅外光圖像中可以看到兩條有交叉點的掃描線，分別對應(yīng)標定鍵上兩個不同平面反射的激光雷達紅外光的成像；對上述二值化圖像進行Hough變換，提取響應(yīng)最大的兩條直線；計算兩直線交點的圖像坐標，從第i幅圖像得到的坐標記作Pi；按照以上步驟，對η組數(shù)據(jù)進行處理，得到一系列點的圖像坐標和激光雷達坐標系坐標2.3通過n組對應(yīng)點信息，進行標定計算先采用常規(guī)方法標定出相機的內(nèi)參數(shù)K，其中，fx是X方向上的相機焦距，fy是Y方向上的相機焦距，(ax，ay)T是成像平面的主點坐標，ax為主點的橫坐標，ay為主點的縱坐標，本文的所有上標τ均表示矩陣或者向量的轉(zhuǎn)秩；選取四組對應(yīng)點的信息和K一起代入以下方程(1)中，構(gòu)建基于以下方程(1)的方程組，(1)其中，pL=[XL，YL，ZL，1]T為點ρ在激光雷達坐標系中的齊次性坐標，激光掃描面內(nèi)YL=0,P=[u,ν，1]τ為該點在圖像中的齊次性坐標，u為沿圖像水平方向的坐標值，V為沿豎直方向的坐標值，S為使得圖像坐標歸一化的尺度因子，R為3X3的代表激光雷達和CXD相機之間相互關(guān)系的旋轉(zhuǎn)矩陣，可以用列向量表示為R=[R1,R2,R3I，R1、R2、R3分別表示R的第1列、第2列和第3列，T為激光雷達和CXD相機之間的平移向量；根據(jù)單應(yīng)關(guān)系，利用四組點即可求解禮、R3和T，再因R2=R1XR3，就得到了R和T的初值；將得到的R、T作為優(yōu)化算法的初始化條件，使用η組對應(yīng)點信息，其中η>4，采用Levenberg-Marquardt優(yōu)化方法使(2)式投影誤差最小化對R、T進行優(yōu)化；其中，Pi和斤分別為第i組對應(yīng)點的圖像點和激光雷達掃描點，minK,T表示以R和T為優(yōu)化變量使目標函數(shù)最小化；通過以上方法求解得到了優(yōu)化的R和T，確定了激光雷達與相機之間的旋轉(zhuǎn)矩陣和平移向量，完成單線激光雷達和CCD相機之間相互關(guān)系的準確標定。2.根據(jù)權(quán)利要求1所述的單線激光雷達與CCD相機之間相互關(guān)系的標定方法，其特征在于所述步驟1.2中是通過紅外濾光片進行濾波，或者在沒有可見光干擾、可見光很弱的暗室進行實驗來實現(xiàn)。3.根據(jù)權(quán)利要求1所述的單線激光雷達與CCD相機之間相互關(guān)系的標定方法，其特征在于所述標定鍵為至少有兩個面表面光滑、交界棱分明的立方體塊、或者用室內(nèi)墻壁角落進行替代。全文摘要本發(fā)明公開了一種單線激光雷達和CCD相機相互關(guān)系的標定方法，基于CCD相機可以弱成像單線激光雷達使用的紅外光源的這一條件。首先，在立方體標定鍵輔助下提取位于掃描面內(nèi)的虛擬控制點；然后，使用紅外濾光片慮掉可見光，僅使紅外光成像，然后對有掃描線信息的紅外圖像進行增強、二值化處理再進行Hough變換，提取兩條激光掃描線，掃描線交點即為虛擬控制點在圖像中的像坐標。通過以上步驟得到多組對應(yīng)點后，采用使重投影誤差最小化的優(yōu)化方法求解激光雷達和相機的相互關(guān)系參數(shù)。本發(fā)明因為直接獲取了對應(yīng)點信息，使得標定過程更簡單，精度得到很大的提高，標定的角度誤差小于0.3°，位置誤差小于0.5cm。文檔編號G01S17/89GK101882313SQ201010223750公開日2010年11月10日申請日期2010年7月14日優(yōu)先權(quán)日2010年7月14日發(fā)明者劉肖琳,楊恒申請人:中國人民解放軍國防科學技術(shù)大學