一種基于道路矯正的單目視覺機器人快速循跡的方法
【專利摘要】一種基于道路矯正的單目視覺機器人快速循跡的方法，屬于單目視覺機器人路徑識別領(lǐng)域。該方法的基本思想分縱向與橫向兩個方面對原始道路圖像建立矯正映射表，實現(xiàn)單目機器人道路圖像的矯正，并在此基礎(chǔ)上，采用偏差控制的方式，實現(xiàn)機器人的自動循跡行駛。在此基礎(chǔ)上，機器人進行道路循跡行駛，可以較準確地求得真實的道路曲率及斜率等物理信息，減小了道路圖像畸變對機器人控制運行的影響。
【專利說明】一種基于道路矯正的單目視覺機器人快速循跡的方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于單目視覺機器人路徑識別領(lǐng)域，涉及一種單目視覺機器人的快速循跡 行駛的方法，尤其涉及一種基于道路矯正的單目視覺機器人快速循跡的方法。

【背景技術(shù)】
[0002] 道路識別與定位，是機器人的基本任務(wù)之一，而視覺傳感器因為所獲取的信息量 大、道路視程遠，而成為機器人路徑識別常用的傳感器之一。其中，單目視覺機器人，即只通 過單個視覺傳感器來獲得路徑信息的機器人，相比于雙目視覺及全視野機器人，具有硬件 結(jié)構(gòu)簡單靈活、數(shù)據(jù)易于處理的優(yōu)點，因而成為在機器人路徑識別中應(yīng)用廣泛。
[0003] 單目視覺傳感器最理想的安裝位置，是保證傳感器的感光平面與道路平行。如果 物體表面和投影圖像平面不平行，任意物體在向圖像坐標系平面投影時，物體形狀會發(fā)生 畸變，因此俯仰角應(yīng)越大越好。然而為了能拍攝到足夠遠的道路，傳感器安裝的俯仰角又不 能太大。通常情況下傳感器都與路面成一定角度安裝，而這樣會導(dǎo)致所獲得的圖像不能真 實的反映道路的寬度及視場信息，對于道路的真實曲率、斜率的獲取，移動方案的選擇有一 定的影響；同時對于道路標志的特征提取、識別等后續(xù)處理也非常不利。
[0004] 為了消除這種道路圖像的失真，要進行道路圖像的矯正。傳統(tǒng)的關(guān)于圖像矯正的 研究很多，包括利用逆透視變換建模法與直接標定建模法，這兩種方法的主要區(qū)別獲取參 數(shù)的手段不同：前者是通過逆透視變換的原理進行攝像機的內(nèi)部、外部參數(shù)標定，精確度相 對較高但計算復(fù)雜，而后者則是通過幾何測量與計算的方法，直接得到攝像機的各項參數(shù)， 相對簡單但參數(shù)精度都不夠。在得到攝像機參數(shù)后，它們都是通過坐標系轉(zhuǎn)換的方法進行 計算，其間會用到大量的矩陣變換理論，推演相對復(fù)雜，并且很多傳感器內(nèi)部的精確參數(shù)并 不易獲得；算法復(fù)雜度高、運算量大，對于運算能力有限的自主移動機器人來說處理實時性 較差。
[0005] 綜上所述，現(xiàn)階段在單目視覺機器人循跡系統(tǒng)技術(shù)的研究存在的不足主要有：
[0006] 1.單目視覺機器人獲得的道路圖像相比真實道路情況，存在一些形變，不能反應(yīng) 真實道路的斜率獲取曲率。
[0007] 2.要對道路圖像進行矯正，傳統(tǒng)的矯正方法對攝像機的標定參數(shù)過多，標定過程 中建模復(fù)雜，理論推演長，運算量大；對于運算性能有限的自主移動機器人來說實現(xiàn)實時處 理困難較大。


【發(fā)明內(nèi)容】

[0008] 針對上述出現(xiàn)的缺點以及現(xiàn)有矯正道路圖像過程中建模復(fù)雜、計算量偏大等問 題，本發(fā)明的目的在于提供了一種簡便快速地對單目視覺機器人的道路圖像進行失真矯正 的實現(xiàn)方案。在此基礎(chǔ)上，機器人進行道路循跡行駛，可以較準確地求得真實的道路曲率及 斜率等物理信息，減小了道路圖像畸變對機器人控制運行的影響。
[0009] 為實現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案為一種基于道路矯正的單目視覺機器人 快速循跡的方法，該方法的基本思想分縱向與橫向兩個方面對原始道路圖像建立矯正映射 表，實現(xiàn)單目機器人道路圖像的矯正，并在此基礎(chǔ)上，采用偏差控制的方式，實現(xiàn)機器人的 自動循跡行駛。
[0010] 本發(fā)明中，機器人采用0V7620攝像頭作為視覺傳感器采集道路圖像，以飛思卡爾 公司的K60單片機作為系統(tǒng)的控制核心；以三輪結(jié)構(gòu)作為執(zhí)行機構(gòu)，其中一個萬向輪作輔 助支撐，另外兩個驅(qū)動輪分別以單獨的直流電機通過各自的齒輪組驅(qū)動旋轉(zhuǎn)，實現(xiàn)機器人 的前進與轉(zhuǎn)向。
[0011] 本發(fā)明的方法包括五個步驟：
[0012] 步驟一生成縱向矯正系數(shù)。因為道路圖像縱向的失真為非線性失真，采用非均勻 行米集來修正縱向的失真。
[0013] 用機器人攝像頭采集標定板原始分辨率圖像。首先制作一個貼有等距黑線的標定 板。然后將機器人放于標定板前方中心處，用機器人的攝像頭對標定板拍攝照片。通過視 頻采集卡，將照片傳入PC，對照片進行預(yù)處理，突出標定板中的黑色標定線；然后從預(yù)處理 后的圖像中，提取出等距黑線在照片中像素坐標；得到的縱坐標序列構(gòu)成原始圖像的縱向 矯正系數(shù)。
[0014] 步驟二生成橫向矯正系數(shù)。橫向矯正系數(shù)的作用，通俗地講，就是將近視野處的圖 像以一定的比例橫向壓縮，遠視野處的圖像以一定的比例橫向拉伸。
[0015] 將機器人放于直道正中間，用機器人的攝像頭拍攝道路為直道時的圖像。同樣用 視頻采集卡將其傳入PC，識別出在圖像中道路各行的寬度，以此為依據(jù)，生成各行像素的拉 伸系數(shù)。然后，根據(jù)拉伸系數(shù)計算各行像素序列中，各個像素矯正前后的橫向位移大小，它 們共同構(gòu)成橫向矯正系數(shù)表。橫向矯正的系數(shù)表實質(zhì)上是建立了世界坐標系中的像素坐標 與攝像頭坐標系中的像素坐標在橫向上的映射關(guān)系。
[0016] 步驟三將步驟一生成的縱向與步驟二生成橫向矯正系數(shù)表帶入機器人的中控系 統(tǒng)，實現(xiàn)對原始圖像的映射變換。
[0017] 步驟四對步驟三中映射后的圖像進行邊緣提取、中線擬合，生成道路的中心引導(dǎo) 線。
[0018] 步驟五根據(jù)步驟四中得到的道路中心引導(dǎo)線，計算道路的轉(zhuǎn)向偏差，對偏差進行 控制量計算，由機器人的執(zhí)行機構(gòu)對方向偏差進行控制消除，從而達到自動循跡行駛的目 的。
[0019] 與現(xiàn)有技術(shù)相比，本發(fā)明具有如下有益效果。
[0020] 1、本發(fā)明能夠比較快速的完成對單目視覺機器人所獲取的道路圖像的實時糾正， 制作糾正表的方法簡便快捷，效果明顯；通過實驗可以發(fā)現(xiàn)，改進后的算法在可操作性上更 加簡單、工程應(yīng)用價值較高，并且在還原的準確度上也比較適當；能夠得到真實道路的具體 斜率信息，基本消除了單目視覺機器人所獲取的道路圖像失真的影響。
[0021] 2、使用機器人兩次的全分辨率照片，實現(xiàn)機器人道路圖像的快速矯正，在速度和 方法上省卻了復(fù)雜的建模過程，矯正速度快而方法簡單。
[0022] 3、使用腳本程序可以實現(xiàn)自動計算參數(shù)；一旦硬件條件發(fā)生變化，參數(shù)表可以實 現(xiàn)快速調(diào)整。

【專利附圖】

【附圖說明】
[0023] 圖1機器人循跡過程流程圖。
[0024] 圖2攝像頭圖像坐標系與世界坐標系。
[0025] 圖3縱向失真的標定板圖像正視圖。
[0026] 圖4標定板放置位置俯視圖。
[0027] 圖5縱向矯正表的生成過程。
[0028] 圖6橫向失真的標定圖像。
[0029] 圖7橫向矯正表的生成過程。
[0030] 圖8回拐彎矯正前后效果圖。
[0031] 圖9十字彎矯正前后效果圖。

【具體實施方式】
[0032] 以下將結(jié)合附圖和實施例對本發(fā)明作進一步詳細說明。
[0033] 本發(fā)明中，機器人采用0V7620攝像頭作為視覺傳感器采集道路圖像，以飛思卡爾 公司的K60芯片作為控制系統(tǒng)核心，轉(zhuǎn)向機構(gòu)采用兩輪差速結(jié)構(gòu)，以兩個直流電機帶動差 速結(jié)構(gòu)實現(xiàn)前進與轉(zhuǎn)向。
[0034] 為更進一步說明本發(fā)明在技術(shù)內(nèi)容，創(chuàng)新點效果好，以下結(jié)合實施方式并配合附 圖詳細說明。
[0035] 機器人快速循跡流程圖如圖1所示。具作步驟如下：
[0036] 步驟一：生成縱向矯正系數(shù)。
[0037] 現(xiàn)以采樣行數(shù)Η = 15進行說明，可以通過改變標定行的密度來改變采樣矯正的精 度。
[0038] (1)用機器人攝像頭采集標定板原始分辨率圖像（Ν*Μ)并進行預(yù)處理。
[0039] 制作一個0. 5m*2m的標定板，材料為白色ΚΤ板，兩邊貼上黑色膠帶，標定板上由 近及遠等距地貼上15行黑膠帶，以便計算機對距離進行自動標定，本例中黑膠帶間隔為 2. 5cm。標定板制作完成圖的正視圖如圖3所示。
[0040] 將機器人放于標定板前方中心處，放置位置如圖4所示。用機器人的攝像頭對標 定板拍攝照片，通過視頻采集卡將傳感器拍攝的原始分辨率為N*M的灰度照片傳至PC，本 例中所用照片原始分辨率為640*480。用Matlab讀取其灰度圖像矩陣0(u，v)(其中，u為 橫坐標，v為縱坐標，1彡u彡N，1彡v彡M)。使用大津法進行全局圖像閾值的選取，將原 始圖像矩陣〇(u，v)處理為二值化矩陣B(u，v)。
[0041] (2)從圖像中心任選一列像素，進行邊緣檢測，找出特征元素。本列選擇η = 330 這一列進行遍歷。從B(u，v)中手動指定圖像中心附近的列向量Βη(ν) (η為此列向量序號， 1<η<Ν)，遍歷此列向量，找出其中特征元素的序號。找出的特征行如圖5所示。判斷 Bn(v)中某像素是否為特征元素的規(guī)則如下：
[0042]

【權(quán)利要求】
1. 一種基于道路矯正的單目視覺機器人快速循跡的方法，其特征在于：該方法的基本 思想分縱向與橫向兩個方面對原始道路圖像建立矯正映射表，實現(xiàn)單目機器人道路圖像的 矯正，并在此基礎(chǔ)上，采用偏差控制的方式，實現(xiàn)機器人的自動循跡行駛； 本發(fā)明的方法包括五個步驟： 步驟一生成縱向矯正系數(shù)；因為道路圖像縱向的失真為非線性失真，采用非均勻行采 集來修正縱向的失真； 用機器人攝像頭采集標定板原始分辨率圖像；首先制作一個貼有等距黑線的標定板； 然后將機器人放于標定板前方中心處，用機器人的攝像頭對標定板拍攝照片；通過視頻采 集卡，將照片傳入PC，對照片進行預(yù)處理，突出標定板中的黑色標定線；然后從預(yù)處理后的 圖像中，提取出等距黑線在照片中像素坐標；得到的縱坐標序列構(gòu)成原始圖像的縱向矯正 系數(shù)； 步驟二生成橫向矯正系數(shù)；橫向矯正系數(shù)的作用就是將近視野處的圖像以一定的比例 橫向壓縮，遠視野處的圖像以一定的比例橫向拉伸； 將機器人放于直道正中間，用機器人的攝像頭拍攝道路為直道時的圖像；同樣用視頻 采集卡將其傳入PC，識別出在圖像中道路各行的寬度，以此為依據(jù)，生成各行像素的拉伸系 數(shù)；然后，根據(jù)拉伸系數(shù)計算各行像素序列中，各個像素矯正前后的橫向位移大小，它們共 同構(gòu)成橫向矯正系數(shù)表；橫向矯正的系數(shù)表實質(zhì)上是建立了世界坐標系中的像素坐標與攝 像頭坐標系中的像素坐標在橫向上的映射關(guān)系； 步驟三將步驟一生成的縱向與步驟二生成橫向矯正系數(shù)表帶入機器人的中控系統(tǒng)，實 現(xiàn)對原始圖像的映射變換； 步驟四對步驟三中映射后的圖像進行邊緣提取、中線擬合，生成道路的中心引導(dǎo)線； 步驟五根據(jù)步驟四中得到的道路中心引導(dǎo)線，計算道路的轉(zhuǎn)向偏差，對偏差進行控制 量計算，由機器人的執(zhí)行機構(gòu)對方向偏差進行控制消除，從而達到自動循跡行駛的目的。
2. 根據(jù)權(quán)利要求1所述的一種基于道路矯正的單目視覺機器人快速循跡的方法，其特 征在于：本發(fā)明中，機器人采用0V7620攝像頭作為視覺傳感器采集道路圖像，以飛思卡爾 公司的K60單片機作為系統(tǒng)的控制核心；以三輪結(jié)構(gòu)作為執(zhí)行機構(gòu)，其中一個萬向輪作輔 助支撐，另外兩個驅(qū)動輪分別以單獨的直流電機通過各自的齒輪組驅(qū)動旋轉(zhuǎn)，實現(xiàn)機器人 的前進與轉(zhuǎn)向。
3. 根據(jù)權(quán)利要求1所述的一種基于道路矯正的單目視覺機器人快速循跡的方法，其特 征在于：機器人采用0V7620攝像頭作為視覺傳感器采集道路圖像，以飛思卡爾公司的K60 芯片作為控制系統(tǒng)核心，轉(zhuǎn)向機構(gòu)采用兩輪差速結(jié)構(gòu)，以兩個直流電機帶動差速結(jié)構(gòu)實現(xiàn) 前進與轉(zhuǎn)向； 具作步驟如下： 步驟一：生成縱向矯正系數(shù)； 現(xiàn)以采樣行數(shù)Η = 15進行說明，可以通過改變標定行的密度來改變采樣矯正的精度； (1)用機器人攝像頭采集標定板原始分辨率圖像（Ν*Μ)并進行預(yù)處理； 制作一個0. 5m*2m的標定板，材料為白色ΚΤ板，兩邊貼上黑色膠帶，標定板上由近及遠 等距地貼上15行黑膠帶，以便計算機對距離進行自動標定，本例中黑膠帶間隔為2. 5cm ; 將機器人放于標定板前方中心處；用機器人的攝像頭對標定板拍攝照片，通過視頻 采集卡將傳感器拍攝的原始分辨率為N*M的灰度照片傳至PC，本例中所用照片原始分辨 率為640*480 ;用Matlab讀取其灰度圖像矩陣0(u，v)(其中，u為橫坐標，v為縱坐標， 1 < u < N，1 < v < M);使用大津法進行全局圖像閾值的選取，將原始圖像矩陣0(U，v)處 理為二值化矩陣B(u，v); (2) 從圖像中心任選一列像素，進行邊緣檢測，找出特征元素；本列選擇η = 330這 一列進行遍歷；從B(u，v)中手動指定圖像中心附近的列向量Βη(ν) (η為此列向量序號， 1彡η < Ν)，遍歷此列向量，找出其中特征元素的序號；判斷Β?中某像素是否為特征元 素的規(guī)則如下：
式中，SelectedRow_F(v)為特征元素的標志量； (3) 從預(yù)處理后的圖像中得到世界坐標系中的黑色選定行序列在攝像頭坐標系中的縱 坐標序列，公式如下： SelectedRow = {v | 1 ^ v ^ M, SelectedRow_F (v) = 1} SelectedRow序列構(gòu)成原始圖像的縱向矯正系數(shù)； 步驟二：生成橫向矯正系數(shù)； 對于橫向的畸變，米取基于標定對比的線性伸縮矯正；將機器人放于直道正中間，用機 器人的攝像頭采集直道的圖形；計算橫向矯正系數(shù)；具體計算過程如下： (1) 利用微分算子法，搜索出原始直道圖像中每一行的左右邊沿的位置，繼而計算出圖 像中直道每一行的寬度； (2) 計算各行像素的橫向拉伸系數(shù)；將近視野處的圖像以一定的比例橫向壓縮，遠視 野處的圖像以一定的比例橫向拉伸，每一行都有一個與之相關(guān)的拉伸系數(shù)，算法的關(guān)鍵便 是如何確定各行的系數(shù)；將第v行的拉伸系數(shù)定為常數(shù)：
其中，Coeff (v)是第v行像素對應(yīng)的行矯正系數(shù)；Width_Straight為需要手工指定的 全局參數(shù)，它決定著實際道路在采樣圖像中橫向所占的像素數(shù)，調(diào)整其大小可以改變圖像 整體的拉伸程度；width(v)為采樣圖像中第v行道路所占的像素數(shù)； (3) 根據(jù)橫向拉伸系數(shù)計算各行像素的矯正前后的橫向位移大??；橫向映射表的生成 依據(jù)是第v行的各個像素，其距中心像素民汎/2, v)的偏離程度與其在世界坐標系中距中 心位置的距離成正比；各個像素矯正前后的橫向位移大小計算公式為： Δ correction (u, v) = Coeff (v) * (u-Center_U) Coeff (v)是第v行像素對應(yīng)的行矯正系數(shù)； (4) 生成橫向矯正系數(shù)表；橫向矯正的系數(shù)表實質(zhì)上是建立了世界坐標系中的像素坐 標與攝像頭坐標系中的像素坐標在橫向上的映射關(guān)系；其計算公式如下： correction (u, v) = Center_U+ Δ correction (u, v) 其中，correctionx(u，v)為采樣圖像坐標系（u，v)與世界坐標系的橫坐標x的映射關(guān) 系；Center_U是圖像的中心列像素點所在橫坐標，即傳感器正對道路時，道路中心所在列 序號； 步驟三：將生成的縱向與橫向矯正系數(shù)表帶入機器人的中控系統(tǒng)，對圖像完成實時映 射矯正； 矯正前道路圖像Video(u，v)與矯正后道路圖像Video(x， y)與的映射關(guān)系如下：
其中，左半邊圖均為矯正前的道路圖像，右半邊均為矯正后的道路圖像； 步驟四：對矯正后圖像進行邊緣提取，中線擬合，生成道路的中心引導(dǎo)線； 基于二值化分割的邊緣檢測算法，對矯正后圖像進行邊緣檢測； 步驟五：計算道路的轉(zhuǎn)向偏差，對偏差進行控制量計算，由機器人的執(zhí)行機構(gòu)對方向偏 差進行控制消除，從而達到根據(jù)引導(dǎo)線的目的。
【文檔編號】G06K9/46GK104123535SQ201410309105
【公開日】2014年10月29日 申請日期:2014年7月1日 優(yōu)先權(quán)日:2014年7月1日
【發(fā)明者】梁軍, 孫博軒, 梁愛華, 潘峰 申請人:北京聯(lián)合大學