本發(fā)明屬于礦用設備運行狀態(tài)監(jiān)測領域,尤其涉及一種基于多圖像序列的煤礦井下液壓支架組位姿及直線度測量方法。
背景技術(shù):
液壓支架作為煤礦綜采工作面的重要設備,其位姿與直線度信息是非常重要的參數(shù)。常采用傾角傳感器、位移傳感器或慣導傳感器測量;其中傾角傳感器對容易受到加速度的影響,位移傳感器由于是接觸式測量傳感器容易損壞,而慣導傳感器由于累積誤差不能單獨使用,與其他傳感器融合使用時其系統(tǒng)比較復雜成本較高。
技術(shù)實現(xiàn)要素:
針對現(xiàn)有制備技術(shù)的缺陷和不足,本發(fā)明的目的是提供一種基于多圖像序列的煤礦井下液壓支架組位姿與直線度測量方法,解決現(xiàn)有的接觸式測量方法中傳感器易損、系統(tǒng)比較復雜的問題。
為了實現(xiàn)上述目的,本發(fā)明采用如下技術(shù)方案予以實現(xiàn):
基于多圖像序列的井下液壓支架組位姿測量方法,包括以下步驟:
步驟一:在液壓支架上安裝方形定位標識板,通過攝像機采集液壓支架圖像,得到目標圖像;
步驟二:對采集得到的目標圖像進行降噪處理,提取降噪處理后圖像中的定位標識;
步驟三:利用感受野細胞模型對定位標識進行邊緣直線擬合,得到定位標識的四個頂點坐標;
步驟四:根據(jù)步驟三得到定位標識的四個頂點坐標,計算定位標識的法向量;然后通過式(1)計算得到定位標識的位姿,即液壓支架的位姿;
其中,
進一步的,所述的步驟二包括:
步驟2.1:對采集得到的目標圖像進行自適應二值化預處理;
步驟2.2:利用基于連通分量的方法對預處理后的目標圖像中的定位標識進行提?。?/p>
進一步的,步驟三中采用感受野細胞模型對定位標識進行邊緣直線擬合,具體步驟為:
步驟3.1:對定位標識按照設定的中心間距和大小分布感受野,采用(r*2+1)*(r*2+1)的掩模,r為感受野細胞半徑,掩模中心與感受野細胞中心重合;
步驟3.2:利用梯度算子計算每個感受野掩模梯度方向,通過掩模梯度方向?qū)γ總€感受野方向進行定性判斷,從而分別劃分出定位標識的上邊緣、下邊緣、左邊緣和右邊緣上分布的感受野細胞;
步驟3.3:利用感受野模型,計算上邊緣方向各個感受野的響應值,根據(jù)單個感受野內(nèi)像素點形成的對比邊緣位置與感受野中心距離的關系,確定每個感受野中心到感受野內(nèi)對比邊緣到感受野中心的距離,然后利用帶約束的最小二乘法模型擬合出標識板上邊緣所在直線;
步驟3.4:重復步驟3.3,分別對定位標識的下邊緣、左邊緣、右邊緣所在直線進行擬合;
步驟3.5:根據(jù)擬合的上邊緣、下邊緣、左邊緣和右邊緣四條直線方程,得到定位標識的四個頂點坐標。
進一步的,計算液壓支架的位姿的具體步驟包括;
步驟4.1:根據(jù)步驟三得到定位標識的四個頂點坐標,將其轉(zhuǎn)化為圖像坐標,很據(jù)圖像坐標與光心坐標的關系,計算定位標識的法向量;
其中,
(xi,yi,zi)為定位標識頂點的第i個頂點的光心坐標,(xi,yi)為定位標識頂點的第i個頂點的圖像坐標,c為攝像機的有效焦距;
b1=x2y3-x4y3+x4y2-x2y4+x3y4-x3y2
b2=x3y4-x4y3-x1y4+x4y1+x1y3-x3y1
b3=x1y2-x4y2-x2y1-x1y4+x4y1+x2y4
b4=x3y2-x2y3+x1y3+x2y1-x1y2-x3y1
其中,l為長方形定位標識的長邊邊長或正方形定位標識的邊長;
步驟4.2:通過式(1)計算得到定位標識的位姿,即液壓支架的位姿,
其中,
基于多圖像序列的井下液壓支架組直線度測量方法,該方法對n個液壓支架的直線度進行測量,每個液壓支架上連接有一個刮板,巡檢機器人沿著刮板運動,其特征在于,包括以下步驟:
步驟一:在每個液壓支架上安裝方形定位標識板,所述的定位標識板位于液壓支架的相同位置上,當巡檢機器人行走到每節(jié)刮板末端、每節(jié)刮板與液壓支架的連接處時分別采集圖像;
步驟二:對采集得到的目標圖像進行降噪處理,提取降噪處理后圖像中的定位標識;
步驟三:利用感受野細胞模型對每個定位標識進行邊緣直線擬合,得到每個定位標識的四個頂點坐標;
步驟四:根據(jù)步驟三得到每個定位標識的四個頂點坐標,計算每個定位標識的在光心坐標系中的坐標;
步驟五:計算液壓支架組的直線度;
步驟5.1:計算每個定位標識的四個頂點在世界坐標系中的坐標
βk=θk-γk(7)
其中,pji代表p(xji,yji,zji),p(xji,yji,zji)為第j個定位標識的第i個頂點在光心坐標系中的坐標,
βk為相鄰刮板之間的夾角,k=1,2,...,n-1,n為標識板的個數(shù),
步驟5.2:取所有定位標識的頂點
其中,l為攝像機的第一個拍攝點和最后一個拍攝點的直線距離,dj為頂點
進一步的,所述的步驟二包括:
步驟2.1:對采集得到的每幀目標圖像進行自適應二值化預處理;
步驟2.2:利用基于連通分量的方法對預處理后的目標圖像中的定位標識進行提取;
進一步的,步驟三中采用感受野細胞模型對每個定位標識進行邊緣直線擬合,具體步驟為:
步驟3.1:對第j個定位標識按照設定的中心間距和大小分布感受野,采用(r*2+1)*(r*2+1)的掩模,r為感受野細胞半徑,掩模中心與感受野細胞中心重合;
步驟3.2:利用梯度算子計算每個感受野掩模梯度方向,通過掩模梯度方向?qū)γ總€感受野方向進行定性判斷,從而分別劃分出定位標識的上邊緣、下邊緣、左邊緣和右邊緣上分布的感受野細胞;
步驟3.3:利用感受野模型,計算上邊緣方向各個感受野的響應值,根據(jù)單個感受野內(nèi)像素點形成的對比邊緣位置與感受野中心距離的關系,確定每個感受野中心到感受野內(nèi)對比邊緣到感受野中心的距離,然后利用帶約束的最小二乘法模型擬合出標識板上邊緣所在直線;
步驟3.4:重復步驟3.3,分別對定位標識的下邊緣、左邊緣、右邊緣所在直線進行擬合;
步驟3.5:根據(jù)擬合的上邊緣、下邊緣、左邊緣和右邊緣四條直線方程,得到第j個定位標識的四個頂點坐標;
步驟3.6:重復步驟3.1~步驟3.5,得到所有定位標識的四個頂點坐標。
進一步的,所述的步驟四中第j個定位標識的第i個頂點在光心坐標系中的坐標p(xji,yji,zji),i=1,2,3,4,通過式(2)進行計算:
bj1=xj2yj3-xj4yj3+xj4yj2-xj2yj4+xj3yj4-xj3yj2
bj2=xj3yj4-xj4yj3-xj1yj4-xj4yj1+xj1yj3-xj3yj1
bj3=xj1yj2-xj4yj2-xj2yj1-xj1yj4+xj4yj1-xj2yj4
bj4=xj3yj2-xj2yj3+xj1yj3-xj2yj1-xj1yj2-xj3yj1
其中,lj為第j個長方形定位標識的長邊邊長或正方形定位標識的邊長,(xji,yji)為步驟三得到的定位標識頂點的圖像坐標,c為攝像機的有效焦距。
與現(xiàn)有技術(shù)相比,本發(fā)明的有益效果是:
本發(fā)明利用視覺技術(shù)測量液壓支架的位姿,能夠自動檢測出每架液壓支架的位姿,同時能夠檢測工作面中液壓支架的直線度,為煤礦井下液壓支架的自動調(diào)制和綜采工作面的自動化智能化提供了必要的技術(shù)支持,保障工作面的安全運行,減少了人員的勞動強度。
附圖說明
圖1為本發(fā)明的液壓支架測量方法流程圖。
圖2為本發(fā)明方法采集的圖像及其處理后的圖像,(a)原始圖像,(b)二值化預處理后的圖像,(c)提取的定位標識。
圖3本發(fā)明方法測量得到的液壓支架組的擬合直線。
以下結(jié)合實施例對本發(fā)明的具體內(nèi)容作進一步詳細解釋說明。
具體實施方式
本發(fā)明首先對文中使用的坐標系作以說明:
光心坐標系(相機坐標系):以相機的光心為坐標原點,x軸、y軸分別平行于ccd平面的兩條垂直邊,z軸與相機的光軸重合;圖像坐標系:坐標原點在ccd圖像平面的中心,x軸、y軸分別平行于ccd平面的兩條垂直邊;像素坐標系:坐標原點在ccd圖像平面的左上角,u軸、v軸分別平行于圖像坐標的x軸、y軸;世界坐標系:以第一個液壓支架與刮板的連接處為坐標原點,x軸平行于第一節(jié)刮板,z軸垂直于第一節(jié)刮板,指向第一個液壓支架,y軸垂直向下。
本發(fā)明的基于多圖像序列的井下液壓支架組位姿測量方法,包括以下步驟:
步驟一:在液壓支架安置方形定位標識,在沿與工作面平行方向移動的巡檢機器人上安裝攝像機,并通過固定安裝在巡檢機器人上的攝像機采集液壓支架圖像,得到目標圖像;
步驟二:對采集得到的目標圖像進行降噪處理,提取預處理后圖像中的定位標識;
步驟2.1:對采集得到的目標圖像進行自適應二值化預處理;
步驟2.2:利用基于連通分量的方法對預處理后的目標圖像中的定位標識進行提取;
步驟三:對定位標識進行邊緣直線擬合,得到定位標識的四個頂點坐標;
步驟3.1:對定位標識按照設定的中心間距和大小分布感受野,采用(r*2+1)*(r*2+1)的掩模,r為感受野細胞半徑,掩模中心與感受野細胞中心重合;
步驟3.2:利用梯度算子計算每個感受野掩模梯度方向;
通過掩模梯度方向?qū)γ總€感受野方向進行定性判斷,從而分別劃分出定位標識的上邊緣、下邊緣、左邊緣和右邊緣上分布的感受野細胞;
步驟3.3:利用感受野模型,計算上邊緣方向各個感受野的響應值s,
s=s1-s2(2)
其中,σd=rd/4,σs=rs/4;rd和rs分別表示感受野的中心區(qū)和外周區(qū)(也包含中心區(qū)的大圓)的半徑,h(u,v,η)表示對比刺激覆蓋率為η時,位于像素(u,v)的像素點刺激強度,對于二值圖像中像素值為255的點取值為1,像素值為0的點取值為0;
s1為感受野中心區(qū)響應值,s2為感受野周邊區(qū)域的響應值,dl為位于感受野中心區(qū)的像素點,se為位于感受野周邊區(qū)域的像素點,l=0,1,2,...,f,e=1,2,...,m,f為位于感受野中心區(qū)的像素點,m為位于感受野周邊區(qū)域的像素點個數(shù)。
根據(jù)單個感受野內(nèi)像素點形成的對比邊緣位置與感受野中心距離的關系,確定每個感受野中心到感受野內(nèi)擬合對比邊緣的距離dh,h=1,2,...,n,其中n表示感受野細胞個數(shù)。
假設邊緣所在直線方程(a,b)(u,v)t+c=0,根據(jù)點到直線的距離公式:
其中,(uh,vh)為感受野中心在像素坐標系上的坐標點。
利用帶約束的最小二乘法模型對該邊緣所在直線進行擬合;
其中,l(a,b,c,λ)表示拉格朗日函數(shù),λ為參數(shù);a,b,c為擬合的邊緣所在直線方程系數(shù),u、v均表示由感受野細胞中心的像素坐標組成的n*1矩陣,d表示dh組成的n*1矩陣;
在約束條件a2+b2=1下,找到a,b,c最優(yōu)解(a*,b*,c*);
步驟3.4:重復步驟3.3,分別對定位標識的下邊緣、左邊緣、右邊緣所在直線進行擬合;
步驟3.5:根據(jù)擬合的上邊緣、下邊緣、左邊緣和右邊緣四條直線方程,得到定位標識的四個頂點坐標。
步驟四:計算定位標識的位姿,即液壓支架的位姿;
步驟4.1:根據(jù)步驟三得到定位標識的四個頂點坐標,將其轉(zhuǎn)化為圖像坐標,根據(jù)圖像坐標與光心坐標的關系,計算定位標識的法向量;在計算法向量過程中,選擇定位標識其中三個頂點坐標,通過三個頂點形成的向量即可確定定位標識所在空間平面,從而求得其法向量
其中,
(xi,yi,zi)為定位標識頂點的第i個頂點的光心坐標,(xi,yi)為定位標識頂點的第i個頂點的圖像坐標,c為攝像機的有效焦距;
b1=x2y3-x4y3+x4y2-x2y4+x3y4-x3y2
b2=x3y4-x4y3-x1y4+x4y1+x1y3-x3y1
b3=x1y2-x4y2-x2y1-x1y4+x4y1+x2y4
b4=x3y2-x2y3+x1y3+x2y1-x1y2-x3y1
其中,l為長方形定位標識的長邊邊長或正方形定位標識的邊長;
步驟4.2:通過式(1)計算得到每個定位標識的位姿,即液壓支架的位姿,其中,液壓支架的位姿通過偏轉(zhuǎn)角、橫滾角和仰俯角來表示;
其中,
本發(fā)明還包括液壓支架組的直線度計算方法,該方法中包括n個液壓支架,每個液壓支架上連接有一個刮板,所述的刮板首尾相接,巡檢機器人沿著刮板運動,具體包括:
步驟一:在每個液壓支架上安裝方形定位標識板,所述的定位標識板位于液壓支架的相同位置上,在沿與工作面平行方向移動的巡檢機器人上安裝攝像機,當巡檢機器人行走到每節(jié)刮板末端、每節(jié)刮板與液壓支架的連接處時分別拍攝圖像,得到目標圖像;
步驟二:對采集得到的目標圖像進行降噪處理,提取降噪處理后圖像中的定位標識;
步驟2.1:對采集得到的每幀目標圖像進行自適應二值化預處理;
步驟2.2:利用基于連通分量的方法對預處理后的目標圖像中的定位標識進行提?。?/p>
步驟三:對每個定位標識進行邊緣直線擬合,得到每個定位標識的四個頂點坐標;
步驟3.1:對第j個定位標識按照設定的中心間距和大小分布感受野,采用(r*2+1)*(r*2+1)的掩模,j=1,2,…,n,n為定位標識板的個數(shù),r為感受野細胞半徑,掩模中心與感受野細胞中心重合;
步驟3.2:利用梯度算子計算每個感受野掩模梯度方向;
通過掩模梯度方向?qū)γ總€感受野方向進行定性判斷,從而分別劃分出定位標識的上邊緣、下邊緣、左邊緣和右邊緣上分布的感受野細胞;
步驟3.3:利用感受野模型,計算上邊緣方向各個感受野的響應值s,
s=s1-s2(2)
其中,σd=rd/4,σs=rs/4;rd和rs分別表示感受野的中心區(qū)和外周區(qū)(也包含中心區(qū)的大圓)的半徑,h(u,v,η)表示對比刺激覆蓋率為η時,位于像素(u,v)的像素點刺激強度,對于二值圖像中像素值為255的點取值為1,像素值為0的點取值為0;
s1為感受野中心區(qū)響應值,s2為感受野周邊區(qū)域的響應值,dl為位于感受野中心區(qū)的像素點,se為位于感受野周邊區(qū)域的像素點,l=0,1,2,...,f,e=1,2,...,m,f為位于感受野中心區(qū)的像素點,m為位于感受野周邊區(qū)域的像素點個數(shù)。
根據(jù)單個感受野內(nèi)像素點形成的對比邊緣位置與感受野中心距離的關系,確定每個感受野中心到感受野內(nèi)擬合對比邊緣的距離dh,h=1,2,...,n,其中n表示感受野細胞個數(shù)。
假設邊緣所在直線方程(a,b)(u,v)t+c=0,根據(jù)點到直線的距離公式:
其中,(uh,vh)為感受野中心在像素坐標系上的坐標點。
利用帶約束的最小二乘法模型對該邊緣所在直線進行擬合;
其中,l(a,b,c,λ)表示拉格朗日函數(shù),λ為參數(shù);a,b,c為擬合的邊緣所在直線方程系數(shù),u、v均表示由感受野細胞中心的像素坐標組成的n*1矩陣,d表示dh組成的n*1矩陣;
在約束條件a2+b2=1下,找到a,b,c最優(yōu)解(a*,b*,c*);
步驟3.4:重復步驟3.3,分別對定位標識的下邊緣、左邊緣、右邊緣所在直線進行擬合;
步驟3.5:根據(jù)擬合的上邊緣、下邊緣、左邊緣和右邊緣四條直線方程,得到第j個定位標識的四個頂點坐標;
步驟3.6:重復步驟3.1~步驟3.5,得到所有定位標識的四個頂點坐標;
步驟四:根據(jù)步驟三得到每個定位標識的四個頂點坐標,計算每個定位標識的在光心坐標系中的坐標;第j個定位標識的第i個頂點在光心坐標系中的坐標p(xji,yji,zji),i=1,2,3,4,通過式(2)進行計算:
bj1=xj2yj3-xj4yj3+xj4yj2-xj2yj4+xj3yj4-xj3yj2
bj2=xj3yj4-xj4yj3-xj1yj4-xj4yj1+xj1yj3-xj3yj1
bj3=xj1yj2-xj4yj2-xj2yj1-xj1yj4+xj4yj1-xj2yj4
bj4=xj3yj2-xj2yj3+xj1yj3-xj2yj1-xj1yj2-xj3yj1
其中,lj為第j個長方形定位標識的長邊邊長或正方形定位標識的邊長,(xji,yji)為步驟三得到的定位標識頂點的圖像坐標,c為攝像機的有效焦距。
步驟五:計算液壓支架組的直線度;
步驟5.1:將上述得到的光心坐標轉(zhuǎn)化為世界坐標系下的坐標
βk=θk-γk(7)
其中,pji表示p(xji,yji,zji),為第j個定位標識的第i個頂點在光心坐標系中的坐標,
βk為相鄰刮板之間的夾角,k=1,2,...,n-1,n為標識板的個數(shù),
步驟5.2:取所有定位標識的頂點
其中,l為攝像機的第一個拍攝點和最后一個拍攝點的直線距離。
以下給出本發(fā)明的具體實施例,需要說明的是本發(fā)明并不局限于以下具體實施例,凡在本申請技術(shù)方案基礎上做的等同變換均落入本發(fā)明的保護范圍。
實施例1
本實施例的一種基于多圖像序列的井下液壓支架組位姿測量方法,包括:在一個液壓支架上安置正方形定位標識,在沿與工作面平行方向移動的巡檢機器人上固定安裝攝像機,沿巡檢路徑對煤礦井下一定范圍內(nèi)的液壓支架圖像進行采集,得到多幅目標圖像序列。
將采集到的一副圖像進行說明,圖2為采集到的第一幅圖像,此時其液壓支架的實際位姿為:偏轉(zhuǎn)角度為7°,橫滾角度為2°,俯仰角度為10°;
對采集得到的每幀目標圖像進行自適應二值化預處理,處理結(jié)果如圖2(a)所示;提取二值化預處理后的液壓支架圖像中的連通分量;利用連通分量的長短軸比和面積信息提取與分割液壓支架圖像中的定位標識,提取后的圖像如圖2(b);
利用梯度算子計算每個感受野掩模梯度方向,通過梯度方向,對每個感受野方向進行定性判斷,從而分別劃分出定位標識上任一邊緣上分布的感受野細胞,如圖2(c)所示;利用感受野模型,計算定位標識邊緣方向各個感受野的響應值,根據(jù)單個感受野內(nèi)像素點形成的對比邊緣位置與感受野中心距離的關系,確定每個感受野中心到感受野內(nèi)擬合對比邊緣的距離;
利用帶約束的最小二乘法模型對該邊緣所在直線進行擬合;根據(jù)擬合的上邊緣、下邊緣、左邊緣和右邊緣四條直線方程,計算掘進機圖像中定位標識的四個頂點的像素坐標。
利用成像模型和四個頂點的像素坐標,計算定位標識的四個頂點在光心坐標系中的坐標;通過光心坐標確定定位標識的法向量;最后得到該液壓支架的位姿為偏轉(zhuǎn)角度為6.7879°,橫滾角度為2.0412°,俯仰角度為10.1120°,該角度與液壓支架實際的位姿比較接近。
實施例2
本實施例給出一種基于多圖像序列的井下液壓支架組直線度測量方法,該方法對5個液壓支架進行測量,實際這5個液壓支架組的直線度為4.022mm/m。
以下通過本發(fā)明方法計算:在每個液壓支架相同位置安置正方形定位標識,在沿與工作面平行方向移動的巡檢機器人上固定安裝攝像機,當巡檢機器人運動至每個液壓支架與刮板連接處采集圖像,得到多幅目標圖像序列。
將其中采集到的一副圖像進行說明,圖2為采集到的第一幅圖像;對采集得到的每幀目標圖像進行自適應二值化預處理,處理結(jié)果如圖2(a)所示;提取二值化預處理后的液壓支架圖像中的連通分量;利用連通分量的長短軸比和面積信息提取與分割液壓支架圖像中的定位標識,提取后的圖像如圖2(b);
利用梯度算子計算每個感受野掩模梯度方向,通過梯度方向,對每個感受野方向進行定性判斷,從而分別劃分出定位標識上任一邊緣上分布的感受野細胞,如圖2(c)所示;利用感受野模型,計算定位標識邊緣方向各個感受野的響應值,根據(jù)單個感受野內(nèi)像素點形成的對比邊緣位置與感受野中心距離的關系,確定每個感受野中心到感受野內(nèi)擬合對比邊緣的距離;利用帶約束的最小二乘法模型對該邊緣所在直線進行擬合;根據(jù)擬合的上邊緣、下邊緣、左邊緣和右邊緣四條直線方程,計算掘進機圖像中定位標識的四個頂點的像素坐標。
利用成像模型和四個頂點的像素坐標,計算定位標識的四個頂點在光心坐標系中的坐標;將其轉(zhuǎn)換到世界坐標系下,取每個定位標識的第一個頂點在世界坐標系下的坐標。利用得到的坐標,進行最小二乘擬合法,擬合出在xoz平面內(nèi)的直線如圖3,圖3中o1~o5所在的曲線表示刮板的軌跡,即巡檢機器人的運動軌跡,虛線部分為液壓支架組在xoz平面內(nèi)坐標q1~q5擬合得到的直線;計算出每個定位標識的第一個頂點到該直線的距離,最大距離即為液壓支架組的直線度,最后得到前五個液壓支架的直線度為4.326mm/m。可以看出,本發(fā)明方法測出的直線度與液壓支架組實際的直線度較為接近。