專利名稱：一種結(jié)構(gòu)光三維掃描儀系統(tǒng)自動(dòng)標(biāo)定方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種計(jì)算機(jī)視覺(jué)領(lǐng)域內(nèi)的相機(jī)和投影儀標(biāo)定技術(shù)，特別涉及結(jié)構(gòu)光三維掃描儀自動(dòng)標(biāo)定方法。

背景技術(shù)：
結(jié)構(gòu)光三維掃描儀系統(tǒng)主要包括了相機(jī)和投影儀。系統(tǒng)標(biāo)定指標(biāo)定相機(jī)和投影儀。標(biāo)定設(shè)備是指確定設(shè)備的內(nèi)部參數(shù)和外部參數(shù)的過(guò)程。以下以相機(jī)為例簡(jiǎn)要介紹各參數(shù)。
內(nèi)部參數(shù)通常表示為內(nèi)部參數(shù)矩陣，形式如下 其中fc1和fc2分別是水平和垂直方向上以像素為單位的相機(jī)焦距大小，αc代表傾斜形變系數(shù)，(u0，v0)是光心的像在相片坐標(biāo)系下的坐標(biāo)。內(nèi)部參數(shù)矩陣可以將相機(jī)坐標(biāo)系坐標(biāo)轉(zhuǎn)為相片坐標(biāo)系坐標(biāo)。其中(u，v)為相片坐標(biāo)系坐標(biāo)，(Xc，Yc，Zc)為相機(jī)坐標(biāo)系坐標(biāo)。
外部參數(shù)通常表示為外部參數(shù)矩陣，形式如下 其中前三列為表示旋轉(zhuǎn)分量，最后一列為平移分量，外部參數(shù)矩陣可以將世界坐標(biāo)系坐標(biāo)轉(zhuǎn)為相機(jī)坐標(biāo)系坐標(biāo)。其中(Xw，Yw，Zw)是空間點(diǎn)的世界坐標(biāo)，(Xc，Yc，Zc)是相機(jī)坐標(biāo)系坐標(biāo)。
理想的相機(jī)模型很難準(zhǔn)確的描述其屬性，因?yàn)檎嬲溺R頭通常有畸變，主要分為徑向畸變，也會(huì)有輕微的切向畸變。理想相機(jī)模型中，照片坐標(biāo)系坐標(biāo)(uc，vc)和相機(jī)坐標(biāo)系坐標(biāo)(Xc，Yc，Zc)之間的關(guān)系為 其中，fc是實(shí)際成像時(shí)的焦距?？梢酝茖?dǎo)出 令r2＝(un)2+(vn)2，經(jīng)過(guò)形變后的坐標(biāo)為(ud，vd)，則有以下關(guān)系式成立 其中dx定義如下 k1，k2，k3，k4，k5是畸變參數(shù)，dx部分是鏡頭的切向畸變，(1+k1r2+k2r4+k5r6)部分是鏡頭徑向的畸變。實(shí)際操作中，標(biāo)定就是確定內(nèi)部參數(shù)矩陣、外部參數(shù)矩陣以及畸變參數(shù)的過(guò)程。
求解參數(shù)時(shí)可采用Roger Tsai的RAC算法和Zhengyou Zhang的算法等。Tsai的算法采用徑向一致約束來(lái)求解參數(shù)，求解的方程多為線性方程組，復(fù)雜性低，結(jié)果精確。Zhengyou Zhang通過(guò)拍攝不同角度棋盤格的相片，經(jīng)過(guò)識(shí)別后得到棋盤格角點(diǎn)的棋盤格坐標(biāo)系坐標(biāo)以及其像的相片坐標(biāo)系坐標(biāo)，通過(guò)SVD分解得到相機(jī)的內(nèi)部和外部參數(shù)，并通過(guò)Minpack提出的Levenberg-Marquardt方法進(jìn)行極大似然估計(jì)，避免了傳統(tǒng)方法設(shè)備要求高，操作繁瑣的缺點(diǎn)，通過(guò)L-M優(yōu)化后可以得到較精確的結(jié)果。在求解參數(shù)時(shí)本方法采用了Zhengyou Zhang的算法。
投影儀可以看做是相機(jī)的逆設(shè)備。通過(guò)將標(biāo)定圖案投影到棋盤格定標(biāo)板上，用相機(jī)拍攝相片。將相片上的投影圖案角點(diǎn)識(shí)別出來(lái)后，結(jié)合已經(jīng)求得的相機(jī)標(biāo)定參數(shù)，可以解出角點(diǎn)的相機(jī)坐標(biāo)系坐標(biāo)，投影圖案上的坐標(biāo)已知，則可以通過(guò)標(biāo)定相機(jī)完全相同的步驟標(biāo)定投影儀。
制約標(biāo)定流程自動(dòng)化的瓶頸主要在角點(diǎn)的高精度自動(dòng)化識(shí)別。定標(biāo)物通常采用棋盤格圖案，投影儀標(biāo)定時(shí)標(biāo)定圖案也采用棋盤格圖案。Bouquet提供了一套開源的基于Matlab的標(biāo)定工具Camera Calibration Toolbox，支持用戶交互式的標(biāo)定，結(jié)果準(zhǔn)確，但標(biāo)定過(guò)程很長(zhǎng)，角點(diǎn)的選擇需要人工交互完成，較為繁瑣。OpenCV提供了角點(diǎn)選取的函數(shù)，但該函數(shù)識(shí)別的效果不夠穩(wěn)定，容易受環(huán)境和光線的影響。


發(fā)明內(nèi)容
本發(fā)明提供了一種自動(dòng)化的結(jié)構(gòu)光三維掃描儀標(biāo)定方法，包括了相機(jī)的標(biāo)定和投影儀的標(biāo)定。
一種自動(dòng)化的結(jié)構(gòu)化三維掃描儀標(biāo)定方法，包括以下步驟 (1)設(shè)置標(biāo)定物； 采用平面棋盤格定標(biāo)板做標(biāo)定物，灰度分別為180和255，投影儀標(biāo)定圖案選擇相反棋盤格圖案各一幅，灰度分別為0和255，投影范圍應(yīng)處于整個(gè)棋盤格的中心，目的是為了兼顧相機(jī)標(biāo)定和投影儀標(biāo)定時(shí)的自動(dòng)化角點(diǎn)識(shí)別。
(2)用相機(jī)拍攝若干張標(biāo)定物姿勢(shì)不同的標(biāo)定相片； 在合適位置安置相機(jī)和投影儀并手工調(diào)整好鏡頭，拍攝8到10組圖片，每組三張，分別是無(wú)投影圖案的定標(biāo)板相片一張，正反標(biāo)定圖案投影到定標(biāo)板的相片各一張。
(3)運(yùn)用Weibin Sun的算法對(duì)標(biāo)定相片上的點(diǎn)進(jìn)行初步識(shí)別，得到每一角點(diǎn)的候選區(qū)域； 按圈遍歷每個(gè)點(diǎn)的領(lǐng)域，通過(guò)棋盤格角點(diǎn)的領(lǐng)域的特征來(lái)確定每一角點(diǎn)的候選區(qū)域。具體方法參照Weibin Sun等的論文(參考文獻(xiàn)1)”Robustcheckerboard recognition for efficient nonplanar geometry registration inProjector-camera Systems”中的3.1節(jié)“corner detection”的內(nèi)容。參考文獻(xiàn)1Weibin Sun，Xubo Yang，Shuangjiu Xiao，et al，“Robust checkerboardrecognition for efficient nonplanar geometry registration in projector-camera”，in the Proceedings of the 5th ACM/IEEE International Workshop on Projectorcamera systems，2008。
在初步識(shí)別后的點(diǎn)中將滿足二維歐氏距離小于閾值的所有點(diǎn)劃入同一點(diǎn)集，得到若干點(diǎn)集，取覆蓋點(diǎn)集中所有點(diǎn)的最小矩形區(qū)域作為該點(diǎn)集中角點(diǎn)的候選區(qū)域。
(4)在候選區(qū)域內(nèi)求解角點(diǎn)的亞像素坐標(biāo)； 在角點(diǎn)的候選區(qū)域內(nèi)，利用基于圖像梯度的方法提取亞像素精度的角點(diǎn)坐標(biāo)。根據(jù)棋盤格角點(diǎn)的性質(zhì)，理想狀況下，精確的角點(diǎn)位置處的坐標(biāo)和其所在的候選區(qū)域內(nèi)任一點(diǎn)坐標(biāo)間的差向量應(yīng)該與角點(diǎn)處的圖像梯度正交。實(shí)際拍攝過(guò)程中由于噪聲的存在使得兩個(gè)向量的內(nèi)積不為零。以候選區(qū)域的中心為初值，計(jì)算其他點(diǎn)和該點(diǎn)所構(gòu)成的向量和該點(diǎn)圖像梯度的內(nèi)積，求得最小值，并不斷迭代，可以得到亞像素精度的角點(diǎn)坐標(biāo)值。
(5)將標(biāo)定物上的角點(diǎn)的棋盤格三維坐標(biāo)和所有標(biāo)定相片上該角點(diǎn)的相片坐標(biāo)一一對(duì)應(yīng)； 求得的相片坐標(biāo)系亞像素角點(diǎn)坐標(biāo)為亂序，需要和棋盤格坐標(biāo)系坐標(biāo)實(shí)現(xiàn)一一對(duì)應(yīng)。以棋盤格在相片中的左上角點(diǎn)作為棋盤格坐標(biāo)系的原點(diǎn)，實(shí)現(xiàn)其與相片坐標(biāo)系的對(duì)應(yīng)。棋盤格定標(biāo)板是平面，Z方向分量為0，故只需要確定各角點(diǎn)的X、Y方向分量即可。
處理時(shí)首先確定棋盤格定標(biāo)板上的最邊上的四個(gè)角點(diǎn)及其相對(duì)順序，根據(jù)四點(diǎn)的位置估計(jì)棋盤格中心的坐標(biāo)O，其次利用交比不變?cè)砉烙?jì)棋盤格每條邊界上的所有角點(diǎn)，根據(jù)標(biāo)定相片中棋盤格中間部分角點(diǎn)與中心和邊界上的角點(diǎn)的位置關(guān)系，實(shí)現(xiàn)棋盤格坐標(biāo)和相片坐標(biāo)的一一對(duì)應(yīng)。
(6)采用Zhengyou Zhang的算法標(biāo)定相機(jī)參數(shù)； 通過(guò)SVD分解得到相機(jī)的內(nèi)部和外部參數(shù)，并通過(guò)Minpack提出的Levenberg-Marquardt方法進(jìn)行極大似然估計(jì)，具體方法參照Z(yǔ)hengyouZhang的論文(參考文獻(xiàn)2)“Flexible Camera Calibration By Viewing aPlane Form Unknown Orientations”中的第3節(jié)“Solving Camera Calibration”部分。參考文獻(xiàn)2Zhengyou Zhang，A flexible new technique for cameracalibration，IEEE transactions on Pattern Analysis and Machine Intelligence，2000，22(11)1330-1334。
(7)利用投影儀將標(biāo)定圖案投影到定標(biāo)板上并用相機(jī)拍攝得到待處理的投影儀標(biāo)定相片，利用像素差在待處理的投影儀標(biāo)定相片中選擇標(biāo)定圖案在標(biāo)定物上的范圍，并進(jìn)行二值化得到投影儀標(biāo)定相片，所述的標(biāo)定圖案包括正反棋盤格各一幅； (8)利用(3)、(4)的處理過(guò)程得到在投影儀標(biāo)定相片中的亞像素坐標(biāo)值，利用(6)中得到的相機(jī)內(nèi)部參數(shù)反解出其三維坐標(biāo)，并與標(biāo)定圖案中的角點(diǎn)的坐標(biāo)一一對(duì)應(yīng)，采用Zhengyou Zhang的算法標(biāo)定投影儀。
本發(fā)明一種結(jié)構(gòu)光自動(dòng)化掃描儀標(biāo)定方法具有以下優(yōu)點(diǎn) 1.一次完成。結(jié)構(gòu)光掃描儀一般包括相機(jī)和投影儀兩部分。本方法在拍攝完標(biāo)定需要的相片后可以一次完成投影儀和相機(jī)的標(biāo)定過(guò)程。
2.自動(dòng)標(biāo)定。相片拍攝完成之后可以完全由計(jì)算機(jī)完成后面標(biāo)定過(guò)程，不需要人工交互完成取點(diǎn)，區(qū)域劃分等步驟。
3.精度較高。標(biāo)定時(shí)角點(diǎn)坐標(biāo)可以通過(guò)迭代使得角點(diǎn)坐標(biāo)達(dá)到亞像素精度，求解內(nèi)部參數(shù)和外部參數(shù)時(shí)，采用了L-M估計(jì)，也提高了整個(gè)標(biāo)定過(guò)程的精度。



圖1是結(jié)構(gòu)光掃描儀自動(dòng)標(biāo)定法流程的示意圖； 圖2定標(biāo)板圖案示意圖； 圖3是投影圖案示意圖； 圖4是亞像素角點(diǎn)坐標(biāo)提取示意圖； 圖5是角點(diǎn)坐標(biāo)順序確定示意圖。

具體實(shí)施例方式 本發(fā)明結(jié)構(gòu)光三維掃描儀自動(dòng)標(biāo)定方法過(guò)程如下 (1)設(shè)置標(biāo)定物； 采用平面棋盤格定標(biāo)板對(duì)系統(tǒng)做標(biāo)定，棋盤格灰度分別為180和255，如圖2所示；投影儀投影圖案選擇相反的棋盤格圖案兩幅，棋盤格灰度分別為0和255，如圖3所示，投影范圍應(yīng)處于整個(gè)棋盤格的中心處。
(2)用相機(jī)拍攝若干張標(biāo)定物姿勢(shì)不同的標(biāo)定相片，分別用于標(biāo)定相機(jī)和投影儀； 在合適位置安置相機(jī)并手工調(diào)整好鏡頭焦距和光圈等，拍攝8至10組圖片，每組三張，分別是無(wú)投影圖案的定標(biāo)板相片一張，正反標(biāo)定圖案投影到定標(biāo)板的相片各一張，每組相片拍攝后更換定標(biāo)板位置及姿勢(shì)，但不改動(dòng)相機(jī)和投影儀的位置。
(3)運(yùn)用Weibin Sun的算法對(duì)標(biāo)定相片上的點(diǎn)進(jìn)行初步識(shí)別，得到每一角點(diǎn)的候選區(qū)域； 按圈遍歷每個(gè)點(diǎn)的領(lǐng)域，通過(guò)棋盤格角點(diǎn)的領(lǐng)域內(nèi)的特征來(lái)初步確定角點(diǎn)的位置。具體方法參照Weibin Sun等的論文(參考文獻(xiàn)1)”Robustcheckerboard recognition for efficient nonplanar geometry registration inProjector-camera Systems”中的3.1節(jié)“corner detection”中提到的將二維圖像轉(zhuǎn)化為一維圖像以及在此基礎(chǔ)上做變換的判別過(guò)程； 在初步識(shí)別后的點(diǎn)中將滿足相互間二維歐氏距離小于閾值的所有點(diǎn)劃入同一點(diǎn)集，得到若干點(diǎn)集，取覆蓋點(diǎn)集中所有點(diǎn)的最小矩形區(qū)域作為該點(diǎn)集中角點(diǎn)的候選區(qū)域。
(4)在候選區(qū)域內(nèi)求解角點(diǎn)的亞像素坐標(biāo)；。
在角點(diǎn)的候選區(qū)域內(nèi)，利用基于圖像梯度的方法提取亞像素精度的角點(diǎn)坐標(biāo)。根據(jù)棋盤格角點(diǎn)的性質(zhì)，設(shè)角點(diǎn)的精確位置為q，任一q開始指向q領(lǐng)域內(nèi)所有點(diǎn)pi的差向量，都與pi處的圖像灰度梯度正交。噪聲使得本該正交的兩個(gè)向量的點(diǎn)積不為零，令該點(diǎn)積為εi，

為pi處的圖像灰度梯度。尋找使得εi最小的q點(diǎn)。對(duì)領(lǐng)域內(nèi)所有的pi(i＝1...n)點(diǎn)聯(lián)立方程組，則得到 令 求解q的值使得||Aq-b||為最小。以候選區(qū)域中心點(diǎn)為初值，以解q為中心迭代以上過(guò)程，最后得到亞像素級(jí)精度的角點(diǎn)坐標(biāo)，如圖4所示。
(5)確定角點(diǎn)順序； 求得的相片坐標(biāo)系亞像素角點(diǎn)坐標(biāo)其順序?yàn)閬y序，需要和棋盤格坐標(biāo)系坐標(biāo)實(shí)現(xiàn)一一對(duì)應(yīng)。以棋盤格在相片中的左上角點(diǎn)作為原點(diǎn)實(shí)現(xiàn)棋盤格坐標(biāo)系和相片坐標(biāo)系的對(duì)應(yīng)。棋盤格定標(biāo)板是平面，Z方向分量為0，故只需要確定各點(diǎn)的X、Y方向分量即可。
處理時(shí)首先確定棋盤格定標(biāo)板上的最邊上的四個(gè)角點(diǎn)及其相對(duì)順序，根據(jù)四點(diǎn)的位置估計(jì)棋盤格中心的坐標(biāo)O，其次利用的交比不變?cè)砉烙?jì)棋盤格每條邊界上的所有角點(diǎn)，如圖5所示，A、B分別為四點(diǎn)中一對(duì)相鄰角點(diǎn)，A’B’為AB所成的像。
根據(jù)射影幾何原理，O’為光心，C、C’分別為OO’和AB、A’B’的交點(diǎn)，作為A’B’和AB中點(diǎn)估計(jì)坐標(biāo)；D為AB上任一角點(diǎn)。由交比不變?cè)砜芍?A，D；C，B)＝(A’，D’；C’，B’)＝c，c為常數(shù)。不同角點(diǎn)的c事先可以確定，據(jù)此估計(jì)AB上所有角點(diǎn)的坐標(biāo)，同理可以估計(jì)整個(gè)棋盤格上的坐標(biāo)，并和已求得的相片坐標(biāo)系坐標(biāo)實(shí)現(xiàn)一一對(duì)應(yīng)。
(6)采用Zhengyou Zhang的算法標(biāo)定相機(jī)參數(shù)； 通過(guò)SVD分解得到相機(jī)的內(nèi)部和外部參數(shù)，并通過(guò)Minpack提出的Levenberg-Marquardt方法進(jìn)行極大似然估計(jì)，具體方法參照Z(yǔ)hengyouZhang的論文(參考文獻(xiàn)2)“Flexible Camera Calibration By Viewing aPlane Form Unknown Orientations”中的第3節(jié)“Solving Camera Calibration”中提到的求解內(nèi)部參數(shù)和外部參數(shù)的部分。
(7)取(2)中得到的含正反標(biāo)定圖案投影的棋盤格相片為待處理的投影儀標(biāo)定相片，利用兩張相片中像素灰度差和給定閾值的關(guān)系在待處理的投影儀標(biāo)定相片中選擇標(biāo)定圖案在標(biāo)定物上的范圍，并以此為基礎(chǔ)進(jìn)行二值化得到投影儀標(biāo)定相片，所述的標(biāo)定圖案包括正反棋盤格各一幅。
(8)利用(3)、(4)的處理過(guò)程得到在投影儀標(biāo)定相片中的亞像素坐標(biāo)值，利用(6)中得到的相機(jī)內(nèi)部參數(shù)反解出其三維坐標(biāo)，并與標(biāo)定圖案中的角點(diǎn)的坐標(biāo)一一對(duì)應(yīng)，采用Zhengyou Zhang的算法標(biāo)定投影儀。
權(quán)利要求
1.一種結(jié)構(gòu)光三維掃描儀系統(tǒng)自動(dòng)標(biāo)定方法，其特征在于，包括以下步驟
(1)設(shè)置標(biāo)定物；
(2)用相機(jī)拍攝若干張標(biāo)定物姿勢(shì)不同的標(biāo)定相片；
(3)運(yùn)用Weibin Sun的算法對(duì)標(biāo)定相片上的點(diǎn)進(jìn)行初步識(shí)別，得到每一角點(diǎn)的候選區(qū)域；
(4)求解候選區(qū)域內(nèi)任一點(diǎn)的圖像梯度，以及該點(diǎn)和其他點(diǎn)的差向量，通過(guò)迭代計(jì)算，令圖像梯度和差向量所成的內(nèi)積向量最小時(shí)對(duì)應(yīng)的點(diǎn)作為角點(diǎn)，取該角點(diǎn)坐標(biāo)為亞像素坐標(biāo)值；
(5)將標(biāo)定物上的角點(diǎn)的三維坐標(biāo)和所有標(biāo)定相片上該角點(diǎn)的相片坐標(biāo)一一對(duì)應(yīng)；
(6)采用Zhengyou Zhang的算法標(biāo)定相機(jī)參數(shù)；
(7)利用投影儀將標(biāo)定圖案投影到標(biāo)定物上并用相機(jī)拍攝得到待處理的投影儀標(biāo)定相片，利用像素差在待處理的投影儀標(biāo)定相片中選擇標(biāo)定圖案在標(biāo)定物上的范圍，并進(jìn)行二值化得到投影儀標(biāo)定相片，所述的標(biāo)定圖案包括正反棋盤格各一幅；
(8)利用(3)、(4)的處理過(guò)程得到在投影儀標(biāo)定相片中的亞像素坐標(biāo)值，利用(6)中得到的相機(jī)內(nèi)部參數(shù)反解出其三維坐標(biāo)，并與標(biāo)定圖案中的角點(diǎn)的坐標(biāo)一一對(duì)應(yīng)，采用Zhengyou Zhang的算法標(biāo)定投影儀。
2.如權(quán)利要求1所述的結(jié)構(gòu)光三維掃描儀自動(dòng)標(biāo)定方法，其特征在于，步驟(3)中，將初步識(shí)別后的點(diǎn)中滿足二維歐氏距離小于閾值的所有點(diǎn)劃入同一點(diǎn)集，得到若干點(diǎn)集，取覆蓋點(diǎn)集中所有點(diǎn)的最小矩形區(qū)域作為該點(diǎn)集中角點(diǎn)的候選區(qū)域。
3.如權(quán)利要求1所述的結(jié)構(gòu)光三維掃描儀自動(dòng)標(biāo)定方法，其特征在于，步驟(5)中，首先計(jì)算標(biāo)定相片中標(biāo)定物的中心，然后利用交比不變?cè)碛?jì)算標(biāo)定相片中標(biāo)定物的邊界上的點(diǎn)，根據(jù)標(biāo)定相片中角點(diǎn)與標(biāo)定物中心和邊界上的點(diǎn)的位置關(guān)系，完成標(biāo)定物上的角點(diǎn)的三維坐標(biāo)和所有標(biāo)定相片上角點(diǎn)的相片坐標(biāo)一一對(duì)應(yīng)。
4.如權(quán)利要求1所述的結(jié)構(gòu)光三維掃描儀自動(dòng)標(biāo)定方法，其特征在于，所述的標(biāo)定物是灰度分別為180和255的棋盤格，所述的標(biāo)定圖案采用灰度分別為0和255的棋盤格。
全文摘要
本發(fā)明公開了一種三維結(jié)構(gòu)光掃描儀系統(tǒng)自動(dòng)標(biāo)定法，包括以下步驟1.設(shè)置標(biāo)定物；2.用相機(jī)拍攝若干張標(biāo)定物姿勢(shì)不同的標(biāo)定相片；拍攝標(biāo)定圖片；3.對(duì)標(biāo)定相片上的點(diǎn)進(jìn)行初步識(shí)別，得到每一角點(diǎn)的候選區(qū)域；進(jìn)行角點(diǎn)初步識(shí)別；4.在候選區(qū)域內(nèi)求解角點(diǎn)的亞像素坐；5.確定角點(diǎn)順序；6.采用Zhengyou Zhang的算法標(biāo)定相機(jī)參數(shù)；7.處理投影儀標(biāo)定相片；8.利用6中得到的相機(jī)內(nèi)部參數(shù)反解出其三維坐標(biāo)，并與標(biāo)定圖案中的角點(diǎn)的坐標(biāo)一一對(duì)應(yīng)，采用Zhengyou Zhang的算法標(biāo)定投影儀。本發(fā)明提供一種結(jié)構(gòu)光掃描儀自動(dòng)化標(biāo)定方法，可以一次完成自動(dòng)化標(biāo)定，標(biāo)定的參數(shù)具有較高的精度。
文檔編號(hào)G06T7/00GK101763643SQ20101003958
公開日2010年6月30日 申請(qǐng)日期2010年1月7日 優(yōu)先權(quán)日2010年1月7日
發(fā)明者刁常宇, 田里, 魯東明 申請(qǐng)人:浙江大學(xué)