專利名稱：復(fù)雜光照與表面條件下棋盤格模式識(shí)別定位方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種計(jì)算機(jī)視覺技術(shù)領(lǐng)域的識(shí)別定位方法，具體是一種復(fù)雜光照與 表面條件下棋盤格模式識(shí)別定位方法。
技術(shù)背景棋盤格模式在計(jì)算機(jī)視覺系統(tǒng)中經(jīng)常用來做攝像機(jī)校正或者幾何注冊(cè)。作為攝 像機(jī)系統(tǒng)中的典型應(yīng)用，2000年張正友等人提出使用黑白圓點(diǎn)或格子模式進(jìn)行攝像 機(jī)校正。而在增強(qiáng)現(xiàn)實(shí)系統(tǒng)中，2002年Raskar等人則使用黑白棋盤格來獲得反映投 影儀與攝像機(jī)之間空間變換關(guān)系的單應(yīng)性矩陣。另外，在通過結(jié)構(gòu)光進(jìn)行建模的研 究中，棋盤格模式也可以作為一種特設(shè)的結(jié)構(gòu)光模式來進(jìn)行三維重建。所有的上述 應(yīng)用中至關(guān)重要的一步都需要在攝像機(jī)采集到的圖像中對(duì)棋盤格模式進(jìn)行識(shí)別與定 位。在這方面，目前實(shí)用的方法很少，比較成熟實(shí)用的只有Intel公司的OpenCV視覺 庫中的cvFindChessboardCorners方法，而且現(xiàn)在的方法初衷都是識(shí)別定位良好光照 條件下平面上的棋盤格模式，沒有考慮到在較差的光照條件下非平面或者復(fù)雜物體 表面上棋盤格模式的識(shí)別，而這恰好是實(shí)際的視覺系統(tǒng)，像增強(qiáng)現(xiàn)實(shí)系統(tǒng)中所碰到 的大多數(shù)情況。因此，對(duì)于棋盤格模式，研究一種在復(fù)雜光照與表面條件下能健壯 的識(shí)別與定位的方法是有著重大意義的。經(jīng)對(duì)現(xiàn)有技術(shù)的文獻(xiàn)檢索發(fā)現(xiàn)，Zhongshi Wang等在《A卯lied Mathematics and Computation))(《應(yīng)用數(shù)學(xué)與計(jì)算》，2007年總第185期894_906頁)上發(fā)表的 "Recognition and location of the internal corners of planar checkerboard calibration pattern image"(平面棋盤格校正模式圖像內(nèi)角點(diǎn)的識(shí)別與定位)， 該文中提出了對(duì)平面上棋盤格模式圖像的識(shí)別，具體方法為基于棋盤格模式內(nèi)角 點(diǎn)的本地亮度特性進(jìn)行角點(diǎn)檢測(cè)，檢測(cè)被四個(gè)黑白方格所圍繞的棋盤格內(nèi)角點(diǎn)；然 后通過將棋盤格內(nèi)角點(diǎn)看作棋盤格的方格邊界線的相交點(diǎn)，來進(jìn)行棋盤格角點(diǎn)得識(shí)別與匹配。其不足在于該方法只能識(shí)別平面上的棋盤格模式角點(diǎn)，對(duì)于不規(guī)則表 面，比如任意復(fù)雜表面和不規(guī)則物體表面，不能有效的進(jìn)行識(shí)別，而且對(duì)于復(fù)雜的 光照環(huán)境沒有考慮，缺乏魯棒性。 發(fā)明內(nèi)容本發(fā)明是針對(duì)現(xiàn)有技術(shù)的不足，提供一種復(fù)雜光照與任意表面條件下棋盤格模 式識(shí)別定位方法，使其克服了復(fù)雜表面和不規(guī)則物體表面上識(shí)別棋盤格模式角點(diǎn)的 困難，并且對(duì)復(fù)雜的光照環(huán)境進(jìn)行了處理，能夠健壯準(zhǔn)確地在復(fù)雜光照以及復(fù)雜表 面上識(shí)別定位棋盤格模式。本發(fā)明是通過以下技術(shù)方案實(shí)現(xiàn)的，本發(fā)明檢測(cè)棋盤格模式中由四個(gè)黑白區(qū)域 構(gòu)成的角點(diǎn)，并記錄角點(diǎn)處黑白區(qū)域的邊界位置，通過角點(diǎn)位置以及相應(yīng)的邊界位 置連通屬于同一個(gè)棋盤格黑或者白區(qū)域的角點(diǎn)，從而得到相互連通的角點(diǎn)集合，通 過已知棋盤格行數(shù)與列數(shù)確定棋盤格模式中的角點(diǎn)數(shù)，從而根據(jù)所得連通的角點(diǎn)集 合中角點(diǎn)個(gè)數(shù)是否等于棋盤格模式的角點(diǎn)數(shù)確定棋盤格角點(diǎn)集合，從而識(shí)別棋盤格 模式。本發(fā)明包括兩步第一步是區(qū)域角點(diǎn)的檢測(cè)；第二步是棋盤格模式的匹配。所述區(qū)域角點(diǎn)的檢測(cè)，具體為遍歷圖像中所有點(diǎn)，對(duì)每一圖像點(diǎn)，將其周圍 圍繞著的鄰域點(diǎn)的二維信號(hào)根據(jù)距離中心點(diǎn)的距離轉(zhuǎn)化為多組一維分布信號(hào)，在一 維信號(hào)上采用平均值二值化方法進(jìn)行二值化，對(duì)二值化后的一維信號(hào)，進(jìn)行環(huán)形形 態(tài)學(xué)開與閉操作以消除噪聲，通過求去噪后一位信號(hào)上所有點(diǎn)處一階導(dǎo)數(shù)值的和， 得到此一維信號(hào)所代表的原二維信號(hào)上黑白相間區(qū)域的總數(shù)。如果一個(gè)圖像點(diǎn)一定 鄰域內(nèi)的二維信號(hào)所轉(zhuǎn)化的多組一維信號(hào)有多于規(guī)定數(shù)量的信號(hào)有4個(gè)黑白相間區(qū) 域，那這個(gè)圖像點(diǎn)被檢測(cè)為棋盤格模式的角點(diǎn)。所述環(huán)形形態(tài)學(xué)操作，是指對(duì)于一個(gè)由原本的二維信號(hào)轉(zhuǎn)化而來的一維信號(hào)， 進(jìn)行形態(tài)學(xué)操作時(shí)，將一維信號(hào)的首尾點(diǎn)看成幾何位置上相鄰接的，亦即將一維信 號(hào)看成一個(gè)首尾相接的環(huán)進(jìn)行形態(tài)學(xué)操作。所述棋盤格模式的匹配，具體為角點(diǎn)檢測(cè)的結(jié)果點(diǎn)將被進(jìn)行去噪以及消去冗余點(diǎn)的操作，通過檢測(cè)一個(gè)角點(diǎn)周圍設(shè)定區(qū)域內(nèi)是否有設(shè)定數(shù)量的角點(diǎn)來確定該點(diǎn) 是否噪音點(diǎn)。通過將相互距離小于設(shè)定距離的角點(diǎn)劃分在同一個(gè)子集中，使用子集 的質(zhì)心來代替整個(gè)角點(diǎn)子集來消除冗余點(diǎn)。定義角點(diǎn)向量到其相應(yīng)的區(qū)域邊界位置 點(diǎn)向量的差為角點(diǎn)區(qū)域邊界向量，倘若兩個(gè)不同角點(diǎn)的角點(diǎn)區(qū)域邊界向量夾角在一 定范圍內(nèi)接近180?；蛘?180° ，而且兩個(gè)角點(diǎn)之間距離不大于根據(jù)圖像尺寸以及棋 盤格行列數(shù)確定的棋盤格格子區(qū)域大小，則認(rèn)為兩個(gè)角點(diǎn)可以相連通。對(duì)所有角點(diǎn) 進(jìn)行連接測(cè)試后，得到整個(gè)角點(diǎn)集合的幾個(gè)連通分量，根據(jù)己知的棋盤格模式的行 列數(shù)計(jì)算出模式中的真實(shí)角點(diǎn)數(shù)，將具有真實(shí)角點(diǎn)數(shù)個(gè)角點(diǎn)的連通分量視為棋盤格 模式的角點(diǎn)集合。本發(fā)明在進(jìn)行上述兩個(gè)步驟處理之前，可以根據(jù)需要進(jìn)行圖像預(yù)處理，即將圖 像不改變長(zhǎng)寬比縮放到通常攝像機(jī)的分辨率范圍內(nèi)。本發(fā)明方法通過在區(qū)域角點(diǎn)檢測(cè)中將二維的點(diǎn)的分布轉(zhuǎn)化為一維的層，從而使 區(qū)域角點(diǎn)的區(qū)域特征更加容易檢測(cè)，而且也更加健壯。而且由于區(qū)域檢測(cè)只是在一 維層上，不需要考慮二維中的旋轉(zhuǎn)影響，因此對(duì)于旋轉(zhuǎn)變換有著天然的魯棒性。


圖l 一個(gè)20x20的棋盤格模式示例。 圖2兩張復(fù)雜光照與表面下的棋盤格模式照片示例。 圖3采用本發(fā)明兩張復(fù)雜光照與表面下的棋盤格模式照片示例； 照片中識(shí)別與定位結(jié)果，第一步中的區(qū)域角點(diǎn)以十字標(biāo)出，而真正的棋盤格角 點(diǎn)被以圓圈標(biāo)出。
具體實(shí)施方式
下面結(jié)合附圖對(duì)本發(fā)明的實(shí)施例作詳細(xì)說明本實(shí)施例在以本發(fā)明技術(shù)方案為 前提下進(jìn)行實(shí)施，給出了詳細(xì)的實(shí)施方式和具體的操作過程，但本發(fā)明的保護(hù)范圍 不限于下述的實(shí)施例。圖1是一個(gè)未變形的原始的棋盤格模式的示例，用于我們方法中投影儀所投影 的源圖像。圖2中是兩副在復(fù)雜光照以及表面條件下的棋盤格模式照片。圖2(a)是一張印 有棋盤格模式的A4紙，通過將其扭曲變形拍攝，圖2(b)是在室內(nèi)的墻角與天花板交界處通過投影儀投影的棋盤格模式，可以看出由于墻角的多個(gè)平面扭曲，棋盤格 模式已經(jīng)被嚴(yán)重變形。通過在一張A4尺寸的紙上打印一副26x22個(gè)黑白相間棋盤格的圖像，可以得到 圖2 (a)中的紙張，將紙張隨意扭曲變形，確保棋盤格模式都能在攝像機(jī)的成像范 圍內(nèi)可見，得到了圖2 (a)的效果。采用普通的投影儀，將一副26x22個(gè)黑白相間棋盤格的圖像投影到一個(gè)室內(nèi)的 天花板與墻角的交界處，確保投影出的棋盤格模式都能在攝像擠得成像范圍內(nèi)可見， 得到了圖2 (b)的效果。使用普通的攝像頭采集上述兩幅圖片，不需要經(jīng)過特殊處理，使用本發(fā)明方法 對(duì)其進(jìn)行棋盤格模式的識(shí)別與定位設(shè)目標(biāo)棋盤格模式有r行c列點(diǎn)，即(r + 1) X (c + l)個(gè)黑白格。此處r=22-l=21， c=26_l=25。 .首先預(yù)處理，將圖像不改變長(zhǎng)寬比縮放到30。X 200到2i00X 160C3范圍內(nèi)。 1棋盤格內(nèi)角點(diǎn)(區(qū)域角點(diǎn))檢測(cè)(1) 以窗口方式遍歷圖像上每一點(diǎn)p(&'y》，窗口 ^(p'w)定義為=〖p!U^ —xp| ^ w' |yp!.S w|， w取10。(2) 對(duì)K(p'w)，由內(nèi)而外依次將所覆蓋的圖像點(diǎn)分為rw層，定義分層為L(zhǎng)r(p) = R(p,r)-R(p,r—l)， 15 d(3) 在^(P，w)內(nèi)每一層Lr(P)上進(jìn)行平均值二值化，然后采用環(huán)式形態(tài)學(xué)開 與閉操作(Ring-Morphology)去噪。環(huán)式形態(tài)學(xué)操作定義為^ e— s =〖語w w # 0}^ °一 b = 04 e一 s) @— e(4) 檢測(cè)二值化去噪后的"(P)上黑白交替的區(qū)域的個(gè)數(shù)，倘若有黑白交替4個(gè)區(qū)域，則"(P)為區(qū)域角點(diǎn)層。由此定義出區(qū)域角點(diǎn)層的概念。(5) 倘若尺(P'w)內(nèi)有a = &0%的區(qū)域角點(diǎn)層，則^0V^)為區(qū)域角點(diǎn)。 同時(shí)記錄二值化后最外層區(qū)域角點(diǎn)層"(P)上4處黑白交界處的點(diǎn)的位置到集合Bp，稱為^C"^'y"的區(qū)域邊界點(diǎn)集合。(6) 循環(huán)遍歷所有點(diǎn)，將區(qū)域角點(diǎn)集合記為W。 2棋盤格模式匹配(1) 對(duì)于W中任意兩點(diǎn)，如果兩者之間距離小于w^， W^=5，則認(rèn)為 兩點(diǎn)相連通，由此構(gòu)成圖^(W，E)， E為連通的邊集合。對(duì)于G中每一個(gè)連通分量 計(jì)算質(zhì)心，得到質(zhì)心集合N'。質(zhì)心的區(qū)域邊界點(diǎn)集合為連通分量中最近接質(zhì)心的任 一個(gè)點(diǎn)的區(qū)域邊界點(diǎn)集合。(2) 對(duì)N'中任意兩點(diǎn)Pl' ^,其區(qū)域邊界點(diǎn)集合為BphBp2，倘若存在p; e Bpi, pi e Bp2，使得以p;, pL p2的順序共線，則認(rèn)為Pi, p2相連 通。從而得到圖^'(]￥',￡"')， E'為連通邊集合。(3) 如果G'中存在連通分量C， C中頂點(diǎn)數(shù)ICI =r x c，貝妃中頂點(diǎn)為棋 盤格角點(diǎn)。從而找到棋盤格模式及其角點(diǎn)位置。結(jié)果見附圖3，所有在方法第一步 區(qū)域角點(diǎn)檢測(cè)中得到的連通的區(qū)域角點(diǎn)質(zhì)心都被檢測(cè)出以十字線標(biāo)注，而且在第二 步棋盤格模式匹配過程中得到的屬于棋盤格模式的角點(diǎn)都被以圓圈標(biāo)出。所有的角 點(diǎn)都檢測(cè)定位正確，沒有遺漏與多余角點(diǎn)。證明了本發(fā)明方法的有效性與準(zhǔn)確性。
權(quán)利要求
1. 一種復(fù)雜光照與表面條件下棋盤格模式識(shí)別定位方法，其特征在于，檢測(cè)棋盤格模式中由四個(gè)黑白區(qū)域構(gòu)成的角點(diǎn)，并記錄角點(diǎn)處黑白區(qū)域的邊界位置，通過角點(diǎn)位置以及相應(yīng)的邊界位置連通屬于同一個(gè)棋盤格黑或者白區(qū)域的角點(diǎn)，從而得到相互連通的角點(diǎn)集合，通過已知棋盤格行數(shù)與列數(shù)確定棋盤格模式中的角點(diǎn)數(shù)，根據(jù)所得連通的角點(diǎn)集合中角點(diǎn)個(gè)數(shù)是否等于棋盤格模式的角點(diǎn)數(shù)確定棋盤格角點(diǎn)集合，從而識(shí)別棋盤格模式。
2、 根據(jù)權(quán)利要求l所述的復(fù)雜光照與表面條件下棋盤格模式識(shí)別定位方法，其 特征是，包括兩個(gè)步驟第一步是區(qū)域角點(diǎn)的檢測(cè)， 第二步是棋盤格模式的匹配，所述區(qū)域角點(diǎn)的檢測(cè)，具體為遍歷圖像中所有點(diǎn)，對(duì)每一圖像點(diǎn)，將其周圍 圍繞著的鄰域點(diǎn)的二維信號(hào)根據(jù)距離中心點(diǎn)的距離轉(zhuǎn)化為多組一維分布信號(hào)，在一 維信號(hào)上采用平均值二值化方法進(jìn)行二值化，對(duì)二值化后的一維信號(hào)，進(jìn)行環(huán)形形 態(tài)學(xué)開與閉操作以消除噪聲，通過求去噪后一位信號(hào)上所有點(diǎn)處一階導(dǎo)數(shù)值的和，得到此一維信號(hào)所代表的原二維信號(hào)上黑白相間區(qū)域的總數(shù)，如果一個(gè)圖像點(diǎn)一定 鄰域內(nèi)的二維信號(hào)所轉(zhuǎn)化的多組一維信號(hào)有多于規(guī)定數(shù)量的信號(hào)有4個(gè)黑白相間區(qū) 域，那這個(gè)圖像點(diǎn)被檢測(cè)為棋盤格模式的角點(diǎn)。所述棋盤格模式的匹配，具體為角點(diǎn)檢測(cè)的結(jié)果點(diǎn)將被進(jìn)行去噪以及消去冗 余點(diǎn)的操作，通過檢測(cè)一個(gè)角點(diǎn)周圍設(shè)定區(qū)域內(nèi)是否有設(shè)定數(shù)量的角點(diǎn)來確定該點(diǎn) 是否噪音點(diǎn)，通過將相互距離小于設(shè)定距離的角點(diǎn)劃分在同一個(gè)子集中，使用子集 的質(zhì)心來代替整個(gè)角點(diǎn)子集來消除冗余點(diǎn)，定義角點(diǎn)向量到其相應(yīng)的區(qū)域邊界位置 點(diǎn)向量的差為角點(diǎn)區(qū)域邊界向量，倘若兩個(gè)不同角點(diǎn)的角點(diǎn)區(qū)域邊界向量夾角在設(shè) 定范圍內(nèi)接近180?；蛘?180° ，而且兩個(gè)角點(diǎn)之間距離小于或等于根據(jù)圖像尺寸以 及棋盤格行列數(shù)確定的棋盤格格子區(qū)域大小，則認(rèn)為兩個(gè)角點(diǎn)可以相連通，對(duì)所有 角點(diǎn)進(jìn)行連接測(cè)試后，得到整個(gè)角點(diǎn)集合的幾個(gè)連通分量，根據(jù)已知的棋盤格模式的行列數(shù)計(jì)算出模式中的真實(shí)角點(diǎn)數(shù)，將具有真實(shí)角點(diǎn)數(shù)個(gè)角點(diǎn)的連通分量視為棋 盤格模式的角點(diǎn)集合。
3、 根據(jù)權(quán)利要求2所述的復(fù)雜光照與表面條件下棋盤格模式識(shí)別定位方法，其 特征是，所述區(qū)域角點(diǎn)的檢測(cè)中，使用了環(huán)形形態(tài)學(xué)操作，即對(duì)于一個(gè)由原本的二 維信號(hào)轉(zhuǎn)化而來的一維信號(hào)，進(jìn)行形態(tài)學(xué)操作時(shí)，將一維信號(hào)的首尾點(diǎn)看成幾何位 置上相鄰接的，即將一維信號(hào)看成一個(gè)首尾相接的環(huán)進(jìn)行形態(tài)學(xué)操作。
4、 根據(jù)權(quán)利要求2所述的復(fù)雜光照與表面條件下棋盤格模式識(shí)別定位方法，其 特征是，在進(jìn)行所述區(qū)域角點(diǎn)的檢測(cè)之前，進(jìn)行圖像預(yù)處理，即將圖像保持長(zhǎng)寬比 縮放到通常攝像機(jī)的分辨率范圍內(nèi)。
全文摘要
一種計(jì)算機(jī)視覺技術(shù)領(lǐng)域的復(fù)雜光照與表面條件下棋盤格模式識(shí)別定位方法，檢測(cè)棋盤格模式中由四個(gè)黑白區(qū)域構(gòu)成的角點(diǎn)，并記錄角點(diǎn)處黑白區(qū)域的邊界位置，通過角點(diǎn)位置以及相應(yīng)的邊界位置連通屬于同一個(gè)棋盤格黑或者白區(qū)域的角點(diǎn)，從而得到相互連通的角點(diǎn)集合，通過已知棋盤格行數(shù)與列數(shù)確定棋盤格模式中的角點(diǎn)數(shù)，從而根據(jù)所得連通的角點(diǎn)集合中角點(diǎn)個(gè)數(shù)是否等于棋盤格模式的角點(diǎn)數(shù)確定棋盤格角點(diǎn)集合，從而識(shí)別棋盤格模式。本發(fā)明克服了復(fù)雜表面和不規(guī)則物體表面上識(shí)別棋盤格模式角點(diǎn)的困難，并且對(duì)復(fù)雜的光照環(huán)境進(jìn)行了處理，能夠健壯準(zhǔn)確地在復(fù)雜光照以及復(fù)雜表面上識(shí)別定位棋盤格模式。
文檔編號(hào)G06T7/00GK101271576SQ20081003710
公開日2008年9月24日 申請(qǐng)日期2008年5月8日 優(yōu)先權(quán)日2008年5月8日
發(fā)明者孫偉斌, 楊旭波, 肖雙九 申請(qǐng)人:上海交通大學(xué)