專利名稱：：一種微操作機(jī)器人系統(tǒng)顯微視野拓展方法一幹鵬作鵬A^頓mw拓展旅獄領(lǐng)域本發(fā)明屬于鵬柳器人駄領(lǐng)域，是機(jī)器雄術(shù)的一種，特別涉及一lf鵬Mi器A^艦mw拓展的施。背景S^隨著現(xiàn)代科學(xué)S^的發(fā)展，人們)T微見領(lǐng)域的研^M漸深入，操作m的微小^i&切要求人們加深xr微見世界的離，并開[^^^:研究。鵬作是指艱微小物體的離或部^4行KlM作和處理，它艦問題的鵬~^在幾到幾百^間。鵬作機(jī)器A^統(tǒng)作為一種輔助1I^作的工具，^^數(shù)l認(rèn)們的翻，并成為機(jī)器人領(lǐng)樣新的研究方向[1-3]。在鵬作雖中，由于操作^m十分微小，必須借助顯微^l^^作物體。顯微鏡可以看到微小的物體，但同時(shí)也雜wm小的問題，這限制了,作機(jī)器人的實(shí)際操作范圍，影響了機(jī)器人系統(tǒng)的性能，甚至導(dǎo)致一難作無法誠。因此，逸想的,^lfl器Am繊具有廣闊的鵬范圍。為了實(shí)mJLM敬想，通?？刹扇煞N施增加縦的視覺反微備，娜見有系繊亍麟并aa圖像Mj石展,范圍。在增加緲卜的視t^^^面，荷蘭赫爾，大學(xué)開發(fā)了~基于多顯微鏡的謝4]，顯微視縣統(tǒng)由3個(gè)顯微^a^:普通的頂mm微鏡、側(cè)WM微鏡和TTMM電子顯微鏡，側(cè)ma微^M其它角節(jié)見,作物體，TTMM電子顯微鏡可自動調(diào)大率并調(diào)焦，用于觀^t操作^B，該系統(tǒng)的最力見察范圍可達(dá)lm;w2。美國明尼蘇達(dá)州大^計(jì)了"^類似的,ffi^謝51，系統(tǒng)共鵬4個(gè)圖像設(shè)備1,;tM微鏡(用彩見^^配中6^動作)、2，靦顯微鏡(用彩見^^配中的插A^J作)、1^h^i^f斜幾(用*|1[1^作的錢)，該系統(tǒng)將顯微鏡與普通攝像機(jī)結(jié)合4頓，拓展了鵬作系統(tǒng)的視覺反饋范圍。在面向生物醫(yī)學(xué)XS的M作機(jī)器A^統(tǒng)中，操作膽1是具有活性的生物體(如細(xì)胞、^fe體等)，并隨于^f職性的溶液中，操作膽的非鍋化導(dǎo)致為此類鄉(xiāng)B裝緲卜的顯微鏡十分困難。此外，緲卜的視覺系^^、然會加:^t系統(tǒng)的赫摘，^tW倉膨響實(shí)際細(xì)。另一方面，自動顯微^^]的出現(xiàn)使iiii圖像處理拓MM微M^為了可能。自動顯微鏡將載物臺、物鏡轉(zhuǎn)換器、調(diào)焦部件及調(diào)光照明錢等顯微鏡部件鵬為電動方式，并M^制驗(yàn)現(xiàn)顯微鏡的自動操作，比SWf^性的產(chǎn)品是Leica公司于2004年推出的LeicaDM/DM系列數(shù)字顯微镲9。利用自動顯微鏡的電纖物臺，>1鞭作目標(biāo)的分布區(qū)域依爐于顯微鏡的觀魏圍并進(jìn)行分細(xì)攝，翔每獲得的局部顯微圖像^^成大范圍全局!鵬圖，即可實(shí)maws的拓展。在鵬作機(jī)器A^統(tǒng)中，電動操作平臺可完成電^^物臺的類似功能，可依據(jù)同樣思路拓M^作機(jī)器人的顯WK，其^iiS術(shù)在于圖像搬。圖像#^^是當(dāng)前圖像處理領(lǐng)域的研究熱點(diǎn)[1()'11]，按照4頓圖像信息的不同，可主要分為基于區(qū)^基，征兩類?；趨^(qū)域的圖像皿需考慮匹配點(diǎn)鄰域的M，具，高精度，但計(jì)算量大；基，征的,根據(jù)圖像特征之間的幾何關(guān)系確定皿參數(shù)，壓縮了圖像信息的量，,itk,了圖像位移、旋轉(zhuǎn)、比例方面的信息，但其^^精度往往低于基于區(qū)域的圖像皿方法。目前，圖像^^魅要側(cè)重于錄圖賺12'13],并沒額點(diǎn)考慮搬的效率。如艦分利用顯1W像的特點(diǎn)，提高圖像^fS質(zhì)量，實(shí)現(xiàn)在^M微圖像職，目前尚未得到fg^解決。
發(fā)明內(nèi)容本發(fā)明的目的是解M^^m器A^統(tǒng)中顯微傲見mrai小的問題，麟一種作機(jī)器>^，微拓展方法，為面向生物醫(yī)學(xué)工程的l^作機(jī)器Am^l^廣闊的視覺反饋。為實(shí)mi^&目的，本發(fā)明MiT鵬^m器人電動操作平臺采ft^見察目標(biāo)的局部顯微圖像，皿用圖像^^術(shù)將局部顯微圖像形成全局》反饋。與一般的圖像^或^圖,問題相比，顯微圖像,需著重考慮相鄰圖像的匹配與圖像搬的效率。在鵬作機(jī)器A^統(tǒng)中，操作平臺在二維平面內(nèi)沿X軸或Y軸運(yùn)動，從而采,部顯微圖像。顯微圖像^^^沒有形變，圖像拼接可忽略采^^S中微小的鵬變化和麟，只考慮圖像間的平移。然而，電動操作平臺精飾限，運(yùn)動a^穀拼^^動的影響，直接將采穀啲顯微圖像"隨至U1"，顯然無法滿足高精度視覺反饋的要求，需要aa圖像匹配粒相鄰圖像的絲。同時(shí)，在生物和醫(yī)學(xué)應(yīng)用中，考慮到目標(biāo)的活,性，還必須提高圖像皿的效率，以^b目標(biāo)暴S^空、中的時(shí)間。為此，針對不同倍艦微圖像的特點(diǎn)，本發(fā)明結(jié)合J^基于區(qū)域與基辨征兩類圖像鵬方法，《頓混合職策略^Mmw的拓展。從實(shí)現(xiàn)效^^慮，本發(fā)明優(yōu)先f柳基辨征的圖像S^方法，低倍顯微^W(4倍和10f^tl鏡)的觀，圍較大，顯微圖像包含相對多的目標(biāo)信息，直^I3iSIFT特征^圖像皿。然而，隨著顯微見察的不斷深入，^ffl的物鏡f織也不斷提高，此時(shí)觀察到的物體細(xì)節(jié)增力盯，鵬中的空白區(qū)域也^M多。當(dāng)從圖像提取出的SIFT特征無法滿足圖像鵬的要求時(shí)，細(xì)基于區(qū)域的圖像^^方法進(jìn)行補(bǔ)救。由于之前已經(jīng)得到了低《繊鏡下的圖像搬結(jié)果，此時(shí)可借助不同倍艦微圖像間的匹配得至幅像偏移量的搜索范圍，從而解決了基于區(qū)域的離方法效率低的問題，由此^>了圖像鵬時(shí)間，保證了圖像鵬可在線誠。本發(fā)明在保證鵬形成時(shí)間w見察精度的基礎(chǔ)上，擴(kuò)大了顯微鵬的范圍，為{頓者驗(yàn)了便捷的操^^。本發(fā)明，的,很幾器A^^awsp拓展方法的步驟包括第一、鵬作目^e于g^的鵬fWl器人《顯微鏡自動操作系統(tǒng)》(參見2003101066313號專利)的電動操作平臺上，糊定想要觀察的目標(biāo)區(qū)域，也即最終的全局鵬范圍。該范圍一皿為，，,長寬由^ffl皿定。第二、ii^矩形區(qū)域的某個(gè)頂點(diǎn)作為掃描的起始點(diǎn)和終點(diǎn)，艮陽描結(jié)束后平臺又回至跑始位置。通過平臺的折線運(yùn)動進(jìn)行掃描路徑規(guī)劃，，照掃描路徑將選定目標(biāo)區(qū)域分割成大小等同于當(dāng)前屏^的一組單元格，為了完成圖像,，相鄰單元格間需要20%40%的重疊，視圖像內(nèi)5容而定，m顯微圖像的，iiff如附圖i所示，由此^l定操作平臺移動的次數(shù)和，接圖像第三、首先將電^i^作平臺運(yùn)動到目標(biāo)區(qū)域(Mf^區(qū)域)的起始點(diǎn)，保留當(dāng)前，顯微圖像，之后依次將下一相鄰單元格移入顯微鵬，采集#^圖像。同時(shí)，在平臺運(yùn)動的過程中，處理剛B!^啲顯微圖像，借助基于SIFT艦或區(qū)域W^方法，得到該圖像M^全局圖像中的偏移量。第四、圖像采麟束后，將電鵬作平臺移回運(yùn)動的起點(diǎn)，同時(shí)^bS蔬一幅顯微圖像。此時(shí)，各幅局部顯微圖像M^圖像中的^gfp已確定，可艦圖像融合方法得到最終的圖像職結(jié)果，也即目標(biāo)區(qū)域的全局圖，實(shí)5)ilM微鵬的拓展。第三步中m的基于SIFT特征的tf^方法步驟包括1)、在#^的顯微圖像中提取SIFT特征，特ti^M:程可參閱《Methodand邵paratusforidentifyingscaleinvariantfeaturesinanimageanduseofsameforlocatinganobjectinanimage》(參見6711293號美國專利)，,可得到SIFT特征^fi和128維SIFT特征向量。對^"^M微圖像(圖像尺寸576X768)，可將i^畐圖像檢測出的特征iaS制在100—300個(gè)左右，此時(shí)，既不會由于特做少而^ftlE匹配規(guī)，也不會導(dǎo)致處理時(shí)間過長。2)、將當(dāng)前圖像中各特征的SIFT特征向量與其鄰接圖像中的特征向SSfi^—比較，歐式距離判別特征的相4ffig，若滿足相似性剝牛，貝i從為找到一個(gè)匹配點(diǎn)對，由此得到當(dāng)前圖像中SIFT特征與鄰接圖像SIFT特征的對應(yīng)M。3)、由同一SIFT特征在不同圖像中的^S^化f躬擋前圖像與其鄰接圖像間的偏移量，為了提高匹SSM度，將多，征偏移量取平均作為圖#終的偏移量。4)、確定當(dāng)前圖像M^全局圖像中的^a。設(shè)定第一幅采集圖#￡±角在全局圖像中的位置為(O,O)，可由相鄰圖像間的變換絲(偏移量)求得后續(xù)圖像的健。設(shè)當(dāng)前圖鄉(xiāng)號為!'，根據(jù)^+a鄰圖像y得到的圖ft^Jt角皿為=;c乂+Ax/，=y乂+A_y/(1)其中，(、，力)是已知的圖像7的&i:角在全局圖像中的位置，(Ax/,Ay/)是圖像f相對于圖像/的偏移量，可由第3)步求出。在當(dāng)前圖像的相鄰圖像不只一幅時(shí)，艦SHT特征數(shù)目加權(quán)i憎當(dāng)前圖像ti:角在全局圖像中的ft^S。計(jì)算公式如下IX《2X乂《=^~~，乂=^^(圖像!》'鄰接)(2)IaZy乂其中，f^^用WS圖像偏移量的SIFT特征數(shù)目。第三步中，對于高倍顯微圖像，如果在圖像重疊區(qū)內(nèi)提取的SIFT特征數(shù);ia;少(如少于20個(gè))，則無M過圖像SIFT特征完成圖像皿，按照^策B^ffl基于區(qū)域的圖像^^方,行補(bǔ)救。第三步臓的基于區(qū)域W^施步驟包括1)、獲取相鄰顯微圖像間的麟量范圍。艦SIFT特征匹配得到當(dāng)前顯微圖像在低fg^M圖像中的位置，進(jìn)而得到當(dāng)前圖像與其鄰接圖像的;^^g^系，按此^設(shè)置基于區(qū)^r法的偏移量麟范圍。當(dāng)不同f^M微圖像間的特征匹配出現(xiàn)觀時(shí)，根據(jù)電動操作平臺的移動精度設(shè)^范圍。2)、利用鄰接圖像皿E^有象素^g的一致性估計(jì)偏移m^，,的算法為歸一化的相^數(shù)法，歸一化相，數(shù)及可M:公式(3)i憤，使及船撮小的偏移量即為所^g終的偏移攀,4y)^[V(x，:v).V(;c+Ax，y+厶力]/gV"，力2'SV(x+A^+4v)2(3)x，yVwx，y公式中，圖像1和圖像2^^兩幅相鄰的顯微圖像，/,(;c，力和/2(jc,力分別是圖像的離，w和/zJ^M區(qū)域的，和高度，Ax和Ay為所求圖像2相對于圖像1的偏移量，如附圖2所示。/'(jc，30^圖像的平均^g，定義如下/'(x,力="x，力-J^/(x'，力(4)及(Ax，A力取繊小，貝俵明圖像間的相關(guān)^g^:。3)、細(xì)與基于SIFT特征i^方法類似的方法，用公式(1)或(2)確定當(dāng)前圖teJl角在^^全局圖像中的健，由于基于區(qū)域的匹配方法精度較高，如纖移量J^I31基于區(qū)域的方法得到的，貝i將公式(2)中的",人為賦戯300。本發(fā)明第四步艦的采用圖像融合方法進(jìn)行離圖像鵬的具體過程如下(圖像^^離如附圖3^):1)、體權(quán)值矩陣『，用3feM圖像Ji每點(diǎn)^S值的可靠性，『的i憎公式為『(x，力-vK;c)w(力(5)其中，(x，力是局部圖像沿;r、r方向坐標(biāo)，w(x)自中心Si緣，從i到o均勻變化。2)、對于全局圖像中的每一個(gè)點(diǎn)，根據(jù)膝各幅局部圖像中的位置，即該點(diǎn)^g值盼'可靠度'，確定^fS局部圖像的融合權(quán)值矩陣，圖像/的融合權(quán),陣^Oc，力^為<formula>formulaseeoriginaldocumentpage7</formula>其中，J'的取值包纖號iS0f有與圖像有鄰接絲的圖《織號。3)、獲取圖fti^t^M圖像/的貢獻(xiàn)其中，Oc,^)^M:第三步求得的圖像^i:角在全局圖像中的健。4)將所有，圖像作用于全局圖像/，可得到最終的圖像融合結(jié)果，實(shí)現(xiàn)圖像皿。由本發(fā)明皿的^mfi器A^，mw^石展方法的步驟可以看出，由于考慮了顯微圖像的特點(diǎn)，縮短了處理時(shí)間，圖像皿的大部分工作tN"伴隨電動操作平臺^j在線^，電動操作平臺運(yùn)動停止即可得到最終的圖像鵬結(jié)果，從而擴(kuò)大了顯微鵬的范圍，為艦者鵬了良好的用戶感受。本發(fā)明的優(yōu)點(diǎn)和積極棘針對顯微圖像的成像特點(diǎn)，本發(fā)明提出并實(shí)現(xiàn)了針對顯微圖像的,方法，與沒有考慮顯微圖像特點(diǎn)的^^法相比，i^^法可以在線^，并iif像,S^精度。將J^方法應(yīng)用于gfet后的,f^ll器AM微,統(tǒng)中，可成功實(shí)mMmW的拓展，為,作機(jī)器A^^MI廣闊的視覺反饋。圖1;tMW^拓展時(shí)，采親部顯微圖像的il^m示意圖2;iS于區(qū)域的圖像皿中，相鄰圖m準(zhǔn)的示意圖3是圖像示意圖4是^lt例1中圖像采菊l,示意圖5是鵬fWmA^統(tǒng)4微^MWK拓展時(shí)，顯微圖像特征提取的結(jié)果；圖6是鵬^m器A^統(tǒng)4fgt/MMW^拓展時(shí)，顯微圖像特征匹配的結(jié)果；圖7是m^ML器A^統(tǒng)4^t/MM微W^拓展的結(jié)果；圖8是鵬^lfl^A^統(tǒng)4(H^^MW^拓展時(shí)，顯微圖像特征提取的結(jié)果；圖9是鵬^n^Am統(tǒng)40fg^MM微鵬拓展時(shí)，40倍顯微圖像特征匹配的結(jié)果，特征匹配規(guī)；圖10是1t^Ml器A^統(tǒng)40^tl観微鵬拓展時(shí)，20倍顯微圖像與40倍顯微圖像艦匹配結(jié)果，特征匹鵬果可用于確定區(qū)域的搜索范圍；圖11是,Ml器Am統(tǒng)40^tfMMmW拓展的結(jié)果。發(fā)明實(shí)^s在^Jfe例中，艦的實(shí)驗(yàn)統(tǒng)是NKTYMR,f^l器A^統(tǒng)，蘇^131電動操作平臺(參見2003101066313號專利)^MM察目標(biāo)沿X、Y方向5g動，移動精度^w，運(yùn)動范圍為IOctwX10c附，最快的移動鵬為150Qww^。系統(tǒng)配備OlympusCK40顯微鏡，微鏡包括4倍、10倍、20倍、40倍四種，局部顯微圖像的象素尺寸為768X576。TM以4《激娜4(H激鏡為例，說明鵬mfi器A^鄉(xiāng)mw拓展的過程。4倍顯微鏡繊下的顯W1^拓展在繊柳器A^統(tǒng)中，4倍顯微鏡物鏡下的顯mW拓展步驟如下a)將操作目標(biāo)置于作機(jī)器人的電動操作平臺上，設(shè)定拓展后的視野范圍為0.62cmX0.45cm，并,描開始皿設(shè)在掃描范圍的^±角。b)設(shè)定圖像的錢范圍為圖像大小的20%。在4倍顯微^t/鏡下，1象^^勺為1戸，且^l畐顯微圖像的象素尺寸為768X576，為超lj設(shè)定的鵬范圍，10X10幅顯微圖像，電繊作平臺每次移動的距離為600戶(X方向)或460戶(Y方向)，圖像采劇,如附圖4g，圖中標(biāo)出了全局圖像的原點(diǎn)^SS^標(biāo)方向。設(shè)定電^作平臺的it^ii^為150^/^，每次移動平臺后，采集當(dāng)ltfWT的顯微圖像。c)對^Hf^i啲翩顯微圖像，獲取其全局圖像體。Tffi以編號為22號的圖像為例，獲取其全局圖像健的過程如下1.提取當(dāng)前圖像的SIFT特征，如附圖5戶麻，檢測出的SIFT特征litl為292。ii.和其左側(cè)的鄰接圖像(21號圖像)進(jìn)行SIFT特征匹配，匹配結(jié)果如附圖6戶B，成功匹配的特tEit為17個(gè)。對比^J力匹配,的位置，可以得到當(dāng)前圖像與鄰接圖像的偏移動(581,-13)象素。同理f躬l膝圖像與所有鄰接圖像的匹配特征數(shù)和偏移絲，如表1麻，表1蹄出了鄰接圖〈teJt角的全局健，職公式(1)和公式(2)可i憎出當(dāng)前圖^th角在全局圖像中的象素皿為(593,981)。從特tiEM鵬娥得圖像的全局^fi共計(jì)耗時(shí)1.3秒。表1當(dāng)前圖像與鄰接圖像的，鄰接圖鄉(xiāng)號成功匹配的特征數(shù)圖像偏移量像素)圖teJ:角全局健18192021532317(-610,438)(-13,420)(585,404)(581,-13)(1205,543)(606,561)(8,576)(12,994)d)根據(jù)公式(5-7)，艦圖像融合方法得到最終的圖像^^果，如附圖7戶標(biāo)，圖中標(biāo)出了22號圖像^5展后的中的,(圖中方ii^a^^)。由電動操作平臺的運(yùn)^I^可知，為了得到下一幅#^的顯微圖像，操作平臺;^勺需要運(yùn)動3秒。在等辨臺劍的過程中，足夠誠當(dāng)前圖像的離，也即可以保iiEM微圖像"隨采集、隨,"，圖像掃描結(jié)束即^15拓展而無需##，給{柳者,了良好的用戶,。9實(shí)施例2:40倍顯微^^下的顯WK拓展40fgt^下的顯W^拓展與4fgtl鏡下的OT^石^^似，只是可能出,鄰圖像特征匹配，的情況，TMM^種衞，出具體的^W1程。a)設(shè)定拓，的范圍為0.13/附乂0.1畫，并^描開始^a^在掃描范圍的Si:角。b)設(shè)定圖像的錢范圍為圖像大小的40%。在40倍顯微^tJ鏡下，l象m^J為0.1戶，為達(dá)至股定的W^范圍，需職3X3幅顯微圖像。設(shè)定電動操作平臺每次移動的距離為46戶(X方向)或35戶(Y方向)，運(yùn)動驗(yàn)為20///^,每次移動電動操作平臺后，魏當(dāng)前WF的顯微圖像。c)對^^一幅采穀啲翩顯微圖像，獲取其全局圖像健。TM以6號顯微圖像為例，獲取其全局圖像^g的過^口下i.提取6號顯微圖像的SIFT艦，如附圖8麻，檢測出的SIFT特征驢為195。ii.和其右側(cè)鄰接的顯微圖像(5號圖像)進(jìn)行SIFT特征匹配，匹,果如附圖90f^。由于圖像ss區(qū)內(nèi)提取的siFT特征ma少，特征匹配失畋。iii.確認(rèn)20倍^視野圖像^Jg,將6號圖像與5號圖像分別與20倍顯微圖像謝憤征匹配，結(jié)果如附圖10際，由此得到X方向的區(qū)^^范圍為["630，~666]，Y方向的區(qū)索范圍為[-15，1]。iv.利用公式(3)和公式(4)進(jìn)行基于區(qū)域的圖像匹配，得至倆幅圖像間的偏移量為v.當(dāng)前圖像與期細(xì)鄰圖像的絲可基于srrF特征匹配^:，如表20f^。根據(jù)公式(1)和公式(2)計(jì)算出當(dāng)前圖teil角在全局圖像中的象素位置為(-55,339)。從特tE^^i娥得圖像的全局^S^計(jì)耗時(shí)3秒。表2當(dāng)前圖像與鄰接圖像的^<table>tableseeoriginaldocumentpage10</column></row><table>d)根據(jù)公式(5-7)，M圖像融合方法得到最終的圖像皿結(jié)果，如附圖11所示，圖中標(biāo)出了6號圖像在拓展后的中的皿(圖中方i6^a^)。由電^j^作平臺的運(yùn)^is可知，為了得到下一幅待鵬的顯微圖像，操作平臺大約需要運(yùn)動23秒，足夠完成當(dāng)前圖像的鵬。同時(shí)，在^^算法的支持下，40fttf鏡下的顯鵬野拓展精度可i&MM別。參考文獻(xiàn),民徐德；王麟昆譚民，^^Ml^人的W^K與^^".#1^人2003.25(6):pp.55"59.孫立寧；孫紹云榮偉彬；^Smn^人的S^btWJI人2002.24(2):pp.l84"187.糊4;宗姚繊李鵬；于靖軍.鵬m^的ftWSam中國科學(xué)敏2001(3):p.513-517.ZhoiijQ，B.Chang(andH.N.Koivo.血Wetf五m^ra鵬ento/^&cteiwMcm5Vawoin/Vweecffi^gs<袖toerwcflfona/恥/"AsAopowAficn^ktorfes.2004.Yang;JA.GainerandB丄NelsonQpto/wec/jofrCTj/cZ)asz^wq/"Mcroosse/wZ^^steww，Mara^KrftW"g詠6rit/Aifcra^steww.TRF,F,TransactionsonIndustrialElectronic^2005.52(4):p.1013-1023.蕭^if;唐焱;伍賤孫安膏，郝，劉惠娟;^^示.自^^」SSm徵中國^0:200520035493,2007.02.07.安艦^^;MWS;張翻;盧桂章.顯微鏡自^)^作系統(tǒng)中國^U:200310106631.2006.02.22.蔡凱自動生物S^鏡中國專利03261054.2004.09.08.http://www.leicarmicros^items.cn/[10]ZitovJiB"FlusserJ.:Imageregistrationmethods:asurvey.ImageandVisionComputing2003.21(11)，977-1000.方賢勇.圖Mfgfe^鵬博掉位論文浙江大學(xué)，2005.MatthewBrownandDavidGLowe,"AutomaticpanoramicimagestitchingusinginvariantfeatureSj"InternationalJournalofComputerVisi叫74,1(2007)，pp.59-73.[13]MatthewBrownandDavidGLowg，ecognisingpanorama^"InternationalConferenceonComputer\%ion(ICCV2003),Nice^France(October2003),pp.1218-25[14]張建勛;盧桂章;李彬;李慶誠;張蕾;黃亞樣用于生物醫(yī)學(xué)工程的微操作機(jī)器人.中國專利97121702.1999.12.29.DavidGLowe,'Distinctiveimagefeaturesfromscale-invariantkeypoints/'InternationalJournalofComputer"Vision60，2(2004乂卯.91-110.VH_MilanSo麵RpgerBoyle著.5^]#,圖像鵬、分析^^(第D，l驚人民郵電出版社，2003。1權(quán)利要求1、一種微操作機(jī)器人系統(tǒng)顯微視野拓展方法，其特征在于該方法包括第一、將操作目標(biāo)置于微操作機(jī)器人的電動操作平臺上，確定待觀察的目標(biāo)區(qū)域；第二、選取目標(biāo)區(qū)域的某個(gè)頂點(diǎn)作為掃描的起始點(diǎn)和終點(diǎn)，即掃描結(jié)束后平臺又回到起始位置，通過平臺的折線運(yùn)動進(jìn)行掃描路徑規(guī)劃，并按照掃描路徑將選定目標(biāo)區(qū)域分割成大小等同于當(dāng)前屏幕視野的一組單元格，為了完成圖像拼接，相鄰單元格間需要20％-40％的重疊，由此確定操作平臺移動的次數(shù)和待拼接圖像的數(shù)量；第三、將電動操作平臺運(yùn)動到目標(biāo)區(qū)域的起始點(diǎn)，保留當(dāng)前局部顯微圖像，之后依次將下一相鄰單元格移入顯微視野，采集待拼接圖像，同時(shí)，在平臺運(yùn)動的過程中，處理剛采集到的顯微圖像，借助基于SIFT特征或區(qū)域的拼接方法，得到該圖像在整體全局圖像中的偏移量；第四、圖像采集結(jié)束后，將電動操作平臺移回運(yùn)動的起始點(diǎn)，同時(shí)處理最后一幅顯微圖像；此時(shí)，各幅局部顯微圖像在整體圖像中的位置都已確定，通過圖像融合方法得到最終的圖像拼接結(jié)果，也即目標(biāo)區(qū)域的全局圖，實(shí)現(xiàn)顯微視野的拓展。2、1f^權(quán)利要求10M的方法，，征在于第三步中皿的基于SFT特征的^^方^^括1)、在糊接的顯微圖像中提取SIFT特征，得到SIFT特征健和128維SIFT特征向量；對M^M微圖像，將i^畐圖像檢測出的SIFT特征idS制在100—300個(gè)；(2)、將當(dāng)前圖像中各特征的SIFT特征向量與其鄰接圖像中的SIFT特征向KSfi^—比較，根據(jù),巨離判別SIFT特征的相^^，若滿足相似性割牛，貝U認(rèn)為找到一個(gè)匹配點(diǎn)對，由啦尋到當(dāng)前圖像中SIFT特征與鄰接圖像SIFT特征的對應(yīng)關(guān)系；(3)、由同一SIFT特征在不同圖像中的^fi變化即偏移難至擋前圖像與其鄰接圖像間的偏移量，為了提高匹ffiff度，將^NT征偏移量取平均作為圖像的最纖移量；(4)、確定當(dāng)前圖像#全局圖像中的位置，設(shè)定第一幅采集圖像￡±角在全局圖像中的位置為(O,O),由相鄰圖像間的偏移量求得后續(xù)圖像的位置；設(shè)當(dāng)前圖像編號為/，根據(jù)，鄰圖像_/得到的圖^ti:角皿為<formula>formulaseeoriginaldocumentpage2</formula>其中，(^，力)是已知的圖像y的SJ:角在全局圖像中的位置，(A;c/,AW)是圖像/相對于圖像y的偏移量，由Jd^3)步求出。3、鵬權(quán)利要求2戶艦的方法，辦征在于在當(dāng)前圖像的相鄰圖像不只Hi畐時(shí)，艦SIFT特征數(shù)目加權(quán)，當(dāng)前圖^±角在全局圖像中的最^*，計(jì)算公式如下<formula>formulaseeoriginaldocumentpage2</formula>其中，條用^i十算圖像偏移量的snr特征數(shù)目。4、根據(jù)權(quán)利要求i臓的方法，^ttiE在于第三步中臓的基于區(qū)域6^方跑括1)、獲取相鄰顯微圖像間的偏移量范圍，艦SIFT特征匹配得妾擋前顯微圖像在低f^^局圖像中的腿，進(jìn)而得到當(dāng)前圖像與其鄰接圖像的誠體關(guān)系，按此關(guān)系體基于區(qū)TO"法的偏移量鶴范圍，當(dāng)不同f&icM微圖像間的特征匹配出現(xiàn)離時(shí)，根據(jù)電動操作平臺的移動精度設(shè)定麟范圍；2)、利用鄰接圖像M區(qū)所有象素^g的一致性估計(jì)偏移fi^，使用的算法為歸一化的相絲數(shù)法，歸一化相絲數(shù)及可艦公式(3)i憤，使及船撮小的偏移量即為所綠終的偏移量，及(Ax，A力-S[V(x，力.V(:c+Ax，;;+A力]/￡/2'(:c，力2.J]/,，(;c+Axj+A力2(3)公式中，圖像1和圖像2^^兩幅相鄰的顯微圖像，A(x，力和/2(jf，力分別是圖像的離，w和A^ft區(qū)域的寬度和高度，Ax和Ay為所求圖像2相對于圖像l的偏移量，/'(JC,力標(biāo)圖像的平均離，定義如下及(Ax,Av)取皿小，貝U表明圖像間的相關(guān)^SM大；3)、采用與基于SIFT特征^^方^^以TO法，用公式(1)或(2)確定當(dāng)前圖像￡±角在^#全局圖像中的位置，由于基于區(qū)域的匹配方法精度較高，如，移M^ia基于區(qū)域的方法得到的，貝M^式(2)中的人為賦H^300。全文摘要一種微操作機(jī)器人系統(tǒng)顯微視野拓展方法。該方法包括確定要觀察的目標(biāo)區(qū)域；將選定目標(biāo)區(qū)域分割成大小等同于當(dāng)前屏幕視野的一組單元格，相鄰單元格間需要20％-40％的重疊；通過微操作機(jī)器人的電動操作平臺折線運(yùn)動獲取目標(biāo)區(qū)域的局部顯微圖像；在操作平臺運(yùn)動的同時(shí)，處理當(dāng)前采集顯微圖像，采用基于SIFT特征的拼接方法或基于區(qū)域的拼接方法，得到當(dāng)前圖像在整體全局圖像中的偏移量，其處理精度可達(dá)象素級；通過圖像融合方法得到圖像拼接結(jié)果，也即目標(biāo)觀察區(qū)域的全局圖。將上述方法應(yīng)用于改造后的微操作機(jī)器人顯微視覺系統(tǒng)中，可成功實(shí)現(xiàn)顯微視野的在線拓展，為微操作機(jī)器人系統(tǒng)提供廣闊的視覺反饋。文檔編號B25J7/00GK101596715SQ200910069450公開日2009年12月9日申請日期2009年6月26日優(yōu)先權(quán)日2009年6月26日發(fā)明者盧桂章,孫明竹,新趙申請人:南開大學(xué)