專利名稱：分類系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于機器視覺檢查的分類系統(tǒng)。
背景技術(shù)：
機器檢查問題常常依賴于利用從標(biāo)記的圖像中提取出的特征向量訓(xùn)練的分類器。這些標(biāo)記的精確性通常依賴于人類操作者，因此常?？赡苁遣粶?zhǔn)確的—尤其是當(dāng)涉及大量數(shù)據(jù)時。使用從誤標(biāo)記的圖像中提取出的特征向量來訓(xùn)練分類器可能是災(zāi)難性的。例如，有缺陷的焊接接合點的圖像可能被標(biāo)記為可接受的接合點，并且所提取的特征向量可能被用于訓(xùn)練分類器，以捕捉焊接接合點缺陷。由于其類似于污染物實例(case)，因此所得到的分類器有可能使隨后檢查的有缺陷接合點通過。
污染物實例的問題可通過考慮其中每個實例僅具有兩個特征的數(shù)據(jù)集來說明。在圖1中示出了這種實例集的圖示，其中好的實例示為方形的，壞的實例示為圓形的。在圖示情形中，兩個污染物實例已被加到訓(xùn)練集中—在圖的右側(cè)圓形從中示出的兩個方形。污染物數(shù)據(jù)的問題通過包含查詢實例(在圖中示為十字)來說明，查詢實例是壞分類的真正示例。盡管該實例幾乎正好位于壞示例的從的中部，但是其與兩個污染物實例的鄰近性可能導(dǎo)致其被分類為好的分類的成員。
圖2中示出了來自原型應(yīng)用的類似的圖的又一示例。在這種情況下，分類任務(wù)試圖區(qū)分印刷電路板上的存在的和不存在的電子元件。同樣示出了可用特征中的兩個的圖。圖頂部的實例是不存在的元件的示例，而圖底部的那些是存在的元件的示例。被突出顯示的實例(以及在圖右側(cè)的圖像中所示的實例)是污染物實例，該污染物實例已被標(biāo)記為存在的元件的示例，但是事實上是不存在的元件的示例。該污染會導(dǎo)致分類器性能較差。
本發(fā)明解決了這些問題。

發(fā)明內(nèi)容
根據(jù)本發(fā)明，提供了一種包括基于參考樣本的多個訓(xùn)練特征向量實例的分類系統(tǒng)，其中該系統(tǒng)包括污染物識別裝置，該污染物識別裝置用于自動生成關(guān)于實例是否是來源于誤標(biāo)記的參考樣本的污染物實例的指示。
在一個實施例中，污染物識別裝置包括用于執(zhí)行以下步驟的裝置用于從實例集中移除實例的裝置，用于從剩余實例構(gòu)建分類器的裝置，以及用于利用所述分類器來對實例分類的裝置。
在另一個實施例中，污染物識別裝置可操作以用于生成置信度值，該置信度值代表實例被分類為污染物或非污染物的置信度。
在又一個實施例中，分類器可操作以用于生成所述置信度值。
在一個實施例中，分類器是k最近鄰居分類器。
在另一個實施例中，污染物識別裝置包括用于在確定實例的原始分類是不正確的情況下倒轉(zhuǎn)置信度的裝置。
在又一個實施例中，污染物識別裝置可操作以用于重復(fù)用于依次對每個實例生成關(guān)于該實例是污染物的可能性的指示的過程。
在一個實施例中，實例是根據(jù)過程的結(jié)果被加上標(biāo)簽的。
在另一個實施例中，系統(tǒng)包括交互式工具，該交互式工具用于生成與被識別為可能是污染物的實例有關(guān)的數(shù)據(jù)顯示；以及提示用戶輸入實例狀態(tài)的確認。
在又一個實施例中，交互式工具可操作以用于自動顯示用于被識別為可能污染物的實例的參考樣本的圖像。
在一個實施例中，工具可操作以用于在實例數(shù)據(jù)的一旁顯示圖像。
在另一個實施例中，實例是用于電路板的。
在另一個方面，本發(fā)明提供了一種用于檢查電路板的機器視覺系統(tǒng)，該系統(tǒng)包括如上定義的任何分類系統(tǒng)。


參考附圖，從下面對某些實施例的描述中可以更清楚地理解本發(fā)明，這些實施例僅用于示例目的，在附圖中圖1示出了其中每個實例僅有兩個特征的數(shù)據(jù)集；圖2示出了來自原型應(yīng)用的類似的圖的又一示例；圖3是在分類系統(tǒng)中用于識別污染物實例的過程的流程圖；圖4是圖示在識別了可能污染物實例時由系統(tǒng)生成的顯示的樣本截屏圖；以及圖5是沒有污染物實例的示例的截屏圖。
具體實施例方式
參考圖3，在分類系統(tǒng)中有i個實例，每個實例是從好的或壞的樣本圖像中導(dǎo)出的特征向量。圖3的方法識別了可能的污染物實例。
依次對于每個實例i，從分類系統(tǒng)的數(shù)據(jù)集中移除該實例。在移除實例的同時，系統(tǒng)構(gòu)建k最近鄰居置信度分類器(k-nearest neighbourconfidence classifier)。其隨后利用在前一步驟中構(gòu)建的分類器對特定實例i進行分類。該分類導(dǎo)致查詢實例的預(yù)測分類和該預(yù)測的置信度，該置信度是基于查詢實例與其最近鄰居的相似度的。
在下一步中，系統(tǒng)將最初分配給實例的分類與在前一步驟中確定的分類相比較。
如果預(yù)測分類與最初分配給實例的分類相匹配，則將置信度值與預(yù)定閾值相比較。如果超過閾值，則實例是可信的，并且被返回到數(shù)據(jù)集。如果置信度值低于閾值，則實例在返回到數(shù)據(jù)集之前被標(biāo)記為可疑的。
在另一分支中，如果分類不匹配，則倒轉(zhuǎn)置信度值從而使其反映該判決(即，該實例是污染物)的置信度。該實例在返回到數(shù)據(jù)集之前被標(biāo)記為可疑的。
在處理了所有實例i之后，整個數(shù)據(jù)集被給予一個等級以指示其污染級別，并且每個特征向量被給予一個等級以指示其是污染物實例的可能性。
一旦檢查完成，工具就將其結(jié)果以某一方式呈現(xiàn)給用戶，該方式使得最有可能是污染物實例的那些特征向量以及提取出這些特征向量的圖像被突出顯示。顯示特征向量所基于的圖像使得用戶能夠確認或否認其狀態(tài)是污染物實例?？梢詫⑽廴疚飳嵗龔臄?shù)據(jù)集中移除，或者可以簡單地對其進行重新標(biāo)記。
在它們被分級后，按等級排序的數(shù)據(jù)集中所有實例的列表連同提取出這些實例的圖像一起被呈現(xiàn)給用戶。通過對列表排序，可能是污染物的那些實例會立即引起用戶的關(guān)注。為了確認或否認實例作為污染物的狀態(tài)，用戶僅僅檢查提取出實例中的特征的圖像，這些圖像緊挨著實例顯示。如果實例確實是污染物，則其可被完全從數(shù)據(jù)集中移除或者被重新分類。
或者，并不需要用戶的干預(yù)，系統(tǒng)可以自動從數(shù)據(jù)集中移除所有可疑的污染物實例，如果其被指示這樣作的話。
處理數(shù)據(jù)集中的污染物實例將導(dǎo)致創(chuàng)建更準(zhǔn)確的分類器。
對實例分級更詳細地說，各個實例是污染物的可能性是通過執(zhí)行一系列留一法(leave-one-out)交叉驗證(cross validation)來計算的。留一法交叉驗證對數(shù)據(jù)集內(nèi)的每個實例執(zhí)行模擬分類。每個實例被用利用所有剩余實例訓(xùn)練的分類器加以分類。所用的分類器是k最近鄰居算法的變體，其并不是簡單地產(chǎn)生分類，而是產(chǎn)生分類和該分類的置信度。
對數(shù)據(jù)集分級數(shù)據(jù)集內(nèi)各個實例的等級可被組合在一起，以給出數(shù)據(jù)集自身的整體等級。許多不同的組合函數(shù)可用于此目的，其中各個實例等級的平均是最明顯的。
將結(jié)果呈現(xiàn)給用戶圖4和5中示出了截屏圖。在每個截屏圖中，屏幕左側(cè)的列表示出了工具考慮要清潔的數(shù)據(jù)集及其相關(guān)聯(lián)的等級。在圖4中，已經(jīng)選擇了以污染物實例為特征的數(shù)據(jù)集，這導(dǎo)致了顯示該數(shù)據(jù)集中的所有實例以及其關(guān)聯(lián)等級。這些實例顯示在兩個列表中—一個在屏幕頂部，包含壞的示例，一個在屏幕底部，包含好的示例。在好的示例的列表頂部，一個實例被給予-100的等級，表明其有很強的可能性是污染物實例。這通過列表右側(cè)的圖像得以確認，該圖像示出了對應(yīng)于該實例的圖像，其中清晰地描繪了不存在的元件。通過突出顯示可能的污染，系統(tǒng)允許用戶容易地校正該情形，這或者是通過從數(shù)據(jù)集中完全移除污染物實例而實現(xiàn)的，或者是通過將其重新分類為不存在的元件的示例而實現(xiàn)的。
為了比較，圖5示出了相同應(yīng)用截屏圖，其中所選的數(shù)據(jù)集不包含污染。在該示例中，所有訓(xùn)練實例都被系統(tǒng)給予高的等級，表明數(shù)據(jù)集是無污染的。
清潔數(shù)據(jù)集基于對系統(tǒng)確定可能是污染物的那些實例的檢查，用戶可以選擇采取行動來清潔數(shù)據(jù)集。污染物實例可被從數(shù)據(jù)集中刪除、被重新分類或被保留—這表明它們事實上不是污染物實例。
自動清潔數(shù)據(jù)集不需要人工干預(yù)，系統(tǒng)可以自動從數(shù)據(jù)集中移除所有可疑的污染物實例。盡管這會具有清潔數(shù)據(jù)集的效果，但是也有可能移除某些有效實例，這些有效實例被錯誤地懷疑為污染物。
本發(fā)明并不限于上述實施例，而是可在結(jié)構(gòu)和細節(jié)上變化。
權(quán)利要求
1.一種包括基于參考樣本的多個訓(xùn)練特征向量實例的分類系統(tǒng)，其中所述系統(tǒng)包括污染物識別裝置，所述污染物識別裝置用于自動生成關(guān)于實例是否是來源于誤標(biāo)記的參考樣本的污染物實例的指示。
2.如權(quán)利要求1所述的分類系統(tǒng)，其中所述污染物識別裝置包括用于執(zhí)行以下步驟的裝置用于從實例集中移除實例的裝置，用于從剩余實例構(gòu)建分類器的裝置，以及用于利用所述分類器來對所述實例分類的裝置。
3.如權(quán)利要求2所述的分類系統(tǒng)，其中所述污染物識別裝置可操作以用于生成置信度值，所述置信度值代表所述實例被分類為污染物或非污染物的置信度。
4.如權(quán)利要求3所述的分類系統(tǒng)，其中所述分類器可操作以用于生成所述置信度值。
5.如權(quán)利要求4所述的分類系統(tǒng)，其中所述分類器是k最近鄰居分類器。
6.如權(quán)利要求4或5所述的分類系統(tǒng)，其中所述污染物識別裝置包括用于在確定所述實例的原始分類是不正確的情況下倒轉(zhuǎn)所述置信度值的裝置。
7.如任何一個在先權(quán)利要求所述的分類系統(tǒng)，其中所述污染物識別裝置可操作以用于重復(fù)用于依次對每個實例生成關(guān)于該實例是污染物的可能性的指示的過程。
8.如權(quán)利要求7所述的分類系統(tǒng)，其中所述實例是根據(jù)所述過程的結(jié)果被加上標(biāo)簽的。
9.如任何一個在先權(quán)利要求所述的分類系統(tǒng)，其中所述系統(tǒng)包括交互式工具，所述交互式工具用于生成與被識別為可能是污染物的實例有關(guān)的數(shù)據(jù)顯示；以及提示用戶輸入實例狀態(tài)的確認。
10.如權(quán)利要求9所述的分類系統(tǒng)，其中所述交互式工具可操作以用于自動顯示用于被識別為可能污染物的實例的參考樣本的圖像。
11.如權(quán)利要求10所述的分類系統(tǒng)，其中所述工具可操作以用于在所述實例數(shù)據(jù)的一旁顯示所述圖像。
12.如任何一個在先權(quán)利要求所述的分類系統(tǒng)，其中所述實例是用于電路板的。
13.一種用于檢查電路板的機器視覺系統(tǒng)，所述系統(tǒng)包括如任何一個在先權(quán)利要求所述的分類系統(tǒng)。
全文摘要
一種分類系統(tǒng)基于誤標(biāo)記的參考圖像自動生成關(guān)于訓(xùn)練特征向量實例是否是污染物的指示。其從集中排除實例，構(gòu)建k最近鄰居置信度分類器，然后利用該分類器對實例分類。如果實例的分類不與其確定的分類匹配，或者如果其匹配而置信度級別低于閾值，則實例可被標(biāo)記為可疑的。系統(tǒng)可以自動移除或重新標(biāo)記所有可疑的實例。
文檔編號G01N35/00GK1936585SQ20061008690
公開日2007年3月28日 申請日期2006年6月14日 優(yōu)先權(quán)日2005年8月22日
發(fā)明者布雷恩·麥克內(nèi)密, 格勒瑟·博拉德碩, 約翰·多爾蒂, 詹姆士·馬洪, 理查德·艾萬斯 申請人:Mv研究有限公司