本發(fā)明涉及芯片加工分析領(lǐng)域，更具體的，涉及一種基于機(jī)器視覺(jué)的芯片加工智能檢測(cè)方法及系統(tǒng)。

背景技術(shù)：

1、隨著集成電路制造工藝的不斷進(jìn)步，芯片的集成度越來(lái)越高，對(duì)芯片加工質(zhì)量的要求也越來(lái)越高。傳統(tǒng)的芯片檢測(cè)方法主要依賴(lài)人工目視檢查或簡(jiǎn)單的圖像處理技術(shù)，無(wú)法滿(mǎn)足現(xiàn)代高精度芯片制造的需求，且在現(xiàn)有的芯片缺陷圖像檢測(cè)中，往往只針對(duì)芯片加工成品進(jìn)行缺陷檢測(cè)，忽略了在焊接、封裝等加工步驟中，存在的缺陷關(guān)聯(lián)，難以實(shí)現(xiàn)加工缺陷的全流程跟蹤與有效的缺陷影評(píng)評(píng)估，降低了芯片制造質(zhì)量。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明克服了現(xiàn)有技術(shù)的缺陷，提出了一種基于機(jī)器視覺(jué)的芯片加工智能檢測(cè)方法及系統(tǒng)。

2、本發(fā)明第一方面提供了一種基于機(jī)器視覺(jué)的芯片加工智能檢測(cè)方法，包括：

3、從系統(tǒng)數(shù)據(jù)中提取芯片標(biāo)準(zhǔn)化圖像，對(duì)芯片標(biāo)準(zhǔn)化圖像進(jìn)行芯片主體與引腳的識(shí)別、定位分析，并制定空間定位模板；

4、在一個(gè)檢測(cè)周期內(nèi)，實(shí)時(shí)獲取芯片封裝加工前的芯片圖像數(shù)據(jù)并進(jìn)行圖像預(yù)處理，通過(guò)空間定位模板對(duì)芯片圖像數(shù)據(jù)進(jìn)行芯片主體與引腳定位，通過(guò)定位提取出主體區(qū)域與引腳區(qū)域；

5、基于缺陷識(shí)別模塊，對(duì)主體區(qū)域與引腳區(qū)域進(jìn)行芯片缺陷識(shí)別并記錄得到第一缺陷信息；

6、將主體區(qū)域與引腳區(qū)域合并為第一芯片分析區(qū)域，獲取芯片封裝加工后的芯片圖像數(shù)據(jù)并進(jìn)行芯片主體與引腳定位分析與缺陷識(shí)別，提取出對(duì)應(yīng)的第二芯片分析區(qū)域與第二缺陷信息；

7、基于ssim相似性指標(biāo)，對(duì)第一芯片分析區(qū)域與第二芯片分析區(qū)域進(jìn)行圖像信息計(jì)算，圖像信息包括亮度、對(duì)比度、結(jié)構(gòu)三個(gè)維度，通過(guò)亮度、對(duì)比度、結(jié)構(gòu)信息，對(duì)第一芯片分析區(qū)域與第二芯片分析區(qū)域進(jìn)行相似性計(jì)算，計(jì)算過(guò)程以引腳區(qū)域大小設(shè)定窗口，基于設(shè)定窗口進(jìn)行局部區(qū)域比較，并得到每個(gè)窗口的相似性指數(shù)；

8、基于多個(gè)相似性指數(shù)與預(yù)設(shè)相似閾值判斷第一芯片分析區(qū)域與第二芯片分析區(qū)域存在關(guān)聯(lián)的主體區(qū)域與引腳區(qū)域并進(jìn)行標(biāo)記，得到關(guān)聯(lián)區(qū)域，通過(guò)關(guān)聯(lián)區(qū)域，對(duì)芯片封裝加工前后的芯片圖像數(shù)據(jù)進(jìn)行特征提取，并與第一缺陷信息、第二缺陷信息進(jìn)行關(guān)聯(lián)，生成加工前后關(guān)聯(lián)特征集。

9、本方案中，所述從系統(tǒng)數(shù)據(jù)中提取芯片標(biāo)準(zhǔn)化圖像，對(duì)芯片標(biāo)準(zhǔn)化圖像進(jìn)行芯片主體與引腳的識(shí)別、定位分析，并制定空間定位模板，具體為：

10、從系統(tǒng)數(shù)據(jù)中獲取芯片標(biāo)準(zhǔn)化圖像；

11、通過(guò)對(duì)芯片標(biāo)準(zhǔn)化圖像進(jìn)行芯片主體與引腳的區(qū)域識(shí)別，對(duì)相應(yīng)區(qū)域進(jìn)行標(biāo)注與定位，得到芯片主體與引腳定位位置信息；

12、基于芯片標(biāo)準(zhǔn)化圖像的圖像大小、比例參數(shù)與芯片主體與引腳定位位置信息生成空間定位模板。

13、本方案中，所述在一個(gè)檢測(cè)周期內(nèi)，實(shí)時(shí)獲取芯片封裝加工前的芯片圖像數(shù)據(jù)并進(jìn)行圖像預(yù)處理，通過(guò)空間定位模板對(duì)芯片圖像數(shù)據(jù)進(jìn)行芯片主體與引腳定位，通過(guò)定位提取出主體區(qū)域與引腳區(qū)域，具體為：

14、在一個(gè)檢測(cè)周期內(nèi)，獲取芯片封裝加工前芯片圖像數(shù)據(jù)；

15、對(duì)芯片圖像數(shù)據(jù)進(jìn)行去噪、灰度化、圖像增強(qiáng)預(yù)處理；

16、基于空間定位模板，對(duì)預(yù)處理后的芯片圖像數(shù)據(jù)通過(guò)圖像縮放進(jìn)行標(biāo)準(zhǔn)化處理，通過(guò)空間定位模板的區(qū)域位置信息進(jìn)行芯片主體與引腳區(qū)域定位，得到主體區(qū)域與引腳區(qū)域。

17、本方案中，所述基于缺陷識(shí)別模塊，對(duì)主體區(qū)域與引腳區(qū)域進(jìn)行芯片缺陷識(shí)別并記錄得到第一缺陷信息，具體為：

18、構(gòu)建基于cnn的缺陷識(shí)別模塊；

19、在系統(tǒng)數(shù)據(jù)庫(kù)中獲取歷史缺陷特征并導(dǎo)入缺陷識(shí)別模塊進(jìn)行預(yù)訓(xùn)練；

20、基于主體區(qū)域與引腳區(qū)域，對(duì)芯片封裝加工前的芯片圖像數(shù)據(jù)進(jìn)行相應(yīng)區(qū)域的特征提取，并將提取到的特征導(dǎo)入缺陷識(shí)別模塊進(jìn)行缺陷識(shí)別與記錄，得到第一缺陷信息。

21、本方案中，所述將主體區(qū)域與引腳區(qū)域合并為第一芯片分析區(qū)域，獲取芯片封裝加工后的芯片圖像數(shù)據(jù)并進(jìn)行芯片主體與引腳定位分析與缺陷識(shí)別，提取出對(duì)應(yīng)的第二芯片分析區(qū)域與第二缺陷信息，具體為：

22、基于將主體區(qū)域與引腳區(qū)域的區(qū)域信息合并為一個(gè)大區(qū)域，形成第一芯片分析區(qū)域；

23、基于空間定位模板，對(duì)芯片封裝加工后的芯片圖像數(shù)據(jù)進(jìn)行行芯片主體與引腳定位并生成相應(yīng)第二芯片分析區(qū)域；

24、將芯片封裝加工后的芯片圖像數(shù)據(jù)導(dǎo)入缺陷識(shí)別模塊進(jìn)行缺陷識(shí)別與記錄，得到第二缺陷信息。

25、本方案中，所述基于ssim相似性指標(biāo)，對(duì)第一芯片分析區(qū)域與第二芯片分析區(qū)域進(jìn)行圖像信息計(jì)算，圖像信息包括亮度、對(duì)比度、結(jié)構(gòu)三個(gè)維度，通過(guò)亮度、對(duì)比度、結(jié)構(gòu)信息，對(duì)第一芯片分析區(qū)域與第二芯片分析區(qū)域進(jìn)行相似性計(jì)算，計(jì)算過(guò)程以引腳區(qū)域大小設(shè)定窗口，基于設(shè)定窗口進(jìn)行局部區(qū)域比較，并得到每個(gè)窗口的相似性指數(shù)，具體為：

26、基于第一芯片分析區(qū)域與第二芯片分析區(qū)域，分別對(duì)芯片封裝加工前與芯片封裝加工后的芯片圖像數(shù)據(jù)進(jìn)行分析區(qū)域的圖像信息提取與加載，得到第一圖像加載信息與第二圖像加載信息；

27、通過(guò)ssim相似性指標(biāo)計(jì)算方法，以引腳區(qū)域大小設(shè)定一個(gè)窗口；

28、基于窗口大小，計(jì)算第一圖像加載信息與第二圖像加載信息中的局部圖像信息，并通過(guò)移動(dòng)窗口計(jì)算每個(gè)窗口的局部圖像信息，局部圖像信息包括亮度、對(duì)比度、結(jié)構(gòu)信息；

29、基于每個(gè)窗口的亮度、對(duì)比度、結(jié)構(gòu)信息，結(jié)合ssim相似性指標(biāo)計(jì)算出每個(gè)窗口的相似性指數(shù)。

30、本方案中，所述基于多個(gè)相似性指數(shù)與預(yù)設(shè)相似閾值判斷第一芯片分析區(qū)域與第二芯片分析區(qū)域存在關(guān)聯(lián)的主體區(qū)域與引腳區(qū)域并進(jìn)行標(biāo)記，得到關(guān)聯(lián)區(qū)域，通過(guò)關(guān)聯(lián)區(qū)域，對(duì)芯片封裝加工前后的芯片圖像數(shù)據(jù)進(jìn)行特征提取，并與第一缺陷信息、第二缺陷信息進(jìn)行關(guān)聯(lián)，生成加工前后關(guān)聯(lián)特征集，具體為：

31、將每個(gè)窗口的相似性指數(shù)與預(yù)設(shè)相似閾值進(jìn)行對(duì)比，將高于預(yù)設(shè)相似閾值的窗口進(jìn)行標(biāo)記，得到多個(gè)標(biāo)記窗口；

32、基于標(biāo)記的一個(gè)窗口，將對(duì)應(yīng)在第一芯片分析區(qū)域與第二芯片分析區(qū)域的局部區(qū)域進(jìn)行提取，得到第一標(biāo)記區(qū)域與第二標(biāo)記區(qū)域；

33、基于第一標(biāo)記區(qū)域從芯片封裝加工前的芯片圖像數(shù)據(jù)進(jìn)行圖像特征提取，得到第一特征；

34、基于第二標(biāo)記區(qū)域從芯片封裝加工后的芯片圖像數(shù)據(jù)進(jìn)行圖像特征提取，得到第二特征；

35、將第一特征、第二特征、第一缺陷信息與第二缺陷信息進(jìn)行關(guān)聯(lián)并形成一條關(guān)聯(lián)數(shù)據(jù)記錄；

36、基于多個(gè)標(biāo)記窗口，形成多條關(guān)聯(lián)數(shù)據(jù)記錄；

37、將多條關(guān)聯(lián)數(shù)據(jù)記錄進(jìn)行整合得到加工前后關(guān)聯(lián)特征集。

38、本方案中，所述加工前后關(guān)聯(lián)特征集，還包括：

39、將加工前后關(guān)聯(lián)特征集導(dǎo)入系統(tǒng)數(shù)據(jù)庫(kù)；

40、在第二個(gè)檢測(cè)周期內(nèi)，獲取實(shí)時(shí)芯片圖像數(shù)據(jù)；

41、對(duì)實(shí)時(shí)芯片圖像數(shù)據(jù)進(jìn)行特征提取與缺陷分析，形成實(shí)時(shí)特征與實(shí)時(shí)缺陷評(píng)估信息；

42、基于實(shí)時(shí)特征與實(shí)時(shí)缺陷評(píng)估信息，從加工前后關(guān)聯(lián)特征集中進(jìn)行關(guān)聯(lián)特征與加工影響分析，生成加工影響評(píng)估數(shù)據(jù)；

43、通過(guò)加工影響評(píng)估數(shù)據(jù)，對(duì)實(shí)時(shí)檢測(cè)的芯片進(jìn)行芯片分類(lèi)設(shè)定。

44、本發(fā)明第二方面還提供了一種基于機(jī)器視覺(jué)的芯片加工智能檢測(cè)系統(tǒng)，該系統(tǒng)包括：存儲(chǔ)器、處理器，所述存儲(chǔ)器中包括基于機(jī)器視覺(jué)的芯片加工智能檢測(cè)程序，所述基于機(jī)器視覺(jué)的芯片加工智能檢測(cè)程序被所述處理器執(zhí)行時(shí)實(shí)現(xiàn)如下步驟：

45、從系統(tǒng)數(shù)據(jù)中提取芯片標(biāo)準(zhǔn)化圖像，對(duì)芯片標(biāo)準(zhǔn)化圖像進(jìn)行芯片主體與引腳的識(shí)別、定位分析，并制定空間定位模板；

46、在一個(gè)檢測(cè)周期內(nèi)，實(shí)時(shí)獲取芯片封裝加工前的芯片圖像數(shù)據(jù)并進(jìn)行圖像預(yù)處理，通過(guò)空間定位模板對(duì)芯片圖像數(shù)據(jù)進(jìn)行芯片主體與引腳定位，通過(guò)定位提取出主體區(qū)域與引腳區(qū)域；

47、基于缺陷識(shí)別模塊，對(duì)主體區(qū)域與引腳區(qū)域進(jìn)行芯片缺陷識(shí)別并記錄得到第一缺陷信息；

48、將主體區(qū)域與引腳區(qū)域合并為第一芯片分析區(qū)域，獲取芯片封裝加工后的芯片圖像數(shù)據(jù)并進(jìn)行芯片主體與引腳定位分析與缺陷識(shí)別，提取出對(duì)應(yīng)的第二芯片分析區(qū)域與第二缺陷信息；

49、基于ssim相似性指標(biāo)，對(duì)第一芯片分析區(qū)域與第二芯片分析區(qū)域進(jìn)行圖像信息計(jì)算，圖像信息包括亮度、對(duì)比度、結(jié)構(gòu)三個(gè)維度，通過(guò)亮度、對(duì)比度、結(jié)構(gòu)信息，對(duì)第一芯片分析區(qū)域與第二芯片分析區(qū)域進(jìn)行相似性計(jì)算，計(jì)算過(guò)程以引腳區(qū)域大小設(shè)定窗口，基于設(shè)定窗口進(jìn)行局部區(qū)域比較，并得到每個(gè)窗口的相似性指數(shù)；

50、基于多個(gè)相似性指數(shù)與預(yù)設(shè)相似閾值判斷第一芯片分析區(qū)域與第二芯片分析區(qū)域存在關(guān)聯(lián)的主體區(qū)域與引腳區(qū)域并進(jìn)行標(biāo)記，得到關(guān)聯(lián)區(qū)域，通過(guò)關(guān)聯(lián)區(qū)域，對(duì)芯片封裝加工前后的芯片圖像數(shù)據(jù)進(jìn)行特征提取，并與第一缺陷信息、第二缺陷信息進(jìn)行關(guān)聯(lián)，生成加工前后關(guān)聯(lián)特征集。

51、本發(fā)明第三方面還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中包括基于機(jī)器視覺(jué)的芯片加工智能檢測(cè)程序，所述基于機(jī)器視覺(jué)的芯片加工智能檢測(cè)程序被處理器執(zhí)行時(shí)，實(shí)現(xiàn)如上述任一項(xiàng)所述的基于機(jī)器視覺(jué)的芯片加工智能檢測(cè)方法的步驟。

52、本發(fā)明公開(kāi)了一種基于機(jī)器視覺(jué)的芯片加工智能檢測(cè)方法及系統(tǒng)。通過(guò)獲取芯片標(biāo)準(zhǔn)化圖像并對(duì)芯片主體與引腳進(jìn)行識(shí)別定位，制定空間定位模板；在一個(gè)檢測(cè)周期內(nèi)，獲取并預(yù)處理芯片圖像數(shù)據(jù)，利用空間定位模板提取主體與引腳區(qū)域；基于缺陷識(shí)別模塊，識(shí)別并記錄這些區(qū)域的缺陷信息；將主體區(qū)域與引腳區(qū)域合并為第一芯片分析區(qū)域，并在芯片封裝加工后進(jìn)行二次分析，得到第二芯片分析區(qū)域與第二缺陷信息；基于ssim相似性指標(biāo)，計(jì)算第一與第二芯片分析區(qū)域的相似性指數(shù)；根據(jù)相似性指數(shù)與預(yù)設(shè)閾值判斷關(guān)聯(lián)區(qū)域，并與缺陷信息相關(guān)聯(lián)，生成關(guān)聯(lián)特征集。通過(guò)關(guān)聯(lián)特征集，能夠?qū)Υ嬖谌毕莸男酒瑢?shí)現(xiàn)后續(xù)的加工分類(lèi)，提高芯片的信息化制造檢測(cè)能力。