本發(fā)明涉及pcba檢測，具體涉及一種基于圖像和模型識別的pcba檢測裝置及方法。

背景技術(shù)：

1、隨著軍工、航天事業(yè)的飛速發(fā)展，電子產(chǎn)品趨于集成化、高質(zhì)量化，雖然電子產(chǎn)品制作工藝方式以及可靠性都得到了穩(wěn)步提升，但電子產(chǎn)品在生產(chǎn)制造過程中，生產(chǎn)焊接缺陷種類卻越來越多。pcba（printed?circuit?board?assembly）板是pcb空板經(jīng)過smt（surface?mount?technology）組裝后或經(jīng)過dip（dual?in-line?package）插件后的通俗叫法，簡稱pcba。

2、pcba的品質(zhì)是直接影響電子設(shè)備可靠性的關(guān)鍵因素，同時對于pcba的質(zhì)量檢測的要求也在逐年提高，因此針對pcba的生產(chǎn)缺陷如何實(shí)現(xiàn)高效且準(zhǔn)確檢測，是pcba生產(chǎn)中普遍關(guān)注、需要亟待解決的難題。

3、目前大部分pcba生產(chǎn)廠商對pcba的生產(chǎn)缺陷的檢測手段包括：人工檢測和在線測試。其中，人工檢測為人工目檢，主要通過目視或者借助放大鏡、顯微鏡等設(shè)備來尋找板上的缺陷。然而在長時間的重復(fù)性檢測中，工人容易疲勞、被周圍環(huán)境干擾，從而導(dǎo)致漏檢、誤檢的情況。

4、在線測試主要包括：針床式測試儀和飛針測試儀兩種檢測方法。其優(yōu)點(diǎn)是單板檢測成本低，對于開路短路的檢測性能強(qiáng)大，但是其編程時間長、檢測速度慢。

5、綜上所述，現(xiàn)有的pcba缺陷檢測方法存在檢測精度和檢測效率低的技術(shù)問題。

技術(shù)實(shí)現(xiàn)思路

1、為了克服現(xiàn)有技術(shù)的不足，本發(fā)明提供一種基于圖像和模型識別的pcba檢測裝置及方法，用于解決現(xiàn)有的pcba缺陷檢測方法存在檢測精度和檢測效率低的技術(shù)問題，從而達(dá)到提高檢測精度和檢測效率的目的。

2、為解決上述問題，本發(fā)明所采用的技術(shù)方案如下：

3、一種基于圖像和模型識別的pcba檢測裝置，包括：

4、上位機(jī)，用于根據(jù)執(zhí)行結(jié)果利用若干pcba電路des模型生成模型識別結(jié)果，并結(jié)合圖像識別結(jié)果輸出檢測結(jié)果，以及用于輸入檢測指令；

5、圖像識別模塊，利用pcba識別模型通過生成的端口定位框、元器件定位框?qū)Υ龣zpcba進(jìn)行缺陷識別，并將圖像識別結(jié)果返回上位機(jī)；

6、測試邏輯生成模塊，用于自動生成相應(yīng)的測試邏輯，并發(fā)送至檢測控制器；

7、檢測控制器，用于根據(jù)所述測試邏輯控制若干檢測模塊的執(zhí)行，并將執(zhí)行結(jié)果返回上位機(jī)；

8、若干檢測模塊，分別連接至待檢pcba的相應(yīng)端口或器件，用于模擬或檢測各類輸入輸出信號；

9、其中，所述若干pcba電路des模型與所述pcba識別模型相關(guān)聯(lián)，所述若干pcba電路des模型根據(jù)狀態(tài)轉(zhuǎn)移函數(shù)建立，所述狀態(tài)轉(zhuǎn)移函數(shù)，如公式1所示：

10、??????（1）；

11、式中，為狀態(tài)轉(zhuǎn)移函數(shù)，為pcba型號，為無故障狀態(tài)下端口和元器件的電學(xué)響應(yīng)，為故障狀態(tài)集，為故障事件集，其中，一故障狀態(tài)對應(yīng)著一故障事件。

12、作為本發(fā)明優(yōu)選的實(shí)施方式，所述若干檢測模塊包括：開關(guān)量輸出模塊、開關(guān)量輸入模塊；

13、所述開關(guān)量輸出模塊用于輸出交流、直流開關(guān)量信號，以檢測待檢pcba的交流、直流開關(guān)量輸入端口；

14、所述開關(guān)量輸入模塊用于接收交流、直流開關(guān)量信號，以檢測待檢pcba的交流、直流開關(guān)量輸出端口。

15、作為本發(fā)明優(yōu)選的實(shí)施方式，所述若干檢測模塊包括：模擬量檢測模塊、聲音檢測模塊、顯示檢測模塊、雙固件燒錄模塊；

16、所述模擬量檢測模塊用于輸出和接收模擬量信號，以檢測待檢pcba的模擬量輸入、輸出端口；

17、聲音、顯示檢測模塊用于接收聲音、顯示信號，以檢測待檢pcba的發(fā)聲、顯示器件；

18、所述雙固件燒錄模塊用于進(jìn)行固件燒錄與功能驗(yàn)證，以檢測待檢pcba的固件燒錄端口。

19、一種基于圖像和模型識別的pcba檢測方法，采用上述的pcba檢測裝置，包括以下步驟：

20、在上位機(jī)中通過仿真軟件建立若干pcba電路des模型，輸入包含待檢pcba型號的檢測指令，并發(fā)送至測試邏輯生成模塊、圖像識別模塊；

21、通過圖像識別模塊對待檢pcba進(jìn)行缺陷識別，并將圖像識別結(jié)果返回上位機(jī)；

22、通過測試邏輯生成模塊根據(jù)待檢pcba型號，自動生成相應(yīng)的測試邏輯，并發(fā)送至檢測控制器；

23、通過檢測控制器根據(jù)測試邏輯控制若干檢測模塊的執(zhí)行，并將執(zhí)行結(jié)果返回上位機(jī)；

24、通過上位機(jī)利用所述若干pcba電路des模型生成模型識別結(jié)果，并結(jié)合圖像識別結(jié)果輸出檢測結(jié)果。

25、作為本發(fā)明優(yōu)選的實(shí)施方式，在建立若干pcba電路des模型時，包括：

26、通過仿真軟件建立若干pcba電路仿真模型，并對電路進(jìn)行無故障狀態(tài)下的仿真，提取端口和元器件的第一電學(xué)響應(yīng)；

27、獲取pcba電路所包含的端口和元器件故障模式，進(jìn)行分析，確定不同故障模式下pcba電路在des模型中的參數(shù)，得到故障狀態(tài)集，并建立端口和元器件故障模型；

28、將端口和元器件故障模型注入若干pcba電路仿真模型中對應(yīng)的端口和元器件，得到若干電路故障仿真模型；

29、基于若干電路故障仿真模型進(jìn)行仿真，提取端口和元器件的第二電學(xué)響應(yīng)；

30、將第一、第二電學(xué)響應(yīng)進(jìn)行比對，得到不同故障模式下發(fā)生變化的電學(xué)響應(yīng)，并基于變化的電學(xué)響應(yīng)構(gòu)建故障事件集；

31、根據(jù)故障狀態(tài)集和故障事件集，確定des模型中pcba電路所對應(yīng)的狀態(tài)轉(zhuǎn)移函數(shù)；

32、根據(jù)狀態(tài)轉(zhuǎn)移函數(shù)建立若干pcba電路des模型；

33、其中，所述若干pcba電路des模型包含各型號pcba相對應(yīng)的無故障狀態(tài)下電學(xué)響應(yīng)、故障狀態(tài)集以及故障事件集。

34、作為本發(fā)明優(yōu)選的實(shí)施方式，在自動生成相應(yīng)的測試邏輯時，包括：

35、根據(jù)待檢pcba型號從預(yù)設(shè)的測試規(guī)范數(shù)據(jù)庫中檢索并加載相應(yīng)的測試規(guī)范；

36、從測試規(guī)范中獲取輸入輸出信號的類型、測試序列、檢測閾值生成測試邏輯，并將所述測試邏輯發(fā)送至所述檢測控制器；

37、其中，所述測試規(guī)范數(shù)據(jù)庫支持動態(tài)更新，允許根據(jù)實(shí)際需要添加、修改或刪除測試規(guī)范；所述若干pcba電路仿真模型與測試規(guī)范相關(guān)聯(lián)，并根據(jù)相應(yīng)的測試規(guī)范進(jìn)行仿真。

38、作為本發(fā)明優(yōu)選的實(shí)施方式，在對待檢pcba進(jìn)行缺陷識別時，包括：構(gòu)建pcba識別模型，并基于生成的端口定位框、元器件定位框?qū)Υ龣zpcba進(jìn)行缺陷識別；

39、其中，在生成端口、元器件定位框時，包括：

40、通過圖像識別模塊對待檢pcba進(jìn)行圖像采集，得到待檢pcba圖像，并進(jìn)行圖像預(yù)處理；

41、根據(jù)待檢pcba型號獲取pcba的先驗(yàn)條件，對mark點(diǎn)進(jìn)行定位；

42、獲取pcba端口和元器件信息文件，確定端口、元器件坐標(biāo)系與圖像像素坐標(biāo)系的相對關(guān)系；

43、將端口、元器件坐標(biāo)轉(zhuǎn)化為圖像像素坐標(biāo)，并生成端口、元器件定位框；

44、在生成端口定位框、元器件定位框時，利用關(guān)聯(lián)的相應(yīng)pcba電路des模型信息判斷端口定位框、元器件定位框的準(zhǔn)確性。

45、作為本發(fā)明優(yōu)選的實(shí)施方式，在構(gòu)建pcba識別模型時，包括：

46、提供yolov8模型和lsknet?block模塊，并在yolov8模型的backbone層的sppf模塊后添加lsknet?block模塊；

47、在yolov8模型的neck層的最后一個上采樣層與最終的檢測層之間添加lsknetblock模塊；

48、在yolov8模型的head層的三個檢測頭前的concat模塊連接處添加lsknet?block模塊；

49、作為本發(fā)明優(yōu)選的實(shí)施方式，在構(gòu)建pcba識別模型時，還包括：

50、concat模塊連接處的lsknet?block模塊，通過獲取每個目標(biāo)類別的期望選擇感受野的面積與端口、元器件定位框面積的比值，減弱對無關(guān)或冗余特征的關(guān)注，提高模型的表達(dá)能力和區(qū)分度，如公式8所示：

51、????????（8）；

52、式中，為包含目標(biāo)類別的圖像數(shù)量，為輸入圖像中所有l(wèi)sknet?block模塊輸出的空間選擇激活的總和，為所有生成的定位框的總像元面積。

53、作為本發(fā)明優(yōu)選的實(shí)施方式，在提供lsknet?block模塊時，包括：

54、通過用于動態(tài)調(diào)整空間感受野的大核選擇子塊、用于通道混合和特征細(xì)化的前饋網(wǎng)絡(luò)子塊以及norm塊構(gòu)建lsknet?block模塊；

55、其中，所述大核選擇子塊包括：依次連接的第一全連接層、第一gelu激活、lsk模塊以及第二全連接層；

56、所述前饋網(wǎng)絡(luò)子塊包括：依次連接的第三全連接層、深度卷積、第二gelu激活、第四全連接層。

57、相比現(xiàn)有技術(shù)，本發(fā)明的有益效果在于：

58、（1）本發(fā)明根據(jù)用戶輸入的包含待檢pcba型號的檢測指令，通過測試邏輯生成模塊自動生成相應(yīng)的測試邏輯，從而檢測控制器根據(jù)測試邏輯控制若干檢測模塊的執(zhí)行，并得到執(zhí)行結(jié)果，上位機(jī)則基于執(zhí)行結(jié)果通過若干pcba電路des模型快速且準(zhǔn)確的識別出待檢pcba是否存在電路故障，以及電路故障的所處位置，有效提高了檢測效率；

59、（2）本發(fā)明通過圖像識別模塊基于pcba識別模型對待檢pcba進(jìn)行外觀缺陷的識別，從而有效避免在長時間的重復(fù)性檢測中，容易出現(xiàn)漏檢、誤檢的情況，提高了檢測精度；并結(jié)合des模型生成的電路故障識別結(jié)果，最終判定待檢pcba是否為合格產(chǎn)品；

60、（3）本發(fā)明基于狀態(tài)轉(zhuǎn)移函數(shù)所構(gòu)建的pcba電路des模型，各型號pcba均有相對應(yīng)的無故障狀態(tài)下電學(xué)響應(yīng)、故障狀態(tài)集以及故障事件集，使得上位機(jī)接收到檢測控制器反饋回來的執(zhí)行結(jié)果后，能快速且準(zhǔn)確生成模型識別結(jié)果。

61、下面結(jié)合附圖和具體實(shí)施方式對本發(fā)明作進(jìn)一步詳細(xì)說明。