本發(fā)明涉及圖像處理，尤其涉及一種激光芯片熱沉圖像優(yōu)化處理方法、系統(tǒng)、設(shè)備以及介質(zhì)。

背景技術(shù)：

1、在芯片制造領(lǐng)域，隨著設(shè)計的復(fù)雜性和工藝的多樣化，每個生產(chǎn)批次的芯片產(chǎn)出量受到限制，進(jìn)而造成可用于模型訓(xùn)練的樣本數(shù)據(jù)量顯著不足。直接使用這些有限的數(shù)據(jù)進(jìn)行模型訓(xùn)練，往往會導(dǎo)致模型的泛化能力受限，容易出現(xiàn)過擬合的問題。盡管小樣本學(xué)習(xí)方法能在一定程度上緩解此問題，但其效果仍然無法與基于大量數(shù)據(jù)的訓(xùn)練相媲美。這種情況下，客戶的芯片可能因模型誤判而遭受大量損失。

2、此外，芯片制造過程中的每道工序都可能引入較大的波動，這些波動會直接影響到最終芯片的質(zhì)量。例如，外部材料的不同可能導(dǎo)致芯片發(fā)光顏色的差異，或工藝上的小批量失誤可能產(chǎn)生不良品。這些質(zhì)量波動會要求在模型訓(xùn)練中提前考慮并加入相應(yīng)的缺陷樣本。

3、同時，不同型號的芯片具有各異的特性和缺陷模式，這要求針對每種型號的芯片訓(xùn)練特定的檢測模型。然而，由于每種型號芯片的樣本數(shù)量有限，直接訓(xùn)練專用模型變得不切實際，此時數(shù)據(jù)增強(qiáng)技術(shù)的重要性凸顯出來。

4、另外，檢測設(shè)備的多樣性和成像過程中的諸多因素(如光線條件、拍攝角度等)會導(dǎo)致圖像質(zhì)量的差異。這種差異使得模型在訓(xùn)練時難以覆蓋所有可能的情況，從而導(dǎo)致檢測結(jié)果的不一致性，增加漏檢和誤判的風(fēng)險，最終影響整體的產(chǎn)品良品率。

5、再者，熱沉的粗糙度不一致以及表面缺陷的識別難度，給模型訓(xùn)練帶來了極大的挑戰(zhàn)，這也是導(dǎo)致模型效果不佳的重要因素。

技術(shù)實現(xiàn)思路

1、(一)要解決的技術(shù)問題

2、鑒于現(xiàn)有技術(shù)的上述缺點(diǎn)、不足，本發(fā)明提供一種激光芯片熱沉圖像優(yōu)化處理方法、系統(tǒng)、設(shè)備以及介質(zhì)，其解決了激光芯片熱沉的粗糙程度不一致，表面缺陷難以分清，工藝過程中的復(fù)雜程度，芯片類型、缺陷種類較多帶來的識別難度的技術(shù)問題。

3、(二)技術(shù)方案

4、為了達(dá)到上述目的，本發(fā)明采用的主要技術(shù)方案包括：

5、第一方面，本發(fā)明實施例提供一種激光芯片熱沉圖像優(yōu)化處理方法，包括：

6、從待處理的熱沉圖像中識別并提取缺陷子圖；

7、重構(gòu)缺陷子圖的像素值以均衡灰度級分布，并引入頂帽變換和濾波器來優(yōu)化調(diào)整缺陷子圖，輸出優(yōu)化處理后的缺陷子圖；

8、對優(yōu)化處理后的缺陷子圖進(jìn)行至少一種圖像增強(qiáng)處理；

9、響應(yīng)于用戶的融合指令，將增強(qiáng)后的缺陷子圖與選定的背景圖像進(jìn)行融合，以實現(xiàn)單個增強(qiáng)后的缺陷子圖融合到背景圖像的多個區(qū)域或者多個增強(qiáng)后的缺陷子圖融合到背景圖像的單個區(qū)域。

10、可選地，從待處理的熱沉圖像中識別并提取缺陷子圖包括：

11、對待處理的熱沉圖像進(jìn)行包含去噪和平滑濾波的預(yù)處理；

12、通過canny算法，計算預(yù)處理之后的待處理的熱沉圖像中每個像素點(diǎn)的梯度強(qiáng)度和方向，以確定邊緣的候選點(diǎn)；

13、根據(jù)設(shè)定的高低閾值，確定包含強(qiáng)邊緣和弱邊緣的邊緣和非邊緣；其中，非邊緣是指梯度強(qiáng)度低于低閾值的邊緣像素點(diǎn)，強(qiáng)邊緣是指梯度強(qiáng)度高于高閾值的邊緣像素點(diǎn)，弱邊緣是指梯度強(qiáng)度位于低閾值和高閾值之間且八鄰域像素的邊緣像素點(diǎn)和非邊緣像素占比大于設(shè)定占比的邊緣像素點(diǎn)；

14、從強(qiáng)邊緣開始，進(jìn)行邊緣跟蹤，并將與強(qiáng)邊緣相連的弱邊緣納入邊緣輪廓中，從而形成最終的邊緣點(diǎn)集合；

15、基于最終的邊緣點(diǎn)集合，結(jié)合獲取的熱沉圖像的先驗知識，確定包含潛在缺陷的roi區(qū)域，以生成缺陷子圖。

16、可選地，重構(gòu)缺陷子圖的像素值以均衡灰度級分布包括：

17、計算缺陷子圖的灰度直方圖，通過遍歷缺陷子圖的每個像素并記錄對應(yīng)的灰度值，得到各個灰度級的像素數(shù)量；

18、分析灰度直方圖的分布特征，識別出灰度峰值區(qū)域和谷值區(qū)域；

19、根據(jù)灰度峰值區(qū)域和谷值區(qū)域和各個灰度級的像素數(shù)量，并引入一個調(diào)整項，確定映射函數(shù)；

20、采用所確定的映射函數(shù)對缺陷子圖進(jìn)行逐像素分配處理，將每個像素的灰度值映射到新的灰度值上，以重構(gòu)缺陷子圖；

21、其中，映射函數(shù)為：

22、

23、式中，sk是輸出圖像的灰度級，t是映射函數(shù)，rk是輸入圖像的灰度級，k為灰度級索引，nk為是灰度級為k的像素數(shù)量，nj為是灰度級為j的像素數(shù)量，ni為是灰度級為i的像素數(shù)量，n是圖像中的總像素數(shù)量，l是灰度級的數(shù)量。

24、可選地，并引入頂帽變換和濾波器來優(yōu)化調(diào)整缺陷子圖，輸出優(yōu)化處理后的缺陷子圖包括：

25、將重構(gòu)后的缺陷子圖劃分為若干個局部區(qū)域，對于每個局部區(qū)域，計算包含平均值、中位數(shù)以及標(biāo)準(zhǔn)差的灰度特征值；

26、利用計算得到的灰度特征值，動態(tài)確定每個局部區(qū)域?qū)?yīng)的結(jié)構(gòu)元素的尺寸；

27、根據(jù)每個局部區(qū)域?qū)?yīng)的結(jié)構(gòu)元素對對應(yīng)的局部區(qū)域進(jìn)行開運(yùn)算，從而得到背景估計圖；

28、將缺陷子圖與經(jīng)過開操作得到的背景估計圖進(jìn)行逐像素相減，得到初步處理的缺陷子圖；

29、采用gabor濾波器對初步處理的缺陷子圖進(jìn)行濾波處理以響應(yīng)圖像中的邊緣信息，輸出優(yōu)化處理后的缺陷子圖；

30、其中，gabor濾波器為：

31、

32、式中，x'＝xcosθ+ysinθ,y'＝-xsinθ+ycosθ，λ為濾波器的波長、θ為濾波器紋理的方向、ψ為濾波器的相位偏移、γ為濾波器的空間寬高比，σ為濾波器的變異率，i為虛數(shù)單位，x和y分別代表圖像中的水平和垂直位置。

33、可選地，對優(yōu)化處理后的缺陷子圖進(jìn)行至少一種圖像增強(qiáng)處理包括：

34、計算優(yōu)化處理后的缺陷子圖的均值；

35、根據(jù)均值設(shè)置相應(yīng)的gamma值，其中，當(dāng)均值大于某一預(yù)設(shè)閾值時，設(shè)置gamma值在1.0以上，當(dāng)缺陷子圖的均值小于另一預(yù)設(shè)閾值時，設(shè)置gamma值在0至1.0之間；

36、采用所設(shè)置的gamma值對缺陷子圖進(jìn)行g(shù)amma矯正，得到gamma矯正后的缺陷子圖；

37、對gamma矯正后的缺陷子圖進(jìn)行對數(shù)變換，將圖像的乘性關(guān)系轉(zhuǎn)換為加性關(guān)系，以分離亮度和反射率；

38、對對數(shù)變換后的缺陷子圖進(jìn)行快速傅里葉變換，并對高頻成分進(jìn)行增強(qiáng)；

39、對增強(qiáng)后的圖像進(jìn)行逆傅里葉變換，并進(jìn)行指數(shù)變換，得到同態(tài)濾波處理后的缺陷子圖；

40、選擇旋轉(zhuǎn)變換、縮放變換或翻轉(zhuǎn)變換中的一種或多種對同態(tài)濾波處理后的缺陷子圖進(jìn)行空間位置、形狀或方向的調(diào)整，得到圖像增強(qiáng)處理后的缺陷子圖。

41、可選地，響應(yīng)于用戶的融合指令，將增強(qiáng)后的缺陷子圖與選定的背景圖像進(jìn)行融合，以實現(xiàn)單個增強(qiáng)后的缺陷子圖融合到背景圖像的多個區(qū)域或者多個增強(qiáng)后的缺陷子圖融合到背景圖像的單個區(qū)域包括：

42、接收并解析用戶輸入的融合指令，確定待融合的缺陷子圖、選定的背景圖像、融合的區(qū)域以及融合的方式；

43、根據(jù)融合指令，從缺陷子圖中提取選定區(qū)域內(nèi)的包含缺陷的形狀、大小、顏色以及紋理的缺陷信息；

44、若融合的方式為單個缺陷子圖融合到背景圖像的多個區(qū)域，則將選定的缺陷子圖分割或復(fù)制，以確保每個待融合區(qū)域都有對應(yīng)的缺陷信息；

45、若融合的方式為多個缺陷子圖融合到單個區(qū)域，則對每個子圖進(jìn)行至少尺寸和位置的調(diào)整，以確保能夠無縫拼接在選定的背景圖像內(nèi)；

46、根據(jù)融合指令或預(yù)設(shè)規(guī)則，在選定的背景圖像上標(biāo)定出一個或多個區(qū)域作為待融合區(qū)域；

47、施加融合操作，若融合的方式為單個缺陷子圖融合到背景圖像的多個區(qū)域，則將所選缺陷子圖的不同部分分別映射到背景圖像的對應(yīng)區(qū)域；若多個缺陷子圖融合到背景圖像的單個區(qū)域，則采用預(yù)設(shè)的疊加或組合策略，將多個缺陷子圖在選定的背景圖像區(qū)域內(nèi)進(jìn)行合并；

48、若檢測到重復(fù)融合的情況，即待融合的缺陷特征圖與已融合的缺陷特征圖相似或相同，則自動提示用戶，并根據(jù)用戶的反饋進(jìn)行調(diào)整或替換；

49、將融合后的圖像輸出到指定的顯示設(shè)備或存儲介質(zhì)中。

50、可選地，采用預(yù)設(shè)的疊加或組合策略，將多個缺陷子圖在選定的背景圖像區(qū)域內(nèi)進(jìn)行合并包括：

51、將缺陷子圖的色彩空間映射到背景圖像的色彩空間；

52、通過圖像配準(zhǔn)，將多個缺陷子圖與背景圖像在空間和尺度上的對齊；

53、為每個對齊后的缺陷子圖創(chuàng)建一個獨(dú)立的可編輯屬性的圖層；

54、分析各缺陷子圖之間的包含位置關(guān)系、形狀相似性、顏色以及對比度的關(guān)聯(lián)指標(biāo)，基于預(yù)設(shè)的評估標(biāo)準(zhǔn)和關(guān)聯(lián)指標(biāo)，輸出圖層的疊加順序；

55、按照圖層的疊加順序?qū)⒍鄠€缺陷子圖以不同的圖層形式疊加到同一背景圖像區(qū)域；

56、給用戶展示實時預(yù)覽融合結(jié)果，根據(jù)用戶的反饋或預(yù)設(shè)條件實時調(diào)整各圖層的疊加順序和透明度。

57、第二方面，本發(fā)明實施例提供一種激光芯片熱沉圖像優(yōu)化處理系統(tǒng)，包括：

58、識別與提取模塊，用于從待處理的熱沉圖像中識別并提取缺陷子圖；

59、優(yōu)化處理模塊，用于重構(gòu)缺陷子圖的像素值以均衡灰度級分布，并引入頂帽變換和濾波器來優(yōu)化調(diào)整缺陷子圖，輸出優(yōu)化處理后的缺陷子圖；

60、圖像增強(qiáng)模塊，用于對優(yōu)化處理后的缺陷子圖進(jìn)行至少一種圖像增強(qiáng)處理；

61、圖像融合模塊，用于響應(yīng)于用戶的融合指令，將增強(qiáng)后的缺陷子圖與選定的背景圖像進(jìn)行融合，以實現(xiàn)單個增強(qiáng)后的缺陷子圖融合到背景圖像的多個區(qū)域或者多個增強(qiáng)后的缺陷子圖融合到背景圖像的單個區(qū)域。

62、第三方面，本發(fā)明實施例提供一種激光芯片熱沉圖像優(yōu)化處理設(shè)備，包括：至少一個數(shù)據(jù)庫；以及與至少一個數(shù)據(jù)庫通信連接的存儲器；其中，存儲器存儲有可被至少一個數(shù)據(jù)庫執(zhí)行的指令，指令被至少一個數(shù)據(jù)庫執(zhí)行，以使至少一個數(shù)據(jù)庫能夠執(zhí)行如上所述的激光芯片熱沉圖像優(yōu)化處理方法。

63、第四方面，本發(fā)明實施例提供一種計算機(jī)可讀介質(zhì)，其上存儲有計算機(jī)可執(zhí)行指令，可執(zhí)行指令被處理器執(zhí)行時實現(xiàn)如上所述的激光芯片熱沉圖像優(yōu)化處理方法。

64、(三)有益效果

65、本發(fā)明的有益效果是：

66、首先，本發(fā)明通過精準(zhǔn)識別并提取待處理熱沉圖像中的缺陷子圖，為后續(xù)的圖像分析和缺陷定位提供了堅實基礎(chǔ)。這一步驟的有效性得益于算法對邊緣特征的完善捕捉和對閉合輪廓的準(zhǔn)確檢測，從而確保了提取出的缺陷子圖具有高度的代表性和真實性。

67、進(jìn)一步地，本發(fā)明采用重構(gòu)缺陷子圖像素值的方式，均衡了灰度級分布。這一處理不僅增強(qiáng)了圖像的整體對比度，還顯著提升了細(xì)節(jié)表達(dá)能力。特別是對于那些原本在圖像中較為暗淡或被遮蔽的區(qū)域，通過這一處理，其特征得到了有效突出，為后續(xù)的分析和判斷提供了更為豐富的信息。

68、值得一提的是，本發(fā)明還創(chuàng)新性地引入了頂帽變換和濾波器，對缺陷子圖的亮暗區(qū)域分布、對比度以及明亮度進(jìn)行了精細(xì)化調(diào)整。這種優(yōu)化處理不僅進(jìn)一步改善了圖像的視覺效果，還使得缺陷特征更加清晰可辨。這對于后續(xù)的質(zhì)量評估、缺陷分類以及工藝改進(jìn)等環(huán)節(jié)具有重要意義。

69、此外，本發(fā)明還提供了圖像增強(qiáng)處理選項，對已經(jīng)優(yōu)化處理后的缺陷子圖進(jìn)行進(jìn)一步的強(qiáng)化。這種增強(qiáng)處理可以根據(jù)實際需求進(jìn)行靈活選擇，從而確保輸出的圖像能夠滿足不同應(yīng)用場景下的具體要求。

70、最后，響應(yīng)于用戶的融合指令，本發(fā)明能夠?qū)⒃鰪?qiáng)后的缺陷子圖與選定的背景圖像進(jìn)行高效融合。這種融合方式既支持單個增強(qiáng)后的缺陷子圖融合到背景圖像的多個區(qū)域，也支持多個增強(qiáng)后的缺陷子圖融合到背景圖像的單個區(qū)域。這種靈活性不僅提升了圖像處理的效率和便捷性，還為用戶提供了更為多樣化的展示和分析選項。

71、由此，本發(fā)明通過精準(zhǔn)識別、優(yōu)化調(diào)整、增強(qiáng)處理以及靈活融合等一系列創(chuàng)新步驟，顯著提升了激光芯片熱沉圖像的處理效果，為激光芯片行業(yè)的缺陷檢測、質(zhì)量控制以及工藝改進(jìn)等關(guān)鍵環(huán)節(jié)提供了強(qiáng)有力的技術(shù)支持。