本申請一般涉及掃描電子顯微鏡。更具體地，本申請涉及一種用于掃描電子顯微鏡中碰撞監(jiān)測的方法、設備和計算機可讀存儲介質(zhì)。

背景技術(shù)：

1、掃描電子顯微鏡設備結(jié)構(gòu)非常復雜，其零部件眾多且昂貴，若因誤操作導致掃描電子顯微鏡中的樣品臺和極靴碰撞使得零部件損壞，會造成嚴重的損經(jīng)濟失。由此，監(jiān)控掃描電子顯微鏡的樣品倉內(nèi)樣品臺到極靴的實時高度，并在兩者距離較近時進行適當?shù)念A警，在掃描電子顯微鏡中有較大的實用價值。

2、目前，對于掃描電子顯微鏡中的碰撞監(jiān)測方式通常是利用圖像處理進行目標識別與跟蹤來實現(xiàn)。例如，采用圖像處理中的幀差法進行監(jiān)測。前述幀差法是利用相鄰幾幀連續(xù)圖像中像素值的變化，以捕捉圖像中的運動物體。然而，幀差法只適用于除了運動物體外沒有其余干擾的場景，而掃描電子顯微鏡的樣品倉中，由于機械零件加工精度較高，零件表面粗糙度較低，使得運動的樣品臺在其余的零件表面會發(fā)生反射。這會對幀差法的結(jié)果造成干擾，造成運動物體的誤判，從而進一步影響碰撞監(jiān)測的精度。

3、有鑒于此，亟需提供一種用于掃描電子顯微鏡中碰撞監(jiān)測的方案，以便確定準確的運動目標，提高碰撞檢測的精度。

技術(shù)實現(xiàn)思路

1、為了至少解決如上所提到的一個或多個技術(shù)問題，本申請在多個方面中提出了用于掃描電子顯微鏡中碰撞監(jiān)測的方案。

2、在第一方面中，本申請?zhí)峁┮环N用于掃描電子顯微鏡中碰撞監(jiān)測的方法，包括：采集掃描電子顯微鏡的樣品倉內(nèi)未放置樣品臺對應的參考幀圖像和放置樣品臺對應的圖像數(shù)據(jù)流；對所述參考幀圖像和所述圖像數(shù)據(jù)流中的初始幀圖像進行幀間差分，以提取放置樣品臺的初始掩碼；基于所述初始掩碼和所述圖像數(shù)據(jù)流中的歷史幀圖像信息，使用碰撞監(jiān)測模型提取當前幀中放置樣品臺的目標掩碼；以及根據(jù)所述目標掩碼和所述目標極靴之間的距離進行掃描電子顯微鏡中的碰撞監(jiān)測。

3、在一些實施例中，其中在對所述參考幀圖像和所述圖像數(shù)據(jù)流中的初始幀圖像進行幀間差分之前，還包括：對所述參考幀圖像和所述圖像數(shù)據(jù)流中的初始幀圖像進行降噪操作和/或標準化操作。

4、在另一些實施例中，其中對所述參考幀圖像和所述圖像數(shù)據(jù)流中的初始幀圖像進行幀間差分，以提取放置樣品臺的初始掩碼包括：對所述參考幀圖像和所述圖像數(shù)據(jù)流中的初始幀圖像進行幀間差分，以確定運動像素掩碼；基于所述運動像素掩碼確定目標連通域；以及根據(jù)所述目標連通域的輪廓計算外輪廓點的凸包，并填充所述凸包來提取放置樣品臺的所述初始掩碼。

5、在又一些實施例中，其中基于所述運動像素掩碼確定目標連通域包括：獲取所述運動像素掩碼中的初始連通域；計算各所述初始連通域的輪廓面積；以及將輪廓面積大于第一預設閾值的初始連通域確定為所述目標連通域。

6、在又一些實施例中，其中所述碰撞監(jiān)測模型包括編碼器、融合模塊和解碼器，并且基于所述初始掩碼和所述圖像數(shù)據(jù)流中的歷史幀圖像信息，使用碰撞監(jiān)測模型提取當前幀中放置樣品臺的目標掩碼包括:以所述初始掩碼作為提示信息，使用所述編碼器提取當前幀圖像的掩碼特征；使用所述融合模塊將所述掩碼特征和所述歷史幀圖像信息進行融合，獲得融合結(jié)果；以及基于所述融合結(jié)果，使用所述解碼器進行解碼操作，以提取當前幀中放置樣品臺的所述目標掩碼。

7、在又一些實施例中，其中還包括：對所述初始掩碼和所述當前幀圖像進行圖像縮放操作和/或歸一化操作。

8、在又一些實施例中，其中還包括：判斷所述歷史幀圖像信息的數(shù)量是否超出預設數(shù)量；以及響應于所述歷史幀圖像信息的數(shù)量超出預設數(shù)量，從所述歷史幀圖像信息中刪除目標歷史幀圖像信息。

9、在又一些實施例中，其中還包括：響應于所述目標掩碼中包含不同連通域，刪除輪廓面積小于第二預設閾值的連通域；以及對剩余連通域進行外輪廓點的凸包填充，獲得最終目標掩碼。

10、在又一些實施例中，其中根據(jù)所述目標掩碼和所述目標極靴之間的距離進行掃描電子顯微鏡中的碰撞監(jiān)測包括：獲取所述目標掩碼中目標運動像素的最小縱坐標和所述目標極靴的目標縱坐標；以及響應于所述最小縱坐標和所述目標縱坐標之間的距離大于距離閾值，判定所述掃描電子顯微鏡中存在碰撞風險。

11、在第二方面中，本申請?zhí)峁┮环N用于掃描電子顯微鏡中碰撞監(jiān)測的設備，包括：處理器；以及存儲器，其中存儲有用于掃描電子顯微鏡中碰撞監(jiān)測的程序指令，當所述程序指令由所述處理器執(zhí)行時，使得所述設備實現(xiàn)前述第一方面中的一個或者多個實施例。

12、在第三方面中，本申請?zhí)峁┮环N計算機可讀存儲介質(zhì)，其上存儲有用于掃描電子顯微鏡中碰撞監(jiān)測的計算機可讀指令，該計算機可讀指令被一個或多個處理器執(zhí)行時，實現(xiàn)前述第一方面中的一個或者多個實施例。

13、通過如上所提供的用于掃描電子顯微鏡中碰撞監(jiān)測的方案，本申請實施例首先通過未放置樣品臺對應的參考幀圖像和放置樣品臺對應的圖像數(shù)據(jù)流中的初始幀圖像進行幀間差分，以提取初始掩碼。接著，基于初始掩碼和歷史幀圖像信息，使用碰撞監(jiān)測模型提取目標掩碼。即，本申請實施例在基于幀間差分獲得的初始掩碼上，通過結(jié)合歷史幀圖像信息，并利用深度學習（或機器學習）對圖像數(shù)據(jù)流中識別到的運動物體進行跟蹤，能夠有效降低幀差法跟蹤結(jié)果的離散性，有效跟蹤因相機視角變換導致的跟蹤物形體變化，從而較好地適配掃描電子顯微鏡中樣品臺的識別，同時抑制幀間差分無法避免的“鏡面效應”。由此，可以獲得準確的目標掩碼，進而通過目標掩碼與目標極靴之間的距離實現(xiàn)碰撞的精確監(jiān)測。

技術(shù)特征：

1.一種用于掃描電子顯微鏡中碰撞監(jiān)測的方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，其中在對所述參考幀圖像和所述圖像數(shù)據(jù)流中的初始幀圖像進行幀間差分之前，還包括：

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，其中基于所述運動像素掩碼確定目標連通域包括：

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，其中根據(jù)所述目標掩碼和所述目標極靴之間的距離進行掃描電子顯微鏡中的碰撞監(jiān)測包括：

8.一種用于掃描電子顯微鏡中碰撞監(jiān)測的設備，其特征在于，包括：

9.一種計算機可讀存儲介質(zhì)，其特征在于，其上存儲有用于掃描電子顯微鏡中碰撞監(jiān)測的計算機可讀指令，該計算機可讀指令被一個或多個處理器執(zhí)行時，實現(xiàn)如權(quán)利要求1-7任意一項所述的方法。

技術(shù)總結(jié)
本申請涉及掃描電子顯微鏡技術(shù)領域，公開了一種用于掃描電子顯微鏡中碰撞監(jiān)測的方法、設備和存儲介質(zhì)。所述方法包括：采集掃描電子顯微鏡的樣品倉內(nèi)未放置樣品臺對應的參考幀圖像和放置樣品臺對應的圖像數(shù)據(jù)流；對所述參考幀圖像和所述圖像數(shù)據(jù)流中的初始幀圖像進行幀間差分，以提取放置樣品臺的初始掩碼；基于所述初始掩碼和所述圖像數(shù)據(jù)流中的歷史幀圖像信息，使用碰撞監(jiān)測模型提取當前幀中放置樣品臺的目標掩碼；以及根據(jù)所述目標掩碼和所述目標極靴之間的距離進行掃描電子顯微鏡中的碰撞監(jiān)測。利用本申請的方案，可以確定準確的運動目標，提高碰撞檢測的精度。

技術(shù)研發(fā)人員：金憲偉,許濤,焦揚
受保護的技術(shù)使用者：惠然科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19