本公開內(nèi)容涉及用于將深度強化學(xué)習(xí)用于制造系統(tǒng)處的時間約束管理的方法和機構(gòu)。

背景技術(shù)：

1、在基板成為成品(如晶片、電子設(shè)備等)之前，基板可以依據(jù)一組操作進行處理，其中每個操作都在制造系統(tǒng)的一個工具處執(zhí)行。在某些情況下，一個或多個操作可以經(jīng)受時間約束。時間約束指的是在完成一個操作后，要完成后續(xù)操作的特定時間量。例如，可以依據(jù)第一操作和第二操作來處理基板，在第一操作中，將第一材料沉積在基板的表面上，在第二操作中，將第二材料沉積在第一材料上。第一操作和第二操作可以經(jīng)受時間約束，其中第二材料要在特定的時間量內(nèi)沉積在第一材料上，否則第一材料可能開始降解，基板不能用于生產(chǎn)成品(即變得不可用)。時間約束窗口指的是完成引起時間約束的操作(稱為啟動操作)的特定時間量，以及啟動操作完成后要完成后續(xù)操作(稱為完成操作)的時間量。在一些情況下，可以在啟動操作與完成操作之間執(zhí)行一個或多個操作。

2、在大多數(shù)情況下，當基板到達工具時，不能對基板開始操作，因為工具可能正在處理其他基板。因此，制造系統(tǒng)的操作員(例如，工業(yè)工程師、工藝工程師、系統(tǒng)工程師等)將操作排定在特定時間運行，以滿足與操作相關(guān)聯(lián)的時間約束。例如，操作員可以推遲對基板進行的操作，直到每個被設(shè)定為執(zhí)行與時間約束相關(guān)聯(lián)的操作的工具有容量(capacity)在時間約束窗口內(nèi)執(zhí)行操作。

3、在某些情況下，第一時間約束窗口的完成操作也可以是第二時間約束窗口的啟動操作。在這種情況下，制造系統(tǒng)的操作員可以排定第一時間約束窗口的啟動操作在特定的時間開始，以滿足第一時間約束窗口的第一時間約束和第二時間約束窗口的第二時間約束。在其他情況下，一個操作可以是第一時間約束窗口和第二時間約束窗口兩者的完成操作。在這種情況下，操作員可以排定第一時間約束窗口和第二時間約束窗口的啟動操作在特定的時間開始，以滿足第一時間約束窗口的第一時間約束和第二時間約束窗口的第二時間約束。

4、隨著制造系統(tǒng)變得越來越復(fù)雜，經(jīng)受時間約束的操作也越來越多。為了排定基板在啟動操作開始，操作員(例如使用計算系統(tǒng))要考慮所有可能由啟動操作引起的時間約束。為了考慮到所有可能由啟動操作引起的時間約束，操作員要考慮到可以執(zhí)行啟動操作、完成操作以及兩者之間的每個操作的每個工具的容量。在某些情況下，包括啟動操作的時間約束窗口可以對應(yīng)于相當長的時間(例如，6小時、8小時、12小時、24小時等)。操作員可能難以考慮到未來相當長一段時間內(nèi)的每個時間約束和制造系統(tǒng)的每個工具的容量。對于一些計算系統(tǒng)來說，這種考慮可以被歸類為np-hard(非確定性多項式時間困難(non-deterministic?polynomial-time?hard))問題。因此，操作員可能無法成功地排定基板在一組操作的每個啟動操作開始使得每個時間約束都得到滿足。因此，基板可能違反一組操作的時間約束，變得不可用。每一個變得不可用的基板都可能會降低整體系統(tǒng)產(chǎn)量，并導(dǎo)致整體系統(tǒng)延遲的增加。

技術(shù)實現(xiàn)思路

1、以下是本公開內(nèi)容的簡化概要，以提供對本公開內(nèi)容的一些方面的基本理解。這個概要并不是對本公開內(nèi)容的廣泛概述。它并不旨在識別本公開內(nèi)容的關(guān)鍵或重要元素，也不旨在劃定本公開內(nèi)容的特定實施方式的任何范圍或權(quán)利要求的任何范圍。它的唯一目的是以簡化的形式呈現(xiàn)本公開內(nèi)容的一些概念以作為后面呈現(xiàn)的更詳細描述的前奏。

2、在本公開內(nèi)容的一個方面中，提供了一種用于訓(xùn)練軟件代理器的方法。所述方法包括：初始化軟件代理器，以選擇一個動作在與制造系統(tǒng)相關(guān)聯(lián)的仿真環(huán)境中執(zhí)行；以及在所述仿真環(huán)境中啟動對所選的所述動作的仿真。響應(yīng)于暫停所述仿真，所述方法進一步包括：基于與所述仿真相關(guān)聯(lián)的環(huán)境狀態(tài)，獲得輸出數(shù)據(jù)；以及基于所述輸出數(shù)據(jù)，將所述軟件代理器更新為配置為產(chǎn)生一個或多個調(diào)度決策，所述一個或多個調(diào)度決策表明在所述制造系統(tǒng)中啟動對一個或多個基板的處理的時間。

3、在本公開內(nèi)容的另一個方面中，提供了一種用于制造系統(tǒng)處的時間約束管理的方法。所述方法包括：接收啟動要在制造系統(tǒng)處在候選的一組基板上運行的一組操作的請求，其中所述組操作包括一個或多個操作，每個操作具有一個或多個時間約束。所述方法進一步包括：獲得與所述制造系統(tǒng)的當前狀態(tài)有關(guān)的當前數(shù)據(jù)；以及將軟件代理器應(yīng)用于所述當前數(shù)據(jù)，以確定處理候選的所述組基板的時間。所述方法進一步包括：在所確定的所述時間在候選的所述組基板上啟動所述組操作。

4、本公開內(nèi)容的另一個方面包括一種電子設(shè)備制造系統(tǒng)，所述電子設(shè)備制造系統(tǒng)包括存儲器設(shè)備和處理設(shè)備，所述處理設(shè)備可操作地與所述存儲器設(shè)備耦合，以依據(jù)本文所述的任何方面或?qū)嵤┓绞綀?zhí)行操作。

5、本公開內(nèi)容的另一個方面包括一種包括指令的非暫時性計算機可讀取儲存媒體，所述指令當由可操作地與存儲器耦合的處理設(shè)備執(zhí)行時，依據(jù)本文所述的任何方面或?qū)嵤┓绞綀?zhí)行操作。

技術(shù)特征：

1.一種方法，包括：

2.如權(quán)利要求1所述的方法，所述方法進一步包括：

3.如權(quán)利要求1所述的方法，所述方法進一步包括：

4.如權(quán)利要求1所述的方法，其中所述代理器包括深度強化學(xué)習(xí)模型。

5.如權(quán)利要求1所述的方法，所述方法進一步包括：

6.如權(quán)利要求1所述的方法，其中所述輸出數(shù)據(jù)包括環(huán)境狀態(tài)數(shù)據(jù)和報酬數(shù)據(jù)，其中所述環(huán)境狀態(tài)數(shù)據(jù)包括制造裝備性質(zhì)、制造裝備觀察、隊列時間觀察或容量觀察中的至少一者。

7.如權(quán)利要求1所述的方法，其中所述動作包括對以下至少一項的決策：啟動對一個或多個基板的處理，不啟動對所述一個或多個基板的處理，或啟動對所述一個或多個基板的子集的處理。

8.一種電子設(shè)備制造系統(tǒng)，包括：

9.如權(quán)利要求8所述的電子設(shè)備制造系統(tǒng)，其中所述操作進一步包括：

10.如權(quán)利要求8所述的電子設(shè)備制造系統(tǒng)，其中所述操作進一步包括：

11.如權(quán)利要求8所述的電子設(shè)備制造系統(tǒng)，其中所述代理器包括深度強化學(xué)習(xí)模型。

12.如權(quán)利要求8所述的電子設(shè)備制造系統(tǒng)，其中所述操作進一步包括：

13.如權(quán)利要求8所述的電子設(shè)備制造系統(tǒng)，其中所述輸出數(shù)據(jù)包括環(huán)境狀態(tài)數(shù)據(jù)和報酬數(shù)據(jù)，其中所述環(huán)境狀態(tài)數(shù)據(jù)包括制造裝備性質(zhì)、制造裝備觀察、隊列時間觀察或容量觀察中的至少一者。

14.如權(quán)利要求8所述的電子設(shè)備制造系統(tǒng)，其中所述動作包括對以下至少一項的決策：啟動對一個或多個基板的處理，不啟動對所述一個或多個基板的處理，或啟動對所述一個或多個基板的子集的處理。

15.一種方法，包括：

16.如權(quán)利要求15所述的方法，其中訓(xùn)練所述代理器的步驟包括：

17.如權(quán)利要求15所述的方法，其中所述代理器包括深度強化學(xué)習(xí)模型。

18.如權(quán)利要求15所述的方法，其中所述輸出數(shù)據(jù)包括環(huán)境狀態(tài)數(shù)據(jù)和報酬數(shù)據(jù)。

19.如權(quán)利要求18所述的方法，其中所述環(huán)境狀態(tài)數(shù)據(jù)包括制造裝備性質(zhì)、制造裝備觀察、隊列時間觀察或容量觀察中的至少一者。

20.如權(quán)利要求15所述的方法，其中所述動作包括對以下至少一項的決策：啟動對一個或多個基板的處理，不啟動對所述一個或多個基板的處理，或啟動對所述一個或多個基板的子集的處理。

技術(shù)總結(jié)
提供了一種用于為基板制造系統(tǒng)訓(xùn)練代理器的方法。所述方法包括：初始化基板制造系統(tǒng)的預(yù)測子系統(tǒng)的代理器，以選擇一個動作在與所述基板制造系統(tǒng)相關(guān)聯(lián)的仿真環(huán)境中執(zhí)行；以及在所述仿真環(huán)境中啟動對所選的所述動作的仿真。響應(yīng)于暫停所述仿真，所述方法進一步包括：基于與所述仿真相關(guān)聯(lián)的環(huán)境狀態(tài)，獲得輸出數(shù)據(jù)；以及基于所述輸出數(shù)據(jù)，將所述代理器更新為配置為產(chǎn)生一個或多個調(diào)度決策，所述一個或多個調(diào)度決策表明在所述基板制造系統(tǒng)中啟動對一個或多個基板的處理的時間。

技術(shù)研發(fā)人員：哈利·葉迪森,普拉富拉·達瓦迪,大衛(wèi)·埃弗頓·諾曼
受保護的技術(shù)使用者：應(yīng)用材料公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19