本發(fā)明涉及深度神經(jīng)網(wǎng)絡(luò)，具體涉及基于混合卷積操作的生成對抗網(wǎng)絡(luò)架構(gòu)搜索方法和系統(tǒng)。

背景技術(shù)：

1、生成對抗網(wǎng)絡(luò)是一種深度學(xué)習(xí)模型，其由一個生成器和一個判別器組成，通過對抗過程自動學(xué)習(xí)數(shù)據(jù)的復(fù)雜特征，不僅提高了生成數(shù)據(jù)的質(zhì)量，還為各類應(yīng)用提供了新的思路和工具，在計算機視覺、圖像生成、數(shù)據(jù)增強、風(fēng)格遷移和語音合成等領(lǐng)域取得了顯著的成果。傳統(tǒng)的生成對抗網(wǎng)絡(luò)架構(gòu)由科研工作者們手工設(shè)計，需要進行不斷地試錯與調(diào)整，這不僅需要研究人員具有豐富的專家經(jīng)驗，還需要耗費大量的人力成本。而神經(jīng)架構(gòu)搜索技術(shù)的出現(xiàn)，為生成對抗網(wǎng)絡(luò)架構(gòu)設(shè)計帶來了革命性的改變。

2、神經(jīng)架構(gòu)搜索是一種自動化設(shè)計神經(jīng)網(wǎng)絡(luò)架構(gòu)的方法，該技術(shù)利用搜索算法在預(yù)定義的搜索空間內(nèi)自動發(fā)現(xiàn)高性能的神經(jīng)網(wǎng)絡(luò)架構(gòu)。通過神經(jīng)架構(gòu)搜索，可以大幅減少人力成本和時間投入，使得即使非專家也能設(shè)計出高效的生成對抗網(wǎng)絡(luò)架構(gòu)。神經(jīng)架構(gòu)搜索不僅提高了生成對抗網(wǎng)絡(luò)架構(gòu)的設(shè)計效率，還能夠發(fā)現(xiàn)傳統(tǒng)方法難以探索到的創(chuàng)新架構(gòu)，進一步提升生成數(shù)據(jù)的質(zhì)量和模型的性能。但是，傳統(tǒng)的神經(jīng)架構(gòu)搜索方法在生成對抗網(wǎng)絡(luò)架構(gòu)搜索中雖能取得良好的效果，但也存在著一些問題，例如搜索效率低下，計算資源消耗巨大。

3、為了進一步提升神經(jīng)架構(gòu)搜索在生成對抗網(wǎng)絡(luò)架構(gòu)設(shè)計方面的應(yīng)用，近年來出現(xiàn)了許多新的改進方法，如將演化計算引入神經(jīng)架構(gòu)搜索之中。演化計算模擬生物進化過程，通過選擇、交叉和變異等操作，逐步優(yōu)化網(wǎng)絡(luò)架構(gòu)。通過將演化計算與神經(jīng)架構(gòu)搜索結(jié)合，可以在更廣泛的搜索空間中高效地發(fā)現(xiàn)性能優(yōu)越的生成對抗網(wǎng)絡(luò)架構(gòu)。但是，這種方法仍然具有一些不足之處，如在高維度搜索空間中的效率較低，容易陷入局部最優(yōu)解，難以保證找到全局最優(yōu)架構(gòu)，并且其搜索空間往往由純粹的卷積操作組成，缺乏對更廣闊搜索空間的探索，沒能充分釋放模型的長距離信息捕捉能力。因此，提出一種引入混合卷積操作的可微分架構(gòu)搜索方法是十分必要的。這樣可以提高架構(gòu)的搜索效率并增強長距離信息捕捉能力。

技術(shù)實現(xiàn)思路

1、發(fā)明目的：本發(fā)明所要解決的技術(shù)問題是針對現(xiàn)有技術(shù)的不足，提供基于混合卷積操作的生成對抗網(wǎng)絡(luò)架構(gòu)搜索方法和系統(tǒng)。

2、其中所述方法包括以下步驟：

3、步驟1，設(shè)計生成對抗網(wǎng)絡(luò)架構(gòu)搜索的搜索空間，定義候選操作，所述候選操作包括普通候選操作和上采樣候選操作兩種類型，確定架構(gòu)搜索的范圍；

4、步驟2，根據(jù)步驟1中設(shè)計的搜索空間構(gòu)建一個包含所有候選架構(gòu)的生成對抗網(wǎng)絡(luò)超網(wǎng)，并使用0到1范圍內(nèi)的連續(xù)數(shù)值隨機為每個候選操作賦予一個架構(gòu)參數(shù)，來表示每個候選操作被選中的概率；

5、步驟3，在超網(wǎng)的普通候選操作所在邊中加入部分通道注意力機制，以計算不同通道的注意力權(quán)重；

6、步驟4，根據(jù)每個候選操作的特征圖輸出和計算得到的通道注意力權(quán)重，加權(quán)調(diào)整特征圖中的重要通道和特征，使得不同操作的輸出更加突出重要特征，從而動態(tài)地調(diào)整和優(yōu)化候選操作的架構(gòu)參數(shù)；

7、步驟5，使用梯度下降方法訓(xùn)練生成對抗網(wǎng)絡(luò)超網(wǎng)，根據(jù)梯度信息優(yōu)化超網(wǎng)架構(gòu)參數(shù)與權(quán)重參數(shù)；

8、步驟6，交替執(zhí)行步驟4和步驟5，直至達到預(yù)先設(shè)置的最大循環(huán)次數(shù)，選擇超網(wǎng)每條邊中架構(gòu)參數(shù)權(quán)重最大的候選操作，得到最優(yōu)網(wǎng)絡(luò)架構(gòu)。

9、步驟1中，所述搜索空間包括n個相互連接與跳連接的單元，每個單元被看作一個由m個節(jié)點組成的有向無環(huán)圖，單元內(nèi)包含d個上采樣候選操作節(jié)點和e個普通候選操作節(jié)點，其中，n、m、d、e均為自然數(shù)；

10、在普通候選操作中加入了混合卷積操作；所述混合卷積操作同時結(jié)合了卷積操作與自注意力操作，使輸入特征圖通過三個共享的1×1卷積進行投影，從而生成三份中間特征圖，再將投影后的特征圖分別用于卷積路徑和自注意力路徑；在自注意力路徑中，每份中間特征圖被分為h組，每組包含來自每個1×1卷積的三個特征圖，分別作為查詢、鍵和值，進行多頭注意力計算；在卷積核大小為k的卷積路徑中，通過輕量級的全連接層生成k2個特征圖，并通過平移和聚合操作處理輸入特征圖，類似于傳統(tǒng)卷積操作；最終，來自卷積路徑和自注意力路徑的輸出按權(quán)重加和，得到最終輸出：

11、，

12、其中??與??表示混合卷積操作權(quán)重。

13、步驟2中，所述生成對抗網(wǎng)絡(luò)超網(wǎng)共有條邊，其中條為跳連接的邊，條為上采樣候選操作所在邊，條為普通候選操作所在邊；跳連接與上采樣候選操作具有t個操作選擇，普通候選操作具有y個操作選擇；

14、所述超網(wǎng)包括s個子網(wǎng)，其中s為自然數(shù)，，子網(wǎng)表示所有連接邊上僅有一個操作的網(wǎng)絡(luò)；

15、超網(wǎng)初始化時，將會對每條邊上的候選操作的架構(gòu)參數(shù)采用隨機分布賦值，數(shù)值大小表示候選操作被選中的概率，比如使用隨機分布為0到1范圍內(nèi)的連續(xù)數(shù)據(jù)為每條連接變賦予權(quán)重，這種隨機初始化可以打破網(wǎng)絡(luò)的對稱性，使得每個節(jié)點在訓(xùn)練初期就能以不同的方式學(xué)習(xí)輸入數(shù)據(jù)的特征，有助于避免網(wǎng)絡(luò)陷入局部最優(yōu)解。

16、超網(wǎng)是搜索空間中所有候選架構(gòu)的總稱，子網(wǎng)表示在給定搜索空間中選擇的特定架構(gòu)，每個子網(wǎng)都是超網(wǎng)的一部分。傳統(tǒng)上，輸入信息通常通過單一操作（如卷積）處理以生成新的特征圖。然而，在超網(wǎng)中，輸入信息會經(jīng)過多種操作的處理，例如動態(tài)可分離卷積、空洞卷積和跳躍連接等。這些操作各自生成的特征圖通過元素逐位相加的方式融合，最終得到新的混合特征圖。在訓(xùn)練過程中，通過學(xué)習(xí)和優(yōu)化，超網(wǎng)能夠自動選擇和調(diào)整這些候選操作的權(quán)重，從而最終確定最優(yōu)的操作組合和網(wǎng)絡(luò)結(jié)構(gòu)。

17、在本發(fā)明中，超網(wǎng)的上采樣與跳連接邊上具有t種候選操作，包含最近鄰插值上采樣、雙線性插值上采樣等，普通候選操作中具有y種候選操作，包含1×1卷積，1×1混合卷積，3×3卷積，3×3可分離卷積，3×3混合卷積，5×5混合卷積等。

18、本發(fā)明所描述的超網(wǎng)是一種包含了多個子網(wǎng)的網(wǎng)絡(luò)結(jié)構(gòu)，但是這種網(wǎng)絡(luò)本身是離散且不連續(xù)的，這直接阻礙了使用基于梯度的優(yōu)化方法進行搜索。為了克服這一難題，本發(fā)明采用了一種連續(xù)松弛的策略，將原本離散的候選操作轉(zhuǎn)換為連續(xù)可導(dǎo)的表示形式，以便能夠利用梯度下降等優(yōu)化算法進行搜索。

19、具體的連續(xù)松弛操作如下：對于生成器超網(wǎng)中的每一個節(jié)點對(i,?j)，將定義的所有候選操作統(tǒng)一表示為集合on，n的取值范圍由候選操作的數(shù)量決定，并引入了一組與on對應(yīng)的架構(gòu)參數(shù)，o代表候選操作集合中的某個操作，。其中架構(gòu)參數(shù)的大小，表示從節(jié)點i到節(jié)點j的連接中，選擇操作o的相對可能性，值越大，表示該操作在該連接中被選擇的概率越高。具體地，將所述架構(gòu)參數(shù)被初始化為可訓(xùn)練的連續(xù)變量，通過應(yīng)用softmax函數(shù)，將所述架構(gòu)參數(shù)轉(zhuǎn)換為概率分布，其中每個候選操作被選擇的概率與候選操作對應(yīng)的架構(gòu)參數(shù)值成正比。具體地，對于節(jié)點i到節(jié)點j的輸出，計算公式為：

20、，

21、其中，表示將架構(gòu)參數(shù)通過softmax函數(shù)轉(zhuǎn)換為概率分布，而表示應(yīng)用操作o于輸入的結(jié)果，為臨時參數(shù)，表示某個具體操作的索引，exp為指數(shù)函數(shù)，，e表示自然常數(shù)。表示在節(jié)點i到節(jié)點j的連接中，選擇具體操作的相對可能性。

22、通過這樣的操作，原本離散的候選操作選擇問題就被轉(zhuǎn)化為了一個連續(xù)的優(yōu)化問題，接著就可以通過優(yōu)化架構(gòu)參數(shù)來搜索最優(yōu)的生成對抗網(wǎng)絡(luò)架構(gòu)。通過迭代地更新架構(gòu)參數(shù)并計算損失函數(shù)的梯度，可以逐步調(diào)整每個操作的權(quán)重，使得整個生成器超網(wǎng)在訓(xùn)練集上的性能達到最優(yōu)。最終，根據(jù)架構(gòu)參數(shù)的值選擇每個節(jié)點對之間的最優(yōu)操作，可以得到搜索得到的最優(yōu)架構(gòu)。

23、步驟3中，將部分通道注意力機制加入到每個普通卷積操作節(jié)點之后，在提升搜索效率的同時減少計算資源消耗，具體包括：在計算特征圖時，首先使輸入特征圖分別通過一個平均池化層與一個最大池化層，得到兩份不同的特征圖并實現(xiàn)通道數(shù)的壓縮與重要特征的提?。蝗缓髮⒌玫降奶卣鲌D通過兩個全連接層fc1與fc2來進一步對池化后的特征進行線性變化，其中第一全連接層fc1將通道數(shù)減少至原通道數(shù)的，并通過?relu?激活函數(shù)引入非線性，再通過第二全連接層fc2?將通道數(shù)恢復(fù)到原大??；最后將來自平均池化和最大池化的輸出相加，并對獲得的輸出進行歸一化，使得所有通道的權(quán)重和為?1，得到不同通道的注意力權(quán)重。

24、步驟4中，首先對部分通道注意力機制中每個通道的注意力權(quán)重求和，得到一個表示每個通道權(quán)重的總向量，所述總向量的每個元素表示對應(yīng)通道的重要性；然后從所述總向量中選擇權(quán)重排在前的通道參與加權(quán)操作計算，其中q表示部分通道注意力機制選取的比例系數(shù)，最后再將加權(quán)操作計算過的通道與原特征圖中對應(yīng)的位置進行更新，形成新的輸出特征圖，設(shè)定輸入特征圖為x，部分通道注意力機制的注意力權(quán)重為a，表示第i個通道的具體權(quán)重大小，通道數(shù)為c，每個候選操作的架構(gòu)參數(shù)權(quán)重為w，表示第j個操作的架構(gòu)參數(shù)權(quán)重，操作列表為o，表示第j個操作，為部分通道注意力機制的計算，topq()為通道選擇操作，、、、均為中間變量，則步驟4具體包括如下步驟：

25、步驟4.1，計算部分通道注意力機制的注意力權(quán)重：

26、；

27、步驟4.2，加權(quán)輸入特征圖：

28、；

29、步驟4.3，計算總權(quán)重向量：

30、；

31、步驟4.4，根據(jù)每個通道的權(quán)重大小選擇位于前的通道，因通道數(shù)為c，所以通道選擇內(nèi)的參數(shù)為：

32、；

33、步驟4.5，提取重要通道數(shù)據(jù)，indices參數(shù)指定要提取的通道索引：

34、；

35、其中第一個符號?表示選擇所有樣本，符號表示在數(shù)據(jù)提取時保留indices指定通道中的所有特征，以確保完整的特征信息；

36、步驟4.6，對重要通道進行加權(quán)操作：

37、；

38、步驟4.7，將計算得到的重要通道與原本通道進行拼接，indices參數(shù)指定要更新的通道索引：

39、，

40、其中第一個符號表示選擇所有樣本，符號表示在數(shù)據(jù)更新時保留由indices指定的前通道中的所有特征，以保證更新后的通道完整無缺。

41、通過上述步驟，部分通道注意力機制有效減少了計算資源的消耗，增強模型對關(guān)鍵信息的響應(yīng)。

42、步驟5包括：

43、步驟5.1，初始化訓(xùn)練參數(shù)，所述訓(xùn)練參數(shù)包括生成器與鑒別器的學(xué)習(xí)率與網(wǎng)絡(luò)參數(shù)權(quán)重、優(yōu)化器參數(shù)、混合卷積操作權(quán)重和固定噪聲向量；

44、步驟5.2，對生成器和鑒別器展開對抗性訓(xùn)練，并根據(jù)生成器生成的圖像和真實圖像，通過鑒別器計算損失；

45、步驟5.3，使用鑒別器與生成器損失進行反向傳播，更新鑒別器與生成器權(quán)重，優(yōu)化候選操作的架構(gòu)參數(shù)；

46、步驟5.4，根據(jù)訓(xùn)練過程中生成的圖像和鑒別器的反饋，調(diào)整混合卷積操作的權(quán)重。

47、步驟5.1包括：

48、步驟5.1.1，設(shè)置生成器和鑒別器的學(xué)習(xí)率，分別為和，并根據(jù)預(yù)設(shè)的參數(shù)創(chuàng)建優(yōu)化器，確保在優(yōu)化過程中能夠調(diào)整網(wǎng)絡(luò)參數(shù)。

49、步驟5.1.2，初始化混合卷積操作的權(quán)重α與β為0.5，作為控制混合卷積各路徑輸出的重要性權(quán)重，以實現(xiàn)對網(wǎng)絡(luò)特征提取的靈活調(diào)整。

50、步驟5.1.3，生成固定噪聲向量fixedz，用于在訓(xùn)練過程中評估生成器的性能，確保每個訓(xùn)練迭代中的評估結(jié)果具有一致性。

51、步驟5.2包括：

52、步驟5.2.1，生成器從噪聲分布中隨機采樣一個噪聲向量z，這一過程通常采用均勻分布或正態(tài)分布，以確保生成器能夠探索多樣化的潛在空間。并通過生成器來生成假圖像?，以便后續(xù)與真實圖像進行比較和辨別。生成對抗網(wǎng)絡(luò)由生成器和鑒別器組成，生成器是用來生成圖像的，是生成對抗網(wǎng)絡(luò)的一個組件；

53、步驟5.2.2，鑒別器接收真實圖像x和假圖像，并通過前向傳播計算輸出和，和分別表示對真實圖像的判別結(jié)果和對假圖像的判別結(jié)果，其取值均為[0,1]，數(shù)值越高，表示鑒別器認為輸入內(nèi)容為真的可能性越高。鑒別器的目標(biāo)是盡可能地識別出真實圖像和假圖像，其希望把真實圖像判為真實，即提高的值接近1，同時把假圖像判為虛假，即減小的值接近0。而生成器的目標(biāo)則是盡可能地讓自己生成的假圖像能夠欺騙鑒別器，即提高的值接近1。通過這種方式，生成器和鑒別器在這兩個沖突的目標(biāo)下展開對抗性訓(xùn)練。

54、步驟5.2.3，進行鑒別器損失函數(shù)計算，其中鑒別器的損失函數(shù)使用對數(shù)損失函數(shù)，公式為：

55、，

56、損失函數(shù)取值范圍為[0,+∞)，其中e表示期望，表示真實圖像x服從真實數(shù)據(jù)分布，表示隨機噪聲z服從噪聲分布；鑒別器的目標(biāo)是最小化損失函數(shù)的值，即最大化對真實數(shù)據(jù)的識別率和對生成數(shù)據(jù)的拒絕率；

57、步驟5.2.4，進行生成器損失函數(shù)計算，其中生成器的損失函數(shù)使用對數(shù)損失函數(shù)，公式為：

58、，

59、該損失函數(shù)取值范圍為[0,+∞)，生成器的目標(biāo)是最小化損失函數(shù)的值，使得盡可能接近于1，即最大化生成圖像被鑒別器認為是真實圖像的概率。

60、步驟5.3包括：

61、步驟5.3.1，固定生成器的網(wǎng)絡(luò)參數(shù)權(quán)重，保持生成器不變，根據(jù)鑒別器的損失函數(shù)，使用反向傳播方法計算梯度，并通過梯度下降方法根據(jù)鑒別器學(xué)習(xí)率更新鑒別器的權(quán)重參數(shù)，計算公式為：

62、，

63、然后完成一次權(quán)重更新，并根據(jù)鑒別器更新頻率的設(shè)置，重復(fù)以上操作次；

64、步驟5.3.2，固定鑒別器的網(wǎng)絡(luò)參數(shù)權(quán)重，保持鑒別器不變，根據(jù)生成器的損失函數(shù)使用反向傳播方法計算梯度，并使用梯度下降方法根據(jù)生成器學(xué)習(xí)率更新生成器的權(quán)重，計算公式為：

65、，

66、然后完成一次權(quán)重更新；

67、步驟5.3.3，優(yōu)化候選操作架構(gòu)參數(shù)權(quán)重w，每個候選操作的輸出output的計算公式為：

68、output，

69、其中x為輸入特征圖，tol為候選操作總數(shù)，為第i個操作的架構(gòu)參數(shù)權(quán)重，為第i個操作的輸出；

70、使用鏈式法則計算損失函數(shù)l對每個候選操作權(quán)重的梯度，使用梯度下降法更新候選操作架構(gòu)參數(shù)權(quán)重：

71、，

72、最終完成候選操作架構(gòu)參數(shù)的優(yōu)化；

73、步驟5.3.4，根據(jù)優(yōu)化器設(shè)置，使用自適應(yīng)矩估計算法對鑒別器和生成器的學(xué)習(xí)率進行動態(tài)調(diào)整：

74、通過計算一階矩和二階矩的移動平均來更新參數(shù)，更新公式為：

75、，

76、其中代表當(dāng)前的時間步需要更新的權(quán)重參數(shù)，如上文中的，下標(biāo)中的t表示當(dāng)前的時間步或迭代次數(shù)，lr是包括的預(yù)設(shè)學(xué)習(xí)率，是當(dāng)前梯度的指數(shù)加權(quán)移動平均，是當(dāng)前梯度平方的指數(shù)加權(quán)移動平均，是為了防止除零錯誤的微小常數(shù)。通過這種方式，確保了在保持各自學(xué)習(xí)率的基礎(chǔ)上，動態(tài)優(yōu)化權(quán)重更新的步長，間接地調(diào)整了學(xué)習(xí)率，從而提高生成器與鑒別器的訓(xùn)練效果和收斂速度；

77、步驟5.3.5，?監(jiān)控和記錄訓(xùn)練過程中的感知相似度指數(shù)is（inception?score）與弗雷歇距離fid（frechet?inception?distance），is于fid為評估生成對抗網(wǎng)絡(luò)的常用性能指標(biāo)，其中，is用于評估生成圖像的多樣性和類間分離度，衡量生成圖像的質(zhì)量和多樣性，fid衡量生成圖像與真實圖像在特征空間的相似度。

78、步驟6中，采用梯度下降方式不斷優(yōu)化與調(diào)整網(wǎng)絡(luò)權(quán)重參數(shù)和架構(gòu)參數(shù)，使超網(wǎng)逐漸逼近最優(yōu)性能；最終，根據(jù)架構(gòu)參數(shù)權(quán)重的分布情況，選擇權(quán)重最大的候選操作，構(gòu)建出最優(yōu)網(wǎng)絡(luò)架構(gòu)。

79、在每次迭代時，基于每個候選操作的特征圖輸出和相應(yīng)的注意力權(quán)重，動態(tài)調(diào)整不同操作的重要性，以確保生成對抗網(wǎng)絡(luò)超網(wǎng)的訓(xùn)練過程更加高效。同時，選擇超網(wǎng)每條邊中權(quán)重最大的候選操作，以形成最優(yōu)網(wǎng)絡(luò)架構(gòu)。這一過程確保了在優(yōu)化架構(gòu)的同時，充分利用了部分注意力機制來提升模型的表達能力和生成效果，從而在計算復(fù)雜度更低的同時達到更好的性能。

80、本發(fā)明還提供了基于混合卷積操作的生成對抗網(wǎng)絡(luò)架構(gòu)搜索系統(tǒng)，包括：

81、構(gòu)建模塊，用于構(gòu)建生成對抗網(wǎng)絡(luò)超網(wǎng)，并用0到1范圍內(nèi)的隨機連續(xù)數(shù)值為超網(wǎng)內(nèi)的每個操作賦予重要性權(quán)重，所述權(quán)重用于表示每個操作被選擇作為最優(yōu)操作的概率；

82、混合卷積模塊，用于集成普通卷積操作與自注意力機制，獲得一種同時融合了二者優(yōu)點的新操作；

83、訓(xùn)練模塊，用于使用訓(xùn)練數(shù)據(jù)及其標(biāo)簽訓(xùn)練超網(wǎng)的網(wǎng)絡(luò)權(quán)重；

84、優(yōu)化模塊，用于使用梯度下降方法對超網(wǎng)架構(gòu)參數(shù)進行優(yōu)化。

85、本發(fā)明通過引入混合卷積操作，顯著擴展了傳統(tǒng)純卷積神經(jīng)網(wǎng)絡(luò)的搜索空間，增強了模型對長距離信息的捕捉能力，并提升了生成對抗網(wǎng)絡(luò)的生成效果。此外，結(jié)合部分通道注意力機制，有效緩解了架構(gòu)搜索過程中因架構(gòu)參數(shù)初始化的隨機性而導(dǎo)致的馬太效應(yīng)，這種效應(yīng)表現(xiàn)為初始獲得高隨機值的操作在后續(xù)過程中會不斷強化，而低隨機值的操作在架構(gòu)搜索中可能被忽視，從而錯失了潛在的優(yōu)秀架構(gòu)，造成架構(gòu)搜索的不穩(wěn)定。這種方法取得了比現(xiàn)有方法更好的結(jié)果。

86、本發(fā)明的有益效果是：本發(fā)明的方法針對用于生成對抗網(wǎng)絡(luò)的神經(jīng)架構(gòu)搜索提出一種基于混合卷積的生成對抗網(wǎng)絡(luò)架構(gòu)搜索算法。該算法通過將結(jié)合了卷積與自注意力機制的混合卷積引入搜索空間之中，有效擴展了傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)搜索空間，提升了模型對于長距離信息的捕捉能力。在進行搜索之前，采用連續(xù)松弛的方式，使原本離散的搜索空間變得連續(xù)化，以便直接使用梯度下降來進行搜索，大大提高了搜索效率。在搜索過程中，在普通候選操作之中引入了部分通道注意力機制，通過為不同候選操作分配注意力權(quán)重，并選取注意力權(quán)重排名靠前的通道參與后續(xù)計算，減少了計算資源的消耗，提高了搜索效率。這一基于混合卷積的生成對抗網(wǎng)絡(luò)架構(gòu)搜索算法為架構(gòu)搜索領(lǐng)域帶來了新的思路與突破，具有充分的實用價值和應(yīng)用場景。