本發(fā)明公開涉及載人電動(dòng)飛機(jī)電推進(jìn)系統(tǒng)優(yōu)化，尤其涉及基于深度強(qiáng)化學(xué)習(xí)的改善飛機(jī)電推進(jìn)系統(tǒng)外散熱的方法。

背景技術(shù)：

1、隨著載人電動(dòng)飛機(jī)電推進(jìn)系統(tǒng)向高功率、集成化、小型化方向發(fā)展，電機(jī)及控制器作為飛機(jī)電推進(jìn)系統(tǒng)中的主要大功率電力電子設(shè)備，電機(jī)及控制器的高熱流密度造成飛機(jī)電推進(jìn)系統(tǒng)處于高溫工作狀態(tài)，如果熱量不能及時(shí)有效地散發(fā)出去，易導(dǎo)致飛機(jī)電推進(jìn)系統(tǒng)因過溫而導(dǎo)致飛機(jī)“停車”，直接危及飛機(jī)的運(yùn)行安全；按螺旋槳在載人電動(dòng)飛機(jī)上的安裝位置不同，可分為拉進(jìn)式和推進(jìn)式兩類。前者的螺旋槳裝在電機(jī)前面，“拉”著電機(jī)前進(jìn)；后者螺旋槳裝在電機(jī)之后，“推”著電機(jī)前進(jìn)，無論螺旋槳采用拉進(jìn)式還是推進(jìn)式，為了減輕飛機(jī)起飛重量，增加續(xù)航時(shí)間，通常采用電機(jī)直驅(qū)螺旋槳結(jié)構(gòu)，因此，電機(jī)及控制器構(gòu)成的飛機(jī)電推進(jìn)系統(tǒng)被放置在螺旋槳后端的發(fā)動(dòng)機(jī)艙內(nèi)，電推進(jìn)系統(tǒng)的高熱流密度時(shí)刻危及著飛機(jī)的運(yùn)行安全，為了改善飛機(jī)電推進(jìn)系統(tǒng)的散熱條件，通常在飛機(jī)發(fā)動(dòng)機(jī)艙整流罩上，電推進(jìn)系統(tǒng)的散熱結(jié)構(gòu)對(duì)應(yīng)位置開散熱進(jìn)氣孔，進(jìn)氣孔的位置及尺寸直接影響飛機(jī)電推進(jìn)系統(tǒng)的散熱效果，而由于螺旋槳的旋轉(zhuǎn)造成飛機(jī)電推進(jìn)系統(tǒng)的散熱進(jìn)氣孔處的氣流呈現(xiàn)多變湍流狀態(tài)，湍流運(yùn)動(dòng)具有的隨機(jī)性及復(fù)雜性，導(dǎo)致迄今為止還沒有一套成熟的理論能夠準(zhǔn)確描述湍流狀態(tài)，隨著計(jì)算機(jī)技術(shù)的迅猛發(fā)展，數(shù)值模擬已逐漸成為了一種研究湍流物理現(xiàn)象的主要手段，如何準(zhǔn)確模擬多尺度的湍流流動(dòng)，合理確定不規(guī)則湍流流動(dòng)的邊界條件，以及準(zhǔn)確統(tǒng)計(jì)不規(guī)則湍流流動(dòng)量等已成為了湍流數(shù)值模擬研究的熱點(diǎn)；

2、目前針對(duì)湍流數(shù)值模擬研究的方法主要有三種，分別是：直接數(shù)值模擬(dns)法、雷諾平均模擬(rans)法和大渦數(shù)值模擬(les)法。dns法作為一種精確數(shù)值模擬湍流的方法,精確數(shù)值模擬湍流即要滿足大尺度湍流流動(dòng)的計(jì)算要求，又要兼顧準(zhǔn)確計(jì)算小尺度湍流的運(yùn)動(dòng)，而湍流作為一種不規(guī)則多尺度的運(yùn)動(dòng),無論在空間上還是時(shí)間上都具有十分寬廣的譜，因此，采用dns法計(jì)算湍流的計(jì)算量較大。但dns法主要缺點(diǎn)有：dns法對(duì)計(jì)算機(jī)性能要求較高，計(jì)算耗時(shí)較長；例如：采用dns法模擬雷諾數(shù)僅為三千左右的槽流，網(wǎng)格點(diǎn)數(shù)就高達(dá)2×106，其計(jì)算時(shí)長約為250h，受限于計(jì)算機(jī)的計(jì)算量，目前還不具備直接數(shù)值模擬復(fù)雜工程湍流需要的計(jì)算機(jī),湍流dns法只能作為低雷諾數(shù)簡單湍流的研究工具。

3、rans法是一種應(yīng)用湍流模式理論將非穩(wěn)態(tài)的n-s方程對(duì)時(shí)間作平均，求解工程中所需時(shí)均量的湍流數(shù)值模擬方法。rans法主要缺點(diǎn)有：(1)雷諾應(yīng)力模型不具備通用性，即使針對(duì)同一類型問題的求解，當(dāng)邊界條件發(fā)生改變時(shí)，雷諾應(yīng)力模型也需要重新搭建，計(jì)算過程較復(fù)雜，并且雷諾應(yīng)力模型建模的精確性對(duì)計(jì)算結(jié)果影響較大；(2)忽略旋渦的大小及方向性，對(duì)旋渦的運(yùn)動(dòng)及動(dòng)力性考慮不足，不能準(zhǔn)確對(duì)流體流動(dòng)的特征進(jìn)行精確描述；(3)受限于湍流模型條件，對(duì)非定常及大分離等復(fù)雜流動(dòng)湍流的數(shù)值模擬問題求解，獲得的計(jì)算結(jié)果的準(zhǔn)確性較低；(4)計(jì)算嚴(yán)重依賴經(jīng)驗(yàn)對(duì)流場形狀和邊界條件的給定，普遍適應(yīng)性差。

4、les法是一種有別于dns法和rans法的湍流數(shù)值模擬方法；湍流可看作是由不同尺度的旋渦構(gòu)成，但用dns法對(duì)各種尺度旋渦進(jìn)行全面模擬是不現(xiàn)實(shí)的；由于湍流擴(kuò)散和動(dòng)量輸運(yùn)這些宏觀的參量是通過大尺度旋渦運(yùn)動(dòng)體現(xiàn)的，因此，對(duì)大尺度旋渦進(jìn)行數(shù)值模擬具有重要意義；人們設(shè)計(jì)某種數(shù)學(xué)方法，將小于網(wǎng)格的小尺度旋渦“過濾”掉，并求得網(wǎng)格點(diǎn)的局部平均值；les法就是利用次網(wǎng)格尺度模型模擬小尺度紊流運(yùn)動(dòng)對(duì)大尺度紊流運(yùn)動(dòng)的影響，即直接數(shù)值模擬大尺度紊流運(yùn)動(dòng)，將n-s方程在一個(gè)小空間域內(nèi)進(jìn)行平均(或稱為濾波)，以使湍流場中去掉小尺度渦，導(dǎo)出大渦所滿足的方程。les法的主要缺點(diǎn)有：(1)為了保證計(jì)算精度，要求對(duì)小渦模型的網(wǎng)格劃分較密集，對(duì)計(jì)算機(jī)的存儲(chǔ)能力要求較高；(2)在les法仿真計(jì)算過程中需求求解大量非線性偏微分方程，其計(jì)算量較大，對(duì)計(jì)算機(jī)的處理能力要求較高；(3)由于實(shí)際湍流的復(fù)雜性，les法仍需要大量的時(shí)間及試驗(yàn)費(fèi)用。

5、les法仿真計(jì)算的核心問題如何通過大尺度的流場信息構(gòu)造亞格子模型，傳統(tǒng)亞格子模型包括smagorinsky模型、相似模型、梯度模型、優(yōu)化模型、一方程模型和二階矩模型等，傳統(tǒng)的亞格子模型由于只利用了單點(diǎn)流場信息和簡單的函數(shù)關(guān)系,在先驗(yàn)驗(yàn)證中相對(duì)誤差較大，在后驗(yàn)驗(yàn)證中耗散過強(qiáng)。深度強(qiáng)化學(xué)習(xí)(drl)法是一種將深度學(xué)習(xí)的感知能力和強(qiáng)化學(xué)習(xí)的決策能力相結(jié)合，可直接根據(jù)輸入的數(shù)據(jù)信息進(jìn)行控制，能夠?yàn)閺?fù)雜系統(tǒng)的感知決策問題提供清晰的解決思路，是一種更接近人類思維方式的人工智能方法；

6、策略梯度方法由于其具有的巨大的并行化潛力以及連續(xù)問題的解決能力，使其成為了各類drl法中最具競爭力之一，策略梯度方法可通過借助神經(jīng)網(wǎng)絡(luò)等優(yōu)化算法直接對(duì)目標(biāo)函數(shù)進(jìn)行優(yōu)化，并在問題建立的時(shí)候就顯式地表達(dá)出來，保證了問題處理的實(shí)時(shí)性及可視性，因此策略梯度方法可廣泛應(yīng)用于湍流建模問題的解決中。目前，drl法在湍流數(shù)值模擬中的應(yīng)用還較少，但drl法在機(jī)器人、微電網(wǎng)及智能交通等很多領(lǐng)域得到了廣泛的應(yīng)用。

7、故提供一種基于深度強(qiáng)化學(xué)習(xí)的載人電動(dòng)飛機(jī)散熱湍流場計(jì)算方法來改善飛機(jī)電推進(jìn)系統(tǒng)的外散熱條件，是非常有意義的。

技術(shù)實(shí)現(xiàn)思路

1、鑒于此，本發(fā)明公開提供了一種基于深度強(qiáng)化學(xué)習(xí)的改善飛機(jī)電推進(jìn)系統(tǒng)外散熱的方法；通過優(yōu)化飛機(jī)電推進(jìn)系統(tǒng)散熱結(jié)構(gòu)進(jìn)氣孔的位置及尺寸，提高其進(jìn)氣孔氣流量，改善飛機(jī)電推進(jìn)系統(tǒng)的外散熱條件，以有效解決飛機(jī)電推進(jìn)系統(tǒng)散熱的問題。

2、本發(fā)明提供的技術(shù)方案，具體為，基于深度強(qiáng)化學(xué)習(xí)的改善飛機(jī)電推進(jìn)系統(tǒng)外散熱的方法，其特征在于，包括：

3、步驟1：根據(jù)載人電動(dòng)飛機(jī)電推進(jìn)系統(tǒng)外整理罩的氣動(dòng)外形，建立以飛機(jī)整流罩上電推進(jìn)系統(tǒng)散熱進(jìn)氣口的位置及尺寸為變量的散熱結(jié)構(gòu)庫；

4、步驟2：根據(jù)載人電動(dòng)飛機(jī)電推進(jìn)系統(tǒng)允許使用溫度范圍，設(shè)定電機(jī)及控制器的最高允許工作溫度；

5、步驟3：根據(jù)電推進(jìn)系統(tǒng)中電機(jī)及控制器的工作溫度與允許工作溫度之間其差值確定其深度強(qiáng)化學(xué)習(xí)的獎(jiǎng)賞值。如果工作溫度等于或低于允許工作溫度值，則獎(jiǎng)賞值為1；反正為-1；

6、步驟4：擬定飛機(jī)整流罩上電推進(jìn)系統(tǒng)散熱進(jìn)氣口的位置及尺寸，給定電推進(jìn)系統(tǒng)散熱進(jìn)氣口外形尺寸的初始值；

7、步驟5：進(jìn)行深度強(qiáng)化學(xué)習(xí)，獲得優(yōu)化后的載人電動(dòng)飛機(jī)電推進(jìn)系統(tǒng)散熱進(jìn)氣口的位置及尺寸；

8、步驟6：根據(jù)深度強(qiáng)化學(xué)習(xí)獲得的飛機(jī)電推進(jìn)系統(tǒng)散熱結(jié)構(gòu)進(jìn)氣口的位置、尺寸及亞格子應(yīng)力參數(shù)，結(jié)合飛機(jī)的實(shí)際運(yùn)行工況，給定三維流體場有限元計(jì)算邊界條件；

9、步驟7：搭建三維流體場有限元仿真模型，進(jìn)行飛機(jī)電推進(jìn)系統(tǒng)散熱結(jié)構(gòu)三維仿真計(jì)算；

10、步驟8：通過三維流體場有限元仿真計(jì)算，獲得電機(jī)及控制器的最高工作溫度值；判斷計(jì)算值是否超過最高允許設(shè)定溫度值，若超過最高允許工作溫度設(shè)定值，需重新進(jìn)行計(jì)算；若未超過，則根據(jù)飛機(jī)電推進(jìn)系統(tǒng)散熱進(jìn)氣口的位置及尺寸進(jìn)行試驗(yàn)樣件試制，搭建試驗(yàn)環(huán)境，進(jìn)行樣機(jī)試驗(yàn)；

11、步驟9：根據(jù)樣機(jī)試驗(yàn)結(jié)果獲得電機(jī)及控制器最高工作溫度的試驗(yàn)值，判定電機(jī)及控制器的最高工作溫度值的試驗(yàn)值是否超過最高允許設(shè)定值，若超過，重新給定三維流體場有限元計(jì)算邊界條件，進(jìn)行飛機(jī)電推進(jìn)系統(tǒng)散熱結(jié)構(gòu)三維仿真計(jì)算；

12、步驟10：若未超過，則完成了飛機(jī)整流罩上電推進(jìn)系統(tǒng)散熱進(jìn)氣孔位置及尺寸的設(shè)計(jì)優(yōu)化。

13、優(yōu)選地，步驟5中所述深度強(qiáng)化學(xué)習(xí)包括如下步驟：

14、步驟51：將飛機(jī)螺旋槳的實(shí)際運(yùn)行工況及可壓縮湍流大渦流模擬控制方程作為環(huán)境變量；

15、步驟52：按飛機(jī)電推進(jìn)系統(tǒng)散熱進(jìn)氣口的位置及尺寸的給定策略定某一確定位置及尺寸，agent作為負(fù)責(zé)決策飛機(jī)電推進(jìn)系統(tǒng)散熱進(jìn)氣口的位置和尺寸的算法模型與環(huán)境交互實(shí)現(xiàn)高維度地觀察，利用循環(huán)神經(jīng)網(wǎng)絡(luò)的深度強(qiáng)化學(xué)習(xí)方法，來感知飛機(jī)電推進(jìn)系統(tǒng)中高熱流密度的電機(jī)及控制器的最高允許工作溫度；

16、步驟53：依據(jù)電機(jī)及控制器的最高允許工作溫度確定獎(jiǎng)賞策略，并根據(jù)策略給出獎(jiǎng)賞，如果工作溫度等于或低于允許工作溫度值，則獎(jiǎng)賞值為1；反正為-1；

17、步驟54：基于預(yù)期的回報(bào)來評(píng)價(jià)各動(dòng)作的價(jià)值函數(shù)，將當(dāng)前狀態(tài)映射為相應(yīng)的動(dòng)作；環(huán)境對(duì)此動(dòng)作做出反應(yīng)，并得到下一個(gè)觀察值和獎(jiǎng)賞值；

18、步驟55：不斷循環(huán)，獲得優(yōu)化后的飛機(jī)電推進(jìn)系統(tǒng)散熱結(jié)構(gòu)進(jìn)氣口的位置及尺寸，完成深度強(qiáng)化學(xué)習(xí)。

19、優(yōu)選地，結(jié)合載人電動(dòng)飛機(jī)的實(shí)際運(yùn)行工況，通過對(duì)飛機(jī)在飛行過程中螺旋槳產(chǎn)生的剪切湍流運(yùn)動(dòng)規(guī)律進(jìn)行分析，建立可壓縮湍流大渦流模擬控制方程，如式(1)～(2)所示，獲得亞格子應(yīng)力如式(3)所示；

20、

21、其中，亞格子應(yīng)力為：

22、

23、本發(fā)明提供了一種基于深度強(qiáng)化學(xué)習(xí)的改善飛機(jī)電推進(jìn)系統(tǒng)外散熱的方法，應(yīng)用drl法強(qiáng)大的數(shù)據(jù)插值能力，將drl法應(yīng)用于湍流的大渦數(shù)值模擬中，完成螺旋槳旋轉(zhuǎn)下產(chǎn)生的剪切湍流大尺度旋渦運(yùn)動(dòng)控制數(shù)值仿真模型的搭建，獲得飛機(jī)電推進(jìn)系統(tǒng)散熱器的外流特性，在此基礎(chǔ)上，優(yōu)化飛機(jī)電推進(jìn)系統(tǒng)在飛機(jī)發(fā)動(dòng)機(jī)艙整流罩上的散熱進(jìn)氣孔位置及尺寸，改善飛機(jī)電推進(jìn)系統(tǒng)的外散熱條件，保證飛機(jī)電推進(jìn)系統(tǒng)不會(huì)因過溫而導(dǎo)致飛機(jī)“停車”的故障發(fā)生，保證飛機(jī)的飛行安全。

24、應(yīng)當(dāng)理解的是，以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的，并不能限制本發(fā)明的公開。