用于技術(shù)系統(tǒng)的計算機輔助控制和/或調(diào)節(jié)的方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及用于技術(shù)系統(tǒng)的計算機輔助控制和/或調(diào)節(jié)的方法以及相應(yīng)的計算 機程序產(chǎn)品。
【背景技術(shù)】
[0002] 為了控制或調(diào)節(jié)技術(shù)系統(tǒng)從現(xiàn)有技術(shù)中已知不同的計算機輔助方法。這些方法針 對技術(shù)系統(tǒng)的當前狀態(tài)說明：應(yīng)在技術(shù)系統(tǒng)上實施哪種動作。狀態(tài)在此通過多個狀態(tài)變量 來描述并且動作通過多個動作變量來描述。除了簡單的基于表格的調(diào)節(jié)器一一這些調(diào)節(jié)器 通過表格給技術(shù)系統(tǒng)的狀態(tài)分配相應(yīng)的動作一一也存在以下調(diào)節(jié)器，這些調(diào)節(jié)器的動作選 擇規(guī)則利用機器學習方法、例如基于遞歸神經(jīng)網(wǎng)絡(luò)來學習。這種調(diào)節(jié)器的應(yīng)用情況是燃氣 渦輪機，以便優(yōu)化渦輪機的參數(shù)，諸如效率、燃燒室動力學、有害物質(zhì)排放。該調(diào)節(jié)器的另一 應(yīng)用情況是控制風力渦輪機，其中在該情況下優(yōu)化例如磨損和效率。
[0003] 為了實現(xiàn)機器學習的動作選擇規(guī)則需要訓練數(shù)據(jù)，所述訓練數(shù)據(jù)針對多個狀態(tài)和 在這些狀態(tài)中執(zhí)行的動作指定相應(yīng)的后續(xù)狀態(tài)。為了生成新的訓練數(shù)據(jù)需要技術(shù)系統(tǒng)在仍 未知的狀態(tài)中運行。但是在此應(yīng)確保：這些新狀態(tài)不干擾或強烈惡化技術(shù)系統(tǒng)的運行并且 尤其不導致技術(shù)系統(tǒng)的故障。

【發(fā)明內(nèi)容】

[0004] 因此本發(fā)明的任務(wù)是提供用于控制和/或調(diào)節(jié)技術(shù)系統(tǒng)的方法，利用該方法可以 探索技術(shù)系統(tǒng)的新狀態(tài)，而不妨礙技術(shù)系統(tǒng)的運行。
[0005] 該任務(wù)通過獨立權(quán)利要求來解決。本發(fā)明的改進方案在從屬權(quán)利要求中限定。
[0006] 根據(jù)本發(fā)明的方法用于控制和/或調(diào)節(jié)技術(shù)系統(tǒng)，其中控制和/或調(diào)節(jié)在相應(yīng)時 間點在技術(shù)系統(tǒng)處根據(jù)技術(shù)系統(tǒng)的分別包括一個或多個狀態(tài)變量的一個或多個狀態(tài)來實 施包括一個或多個動作變量的動作。
[0007] 在根據(jù)本發(fā)明的方法的范圍中，在步驟a)中預(yù)先給定的調(diào)節(jié)方法在相應(yīng)時間點根 據(jù)至少技術(shù)系統(tǒng)在該相應(yīng)時間點的狀態(tài)（即必要時也根據(jù)在更早時間點的狀態(tài)）確定要在 技術(shù)系統(tǒng)處實施的第一動作。
[0008] 根據(jù)步驟b)，至少一種探索規(guī)則根據(jù)至少技術(shù)系統(tǒng)在該相應(yīng)時間點的狀態(tài)來確定 一個或多個要在技術(shù)系統(tǒng)處實施的第二動作。在多個探索規(guī)則的情況下每個探索規(guī)則單獨 地確定第二動作。這些探索規(guī)則可以是任意被規(guī)定的并且下面提供這樣的規(guī)則的示例。根 據(jù)該探索規(guī)則，按照確定的標準來規(guī)定第二動作，利用這些第二動作來達到技術(shù)系統(tǒng)的狀 ??τ O
[0009] 在步驟c)中，基于技術(shù)系統(tǒng)的仿真模型針對每個第二動作預(yù)測技術(shù)系統(tǒng)的由此產(chǎn) 生的后續(xù)狀態(tài)的集合。這種仿真模型本身從現(xiàn)有技術(shù)中已知。后續(xù)狀態(tài)的集合的概念應(yīng) 寬泛地來理解并且必要時也可以僅包括在如下時間點的后續(xù)狀態(tài)，該時間點直接跟隨相應(yīng) (當前）時間點。但是，后續(xù)狀態(tài)的集合優(yōu)選地包括多個未來的后續(xù)狀態(tài)。這些后續(xù)狀態(tài)例 如可以針對預(yù)先確定的未來的時間間隔利用仿真模型來預(yù)測。
[0010] 在步驟d)中針對在步驟C)中預(yù)測的后續(xù)狀態(tài)的每個集合來檢驗：后續(xù)狀態(tài)的相 應(yīng)集合是否滿足預(yù)先給定的閾值標準，該閾值標準針對后續(xù)狀態(tài)的相應(yīng)集合的狀態(tài)變量的 至少一部分規(guī)定要遵守的閾值。
[0011] 如果在步驟e)中后續(xù)狀態(tài)的一個或多個集合滿足該閾值標準，則給預(yù)先給定的調(diào) 節(jié)方法輸送第二動作，對于該第二動作來說后續(xù)狀態(tài)的所預(yù)測的集合滿足該閾值標準。只 要存在多個這種第二動作，則又可以規(guī)定相應(yīng)的標準，利用這些標準指定這些第二動作中 的哪些被輸送給調(diào)節(jié)方法。如果狀態(tài)空間的探索處于中心地位，則優(yōu)選地給調(diào)節(jié)方法輸送 以下第二動作，這些第二動作的后續(xù)狀態(tài)位于相應(yīng)閾值的附近。如果技術(shù)系統(tǒng)的運行的安 全性處于中心地位，則更合適地給調(diào)節(jié)方法輸送如下第二動作，這些第二動作的后續(xù)狀態(tài) 遠離閾值標準的相應(yīng)閾值。最終，預(yù)先給定的調(diào)節(jié)方法作為動作在技術(shù)系統(tǒng)處實施所輸送 的第二動作而不是第一動作或者與第二動作組合地實施在步驟a)中確定的第一動作。
[0012] 根據(jù)本發(fā)明的方法使得能夠在技術(shù)系統(tǒng)的所調(diào)節(jié)或所控制的運行中實現(xiàn)探索規(guī) 貝1J，其中同時通過規(guī)定經(jīng)由仿真模型預(yù)測的后續(xù)狀態(tài)的狀態(tài)變量的相應(yīng)閾值來確保：不負 面地影響技術(shù)系統(tǒng)的運行并且因此在技術(shù)系統(tǒng)的運行的范圍內(nèi)不可察覺地達到新狀態(tài)。由 此基于新狀態(tài)利用在這些狀態(tài)中實施的動作以及后續(xù)狀態(tài)來生成新訓練數(shù)據(jù)，這些訓練數(shù) 據(jù)可以在稍后的時間點被用于仿真方法或調(diào)節(jié)方法的機器學習。在技術(shù)系統(tǒng)的運行中在步 驟e)中實施的動作因此與相應(yīng)狀態(tài)和實際得出的后續(xù)狀態(tài)相組合地被存儲或輸出。
[0013] 根據(jù)設(shè)計方案，可以在后續(xù)狀態(tài)的集合中沒有一個在步驟e)中滿足閾值標準的情 況下引入確定的措施。在一種情況下預(yù)先給定的調(diào)節(jié)方法實施在步驟a)中確定的第一動 作。同樣可以確定一個或多個所修改的動作，針對這些動作執(zhí)行上述步驟c)至e)。如何 確定所修改的第二動作的標準可以是任意規(guī)定的。例如可以指定百分比，利用該百分比來 更改在步驟b)中原始確定的第二動作。在另一變型方案中再次執(zhí)行方法的步驟b)至e)。 這例如當探索規(guī)則是隨機的并且針對相同的狀態(tài)并不總是確定相同的第二動作時或者當 在再次實施步驟b)至e)的情況下使用其它的探索規(guī)則時是有意義的。
[0014] 在一種特別優(yōu)選的實施方式中，在步驟b)中確定的第二動作是在步驟a)中確定 的第一動作的變化。在此，在步驟e)中在技術(shù)系統(tǒng)處作為動作實施借助于所輸送的第二動 作的變化來變更的第一動作。狀態(tài)空間的探索因此根據(jù)偏移調(diào)節(jié)的類型來實現(xiàn)，該偏移調(diào) 節(jié)必要時改變相應(yīng)的第一動作。然而也存在以下可能性，即第二動作被定義，使得第二動作 在使用時代替第一動作。
[0015] 在根據(jù)本發(fā)明的方法的另一設(shè)計方案中，閾值標準針對后續(xù)狀態(tài)的狀態(tài)變量的至 少一部分來說明相應(yīng)值范圍，這些狀態(tài)變量的值必須位于所述值范圍內(nèi)。值范圍在此可以 絕對地規(guī)定，但是必要時也可以取決于后續(xù)狀態(tài)的狀態(tài)變量的值并且尤其定義與這些值的 百分比偏差。
[0016] 如上面已經(jīng)提到的，至少一種探索規(guī)則可以根據(jù)所述方法的設(shè)計方案不同地來規(guī) 定。所述至少一種探索規(guī)則尤其可以包括下列規(guī)則中的一種或多種： -隨機選擇第二動作的規(guī)則； -基于專家知識的規(guī)則； -ε貪心規(guī)則。
[0017] 同樣可以使用在出版物[1]和[3]中描述的探索規(guī)則。
[0018] 在根據(jù)本發(fā)明的方法的另一設(shè)計方案中，仿真模型利用機器學習方法來學習并且 尤其基于所學習的神經(jīng)網(wǎng)絡(luò)、優(yōu)選地遞歸神經(jīng)網(wǎng)絡(luò)。這種仿真模型從現(xiàn)有技術(shù)中充分已知 (參見例如出版物[4])。
[0019] 在本發(fā)明的范圍中使用的預(yù)先給定的調(diào)節(jié)方法可以任意地來設(shè)計。在這種情況下 尤其使用本身已知的調(diào)節(jié)方法。預(yù)先給定的調(diào)節(jié)方法優(yōu)選地是下列方法之一： -基于表格的調(diào)節(jié)方法，在該方法中借助于表格將技術(shù)系統(tǒng)的相應(yīng)狀態(tài)分配給第一動 作； -利用機器學習方法學習的動作選擇規(guī)則，例如基于出版物[4]的方法； -由基于表格的調(diào)節(jié)方法和利用機器學習方法所學習的動作選擇規(guī)則組成的組合，其 中動作選擇規(guī)則優(yōu)選地說明利用基于表格的調(diào)節(jié)方法來確定的動作的變化并且第一動作 優(yōu)選地是基于表格的調(diào)節(jié)方法的借助于該變化來變更的動作。
[0020] 根據(jù)本發(fā)明的方法尤其適于控制或調(diào)節(jié)燃氣渦輪機和/或風力渦輪機。在此，燃 氣渦輪機的狀態(tài)優(yōu)選地包括下列狀態(tài)變量中的一個或多個： -燃氣渦輪機處的一個或多個部位處的溫度和/或壓力，尤其環(huán)境溫度和/或環(huán)境壓 力和/或壓縮機溫度和/或壓縮機壓力和/或燃燒室中的溫度和/或燃燒室中的壓力； -燃氣渦輪機處的一個或多個部位處的空氣濕度； -燃氣渦輪機中的燃燒室加速度； -燃氣渦輪機的有害物質(zhì)排放，尤其氮氧化物排放； -通過燃氣渦輪機產(chǎn)生的功率。
[0021] 在燃氣渦輪機的情況下，要在燃氣渦輪機處實施的第一動作和/或第二動作的一 個動作變量或多個動作變量優(yōu)選地包括一個或多個燃料噴嘴的設(shè)定的改變和/或一個或 多