本發(fā)明涉及一種電動(dòng)機(jī)控制裝置、在該電動(dòng)機(jī)控制裝置中使用的變換器的控制裝置以及用于該變換器的控制裝置的機(jī)械學(xué)習(xí)裝置及其方法，上述電動(dòng)機(jī)控制裝置在將從交流電源側(cè)提供的交流電力變換為直流電力來(lái)輸出到直流鏈路后將該直流電力進(jìn)一步變換為用于驅(qū)動(dòng)電動(dòng)機(jī)的交流電力來(lái)提供給電動(dòng)機(jī)。

背景技術(shù)：

在對(duì)機(jī)床、鍛壓機(jī)械、注射成型機(jī)、工業(yè)機(jī)械、或者各種機(jī)器人內(nèi)的電動(dòng)機(jī)進(jìn)行驅(qū)動(dòng)的電動(dòng)機(jī)控制裝置中，在將從交流電源側(cè)提供的交流電力暫時(shí)變換為直流電力后進(jìn)一步變換為交流電力，將該交流電力用作針對(duì)每個(gè)驅(qū)動(dòng)軸設(shè)置的電動(dòng)機(jī)的驅(qū)動(dòng)電力。

圖7是表示一般的電動(dòng)機(jī)控制裝置的結(jié)構(gòu)的圖。電動(dòng)機(jī)控制裝置100具備：將來(lái)自商用交流電源103(以下簡(jiǎn)稱為“交流電源”)的交流電力變換為直流電力的變換器101；將從變換器101輸出的直流電力變換為作為電動(dòng)機(jī)104的驅(qū)動(dòng)電力而提供的希望頻率的交流電力或者將電動(dòng)機(jī)104再生的交流電力變換為直流電力的逆變器102，控制與該逆變器102的交流側(cè)連接的電動(dòng)機(jī)104的速度、轉(zhuǎn)矩、或者轉(zhuǎn)子的位置。為了使附圖簡(jiǎn)明扼要，在圖7中表示了驅(qū)動(dòng)一臺(tái)電動(dòng)機(jī)104的情況。一般來(lái)說(shuō)，在驅(qū)動(dòng)多個(gè)驅(qū)動(dòng)軸時(shí)，針對(duì)每個(gè)驅(qū)動(dòng)軸分別設(shè)置電動(dòng)機(jī)，此時(shí)，為了單獨(dú)對(duì)各個(gè)電動(dòng)機(jī)提供驅(qū)動(dòng)電力，需要設(shè)置多個(gè)逆變器。

變換器101和逆變器102經(jīng)由DC鏈路(直流鏈路)來(lái)連接。在DC鏈路中設(shè)置有DC鏈路電容器105。DC鏈路電容器105具有積蓄直流電力的蓄電功能以及抑制變換器101的直流輸出的脈動(dòng)量的平滑功能。

近年來(lái)，因?yàn)楣?jié)能的要求，作為電動(dòng)機(jī)控制裝置中的變換器，例如多使用日本專利第2567830號(hào)公報(bào)中記載的那樣的，可使電動(dòng)機(jī)減速時(shí)生成的再生電力返回到交流電源側(cè)的電源再生方式的變換器。

電源再生方式的變換器具有把從交流電源側(cè)提供的交流電力變換為直流電力來(lái)輸出到DC鏈路側(cè)的功能，并且還具有在電動(dòng)機(jī)減速時(shí)將從DC鏈路側(cè)提供的直流電力變換為交流電力來(lái)輸出到交流電源側(cè)的功能。通過(guò)逆變器將電動(dòng)機(jī)減速時(shí)電動(dòng)機(jī)產(chǎn)生的再生電力從交流電力變換為直流電力，將該直流電力經(jīng)由DC鏈路輸入到變換器，并且通過(guò)變換器變換為交流電力后在交流電源側(cè)進(jìn)行電源再生。

作為電源再生方式的變換器，例如有PWM控制方式整流電路或120度通電型整流電路等。

其中，PWM控制方式整流電路例如像在日本特開(kāi)平8-47279號(hào)公報(bào)中記載的那樣，由半導(dǎo)體開(kāi)關(guān)元件以及與其逆并聯(lián)連接的二極管的橋電路構(gòu)成，對(duì)內(nèi)部的半導(dǎo)體開(kāi)關(guān)元件的開(kāi)關(guān)動(dòng)作進(jìn)行PWM控制，在交流電源側(cè)的交流電力和直流鏈路側(cè)的直流電力之間進(jìn)行電力變換。

在這樣的電動(dòng)機(jī)控制裝置中，在DC鏈路中設(shè)置的DC鏈路電容器的兩端施加的直流電力壓(以下有時(shí)簡(jiǎn)稱為“DC鏈路電壓”)與以下的量對(duì)應(yīng)地進(jìn)行變動(dòng)：由電動(dòng)機(jī)消耗的驅(qū)動(dòng)電力的量或者由電動(dòng)機(jī)產(chǎn)生的再生電力的量、通過(guò)變換器從交流電力向直流電力的電力變換量或其反方向的電力變換量、通過(guò)逆變器從直流電力向交流電力的電力變換量或其反方向的電力變換量。例如在電動(dòng)機(jī)減速時(shí)，通過(guò)逆變器將電動(dòng)機(jī)產(chǎn)生的交流的再生電力變換為直流電力，但是通過(guò)調(diào)整變換器的從直流電力向交流電力的變換動(dòng)作(以下稱為“通過(guò)變換器的電源再生動(dòng)作”)來(lái)進(jìn)行調(diào)整，以使DC鏈路電壓成為不會(huì)損壞變換器及逆變器內(nèi)的各元件以及不會(huì)損壞DC鏈路電容器的電壓。

例如，像在日本專利第5319318號(hào)公報(bào)中記載的那樣，提出了若干根據(jù)DC鏈路電壓的大小控制變換器的電源再生動(dòng)作的方法。

如上所述，通過(guò)逆變器將電動(dòng)機(jī)減速時(shí)電動(dòng)機(jī)產(chǎn)生的交流的再生電力變換為直流電力來(lái)返回到DC鏈路，因此DC鏈路電壓升高。如果由于再生電力使DC鏈路電壓升得過(guò)高，則會(huì)損壞變換器及逆變器內(nèi)的各元件以及DC鏈路電容器，或者由于為了防止損壞而設(shè)置的過(guò)電壓警報(bào)，電動(dòng)機(jī)控制裝置停止，因此需要使變換器進(jìn)行電源再生動(dòng)作從而使DC鏈路中的能量返回到交流電源側(cè)。另一方面，如果變換器進(jìn)行電源再生，則由于開(kāi)關(guān)損耗導(dǎo)致變換器內(nèi)的半導(dǎo)體開(kāi)關(guān)元件發(fā)熱。特別是如果長(zhǎng)時(shí)間進(jìn)行電源再生，變換器內(nèi)的半導(dǎo)體開(kāi)關(guān)元件的發(fā)熱變大，由此變換器內(nèi)的半導(dǎo)體開(kāi)關(guān)元件會(huì)發(fā)生熱損壞，或者由于以變換器內(nèi)的半導(dǎo)體開(kāi)關(guān)元件的過(guò)熱保護(hù)為目的的過(guò)電壓警報(bào)而使電動(dòng)機(jī)控制裝置停止。由此，一邊極力避免電源再生，一邊為了使DC鏈路電壓不過(guò)于升高，進(jìn)行調(diào)整從容高效且恰當(dāng)?shù)剡M(jìn)行變換器的電源再生動(dòng)作是非常重要的。這樣的調(diào)整在電動(dòng)機(jī)控制裝置的設(shè)計(jì)階段由設(shè)計(jì)者進(jìn)行，或者在組裝了電動(dòng)機(jī)控制裝置的機(jī)械的調(diào)整階段由作業(yè)者手動(dòng)進(jìn)行。另外，根據(jù)各個(gè)機(jī)械的運(yùn)轉(zhuǎn)狀況通過(guò)手動(dòng)進(jìn)行這樣的調(diào)整是非常復(fù)雜的。

技術(shù)實(shí)現(xiàn)要素：

鑒于上述問(wèn)題，本發(fā)明的目的在于提供一種可高效率地進(jìn)行變換器的將DC鏈路側(cè)的直流電力變換為交流電力來(lái)返回到交流電源側(cè)的電源再生動(dòng)作的電動(dòng)機(jī)控制裝置、在該電動(dòng)機(jī)控制裝置中使用的變換器的控制裝置，以及用于該變換器的控制裝置的機(jī)械學(xué)習(xí)裝置及其方法，其中，上述變換器通過(guò)從交流電源側(cè)的交流電力進(jìn)行變換，來(lái)生成為了生成用于驅(qū)動(dòng)電動(dòng)機(jī)的交流電力而使用的DC鏈路中的直流電力。

為了實(shí)現(xiàn)上述的目的，機(jī)械學(xué)習(xí)裝置，學(xué)習(xí)與變換器的將DC鏈路側(cè)的直流電力變換為交流電力后返回交流電源側(cè)的電源再生動(dòng)作相關(guān)聯(lián)的條件，變換器通過(guò)從交流電源側(cè)的交流電力進(jìn)行變換來(lái)生成用于生成電動(dòng)機(jī)驅(qū)動(dòng)用交流電力的DC鏈路中的直流電力，機(jī)械學(xué)習(xí)裝置具備：狀態(tài)觀測(cè)部，其觀測(cè)狀態(tài)變量，該狀態(tài)變量由以下數(shù)據(jù)中的至少一個(gè)數(shù)據(jù)構(gòu)成：與DC鏈路的直流電壓的值相關(guān)的數(shù)據(jù)、與通過(guò)變換器的電源再生動(dòng)作從DC鏈路側(cè)返回交流電源側(cè)的電能即電源再生量相關(guān)的數(shù)據(jù)、與表示DC鏈路的直流電壓超過(guò)了預(yù)先設(shè)定的過(guò)電壓警報(bào)等級(jí)的過(guò)電壓警報(bào)有無(wú)發(fā)生相關(guān)的數(shù)據(jù)；以及學(xué)習(xí)部，其按照由狀態(tài)變量構(gòu)成的訓(xùn)練數(shù)據(jù)集，學(xué)習(xí)與變換器的電源再生動(dòng)作相關(guān)聯(lián)的條件。

在此，學(xué)習(xí)部可以具備：回報(bào)計(jì)算部，其根據(jù)狀態(tài)變量計(jì)算回報(bào)；函數(shù)更新部，其根據(jù)回報(bào)來(lái)更新函數(shù)，函數(shù)用于變更成為變換器開(kāi)始電源再生動(dòng)作的基準(zhǔn)的DC鏈路電壓即電源再生開(kāi)始電壓以及成為變換器停止已開(kāi)始的該電源再生動(dòng)作的基準(zhǔn)的DC鏈路電壓即電源再生停止電壓。

另外，回報(bào)計(jì)算部可以在由狀態(tài)觀測(cè)部觀測(cè)到的當(dāng)前的DC鏈路的直流電壓高于在該當(dāng)前的DC鏈路的直流電壓之前由狀態(tài)觀測(cè)部觀測(cè)到的DC鏈路的直流電壓時(shí)增加回報(bào)。

另外，回報(bào)計(jì)算部可以在由狀態(tài)觀測(cè)部觀測(cè)到的當(dāng)前的DC鏈路的直流電壓低于在該當(dāng)前的DC鏈路的直流電壓之前由狀態(tài)觀測(cè)部觀測(cè)到的DC鏈路的直流電壓時(shí)減少回報(bào)。

另外，回報(bào)計(jì)算部可以在由狀態(tài)觀測(cè)部觀測(cè)到的當(dāng)前的電源再生量小于在該當(dāng)前的電源再生量之前由狀態(tài)觀測(cè)部觀測(cè)到的電源再生量時(shí)增加回報(bào)。

另外，回報(bào)計(jì)算部可以在由狀態(tài)觀測(cè)部觀測(cè)到的當(dāng)前的電源再生量大于在該當(dāng)前的電源再生量之前由狀態(tài)觀測(cè)部觀測(cè)到的電源再生量時(shí)減少回報(bào)。

另外，回報(bào)計(jì)算部可以在由狀態(tài)觀測(cè)部觀測(cè)到?jīng)]有發(fā)生過(guò)電壓警報(bào)時(shí)增加回報(bào)。

另外，回報(bào)計(jì)算部可以在由狀態(tài)觀測(cè)部觀測(cè)到發(fā)生了過(guò)電壓警報(bào)時(shí)減少回報(bào)。

另外，學(xué)習(xí)部可以構(gòu)成為按照對(duì)于多個(gè)變換器取得的訓(xùn)練數(shù)據(jù)集，學(xué)習(xí)條件。

另外，一種變換器的控制裝置，其具備上述的機(jī)械學(xué)習(xí)裝置，其具備：意圖決定部，其根據(jù)學(xué)習(xí)部按照訓(xùn)練數(shù)據(jù)集進(jìn)行學(xué)習(xí)的結(jié)果，對(duì)當(dāng)前的狀態(tài)變量的輸入進(jìn)行響應(yīng)，來(lái)決定電源再生開(kāi)始電壓以及電源再生停止電壓；以及變換器用電力變換動(dòng)作控制部，其控制將交流電源側(cè)的交流電力與DC鏈路側(cè)的直流電力相互進(jìn)行變換的變換器的電力變換動(dòng)作，變換器用電力變換動(dòng)作控制部在DC鏈路的直流電壓上升從而超過(guò)由意圖決定部決定的電源再生開(kāi)始電壓時(shí)，對(duì)變換器指令開(kāi)始電源再生動(dòng)作，在變換器開(kāi)始了電源再生動(dòng)作后，在DC鏈路的直流電壓下降從而低于由意圖決定部決定的電源再生停止電壓時(shí)，對(duì)變換器指令停止電源再生動(dòng)作。

在此，可以將學(xué)習(xí)部構(gòu)成為按照由當(dāng)前的狀態(tài)變量構(gòu)成的追加的訓(xùn)練數(shù)據(jù)集，再學(xué)習(xí)條件來(lái)進(jìn)行更新。

另外，變換器的控制裝置可以還具備測(cè)定DC鏈路的直流電壓的直流電壓測(cè)定部、測(cè)定電源再生量的電源再生量測(cè)定部、接收與過(guò)電壓警報(bào)有無(wú)發(fā)生相關(guān)的數(shù)據(jù)的過(guò)電壓警報(bào)接收部中的至少一個(gè)。

另外，具備上述變換器的控制裝置的電動(dòng)機(jī)控制裝置還具備逆變器用電力變換動(dòng)作控制部，其控制將DC鏈路側(cè)的直流電力與交流電動(dòng)機(jī)側(cè)的交流電力相互進(jìn)行變換的逆變器的電力變換動(dòng)作。

另外，一種機(jī)械學(xué)習(xí)方法，其學(xué)習(xí)與變換器的將DC鏈路側(cè)的直流電力變換為交流電力后返回交流電源側(cè)的電源再生動(dòng)作相關(guān)聯(lián)的條件，變換器通過(guò)從交流電源側(cè)供給的交流電力進(jìn)行變換來(lái)生成DC鏈路中的直流電力，該直流電力用于生成用于電動(dòng)機(jī)驅(qū)動(dòng)的交流電力，機(jī)械學(xué)習(xí)方法具備：觀測(cè)狀態(tài)變量的步驟，該狀態(tài)變量由以下數(shù)據(jù)中的至少一個(gè)數(shù)據(jù)構(gòu)成：與DC鏈路的直流電壓的值相關(guān)的數(shù)據(jù)、與通過(guò)變換器的電源再生動(dòng)作從DC鏈路側(cè)返回交流電源側(cè)的電能即電源再生量相關(guān)的數(shù)據(jù)、與表示DC鏈路的直流電壓超過(guò)了預(yù)先設(shè)定的過(guò)電壓警報(bào)等級(jí)的過(guò)電壓警報(bào)有無(wú)發(fā)生相關(guān)的數(shù)據(jù)；以及按照由狀態(tài)變量構(gòu)成的訓(xùn)練數(shù)據(jù)集，學(xué)習(xí)與變換器的電源再生動(dòng)作相關(guān)聯(lián)的條件的步驟。

附圖說(shuō)明

通過(guò)參照以下的附圖，可以更加明確地理解本發(fā)明。

圖1是實(shí)施例的機(jī)械學(xué)習(xí)裝置的原理框圖。

圖2是表示實(shí)施例的機(jī)械學(xué)習(xí)方法的動(dòng)作原理的流程圖。

圖3是實(shí)施例的使用強(qiáng)化學(xué)習(xí)的機(jī)械學(xué)習(xí)裝置的原理框圖。

圖4是表示實(shí)施例的使用強(qiáng)化學(xué)習(xí)的機(jī)械學(xué)習(xí)方法的原理的流程圖。

圖5是表示具備實(shí)施例的機(jī)械學(xué)習(xí)裝置的變換器的控制裝置、以及具備該變換器的控制裝置的電動(dòng)機(jī)控制裝置的原理框圖。

圖6是表示實(shí)施例的使用強(qiáng)化學(xué)習(xí)的機(jī)械學(xué)習(xí)裝置的動(dòng)作流程的流程圖。

圖7表示一般的電動(dòng)機(jī)控制裝置的結(jié)構(gòu)。

具體實(shí)施方式

以下，參考附圖來(lái)說(shuō)明調(diào)整電源再生的電動(dòng)機(jī)控制裝置、變換器的控制裝置以及機(jī)械學(xué)習(xí)裝置及機(jī)械學(xué)習(xí)方法。然而，希望理解本發(fā)明并不限于附圖或以下說(shuō)明的實(shí)施方式。

圖1是實(shí)施例的機(jī)械學(xué)習(xí)裝置的原理框圖。以后，在不同的附圖中被賦予了相同的參考符號(hào)的構(gòu)成要素意味著是具有相同功能的構(gòu)成要素。

實(shí)施例的機(jī)械學(xué)習(xí)裝置1在具備變換器和逆變器的電動(dòng)機(jī)控制裝置中，學(xué)習(xí)與變換器所執(zhí)行的將DC鏈路則的直流電力變換為交流電力后返回交流電源側(cè)的電源再生動(dòng)作相關(guān)聯(lián)的條件，其中，上述變換器將來(lái)自交流電源的交流電力變換為直流電力后輸出給DC鏈路，上述逆變器將DC鏈路的直流電力變換為作為電動(dòng)機(jī)的驅(qū)動(dòng)電力而提供的期望頻率的交流電力后提供給電動(dòng)機(jī)或者將從電動(dòng)機(jī)再生的交流電力變換為直流電力后輸出給DC鏈路。即，機(jī)械學(xué)習(xí)裝置1學(xué)習(xí)與能夠?qū)崿F(xiàn)變換器101的高效的電源再生動(dòng)作的電源再生動(dòng)作相關(guān)聯(lián)的條件，即電源再生開(kāi)始電壓以及電源再生停止電壓。

機(jī)械學(xué)習(xí)裝置1具備狀態(tài)觀測(cè)部11和學(xué)習(xí)部12。

狀態(tài)觀測(cè)部11觀測(cè)狀態(tài)變量來(lái)作為訓(xùn)練數(shù)據(jù)集，狀態(tài)變量由以下數(shù)據(jù)中的至少一個(gè)數(shù)據(jù)構(gòu)成：與DC鏈路的直流電壓的值相關(guān)的數(shù)據(jù)、與通過(guò)變換器的電源再生動(dòng)作從DC鏈路側(cè)向交流電源側(cè)返回的電能即電源再生量相關(guān)的數(shù)據(jù)、表示DC鏈路的直流電壓超過(guò)了預(yù)先設(shè)定的過(guò)電壓警報(bào)等級(jí)的過(guò)電壓警報(bào)有無(wú)發(fā)生相關(guān)的數(shù)據(jù)。

學(xué)習(xí)部12按照由狀態(tài)變量構(gòu)成的訓(xùn)練數(shù)據(jù)集，學(xué)習(xí)與變換器的電源再生動(dòng)作相關(guān)聯(lián)的條件，即電源再生開(kāi)始電壓以及電源再生停止電壓。此外，也可以從多個(gè)變換器取得訓(xùn)練數(shù)據(jù)集，此時(shí)，學(xué)習(xí)部12按照針對(duì)多個(gè)變換器取得的訓(xùn)練數(shù)據(jù)集，學(xué)習(xí)與電源再生動(dòng)作相關(guān)聯(lián)的條件。

圖2是表示實(shí)施例的機(jī)械學(xué)習(xí)方法的動(dòng)作原理的流程圖。機(jī)械學(xué)習(xí)方法學(xué)習(xí)與變換器的將DC鏈路側(cè)的直流電力變換為交流電力后返回交流電源側(cè)的電源再生動(dòng)作相關(guān)聯(lián)的條件，所述變換器通過(guò)從交流電源側(cè)供給的交流電力進(jìn)行變換來(lái)生成為了生成用于驅(qū)動(dòng)電動(dòng)機(jī)的交流電力而使用的DC鏈路中的直流電力，所述機(jī)械學(xué)習(xí)方法具備狀態(tài)觀測(cè)步驟S101和機(jī)械學(xué)習(xí)步驟S102。

狀態(tài)觀測(cè)步驟S101通過(guò)狀態(tài)觀測(cè)部11來(lái)執(zhí)行，即為觀測(cè)由以下數(shù)據(jù)中的至少一個(gè)數(shù)據(jù)構(gòu)成的狀態(tài)變量：與DC鏈路的直流電壓的值相關(guān)的數(shù)據(jù)、與通過(guò)變換器的電源再生動(dòng)作從DC鏈路返回交流電源側(cè)的電能即電源再生量相關(guān)的數(shù)據(jù)、與表示DC鏈路的直流電壓超過(guò)了預(yù)先設(shè)定的過(guò)電壓警報(bào)等級(jí)的過(guò)電壓警報(bào)有無(wú)發(fā)生相關(guān)的數(shù)據(jù)。

機(jī)械學(xué)習(xí)步驟S102通過(guò)學(xué)習(xí)部12來(lái)執(zhí)行，即按照由狀態(tài)變量構(gòu)成的訓(xùn)練數(shù)據(jù)集，學(xué)習(xí)與變換器的電源再生動(dòng)作相關(guān)聯(lián)的條件。

學(xué)習(xí)部12所用的學(xué)習(xí)算法可以使用任何算法。在此，作為一個(gè)例子，說(shuō)明采用了強(qiáng)化學(xué)習(xí)(Reinforcement Learning)的情況。強(qiáng)化學(xué)習(xí)是指某個(gè)環(huán)境中的智能體(行為主體)觀測(cè)當(dāng)前的狀態(tài)，并決定應(yīng)采取的行為。智能體通過(guò)選擇行為從環(huán)境取得回報(bào)，通過(guò)一連串的行為來(lái)學(xué)習(xí)得到最多回報(bào)的策略。作為強(qiáng)化學(xué)習(xí)的代表性方法，已知有Q學(xué)習(xí)(Q-Learning)或TD學(xué)習(xí)(TD-Learning)。例如在Q學(xué)習(xí)的情況下，行為價(jià)值函數(shù)Q(s，a)的一般的更新式(行為價(jià)值表)由式1來(lái)表示。

在式1中，s_t表示在時(shí)刻t的環(huán)境，a_t表示在時(shí)刻t的行為。通過(guò)行為a_t，環(huán)境變?yōu)閟_t+1。r_t+1表示由于環(huán)境的變化所得到的回報(bào)(reward)，γ表示折扣率，α表示學(xué)習(xí)系數(shù)。在應(yīng)用了Q學(xué)習(xí)的情況下，電源再生開(kāi)始電壓以及電源再生停止電壓成為行為a_t。

圖3是實(shí)施例的使用了強(qiáng)化學(xué)習(xí)的機(jī)械學(xué)習(xí)裝置的原理框圖。學(xué)習(xí)部12具備回報(bào)計(jì)算部21和函數(shù)更新部22?；貓?bào)計(jì)算部21根據(jù)狀態(tài)變量計(jì)算回報(bào)。函數(shù)更新部22根據(jù)回報(bào)來(lái)更新函數(shù)，該函數(shù)用于變更成為變換器開(kāi)始電源再生動(dòng)作的基準(zhǔn)的DC鏈路電壓即電源再生開(kāi)始電壓以及成為變換器停止已開(kāi)始的該電源再生動(dòng)作的基準(zhǔn)的DC鏈路電壓即電源再生停止電壓。例如，在Q學(xué)習(xí)的情況下，將式1表示的行為價(jià)值函數(shù)(s，a)作為用于變更行為a_t即電源再生開(kāi)始電壓以及電源再生停止電壓的函數(shù)來(lái)使用。關(guān)于這些以外的電路構(gòu)成要素，與圖1所示的電路構(gòu)成要素相同，因此對(duì)同一電路構(gòu)成要素賦予同一符號(hào)并省略該電路構(gòu)成要素的詳細(xì)說(shuō)明。

圖4是表示實(shí)施例的使用強(qiáng)化學(xué)習(xí)的機(jī)械學(xué)習(xí)方法的原理的流程圖。

首先，在狀態(tài)觀測(cè)步驟S101中，狀態(tài)觀測(cè)部11觀測(cè)狀態(tài)變量，該狀態(tài)變量由以下數(shù)據(jù)中的至少一個(gè)數(shù)據(jù)構(gòu)成：與DC鏈路的直流電壓的值相關(guān)的數(shù)據(jù)、與通過(guò)變換器的電源再生動(dòng)作從DC鏈路返回交流電源側(cè)的電能即電源再生量相關(guān)的數(shù)據(jù)、與表示DC鏈路的直流電壓超過(guò)了預(yù)先設(shè)定的過(guò)電壓警報(bào)等級(jí)的過(guò)電壓警報(bào)有無(wú)發(fā)生相關(guān)的數(shù)據(jù)。

接著，在回報(bào)計(jì)算步驟S102-1中，回報(bào)計(jì)算部21根據(jù)在步驟S101中觀測(cè)到的狀態(tài)變量計(jì)算回報(bào)。

接著，在函數(shù)更新步驟S102-2中，函數(shù)更新部22根據(jù)回報(bào)更新函數(shù)，該函數(shù)用于變更成為變換器開(kāi)始電源再生動(dòng)作的基準(zhǔn)的DC鏈路電壓即電源再生開(kāi)始電壓以及成為變換器停止已開(kāi)始的該電源再生動(dòng)作的基準(zhǔn)的DC鏈路電壓即電源再生停止電壓。

然后，對(duì)具備上述機(jī)械學(xué)習(xí)裝置的變換器的控制裝置以及具備該變換器的控制裝置的電動(dòng)機(jī)控制裝置進(jìn)行說(shuō)明。在此，作為一個(gè)例子，說(shuō)明作為學(xué)習(xí)部的學(xué)習(xí)算法使用了強(qiáng)化學(xué)習(xí)的情況。

圖5是表示具備實(shí)施例的機(jī)械學(xué)習(xí)裝置的變換器的控制裝置、以及具備該變換器的控制裝置的電動(dòng)機(jī)控制裝置的原理框圖。在此，說(shuō)明對(duì)一個(gè)電動(dòng)機(jī)104進(jìn)行驅(qū)動(dòng)控制的電動(dòng)機(jī)控制裝置1000，但是，關(guān)于通過(guò)電動(dòng)機(jī)控制裝置1000驅(qū)動(dòng)控制的電動(dòng)機(jī)104的個(gè)數(shù)，在本發(fā)明中并不特別限定，也可以為多個(gè)。另外，關(guān)于通過(guò)電動(dòng)機(jī)控制裝置1000驅(qū)動(dòng)的電動(dòng)機(jī)104的種類，在本發(fā)明中并不特別限定，例如可以是感應(yīng)電動(dòng)機(jī)也可以是同步電動(dòng)機(jī)。另外，關(guān)于相數(shù)在本發(fā)明中也不特別限定，除了三相以外，例如也可以是單相或其他的多相。

作為主要電路結(jié)構(gòu)，電動(dòng)機(jī)控制裝置1000具備變換器101、逆變器102、DC鏈路電容器105。在電動(dòng)機(jī)控制裝置1000的三相交流輸入側(cè)連接交流電源103，在電動(dòng)機(jī)控制裝置1000的交流電動(dòng)機(jī)側(cè)連接三相的電動(dòng)機(jī)104。此外，為了簡(jiǎn)化說(shuō)明，在圖5中將用于驅(qū)動(dòng)電動(dòng)機(jī)104的控制系統(tǒng)統(tǒng)一記載為逆變器用電力變換動(dòng)作控制部41。另外，關(guān)于在將DC鏈路電壓從0(V)升壓到交流電源的電壓峰值時(shí)使用的初始充電單元，省略了圖示。

變換器101根據(jù)從變換器用電力變換動(dòng)作控制部14接收的指令，在交流電源103側(cè)的交流電力與直流側(cè)即DC鏈路的直流電力之間進(jìn)行電力變換。即，變換器101是將從交流電源103側(cè)提供的交流電力變換為直流電力后輸出到直流側(cè)，或者將DC鏈路中的直流電力變換為交流電力后輸出到交流電源103側(cè)的，能夠在交直流雙向上進(jìn)行變換的電力變換器。只要變換器101是能夠在交直流雙向上進(jìn)行變換的電力變換器，則不特別限定實(shí)施方式，例如有120度通電型整流電路或者PWM控制方式的整流電路等。變換器101由開(kāi)關(guān)元件以及與其逆并聯(lián)連接的二極管的橋電路構(gòu)成。作為開(kāi)關(guān)元件的例子，具有IGBT、晶閘管、GTO(Gate Turn-OFF thyristor：門極可關(guān)斷晶閘管)、晶體管等，但是在本發(fā)明中不限定開(kāi)關(guān)元件的種類本身，也可以是其他的半導(dǎo)體元件。例如，在變換器101為PWM控制方式的整流器的情況下，關(guān)于其內(nèi)部的開(kāi)關(guān)元件的開(kāi)關(guān)動(dòng)作，根據(jù)變換器用電力變換動(dòng)作控制部14生成的PWM控制信號(hào)控制變換器101，從而產(chǎn)生功率因數(shù)1的交流電力，并且把在DC鏈路電容器105的兩端施加的直流電壓保持為希望的值，并且控制變換器101使其進(jìn)行將交流電力變換為直流電力的動(dòng)力運(yùn)行動(dòng)作(正變換動(dòng)作)以及將直流電力變換為交流電力的電源再生動(dòng)作(逆變換動(dòng)作)中的某一個(gè)動(dòng)作。在通過(guò)電動(dòng)機(jī)控制裝置1000的控制使電機(jī)104進(jìn)行減速時(shí)，電動(dòng)機(jī)104產(chǎn)生再生電力，針對(duì)變換器101，根據(jù)PWM控制信號(hào)控制其內(nèi)部的開(kāi)關(guān)元件的開(kāi)關(guān)動(dòng)作，進(jìn)行將直流電力變換為交流電力的電源再生動(dòng)作(逆變換動(dòng)作)，將經(jīng)由逆變器102返回的再生能量進(jìn)一步返回到交流電源103側(cè)。

DC鏈路電容器105設(shè)置在將變換器101的直流側(cè)與逆變器的直流側(cè)相連接的DC鏈路中。DC鏈路電容器105具有積蓄DC鏈路中的直流電力的功能和抑制變換器101的直流輸出的脈動(dòng)量的平滑功能。

逆變器102與DC鏈路相連接，能夠在DC鏈路的直流電力和作為電動(dòng)機(jī)104的驅(qū)動(dòng)電力或再生電力的交流電力之間進(jìn)行雙向的電力變換，按照從逆變器用電力變換動(dòng)作控制部41接收到的電動(dòng)機(jī)驅(qū)動(dòng)指令，進(jìn)行將直流電力變換為交流電力的再生動(dòng)作(逆變換動(dòng)作)以及將交流電力變換為直流電力的動(dòng)力運(yùn)行動(dòng)作(正變換動(dòng)作)中的某一個(gè)動(dòng)作。具體來(lái)說(shuō)，逆變器102根據(jù)從逆變器用電力變換動(dòng)作控制部41接收到的電動(dòng)機(jī)驅(qū)動(dòng)指令使內(nèi)部的開(kāi)關(guān)元件進(jìn)行開(kāi)關(guān)動(dòng)作，從而將從DC鏈路側(cè)提供的直流電力變換為用于驅(qū)動(dòng)電動(dòng)機(jī)104的期望的電壓以及期望的頻率的三相交流電力。由此，電動(dòng)機(jī)104根據(jù)所提供的電壓可變以及頻率可變的三相交流電力進(jìn)行動(dòng)作。另外，在電動(dòng)機(jī)104減速時(shí)產(chǎn)生再生電力，此時(shí)根據(jù)從逆變器用電力變換動(dòng)作控制部41接收到的電動(dòng)機(jī)驅(qū)動(dòng)指令，將電動(dòng)機(jī)104產(chǎn)生的交流的再生電力變換為直流電力后返回到DC鏈路。在通過(guò)電動(dòng)機(jī)控制裝置1000驅(qū)動(dòng)控制多個(gè)電動(dòng)機(jī)104時(shí)，為了對(duì)各個(gè)電動(dòng)機(jī)104單獨(dú)提供驅(qū)動(dòng)電力來(lái)驅(qū)動(dòng)控制電動(dòng)機(jī)104，并聯(lián)連接與電動(dòng)機(jī)104的個(gè)數(shù)相同數(shù)量的逆變器102。逆變器102例如像PWM逆變器那樣，由開(kāi)關(guān)元件以及與其逆并聯(lián)連接的二極管的橋電路構(gòu)成。作為開(kāi)關(guān)元件的例子，具有IGBT、晶閘管、GTO(Gate Turn-OFF thyristor：門極可關(guān)斷晶閘管)、晶體管等，但是在本發(fā)明中不限定開(kāi)關(guān)元件的種類自身，也可以是其他的半導(dǎo)體元件。

作為變換器101的控制裝置，電動(dòng)機(jī)控制裝置1000具備參照?qǐng)D3以及圖4說(shuō)明的使用了強(qiáng)化學(xué)習(xí)的機(jī)械學(xué)習(xí)裝置1、意圖決定部13、變換器用電力變換動(dòng)作控制部14。

機(jī)械學(xué)習(xí)裝置1具備狀態(tài)觀測(cè)部11和學(xué)習(xí)部12。

狀態(tài)觀測(cè)部11觀測(cè)狀態(tài)變量，該狀態(tài)變量由以下數(shù)據(jù)中的至少一個(gè)數(shù)據(jù)構(gòu)成：與DC鏈路的直流電壓的值相關(guān)的數(shù)據(jù)、與通過(guò)變換器101的電源再生動(dòng)作從DC鏈路側(cè)返回交流電源103側(cè)的電能即電源再生量相關(guān)的數(shù)據(jù)、與表示DC鏈路電壓超過(guò)了預(yù)先設(shè)定的過(guò)電壓警報(bào)等級(jí)的過(guò)電壓警報(bào)有無(wú)發(fā)生相關(guān)的數(shù)據(jù)。將觀測(cè)到的狀態(tài)變量作為訓(xùn)練數(shù)據(jù)集在學(xué)習(xí)部12的學(xué)習(xí)中使用。通過(guò)直流電壓測(cè)定部31測(cè)定DC鏈路電壓，通過(guò)電源再生量測(cè)定部32測(cè)定變換器101的電源再生量，通過(guò)過(guò)電壓警報(bào)接收部33接收與過(guò)電壓警報(bào)有無(wú)發(fā)生相關(guān)的數(shù)據(jù)。此外，關(guān)于電源再生量測(cè)定部32針對(duì)電源再生量的測(cè)定，可以通過(guò)根據(jù)變換器101的交流電源103側(cè)的交流電壓和交流電流進(jìn)行計(jì)算來(lái)實(shí)現(xiàn)，或者可以通過(guò)使用設(shè)置在變換器101的交流電源103側(cè)的電能儀表(未圖示)進(jìn)行測(cè)量來(lái)實(shí)現(xiàn)，或者也可以通過(guò)根據(jù)DC鏈路電壓(即直流電壓測(cè)定部31測(cè)定出的直流電壓)和從變換器101向DC鏈路側(cè)輸出的直流電流進(jìn)行計(jì)算來(lái)實(shí)現(xiàn)。

學(xué)習(xí)部12內(nèi)的回報(bào)計(jì)算部21根據(jù)通過(guò)狀態(tài)觀測(cè)部11觀測(cè)到的狀態(tài)變量計(jì)算回報(bào)。

在將與DC鏈路電壓的值相關(guān)數(shù)據(jù)作為狀態(tài)變量時(shí)，在通過(guò)狀態(tài)觀測(cè)部11觀測(cè)到的當(dāng)前的DC鏈路電壓高于在該當(dāng)前的DC鏈路電壓之前通過(guò)狀態(tài)觀測(cè)部11觀測(cè)到的DC鏈路電壓時(shí)(即DC鏈路電壓上升時(shí))，回報(bào)計(jì)算部21增加回報(bào)，在通過(guò)狀態(tài)觀測(cè)部11觀測(cè)到的當(dāng)前的DC鏈路電壓低于在該當(dāng)前的DC鏈路電壓之前通過(guò)狀態(tài)觀測(cè)部11觀測(cè)到的DC鏈路電壓時(shí)(即DC鏈路電壓降低時(shí))，回報(bào)計(jì)算部21減少回報(bào)。如上所述，在DC鏈路電壓上升時(shí)增加回報(bào)，在DC鏈路電壓下降時(shí)減少回報(bào)，其原因在于，如果DC鏈路電壓降低，則在發(fā)生了瞬間電壓降低或發(fā)生了停電時(shí)，變換器101可使用的電力降低。

另外，在將與電源再生量相關(guān)的數(shù)據(jù)作為狀態(tài)變量時(shí)，回報(bào)計(jì)算部21在通過(guò)狀態(tài)觀測(cè)部11觀測(cè)到的當(dāng)前的電源再生量小于在該當(dāng)前的電源再生量之前通過(guò)狀態(tài)觀測(cè)部11觀測(cè)到的電源再生量時(shí)(即，電源再生量減少時(shí))增加回報(bào)，在通過(guò)狀態(tài)觀測(cè)部11觀測(cè)到的當(dāng)前的電源再生量大于在該當(dāng)前的電源再生量之前通過(guò)狀態(tài)觀測(cè)部11觀測(cè)到的電源再生量時(shí)(即，電源再生量增加時(shí))減少回報(bào)。如上所述，在電源再生量減少時(shí)增加回報(bào)，在電源再生量增加時(shí)減少回報(bào)，其原因在于，如果變換器進(jìn)行電源再生則由于開(kāi)關(guān)損耗使得半導(dǎo)體開(kāi)關(guān)元件發(fā)熱，因此電源再生量越多，變換器的電源再生動(dòng)作的效率越差。

另外，在將與過(guò)電壓警報(bào)有無(wú)發(fā)生相關(guān)的數(shù)據(jù)作為狀態(tài)變量時(shí)，回報(bào)計(jì)算部21在通過(guò)狀態(tài)觀測(cè)部11觀測(cè)到的沒(méi)有發(fā)生過(guò)電壓警報(bào)時(shí)增加回報(bào)，在通過(guò)狀態(tài)觀測(cè)部11觀測(cè)到有發(fā)生過(guò)電壓警報(bào)時(shí)減少回報(bào)。如上所述在產(chǎn)生過(guò)電壓警報(bào)時(shí)減少回報(bào)，其原因在于，如果DC鏈路電壓成為過(guò)電壓，則變換器以及逆變器內(nèi)的各元件以及DC鏈路電容有可能被損壞。

學(xué)習(xí)部12內(nèi)的函數(shù)更新部22根據(jù)由回報(bào)計(jì)算部21計(jì)算出的回報(bào)來(lái)更新函數(shù)，該函數(shù)用于變更電源再生開(kāi)始電壓以及電源再生停止電壓。例如在為Q學(xué)習(xí)時(shí)，將式1所表示的行為價(jià)值函數(shù)Q(s_t，a_t)作為用于變更電源再生開(kāi)始電壓以及電源再生停止電壓的函數(shù)來(lái)使用。

意圖決定部13根據(jù)學(xué)習(xí)部12按照訓(xùn)練數(shù)據(jù)集進(jìn)行學(xué)習(xí)而得到的結(jié)果，對(duì)當(dāng)前狀態(tài)變量的輸入進(jìn)行響應(yīng)，來(lái)決定電源再生開(kāi)始電壓以及電源再生停止電壓。在本實(shí)施例中，例如一個(gè)例子，作為學(xué)習(xí)算法使用了強(qiáng)化學(xué)習(xí)，因此根據(jù)學(xué)習(xí)部12內(nèi)的回報(bào)計(jì)算部21計(jì)算出的回報(bào)，學(xué)習(xí)部12內(nèi)的函數(shù)更新部22更新用于變更電源再生開(kāi)始電壓以及電源再生停止電壓的函數(shù)，意圖決定部13根據(jù)更新后的函數(shù)來(lái)選擇得到最多回報(bào)的電源再生開(kāi)始電壓以及電源再生停止電壓。

變換器用電力變換動(dòng)作控制部14控制將交流電源103側(cè)的交流電力與DC鏈路側(cè)的直流電力相互進(jìn)行變換的變換器101的電力變換動(dòng)作。作為基本的動(dòng)作，變換器用電力變換動(dòng)作控制部14對(duì)變換器101進(jìn)行指令從而使其將從交流電源103側(cè)提供的交流電力變換為直流電力后輸出到直流側(cè)，并且根據(jù)直流電壓測(cè)定部31測(cè)定出的DC鏈路電壓來(lái)對(duì)變換器101進(jìn)行指令使其進(jìn)行電力再生動(dòng)作。具體來(lái)說(shuō)，變換器用電力變換動(dòng)作控制部14在DC鏈路電壓上升從而超過(guò)電源再生開(kāi)始電壓時(shí)，對(duì)變換器101進(jìn)行指令使其開(kāi)始電源再生動(dòng)作，在變換器開(kāi)始了電源再生動(dòng)作后，在DC鏈路電壓下降從而低于電源再生停止電壓時(shí)對(duì)變換器指令停止電源再生動(dòng)作。在變換器用電力變換動(dòng)作控制部14的處理中使用的電源再生開(kāi)始電壓以及電源再生停止電壓是如上所述由意圖決定部13所決定的電壓。在變換器101為PWM控制方式的整流器時(shí)，作為用于對(duì)變換器101內(nèi)的開(kāi)關(guān)元件的開(kāi)關(guān)動(dòng)作進(jìn)行PWM控制的PWM控制信號(hào)，生成上述各指令。

逆變器用電力變換動(dòng)作控制部41控制將DC鏈路側(cè)的直流電力與交流電動(dòng)機(jī)側(cè)的交流電力相互進(jìn)行變換的逆變器102的電力變換動(dòng)作。即，逆變器用電力變換動(dòng)作控制部41使用電動(dòng)機(jī)104的動(dòng)作程序、逆變器102的交流電動(dòng)機(jī)側(cè)的交流電流或者交流電壓以及/或電動(dòng)機(jī)104的旋轉(zhuǎn)速度等，作為用于控制電動(dòng)機(jī)104的速度、轉(zhuǎn)矩、或者轉(zhuǎn)子位置的驅(qū)動(dòng)指令，對(duì)逆變器102指令將交流電力變換為直流電力的動(dòng)力運(yùn)行動(dòng)作(正變換動(dòng)作)以及將直流電力變換為交流電力的再生動(dòng)作(逆變換動(dòng)作)中任意一個(gè)動(dòng)作。在逆變器102為PWM控制方式的逆變器時(shí)，作為用于對(duì)逆變器102內(nèi)開(kāi)關(guān)元件的開(kāi)關(guān)動(dòng)作進(jìn)行PWM控制的PWM控制信號(hào)，生成上述各指令。

綜合控制部51對(duì)變換器用電力變換動(dòng)作控制部14以及逆變器用電力變換動(dòng)作控制部41進(jìn)行綜合控制。

圖6是表示實(shí)施例的使用了強(qiáng)化學(xué)習(xí)的機(jī)械學(xué)習(xí)裝置的動(dòng)作流程的流程圖。

一般來(lái)說(shuō)，在強(qiáng)化學(xué)習(xí)中隨機(jī)地選擇行為的初期值。在實(shí)施例中，在步驟S201隨機(jī)地選擇作為行為的電源再生開(kāi)始電壓以及電源再生停止電壓的初始值。但是，電源再生開(kāi)始電壓必須為比電源再生停止電壓高的值。

在步驟S202中，電動(dòng)機(jī)控制裝置1000的綜合控制部51對(duì)變換器用電力變換動(dòng)作控制部14以及逆變器用電力變換動(dòng)作控制部41進(jìn)行與電動(dòng)機(jī)104的驅(qū)動(dòng)相關(guān)的指令。具體來(lái)說(shuō)，變換器101根據(jù)從變換器用電力變換動(dòng)作控制部14接收到的指令，將從交流電源103側(cè)提供的交流電力變換為直流電力后輸出到直流側(cè)。逆變器102根據(jù)從逆變器用電力變換動(dòng)作控制部41接收到的電動(dòng)機(jī)驅(qū)動(dòng)指令，進(jìn)行將交流電力變換為直流電力的動(dòng)力運(yùn)行動(dòng)作(正變換動(dòng)作)以及將直流電力變換為交流電力的再生動(dòng)作(逆變換動(dòng)作)中的某一個(gè)動(dòng)作。由此，電動(dòng)機(jī)104進(jìn)行加速動(dòng)作、定速動(dòng)作或者減速動(dòng)作。

在步驟S203中，作為訓(xùn)練數(shù)據(jù)集，狀態(tài)觀測(cè)部11觀測(cè)狀態(tài)變量，該狀態(tài)變量由以下數(shù)據(jù)構(gòu)成：與DC鏈路電壓的值相關(guān)的數(shù)據(jù)、與通過(guò)變換器的電源再生動(dòng)作從DC鏈路側(cè)返回交流電源103側(cè)的電能即電源再生量相關(guān)的數(shù)據(jù)、與表示DC鏈路電壓超過(guò)了預(yù)先設(shè)定的過(guò)電壓警報(bào)等級(jí)的過(guò)電壓警報(bào)有無(wú)發(fā)生相關(guān)的數(shù)據(jù)。在本實(shí)施例中，作為一個(gè)例子將這三個(gè)數(shù)據(jù)作為狀態(tài)變量，但也可以將這三個(gè)數(shù)據(jù)中的至少一個(gè)作為狀態(tài)變量。

在步驟S204中，狀態(tài)觀測(cè)部11觀測(cè)DC鏈路電壓是否升高，在DC鏈路電壓升高時(shí)，即在觀測(cè)到的當(dāng)前的DC鏈路電壓高于在該當(dāng)前的DC鏈路電壓之前測(cè)定出的DC鏈路電壓時(shí)，在步驟S205中回報(bào)計(jì)算部21增加回報(bào)。另外，在DC鏈路電壓降低時(shí)，即在觀測(cè)到的當(dāng)前的DC鏈路電壓低于在該當(dāng)前的DC鏈路電壓之前觀測(cè)到的DC鏈路電壓時(shí)，在步驟S206中回報(bào)計(jì)算部21減少回報(bào)。

在步驟S207中，狀態(tài)觀測(cè)部11觀測(cè)通過(guò)變換器101的電源再生量是否增加，在電源量增加時(shí)，即在觀測(cè)到的當(dāng)前的電源再生量大于在該當(dāng)前的電源再生量之前觀測(cè)到的電源再生量時(shí)，在步驟S208中回報(bào)計(jì)算部21減少回報(bào)。在電源再生量減少了時(shí)，即在觀測(cè)到的當(dāng)前的電源再生量小于在該當(dāng)前的電源再生量之前觀測(cè)到的電源再生量時(shí)，在步驟S209中回報(bào)計(jì)算部21增加回報(bào)。

在步驟S210中，狀態(tài)觀測(cè)部11觀測(cè)是否產(chǎn)生了過(guò)電壓警報(bào)，在觀測(cè)到產(chǎn)生過(guò)電壓警報(bào)時(shí)，在步驟S211中，回報(bào)計(jì)算部21減少回報(bào)。另外，在觀測(cè)到?jīng)]有產(chǎn)生過(guò)電壓警報(bào)時(shí)，在步驟S212中，回報(bào)計(jì)算部21增加回報(bào)。

上述的步驟S204～S206的處理、步驟S207～S209的處理、步驟S210～S212的處理可以任意地調(diào)換來(lái)執(zhí)行。

在步驟S213中，函數(shù)更新部22根據(jù)回報(bào)計(jì)算部21計(jì)算出的回報(bào)來(lái)更新用于變更電源再生開(kāi)始電壓以及電源再生停止電壓的函數(shù)。

接下來(lái)在步驟S214中，意圖決定部13根據(jù)在步驟S213中更新后的函數(shù)，選擇得到最多回報(bào)的電源再生開(kāi)始電壓以及電源再生停止電壓。然后，返回步驟S202，從此之后，反復(fù)執(zhí)行步驟S202～S214的處理。由此，機(jī)械學(xué)習(xí)裝置1學(xué)習(xí)與能夠?qū)崿F(xiàn)變換器101的高效的電源再生動(dòng)作的電源再生動(dòng)作相關(guān)聯(lián)的條件，即電源再生開(kāi)始電壓以及電源再生停止電壓。可以從多個(gè)變換器101取得訓(xùn)練數(shù)據(jù)集，此時(shí)，學(xué)習(xí)部12按照針對(duì)多個(gè)變換器101取得的訓(xùn)練數(shù)據(jù)集，反復(fù)執(zhí)行步驟S201～S214的處理，來(lái)學(xué)習(xí)電源再生開(kāi)始電壓以及電源再生停止電壓。如果針對(duì)多個(gè)變換器101取得訓(xùn)練數(shù)據(jù)集，則機(jī)械學(xué)習(xí)裝置1的學(xué)習(xí)精度提高。

此外，上述的狀態(tài)觀測(cè)部11、學(xué)習(xí)部12以及意圖決定部13例如也可以通過(guò)軟件程序形式來(lái)構(gòu)筑，或者可以通過(guò)各種電子電路與軟件程序的組合來(lái)構(gòu)筑。例如在以軟件程序形式構(gòu)筑這些部分時(shí)，通過(guò)使電動(dòng)機(jī)控制裝置1000內(nèi)的運(yùn)算處理裝置按照該軟件程序進(jìn)行動(dòng)作，來(lái)實(shí)現(xiàn)上述各部的功能。又或者，可以作為寫入了用于實(shí)現(xiàn)各部的功能的軟件程序的半導(dǎo)體集成電路來(lái)實(shí)現(xiàn)具備狀態(tài)觀測(cè)部11以及學(xué)習(xí)部12的機(jī)械學(xué)習(xí)裝置1。又或者可以通過(guò)不僅包含具有狀態(tài)觀測(cè)部11以及學(xué)習(xí)部12的機(jī)械學(xué)習(xí)裝置1還包含意圖決定部13的方式，來(lái)實(shí)現(xiàn)寫入了用于實(shí)現(xiàn)各部的功能的軟件程序的半導(dǎo)體集成電路。

另外，使用電動(dòng)機(jī)控制裝置1000為了驅(qū)動(dòng)控制電動(dòng)機(jī)原本具備的直流電壓測(cè)定部21、電源再生量測(cè)定部32以及過(guò)電壓警報(bào)接收部33測(cè)定的各種數(shù)據(jù)來(lái)執(zhí)行機(jī)械學(xué)習(xí)處理，因此不需要像現(xiàn)有技術(shù)那樣設(shè)置新的硬件裝置，所以可以隨后安裝在既有的電動(dòng)機(jī)控制裝置中來(lái)使用。此時(shí)，可以在該既有的電動(dòng)機(jī)控制裝置中安裝寫入了用于實(shí)現(xiàn)機(jī)械學(xué)習(xí)裝置1和意圖決定部13的各部的功能的軟件程序的半導(dǎo)體集成電路，也可以在該既有的電動(dòng)機(jī)控制裝置內(nèi)的運(yùn)算處理裝置中追加安裝用于實(shí)現(xiàn)機(jī)械學(xué)習(xí)裝置1和意圖決定部13的各部的功能的軟件程序。另外，也可以將關(guān)于某個(gè)電動(dòng)機(jī)控制裝置已學(xué)習(xí)了電源再生開(kāi)始電壓以及電源再生停止電壓的機(jī)械學(xué)習(xí)裝置1安裝在其他的電動(dòng)機(jī)控制裝置中，關(guān)于該其他的電動(dòng)機(jī)控制裝置再學(xué)習(xí)電源再生開(kāi)始電壓以及電源再生停止電壓來(lái)進(jìn)行更新。

根據(jù)本發(fā)明，能夠?qū)崿F(xiàn)可高效地進(jìn)行變換器的將DC鏈路側(cè)的直流電力變換為交流電力后返回交流電源側(cè)的電源再生動(dòng)作的電動(dòng)機(jī)控制裝置、在該電動(dòng)機(jī)控制裝置中使用的變換器的控制裝置、以及用于該變換器的控制裝置的機(jī)械學(xué)習(xí)裝置及其方法，上述變換器通過(guò)從交流電源側(cè)的交流電力進(jìn)行變換來(lái)生成用于生成驅(qū)動(dòng)電動(dòng)機(jī)的交流電力的DC鏈路中的直流電力。

通過(guò)本發(fā)明，針對(duì)正在進(jìn)行動(dòng)作的電動(dòng)機(jī)控制裝置，機(jī)械學(xué)習(xí)裝置自身調(diào)整能夠高效且恰當(dāng)?shù)剡M(jìn)行變換器的電源再生動(dòng)作的電源再生開(kāi)始電壓以及電源再生停止電壓，因此在電動(dòng)機(jī)控制裝置的設(shè)計(jì)階段或運(yùn)行階段不需要人工進(jìn)行調(diào)整。除此之外，由于通過(guò)機(jī)械學(xué)習(xí)裝置進(jìn)行調(diào)整即可，因此可以用較短的時(shí)間來(lái)進(jìn)行目前復(fù)雜的運(yùn)行狀況不同的每個(gè)機(jī)械的變換器的電源再生動(dòng)作的調(diào)整。對(duì)于運(yùn)行狀況相同的機(jī)械，通過(guò)多個(gè)機(jī)械學(xué)習(xí)裝置分散地進(jìn)行訓(xùn)練數(shù)據(jù)集的學(xué)習(xí)，由此與單獨(dú)進(jìn)行學(xué)習(xí)相比，能夠用較短的時(shí)間進(jìn)行變換器的電源再生動(dòng)作的調(diào)整。另外，通過(guò)調(diào)整電源再生開(kāi)始電壓和電源再生停止電壓，可以抑制電源再生造成的變換器以及逆變器內(nèi)的半導(dǎo)體開(kāi)關(guān)元件的發(fā)熱，同時(shí)可以防止由于電源再生不足而發(fā)生的DC鏈路過(guò)電壓警報(bào)。并且，通過(guò)抑制電源再生，可以利用DC鏈路電壓的上升，對(duì)于發(fā)生瞬間電壓降低或停電時(shí)的電力不足，使用在DC鏈路部中儲(chǔ)存的電力，由此能夠使機(jī)械持續(xù)運(yùn)行。在沒(méi)有發(fā)生瞬間電壓降低或停電時(shí)，通過(guò)在逆變器的輸出上升時(shí)使用在DC鏈路部中儲(chǔ)存的電力，直到DC鏈路電壓成為交流電源的電壓峰值以下為止，在變換器的半導(dǎo)體開(kāi)關(guān)元件中不會(huì)流過(guò)電流，因此可抑制半導(dǎo)體開(kāi)關(guān)元件的發(fā)熱。