本發(fā)明涉及一種系統(tǒng)。

背景技術：

1、在專利文獻1中記載了多代理的強化學習。

2、現(xiàn)有技術文獻

3、專利文獻

4、專利文獻1：日本特開2004-227208號公報

技術實現(xiàn)思路

1、根據(jù)本發(fā)明的第一方式，提供一種系統(tǒng)。所述系統(tǒng)可以具備配置于網(wǎng)絡的第一層級的第一層級代理以及比所述第一層級更靠下位的第二層級的多個第二層級代理。所述多個第二層級代理的每一個可以使用所收集的信息，與其他第二層級代理協(xié)作來執(zhí)行學習，將使用學習結果生成的信息發(fā)送到所述第一層級代理。所述第一層級代理可以使用從所述多個第二層級代理接收到的信息來執(zhí)行學習。所述系統(tǒng)可以還具備比所述第二層級更靠下位的第三層級的多個第三層級代理。所述多個第三層級代理的每一個可以使用所收集的信息，與其他第三層級代理協(xié)作來執(zhí)行學習，將使用學習結果生成的信息發(fā)送到所述多個第二層級代理中的至少任一個。所述多個第三層級代理的每一個可以具有：第三信息收集部，收集信息；第三學習執(zhí)行部，使用由所述第三信息收集部收集的信息，與其他多個第三層級代理協(xié)作來執(zhí)行學習；以及第三信息發(fā)送部，將使用所述第三學習執(zhí)行部的學習結果生成的信息發(fā)送到所述多個第二層級代理中的至少任一個。所述多個第二層級代理的每一個可以具有：第二信息收集部，從多個所述第三層級代理收集信息；第二學習執(zhí)行部，使用由所述第二信息收集部收集的信息，與其他多個第二層級代理協(xié)作來執(zhí)行學習；以及第二信息發(fā)送部，將使用所述第二學習執(zhí)行部的學習結果生成的信息發(fā)送到所述第一層級代理。所述第一層級代理可以具有：第一信息收集部，從多個所述第二層級代理收集信息；以及第一學習執(zhí)行部，使用由所述第一信息收集部收集的信息來執(zhí)行學習。所述第一層級代理可以配置于層級型網(wǎng)絡的第一nw層級，所述多個第二層級代理可以配置于比所述層級型網(wǎng)絡的所述第一nw層級更靠下位的第二nw層級，所述多個第三層級代理可以配置于比所述層級型網(wǎng)絡的所述第二nw層級更靠下位的第三nw層級。所述層級型網(wǎng)絡可以是云網(wǎng)絡，所述第一nw層級可以由云計算構成，所述第二nw層級可以由多個霧計算構成，所述第三nw層級可以由多個邊緣計算構成。所述層級型網(wǎng)絡可以是云網(wǎng)絡，所述第一nw層級可以由云計算構成，所述第二nw層級可以由多個霧計算構成，所述第三nw層級可以由多個邊緣計算構成，所述第三信息收集部可以通過移動通信從多個iot(internet?of?thing，物聯(lián)網(wǎng))設備收集信息，所述第三信息發(fā)送部可以使用所述第三學習執(zhí)行部的學習結果，將從所述第三信息收集部收集到的信息中選擇的信息、或使用所述學習結果生成的信息發(fā)送到所述多個第二層級代理中的至少任一個，所述第二信息收集部可以收集由所述第三信息發(fā)送部發(fā)送的信息，所述第二信息發(fā)送部可以使用所述第二學習執(zhí)行部的學習結果，將從所述第二信息收集部收集到的信息中選擇的信息、或使用所述學習結果生成的信息發(fā)送到所述第一層級代理。

2、在所述系統(tǒng)中，所述多個第三層級代理的每一個可以具有第三處理執(zhí)行部，所述第三處理執(zhí)行部使用所述第三學習執(zhí)行部的學習結果，對所述第三信息收集部收集到的信息執(zhí)行處理。所述第三處理執(zhí)行部可以使用所述第三信息收集部收集到的多個信息，生成發(fā)送到所述多個第二層級代理中的至少任一個的信息。所述第三處理執(zhí)行部可以使用所述第三學習執(zhí)行部的學習結果，生成包含從所述第三信息收集部收集到的多個信息中選擇的信息的發(fā)送信息。所述第三處理執(zhí)行部可以使用所述第三學習執(zhí)行部的學習結果，生成匯總了所述第三信息收集部收集到的多個信息的概要信息。所述第三信息發(fā)送部可以將由所述第三處理執(zhí)行部生成的信息發(fā)送到所述多個第二層級代理中的至少任一個。在所述系統(tǒng)中，所述多個第二層級代理的每一個可以具有第二處理執(zhí)行部，所述第二處理執(zhí)行部使用所述第二學習執(zhí)行部的學習結果，對所述第二信息收集部收集到的信息執(zhí)行處理。所述第二處理執(zhí)行部可以使用所述第二信息收集部收集到的多個信息，生成發(fā)送到所述第一層級代理的信息。所述第二處理執(zhí)行部可以使用所述第二學習執(zhí)行部的學習結果，生成包含從所述第二信息收集部收集到的多個信息中選擇的信息的發(fā)送信息。所述第二處理執(zhí)行部可以使用所述第二學習執(zhí)行部的學習結果，生成匯總了所述第二信息收集部收集到的多個信息的概要信息。所述第二信息發(fā)送部可以將由所述第二處理執(zhí)行部生成的信息發(fā)送到所述第一層級代理。在所述系統(tǒng)中，所述第一層級代理可以具有第一處理執(zhí)行部，所述第一處理執(zhí)行部使用所述第一學習執(zhí)行部的學習結果，對所述第一信息收集部收集到的信息執(zhí)行處理。所述第一處理執(zhí)行部可以使用所述第一學習執(zhí)行部的學習結果，執(zhí)行以使應用了所述系統(tǒng)的網(wǎng)絡的整體穩(wěn)定為目的的處理。所述第一處理執(zhí)行部可以基于分析所述第一信息收集部收集到的信息的結果，生成對所述多個第二層級代理中的至少任一個或所述多個第三層級代理中的至少任一個的指示信息。所述第一處理執(zhí)行部可以生成指示信息，所述指示信息對所述多個第三層級代理中的至少任一個指示從iot設備中收集的信息中的發(fā)送到所述多個第二層級代理中的至少任一個的信息。所述第一處理執(zhí)行部可以生成指示信息，所述指示信息對所述多個第二層級代理中的至少任一個指示從所述多個第二層級代理中的至少任一個收集到的信息的處理內容。所述第一處理執(zhí)行部可以基于分析所述第一信息收集部收集到的信息的結果，生成發(fā)送到所述多個第三層級代理中的至少任一個的學習用信息。所述第一處理執(zhí)行部可以基于分析所述第一信息收集部收集到的信息的結果，生成發(fā)送到所述多個第二層級代理中的至少任一個的學習用信息。所述第一處理執(zhí)行部可以生成包含與所述第一信息收集部收集到的信息的傾向的變化配合而設定的報酬的學習用信息。

3、在所述系統(tǒng)以由多個iot設備發(fā)送的信息的分析為一個目的的情況下，可以是，所述多個第三層級代理執(zhí)行進一步要求實時性的分析，所述第一層級代理分析某種程度長的期間的傾向，所述多個第二層級代理執(zhí)行相當于該期間的分析。在所述系統(tǒng)以管理某個地域中的事故的發(fā)生狀況為目的的情況下，可以是，所述多個第三層級代理從配置于該地域的多個iot設備收集圖像數(shù)據(jù)以及物體檢測數(shù)據(jù)，負責地理上接近的子區(qū)域的多個第三層級代理一邊共享信息、一邊執(zhí)行用于檢測事故的發(fā)生的學習，第三層級代理使用學習結果來檢測事故的發(fā)生，多個第二層級代理被分配給子區(qū)域的組，從經(jīng)由組的子區(qū)域的iot設備收集信息的第三層級代理收集信息，多個第二層級代理通過相互協(xié)作，執(zhí)行用于預測事故的發(fā)生的學習，第二層級代理使用學習結果來預測事故的發(fā)生，第一層級代理根據(jù)多個第二層級代理的預測結果，執(zhí)行用于進行整體信息的控制的學習。第一層級代理可以進行如下控制：針對預測事故的發(fā)生的子區(qū)域，增加所收集的信息量或增加信息的種類，針對除此以外的子區(qū)域，減少所收集的信息量或減少信息的種類。

4、例如，在所述系統(tǒng)以順暢地實施通知云網(wǎng)絡中的由iot設備獲取的信息的消息的路由為一個目的的情況下，所述第三層級代理可以實施消息的路由。所述第三層級代理可以與其他所述第三層級代理協(xié)作，對于來自發(fā)布者的消息，執(zhí)行控制topic、to(包含copy)以及分割的學習。所述第三層級代理可以使用學習結果，與其他所述第三層級代理協(xié)作，控制topic的生成、to的確定、消息的復制、消息的分割等，以使來自發(fā)布者的消息到達適當?shù)挠嗛喺?。所述第二層級代理例如可以根?jù)從所述第三層級代理收集的信息，監(jiān)視基于所述第三層級代理的路由，執(zhí)行能夠執(zhí)行消除在路由中產(chǎn)生的問題的處理的學習。所述第二層級代理可以在存在收件地址不明的相同的to的消息的情況下對消息進行緩沖，在緩沖的量超過了閾值的情況下將緩沖的消息的一部分釋放到網(wǎng)絡，其結果，在再次返回的情況下，進行緩沖直到到達為止、或緩沖一定時間，如果消息開始到達，則對于緩沖的消息中的相同的to的消息開始發(fā)送。所述第一層級代理可以根據(jù)從所述第二層級代理收集的信息，執(zhí)行用于檢測網(wǎng)絡中的問題點的學習。在使用學習結果檢測到網(wǎng)絡的問題點的情況下，所述第一層級代理可以將檢測結果通知給網(wǎng)絡的操作員，或者輸出變更網(wǎng)絡結構的指示。

5、例如，在所述系統(tǒng)以實施與自動駕駛相關的控制為一個目的的情況下，多個第三層級代理的每一個可以按被劃分為多個地域的每個地域，從搭載于位于該地域內的車輛的iot設備、搭載于信號燈等的iot設備以及設置于道路等的iot設備收集信息。所述第三層級代理可以收集車輛的位置信息、由車輛的相機或街道的相機拍攝的圖像、由道路的傳感器檢測到的車輛檢測信息、人檢測信息、由車輛的傳感器等檢測到的車輛間距離、地域中的天氣信息、車輛的導航信息以及車輛的行駛速度中的至少任一個。所述第三層級代理可以負責某個區(qū)域，從某個車輛進入該區(qū)域時起，收集來自搭載于該車輛的iot設備的信息，在該車輛離開該區(qū)域時，由負責該車輛進入的區(qū)域的所述第三層級代理接管信息的收集。所述第三層級下位代理可以與其他所述第三層級代理共享信息，執(zhí)行車間距離比閾值短、車輛與人等碰撞的危險的檢測。在檢測到危險的情況下，所述第三層級代理可以向成為對象的車輛發(fā)送危險檢測信息。所述第二層級代理可以指示所述第三層級代理對什么信息進行通信。所述第二層級代理可以基于過去從所述第三層級代理收集到的信息(星期幾、時間等)，分析(學習)重要信息(人多、車多等)，能夠判定收集的優(yōu)先級高的信息。所述第二層級代理可以對所述第三層級代理發(fā)出指示，以使所述第三層級代理能夠按每個期間收集優(yōu)先級高的信息。所述第二層級代理可以通過與其他所述第二層級代理協(xié)作來進行學習，能夠以高精度確定優(yōu)先級高的信息。作為學習的結果，所述第二層級代理可以在工作日的早晨進行指示，以使能夠提高車檢測結果的優(yōu)先級來收集信息，并且在休息日的白天進行指示，以使能夠提高人檢測結果的優(yōu)先級來收集信息。所述第一層級代理可以執(zhí)行更寬范圍的分析。所述第一層級代理可以根據(jù)負責區(qū)域(市、縣、國單位)的交通信息(交通量、時刻、星期幾、事件、天氣)，執(zhí)行幾個步驟之后的(設定的時刻的)預測，向所述第二層級代理提供信息。

6、另外，上述發(fā)明的概要沒有列舉出本發(fā)明的所有的必要特征。此外，這些特征組的子組合也可以成為發(fā)明。