国产精品1024永久观看,大尺度欧美暖暖视频在线观看,亚洲宅男精品一区在线观看,欧美日韩一区二区三区视频,2021中文字幕在线观看

  • <option id="fbvk0"></option>
    1. <rt id="fbvk0"><tr id="fbvk0"></tr></rt>
      <center id="fbvk0"><optgroup id="fbvk0"></optgroup></center>
      <center id="fbvk0"></center>

      <li id="fbvk0"><abbr id="fbvk0"><dl id="fbvk0"></dl></abbr></li>

      一種數(shù)據(jù)處理系統(tǒng)和方法與流程

      文檔序號:12809139閱讀:346來源:國知局
      一種數(shù)據(jù)處理系統(tǒng)和方法與流程

      本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域,尤其涉及一種數(shù)據(jù)處理系統(tǒng)和方法。



      背景技術(shù):

      網(wǎng)絡(luò)管理系統(tǒng)是一個軟硬件結(jié)合以軟件為主的分布式網(wǎng)絡(luò)應(yīng)用系統(tǒng),其目的是管理網(wǎng)絡(luò),使網(wǎng)絡(luò)高效正常運行。

      網(wǎng)絡(luò)管理系統(tǒng)的演進(jìn)方向是從傳統(tǒng)的煙囪式系統(tǒng)結(jié)構(gòu)向送耦合的分層結(jié)構(gòu)進(jìn)行演進(jìn),如圖1所示,其為分層式的網(wǎng)絡(luò)管理系統(tǒng)結(jié)構(gòu)示意圖,包括:應(yīng)用層、數(shù)據(jù)共享平層和數(shù)據(jù)采集層。

      網(wǎng)絡(luò)管理系統(tǒng)中的數(shù)據(jù)來源于數(shù)據(jù)采集層,經(jīng)數(shù)據(jù)共享層系統(tǒng)一建模、統(tǒng)一處理、統(tǒng)一存儲,最終由數(shù)據(jù)共享層向業(yè)務(wù)系統(tǒng)提供統(tǒng)一的數(shù)據(jù)共享接口規(guī)范,業(yè)務(wù)系統(tǒng)在數(shù)據(jù)應(yīng)用層呈現(xiàn)數(shù)據(jù)給所需用戶。在這個過程中,數(shù)據(jù)的傳送需跨越三個層次,即數(shù)據(jù)采集層、數(shù)據(jù)共享層、應(yīng)用層,相鄰層次之間有相應(yīng)的接口規(guī)范,以實現(xiàn)不同層次數(shù)據(jù)之間的交互。以下對現(xiàn)有跨層數(shù)據(jù)交互過程以及數(shù)據(jù)共享層內(nèi)部數(shù)據(jù)處理過程進(jìn)行介紹。

      目前跨層數(shù)據(jù)交互流程有多種方式,例如消息交互方式、發(fā)布訂閱方式、數(shù)據(jù)庫方式等,本提案選取最常用的消息交互方來重點說明。消息交互方式分為兩種,一種是針對響應(yīng)速度較快,數(shù)據(jù)量較小的數(shù)據(jù)共享服務(wù)的在線請求-同步響應(yīng)方式,另一種是針對準(zhǔn)備響應(yīng)數(shù)據(jù)較慢、數(shù)據(jù)量巨大或響應(yīng)性能較低的數(shù)據(jù)共享服務(wù)的在線請求-異步響應(yīng)方式。

      (1)在線請求-同步響應(yīng)方式流程如圖2所示,可以包括以下步驟:

      步驟1、數(shù)據(jù)請求方向數(shù)據(jù)提供方發(fā)送數(shù)據(jù)獲取請求,并進(jìn)入阻塞狀態(tài),等待數(shù)據(jù)提供方的響應(yīng)數(shù)據(jù)返回。

      步驟2、數(shù)據(jù)提供方在接收到數(shù)據(jù)獲取請求后,進(jìn)行一系列的業(yè)務(wù)處理獲取響應(yīng)數(shù)據(jù),并將響應(yīng)數(shù)據(jù)回復(fù)給數(shù)據(jù)請求方。

      步驟3、數(shù)據(jù)請求方在接收到響應(yīng)數(shù)據(jù)后,中止阻塞狀態(tài)繼續(xù)運行。

      (2)在線請求-異步響應(yīng)方式,具體有兩種實現(xiàn)方式:

      在線請求-異步響應(yīng)方式一的具體流程如圖3a所示,包括以下步驟:

      步驟1、數(shù)據(jù)請求方調(diào)用數(shù)據(jù)提供方的“準(zhǔn)備數(shù)據(jù)方法”,發(fā)送數(shù)據(jù)獲取請求。

      步驟2、數(shù)據(jù)提供方在接收到數(shù)據(jù)獲取請求后,返回請求成功標(biāo)志、數(shù)據(jù)準(zhǔn)備的預(yù)估處理時間、建議定期查詢數(shù)據(jù)準(zhǔn)備情況的時間間隔和數(shù)據(jù)的獲取方式等消息。

      步驟3、數(shù)據(jù)請求方在獲得上述消息后可繼續(xù)運行,不需要長時間處于阻塞狀態(tài)。

      步驟4、數(shù)據(jù)提供方在返回上述消息后進(jìn)行一系列的業(yè)務(wù)處理以準(zhǔn)備數(shù)據(jù)。

      步驟5、數(shù)據(jù)請求方在數(shù)據(jù)準(zhǔn)備的預(yù)估處理時間到達(dá)后,按照建議的定期查詢數(shù)據(jù)準(zhǔn)備情況的時間間隔向數(shù)據(jù)提供方的查詢數(shù)據(jù)準(zhǔn)備情況方法發(fā)送查詢數(shù)據(jù)準(zhǔn)備情況的要求。

      其中,如果數(shù)據(jù)未準(zhǔn)備完畢,數(shù)據(jù)提供方返回數(shù)據(jù)未準(zhǔn)備完畢的消息,數(shù)據(jù)請求方則在建議的時間間隔后繼續(xù)查詢;如果數(shù)據(jù)準(zhǔn)備完畢,數(shù)據(jù)提供方返回包含何時何地如何獲取數(shù)據(jù)的消息。數(shù)據(jù)請求方按照給定的時間到給定的地點在給定的有效期內(nèi)自行決定何時使用給定的方式取得數(shù)據(jù)。

      (3)在線請求-異步響應(yīng)方式二的流程如圖3b所示,包括以下步驟:

      步驟1、數(shù)據(jù)請求方調(diào)用數(shù)據(jù)提供方的“準(zhǔn)備數(shù)據(jù)方法”,發(fā)送數(shù)據(jù)獲取請求。

      步驟2、數(shù)據(jù)提供方在接收到數(shù)據(jù)獲取請求后,返回請求成功標(biāo)志。數(shù)據(jù)請求方在獲得上述消息后可繼續(xù)運行,不需要長時間處于阻塞狀態(tài)。

      步驟3、數(shù)據(jù)提供方在返回上述消息后進(jìn)行一系列的業(yè)務(wù)處理以準(zhǔn)備數(shù)據(jù)。

      步驟4、數(shù)據(jù)提供方在數(shù)據(jù)準(zhǔn)備好后,通知數(shù)據(jù)請求方。

      步驟5、數(shù)據(jù)請求方收到數(shù)據(jù)準(zhǔn)備好的通知后,向數(shù)據(jù)提供方發(fā)起數(shù)據(jù)處理方,并進(jìn)一步獲取數(shù)據(jù)。

      數(shù)據(jù)共享層包括數(shù)據(jù)裝載子層、數(shù)據(jù)處理子層和數(shù)據(jù)共享子層,在其內(nèi)部的數(shù)據(jù)處理流程如圖4所示,可以包括以下步驟:

      步驟1、數(shù)據(jù)裝載子層對數(shù)據(jù)采集層上傳的數(shù)據(jù)進(jìn)行數(shù)據(jù)分發(fā)、加載、抽取、清洗、轉(zhuǎn)換等操作;

      步驟2、數(shù)據(jù)處理子層對數(shù)據(jù)裝載子層傳遞的數(shù)據(jù)進(jìn)行數(shù)據(jù)計算,明細(xì)存儲,再將數(shù)據(jù)上傳到數(shù)據(jù)共享子層;

      步驟3、數(shù)據(jù)共享子層將數(shù)據(jù)以消息交互、發(fā)布訂閱等不同方式分發(fā)給應(yīng)用層。

      現(xiàn)有跨層數(shù)據(jù)共享技術(shù)能夠完成不同層之間的數(shù)據(jù)交互,一旦出現(xiàn)數(shù)據(jù)異常,由于數(shù)據(jù)處理過程中存在數(shù)據(jù)跨層傳輸,只能憑借維護(hù)人員的工作經(jīng)驗去查找數(shù)據(jù)異常原因,特別是存在多個數(shù)據(jù)采集層和數(shù)據(jù)共享層時,維護(hù)人員無法確定應(yīng)用層的數(shù)據(jù)來自哪個數(shù)據(jù)共享層,因此,只能從發(fā)現(xiàn)異常數(shù)據(jù)的層出發(fā),逐一排除,這無疑增加了定位異常數(shù)據(jù)所耗費的時間,降低了異常數(shù)據(jù)定位的效率。



      技術(shù)實現(xiàn)要素:

      本發(fā)明實施例提供一種數(shù)據(jù)處理系統(tǒng)和方法,用以減少數(shù)據(jù)處理系統(tǒng)中定位異常數(shù)據(jù)所耗費的時間,提高異常數(shù)據(jù)定位效率。

      本發(fā)明實施例提供一種數(shù)據(jù)處理系統(tǒng),包括數(shù)據(jù)請求方和數(shù)據(jù)提供方,其中:

      所述數(shù)據(jù)請求方,用于向所述數(shù)據(jù)提供方發(fā)送數(shù)據(jù)獲取請求,所述數(shù)據(jù)獲取請求中攜帶有所請求數(shù)據(jù)的數(shù)據(jù)標(biāo)簽,所述數(shù)據(jù)標(biāo)簽中至少包括所述數(shù)據(jù)請求方的標(biāo)識作為所述數(shù)據(jù)的傳輸路徑標(biāo)識;

      所述數(shù)據(jù)提供方,用于在接收到所述數(shù)據(jù)獲取請求后,在對所述數(shù)據(jù)進(jìn)行處理得到的響應(yīng)數(shù)據(jù)過程中,在所述數(shù)據(jù)標(biāo)簽中的傳輸路徑標(biāo)識中添加自身的標(biāo)識。

      所述數(shù)據(jù)處理系統(tǒng)采用自下而上的數(shù)據(jù)處理方式;以及

      所述數(shù)據(jù)提供方,還用于如果自身位于所述數(shù)據(jù)處理系統(tǒng)最底層時,則在所述數(shù)據(jù)標(biāo)簽中添加所述數(shù)據(jù)的數(shù)據(jù)標(biāo)識。

      所述數(shù)據(jù)請求方,還用于如果自身位于所述數(shù)據(jù)處理系統(tǒng)最頂層時,則在接收到所述數(shù)據(jù)提供方返回的響應(yīng)數(shù)據(jù)后,提取所述響應(yīng)數(shù)據(jù)中包含的數(shù)據(jù)標(biāo)簽,并根據(jù)所述數(shù)據(jù)標(biāo)簽中包含的每一傳輸路徑標(biāo)識,向所述傳輸路徑標(biāo)識對應(yīng)的數(shù)據(jù)處理方發(fā)送所述數(shù)據(jù)標(biāo)簽。

      所述數(shù)據(jù)提供方包括多個數(shù)據(jù)處理子單元,以及

      每一數(shù)據(jù)處理子單元,用于在對所述數(shù)據(jù)進(jìn)行處理時,讀取所述數(shù)據(jù)標(biāo)簽,并在所述數(shù)據(jù)標(biāo)簽中按照自身處理所述數(shù)據(jù)的處理步驟,當(dāng)每一處理步驟結(jié)束時,在所述數(shù)據(jù)標(biāo)簽中依次添加每一處理步驟對應(yīng)的數(shù)據(jù)處理子路徑標(biāo)識。

      所述數(shù)據(jù)請求方,還用于在自身位于所述數(shù)據(jù)處理系統(tǒng)的最頂層時,如果檢測到異常數(shù)據(jù)時,則根據(jù)異常數(shù)據(jù)的數(shù)據(jù)標(biāo)簽中的傳輸路徑標(biāo)識,通知向自身提供數(shù)據(jù)的數(shù)據(jù)提供方;

      所述數(shù)據(jù)提供方,還用于在接收到所述數(shù)據(jù)請求方發(fā)送的異常數(shù)據(jù)通知時,如果確定異常數(shù)據(jù)非自身進(jìn)行數(shù)據(jù)處理過程中產(chǎn)生的,則根據(jù)異常數(shù)據(jù)的數(shù)據(jù)標(biāo)簽中的傳輸路徑標(biāo)識通知向自身提供數(shù)據(jù)的數(shù)據(jù)提供方,直至異常數(shù)據(jù)通知到達(dá)位于所述數(shù)據(jù)處理系統(tǒng)最底層的數(shù)據(jù)提供方;以及如果確定異常數(shù)據(jù)為自身進(jìn)行數(shù)據(jù)處理過程中產(chǎn)生的,則進(jìn)行異常數(shù)據(jù)處理。

      所述數(shù)據(jù)提供方,還用于在檢測到異常數(shù)據(jù)時,根據(jù)異常數(shù)據(jù)的數(shù)據(jù)標(biāo)簽中的傳輸路徑標(biāo)識,通知相應(yīng)的數(shù)據(jù)請求方。

      所述數(shù)據(jù)提供方,還用于在異常數(shù)據(jù)處理完畢時,根據(jù)異常數(shù)據(jù)的數(shù)據(jù)標(biāo)簽中的傳輸路徑標(biāo)識,通知相應(yīng)的數(shù)據(jù)請求方。

      本發(fā)明實施例提供的第一種數(shù)據(jù)處理方法,應(yīng)用于分層的數(shù)據(jù)處理系統(tǒng)中,包括:

      數(shù)據(jù)提供方接收數(shù)據(jù)獲取請求,所述數(shù)據(jù)獲取請求中攜帶有所請求數(shù)據(jù)的數(shù)據(jù)標(biāo)簽,所述數(shù)據(jù)標(biāo)簽中至少包括所述數(shù)據(jù)請求方的標(biāo)識作為所述數(shù)據(jù)的傳輸路徑標(biāo)識;

      所述數(shù)據(jù)提供方在對所述數(shù)據(jù)進(jìn)行處理得到的響應(yīng)數(shù)據(jù)過程中,在所述數(shù)據(jù)標(biāo)簽中的傳輸路徑標(biāo)識中添加自身的標(biāo)識。

      所述數(shù)據(jù)處理系統(tǒng)采用自下而上的數(shù)據(jù)處理方式;以及

      如果所述提供方位于所述數(shù)據(jù)處理系統(tǒng)的最底層時,所述方法,還包括:

      在所述數(shù)據(jù)標(biāo)簽中添加所述數(shù)據(jù)的數(shù)據(jù)標(biāo)識。

      所述數(shù)據(jù)提供方包括多個數(shù)據(jù)處理子單元;

      所述方法,還包括:

      每一處理子單元在對所述數(shù)據(jù)進(jìn)行處理時,讀取所述數(shù)據(jù)標(biāo)簽,并在所述數(shù)據(jù)標(biāo)簽中按照自身處理所述數(shù)據(jù)的處理步驟,當(dāng)每一處理步驟結(jié)束時,在所述數(shù)據(jù)標(biāo)簽中依次添加每一處理步驟對應(yīng)的數(shù)據(jù)處理子路徑標(biāo)識。

      本發(fā)明實施例提供的第一種數(shù)據(jù)處理方法,還包括:

      所述數(shù)據(jù)提供方接收位于所述數(shù)據(jù)處理系統(tǒng)最頂層的數(shù)據(jù)請求方發(fā)送的異常數(shù)據(jù)通知;

      所述數(shù)據(jù)提供方判斷異常數(shù)據(jù)是否為自身進(jìn)行數(shù)據(jù)處理過程中產(chǎn)生的;

      如果是,則進(jìn)行異常數(shù)據(jù)處理;

      如果否,則根據(jù)異常數(shù)據(jù)的數(shù)據(jù)標(biāo)簽中的傳輸路徑標(biāo)識通知向自身提供數(shù)據(jù)的數(shù)據(jù)提供方,直至異常數(shù)據(jù)通知到達(dá)位于所述數(shù)據(jù)處理系統(tǒng)最底層的數(shù)據(jù)提供方。

      本發(fā)明實施例提供的第一種數(shù)據(jù)處理方法,還包括:

      所述數(shù)據(jù)提供方在檢測到異常數(shù)據(jù)時,根據(jù)異常數(shù)據(jù)的數(shù)據(jù)標(biāo)簽中的傳輸路徑標(biāo)識,通知相應(yīng)的數(shù)據(jù)請求方。

      本發(fā)明實施例提供的第一種數(shù)據(jù)處理方法,還包括:

      所述數(shù)據(jù)提供方在異常數(shù)據(jù)處理完畢時,根據(jù)異常數(shù)據(jù)的數(shù)據(jù)標(biāo)簽中的傳輸路徑標(biāo)識,通知相應(yīng)的數(shù)據(jù)請求方。

      本發(fā)明實施例提供的第二種數(shù)據(jù)處理方法,包括:

      數(shù)據(jù)請求方向數(shù)據(jù)提供方發(fā)送數(shù)據(jù)獲取請求,所述數(shù)據(jù)獲取請求中攜帶有所請求數(shù)據(jù)的數(shù)據(jù)標(biāo)簽,所述數(shù)據(jù)標(biāo)簽中至少包括所述數(shù)據(jù)請求方的標(biāo)識作為所述數(shù)據(jù)的傳輸路徑標(biāo)識;

      所述數(shù)據(jù)請求方接收所述數(shù)據(jù)提供方根據(jù)所述數(shù)據(jù)獲取請求返回的響應(yīng)數(shù)據(jù),其中,所述響應(yīng)數(shù)據(jù)為所述數(shù)據(jù)提供方在所述數(shù)據(jù)標(biāo)簽中的傳輸路徑標(biāo)識中添加了所述數(shù)據(jù)提供方的標(biāo)識后得到的。

      所述數(shù)據(jù)處理系統(tǒng)采用自下而上的數(shù)據(jù)處理方式;以及

      如果所述數(shù)據(jù)請求方位于所述數(shù)據(jù)處理系統(tǒng)的最頂層時,則所述方法,還包括:

      所述數(shù)據(jù)請求方在接收到所述數(shù)據(jù)提供方返回的響應(yīng)數(shù)據(jù)后,提取所述響應(yīng)數(shù)據(jù)中包含的數(shù)據(jù)標(biāo)簽,并根據(jù)所述數(shù)據(jù)標(biāo)簽中包含的每一傳輸路徑標(biāo)識,向所述傳輸路徑標(biāo)識對應(yīng)的數(shù)據(jù)處理方發(fā)送所述數(shù)據(jù)標(biāo)簽。

      本發(fā)明實施例提供的第二種數(shù)據(jù)處理方法,還包括:

      所述數(shù)據(jù)請求方在檢測到異常數(shù)據(jù)時,根據(jù)異常數(shù)據(jù)的數(shù)據(jù)標(biāo)簽中的傳輸路徑標(biāo)識,通知向自身提供數(shù)據(jù)的數(shù)據(jù)提供方。

      本發(fā)明實施例提供的數(shù)據(jù)處理系統(tǒng)和方法,由于數(shù)據(jù)提供方根據(jù)數(shù)據(jù)獲取請求向數(shù)據(jù)請求方提供的響應(yīng)數(shù)據(jù)中包含了所請求數(shù)據(jù)的傳輸路徑標(biāo)識,這樣,在檢測到異常數(shù)據(jù)時可以根據(jù)數(shù)據(jù)的傳輸路徑標(biāo)識進(jìn)行溯源,直接定位相關(guān)的數(shù)據(jù)處理方,從而減少了定位異常數(shù)據(jù)所耗費的時間,提高了異常數(shù)據(jù)定位的效率。

      本發(fā)明的其它特征和優(yōu)點將在隨后的說明書中闡述,并且,部分地從說明書中變得顯而易見,或者通過實施本發(fā)明而了解。本發(fā)明的目的和其他優(yōu)點可 通過在所寫的說明書、權(quán)利要求書、以及附圖中所特別指出的結(jié)構(gòu)來實現(xiàn)和獲得。

      附圖說明

      此處所說明的附圖用來提供對本發(fā)明的進(jìn)一步理解,構(gòu)成本發(fā)明的一部分,本發(fā)明的示意性實施例及其說明用于解釋本發(fā)明,并不構(gòu)成對本發(fā)明的不當(dāng)限定。在附圖中:

      圖1為現(xiàn)有技術(shù)中,分層式的網(wǎng)絡(luò)管理系統(tǒng)結(jié)構(gòu)示意圖;

      圖2為現(xiàn)有技術(shù)中,在線請求-同步響應(yīng)方式的數(shù)據(jù)處理流程示意圖;

      圖3a為現(xiàn)有技術(shù)中,第一種在線請求-異步響應(yīng)方式的數(shù)據(jù)處理流程示意圖;

      圖3b為現(xiàn)有技術(shù)中,第一種在線請求-異步響應(yīng)方式的數(shù)據(jù)處理流程示意圖;

      圖4為現(xiàn)有技術(shù)中,數(shù)據(jù)共享層內(nèi)部數(shù)據(jù)處理流程示意圖;

      圖5為本發(fā)明實施例中,數(shù)據(jù)處理系統(tǒng)的結(jié)構(gòu)示意圖;

      圖6為本發(fā)明實施例中,在線請求-同步響應(yīng)方式數(shù)據(jù)采集層到數(shù)據(jù)共享層數(shù)據(jù)傳輸過程示意圖;

      圖7為本發(fā)明實施例中,數(shù)據(jù)共享層內(nèi)部進(jìn)行數(shù)據(jù)處理的流程示意圖;

      圖8為本發(fā)明實施例中,數(shù)據(jù)共享層向應(yīng)用層傳遞數(shù)據(jù)的流程示意圖;

      圖9為本發(fā)明實施例中,應(yīng)用層檢測到異常數(shù)據(jù)時實施數(shù)據(jù)溯源流程示意圖;

      圖10為本發(fā)明實施例中,數(shù)據(jù)共享層內(nèi)部發(fā)現(xiàn)異常數(shù)據(jù)告警的流程示意圖;

      圖11為本發(fā)明實施例中,數(shù)據(jù)采集層檢測到異常數(shù)據(jù)時的處理流程示意圖;

      圖12為本發(fā)明實施例中,數(shù)據(jù)提供方實施的數(shù)據(jù)處理方法的實施流程示意圖;

      圖13為本發(fā)明實施例中,數(shù)據(jù)提供方為數(shù)據(jù)采集層,數(shù)據(jù)請求方為數(shù)據(jù)共享層時的數(shù)據(jù)處理方法實施流程示意圖;

      圖14為本發(fā)明實施例中,數(shù)據(jù)提供方為數(shù)據(jù)共享層,數(shù)據(jù)請求方為應(yīng)用層時的數(shù)據(jù)處理流程示意圖;

      圖15為本發(fā)明實施例中,數(shù)據(jù)請求方實施的數(shù)據(jù)處理方法的實施流程示意圖。

      具體實施方式

      為了減少定位異常數(shù)據(jù)所需的時間,提高異常數(shù)據(jù)定位效率,本發(fā)明實施例提供了一種數(shù)據(jù)處理系統(tǒng)和方法。

      以下結(jié)合說明書附圖對本發(fā)明的優(yōu)選實施例進(jìn)行說明,應(yīng)當(dāng)理解,此處所描述的優(yōu)選實施例僅用于說明和解釋本發(fā)明,并不用于限定本發(fā)明,并且在不沖突的情況下,本發(fā)明中的實施例及實施例中的特征可以相互組合。

      為了實現(xiàn)數(shù)據(jù)傳輸過程中全生命周期溯源的功能,本發(fā)明實施例中將跨層數(shù)據(jù)傳輸(以圖1為例,可以是數(shù)據(jù)采集層與數(shù)據(jù)共享層之間,也可以是數(shù)據(jù)共享層與應(yīng)用層之間的數(shù)據(jù)傳輸)的文件進(jìn)行改進(jìn),為請求的數(shù)據(jù)和提供的數(shù)據(jù)分別加入一數(shù)據(jù)標(biāo)簽,通過讀取該數(shù)據(jù)標(biāo)簽,上層單元可知道數(shù)據(jù)來自哪個下層單元,下層單元也可知道數(shù)據(jù)發(fā)送給哪個上層單元??鐚訑?shù)據(jù)傳輸支持多種方式,可以是xml、ftp、jdbc等,本文以xml文件形式舉例說明。

      如圖5所述,為本發(fā)明實施例提供的數(shù)據(jù)處理系統(tǒng)的結(jié)構(gòu)示意圖,包括數(shù)據(jù)請求方51和數(shù)據(jù)提供方52,其中:

      數(shù)據(jù)請求方51,可以用于向數(shù)據(jù)提供方52發(fā)送數(shù)據(jù)獲取請求,所述數(shù)據(jù)獲取請求中攜帶有所請求數(shù)據(jù)的數(shù)據(jù)標(biāo)簽,所述數(shù)據(jù)標(biāo)簽中至少包括所述數(shù)據(jù)請求方51的標(biāo)識作為所述數(shù)據(jù)的傳輸路徑標(biāo)識。

      數(shù)據(jù)提供方52,用于在接收到所述數(shù)據(jù)獲取請求后,在對所述數(shù)據(jù)進(jìn)行處理得到的響應(yīng)數(shù)據(jù)過程中,在所述數(shù)據(jù)標(biāo)簽中的傳輸路徑標(biāo)識中添加自身的標(biāo) 識。

      需要說明的是,本發(fā)明實施例中涉及的數(shù)據(jù)請求方和數(shù)據(jù)提供方為相對于數(shù)據(jù)傳輸過程中的作用而命名的,例如,對于兩個數(shù)據(jù)處理單元(可以單不限于為圖1中的數(shù)據(jù)采集層、數(shù)據(jù)共享層和應(yīng)用層)s1和s2來說,如果s1向s2請求數(shù)據(jù),則s1為數(shù)據(jù)請求方,s2為數(shù)據(jù)提供方,反之,如果s2向s1請求數(shù)據(jù),則s2為數(shù)據(jù)請求方,而s1為數(shù)據(jù)提供方,對于同一數(shù)據(jù)單元來說,其既可能是數(shù)據(jù)請求方,也可能是數(shù)據(jù)提供方。本發(fā)明實施例中涉及的數(shù)據(jù)處理系統(tǒng)可以為分層結(jié)構(gòu),較佳的,其可以采用自下而上的數(shù)據(jù)處理方式,例如,圖1所示的系統(tǒng)結(jié)構(gòu),位于中間層的數(shù)據(jù)共享層即可以是數(shù)據(jù)請求方也可以是數(shù)據(jù)提供方。

      其中,數(shù)據(jù)提供方52還可以用于如果自身位于數(shù)據(jù)處理系統(tǒng)的最底層時,則在數(shù)據(jù)標(biāo)簽中添加數(shù)據(jù)的數(shù)據(jù)標(biāo)識。數(shù)據(jù)請求方51,還用于如果自身位于所述數(shù)據(jù)處理系統(tǒng)最頂層時,則在接收到所述數(shù)據(jù)提供方52返回的響應(yīng)數(shù)據(jù)后,提取所述響應(yīng)數(shù)據(jù)中包含的數(shù)據(jù)標(biāo)簽,并根據(jù)所述數(shù)據(jù)標(biāo)簽中包含的每一傳輸路徑標(biāo)識,向所述傳輸路徑標(biāo)識對應(yīng)的數(shù)據(jù)處理方發(fā)送所述數(shù)據(jù)標(biāo)簽。

      具體實施時,如果數(shù)據(jù)提供方包括多個數(shù)據(jù)處理子單元,每一數(shù)據(jù)處理子單元,用于在對所述數(shù)據(jù)進(jìn)行處理時,讀取所述數(shù)據(jù)標(biāo)簽,并在所述數(shù)據(jù)標(biāo)簽中按照自身處理所述數(shù)據(jù)的處理步驟,當(dāng)每一處理步驟結(jié)束時,在所述數(shù)據(jù)標(biāo)簽中依次添加每一處理步驟對應(yīng)的數(shù)據(jù)處理子路徑標(biāo)識。

      為例更好的理解本發(fā)明實施例,以下以圖1所示的系統(tǒng)結(jié)構(gòu)為例,對本發(fā)明實施例的具體實施過程進(jìn)行說明。

      第一種實施方式、數(shù)據(jù)采集層到數(shù)據(jù)共享層數(shù)據(jù)傳輸過程

      如圖6所示,其為在線請求-同步響應(yīng)方式數(shù)據(jù)采集層到數(shù)據(jù)共享層數(shù)據(jù)傳輸過程示意圖,其中數(shù)據(jù)請求方為數(shù)據(jù)共享層,數(shù)據(jù)提供方為采集層系統(tǒng),可以包括以下步驟:

      s61、數(shù)據(jù)共享層向數(shù)據(jù)采集層發(fā)送數(shù)據(jù)獲取請求。

      其中,數(shù)據(jù)共享層在發(fā)送的xml文件中加入數(shù)據(jù)標(biāo)簽,格式為<flag>sjgx</flag>,其中:<flag>為預(yù)先定義的實現(xiàn)溯源功能的標(biāo)記,sjgx為數(shù)據(jù)共享層的標(biāo)識,并進(jìn)入阻塞狀態(tài),等待數(shù)據(jù)提供方的響應(yīng)數(shù)據(jù)返回。

      s62、數(shù)據(jù)采集層在接收到數(shù)據(jù)獲取請求后,進(jìn)行一系列的業(yè)務(wù)處理得到響應(yīng)數(shù)據(jù),將響應(yīng)數(shù)據(jù)回復(fù)給數(shù)據(jù)共享層。

      具體實施時,數(shù)據(jù)采集層需要在響應(yīng)數(shù)據(jù)中加入數(shù)據(jù)標(biāo)簽,其格式可以為<flag>name-sjgx-xxxx</flag>,其中,name為數(shù)據(jù)采集層的標(biāo)識,xxxx為數(shù)據(jù)共享層所請求數(shù)據(jù)的數(shù)據(jù)標(biāo)識。

      s63、數(shù)據(jù)共享層系統(tǒng)在接收到響應(yīng)數(shù)據(jù)后,中止阻塞狀態(tài)繼續(xù)運行。

      第二種實施方式、數(shù)據(jù)共享層系統(tǒng)內(nèi)部數(shù)據(jù)傳輸過程

      本發(fā)明實施例中,數(shù)據(jù)共享層可以在進(jìn)行數(shù)據(jù)裝載、處理、分發(fā)、計算的過程中都保留數(shù)據(jù)采集層提供數(shù)據(jù)中所帶的數(shù)據(jù)標(biāo)簽,并在數(shù)據(jù)處理過程中每一步自動寫入數(shù)據(jù)處理子路徑標(biāo)簽,從而實現(xiàn)數(shù)據(jù)共享層內(nèi)部數(shù)據(jù)溯源的功能。

      如圖7所示,其為數(shù)據(jù)共享層內(nèi)部進(jìn)行數(shù)據(jù)處理的流程示意圖,可以包括以下步驟:

      s71、數(shù)據(jù)裝載子層對數(shù)據(jù)采集層提供的數(shù)據(jù)進(jìn)行處理。

      具體的,數(shù)據(jù)裝載子層對數(shù)據(jù)采集層提供的數(shù)據(jù)進(jìn)行數(shù)據(jù)分發(fā)、裝載等操作。在數(shù)據(jù)分發(fā)、裝載過程中,讀取數(shù)據(jù)標(biāo)簽<flag>name-sjgx-xxxx<flag>,并在下一數(shù)據(jù)處理過程中自動產(chǎn)生新的數(shù)據(jù)標(biāo)簽<flag>name-sjgx-xxxx-x1y1z1……xnynzn</flag>,其中xiyizi(i=1,2,…,n)的含義是:數(shù)據(jù)經(jīng)過每一次處理,就在數(shù)據(jù)標(biāo)簽中以從左至右的順序加上xiyizi,作為該數(shù)據(jù)在此數(shù)據(jù)處理子單元的唯一標(biāo)記,直到第n次處理結(jié)束。

      s72、數(shù)據(jù)處理子層對數(shù)據(jù)裝載子層傳遞的數(shù)據(jù)進(jìn)行處理。

      具體的,數(shù)據(jù)處理子層對數(shù)據(jù)裝載子層傳遞的數(shù)據(jù)計算,明細(xì)存儲。在每次數(shù)據(jù)計算時讀取數(shù)據(jù)標(biāo)簽<flag>name-sjgx-xxxx-x1y1z1……xnynzn</flag>, 并在每一步計算完成后,在原數(shù)據(jù)標(biāo)簽最后一組xiyizi標(biāo)識后面加入新的xiyizi標(biāo)識,作為該數(shù)據(jù)在此處理子單元的唯一標(biāo)記,直至第n次計算結(jié)束,再將數(shù)據(jù)上傳到數(shù)據(jù)共享子層。

      s73、數(shù)據(jù)共享子層進(jìn)行數(shù)據(jù)處理。

      具體的,數(shù)據(jù)共享子層將帶有<flag>name-sjgx-xxxx-x1y1z1……xnynzn</flag>標(biāo)簽的數(shù)據(jù)以消息交互、發(fā)布訂閱等不同方式分發(fā)給應(yīng)用層。

      第三種實施方式、數(shù)據(jù)共享層到應(yīng)用層數(shù)據(jù)傳輸過程。

      如圖8所示,其為數(shù)據(jù)共享層向應(yīng)用層傳遞數(shù)據(jù)的流程,其中,數(shù)據(jù)共享層為數(shù)據(jù)提供方,應(yīng)用層為數(shù)據(jù)請求方,可以包括以下步驟:

      s81、應(yīng)用層向數(shù)據(jù)共享層發(fā)送數(shù)據(jù)獲取請求。

      其中,應(yīng)用層在發(fā)送的xml文件中加入數(shù)據(jù),格式為<flag>yyxt</flag>,其中:<flag>為預(yù)先定義的實現(xiàn)數(shù)據(jù)溯源功能的標(biāo)記,yyxt為應(yīng)用系統(tǒng)的標(biāo)識(可以根據(jù)不同的應(yīng)用層定義其唯一標(biāo)識),并進(jìn)入阻塞狀態(tài),等待數(shù)據(jù)提供方的響應(yīng)數(shù)據(jù)返回。

      s82、數(shù)據(jù)共享層進(jìn)行數(shù)據(jù)處理。

      數(shù)據(jù)共享層在接收到數(shù)據(jù)獲取請求后,進(jìn)行一系列的業(yè)務(wù)處理獲取響應(yīng)數(shù)據(jù),并將響應(yīng)數(shù)據(jù)回復(fù)給應(yīng)用層,其在響應(yīng)數(shù)據(jù)中需要加入數(shù)據(jù)標(biāo)簽,格式為<flag>name-sjgx-yyxt-xxxx-x1y1z1……xnynzn</flag>,其中flag為預(yù)先定義的實現(xiàn)數(shù)據(jù)溯源功能的標(biāo)記,name為采集層的標(biāo)識,sjgx為數(shù)據(jù)共享層的標(biāo)識,yyxt為應(yīng)用層的標(biāo)識,xxxx為該數(shù)據(jù)的數(shù)據(jù)標(biāo)識。

      s83、數(shù)據(jù)共享層向應(yīng)用層返回響應(yīng)數(shù)據(jù)。

      s84、應(yīng)用層在接收到響應(yīng)數(shù)據(jù)后,中止阻塞狀態(tài)繼續(xù)運行,并將最終的數(shù)據(jù)標(biāo)簽發(fā)送給數(shù)據(jù)共享層和采集層。

      至此,完成了數(shù)據(jù)從采集層到應(yīng)用層數(shù)據(jù)傳遞全生命周期的數(shù)據(jù)傳輸過程。

      基于在數(shù)據(jù)傳輸過程中為傳輸?shù)臄?shù)據(jù)添加了數(shù)據(jù)標(biāo)簽,本發(fā)明實施例還提 供了一種利用該數(shù)據(jù)標(biāo)簽完成異常數(shù)據(jù)溯源的方法。數(shù)據(jù)溯源功能可支持應(yīng)用層問題數(shù)據(jù)溯源、數(shù)據(jù)共享層內(nèi)部問題數(shù)據(jù)告警、采集層內(nèi)部問題數(shù)據(jù)告警等。

      基于此,數(shù)據(jù)請求方51,還用于在自身位于所述數(shù)據(jù)處理系統(tǒng)的最頂層時,如果檢測到異常數(shù)據(jù)時,則根據(jù)異常數(shù)據(jù)的數(shù)據(jù)標(biāo)簽中的傳輸路徑標(biāo)識,通知向自身提供數(shù)據(jù)的數(shù)據(jù)提供方52;

      數(shù)據(jù)提供方52,還可以用于在接收到所述數(shù)據(jù)請求方51發(fā)送的異常數(shù)據(jù)通知時,如果確定異常數(shù)據(jù)非自身進(jìn)行數(shù)據(jù)處理過程中產(chǎn)生的,則根據(jù)異常數(shù)據(jù)的數(shù)據(jù)標(biāo)簽中的傳輸路徑標(biāo)識通知向自身提供數(shù)據(jù)的數(shù)據(jù)提供方,直至異常數(shù)據(jù)通知到達(dá)位于所述數(shù)據(jù)處理系統(tǒng)最底層的數(shù)據(jù)提供方;以及如果確定異常數(shù)據(jù)為自身進(jìn)行數(shù)據(jù)處理過程中產(chǎn)生的,則進(jìn)行異常數(shù)據(jù)處理。

      具體實施時,數(shù)據(jù)提供方52,還可以用于在檢測到異常數(shù)據(jù)時,根據(jù)異常數(shù)據(jù)的數(shù)據(jù)標(biāo)簽中的傳輸路徑標(biāo)識,通知相應(yīng)的數(shù)據(jù)請求方。以及在在異常數(shù)據(jù)處理完畢時,根據(jù)異常數(shù)據(jù)的數(shù)據(jù)標(biāo)簽中的傳輸路徑標(biāo)識,通知相應(yīng)的數(shù)據(jù)請求方。

      以下結(jié)合圖1所示的系統(tǒng)結(jié)構(gòu),對本發(fā)明實施例提供的數(shù)據(jù)溯源方法進(jìn)行詳細(xì)說明。當(dāng)本發(fā)明實施例提供的數(shù)據(jù)溯源方法應(yīng)用到圖1所示的系統(tǒng)中時,應(yīng)用層異常數(shù)據(jù)溯源可實現(xiàn)當(dāng)應(yīng)用層檢測到異常數(shù)據(jù)時,自上而下排查異常數(shù)據(jù)的初始發(fā)生位置,從而準(zhǔn)確快速的響應(yīng)問題。數(shù)據(jù)共享層內(nèi)部問題數(shù)據(jù)告警可實現(xiàn)當(dāng)數(shù)據(jù)共享層系統(tǒng)內(nèi)部發(fā)生數(shù)據(jù)異常時,主動向上層應(yīng)用層及下層數(shù)據(jù)采集層發(fā)送告警信號功能,從而使對應(yīng)系統(tǒng)及時掌握異常數(shù)據(jù)問題并采取其他補救手段。數(shù)據(jù)采集層內(nèi)部問題數(shù)據(jù)告警可實現(xiàn)當(dāng)數(shù)據(jù)采集層內(nèi)部數(shù)據(jù)發(fā)生問題時,主動向數(shù)據(jù)共享層及應(yīng)用層發(fā)送告警信號功能,從而使對應(yīng)系統(tǒng)及時掌握異常數(shù)據(jù)問題情況并采取其他補救手段,提高數(shù)據(jù)運維能力。以下詳細(xì)描述上述三個功能的具體實施流程。

      一、應(yīng)用層異常數(shù)據(jù)溯源

      如圖9所示,其為應(yīng)用層檢測到異常數(shù)據(jù)時的數(shù)據(jù)溯源流程,可以包括以 下步驟:

      s91、應(yīng)用層檢測到異常數(shù)據(jù),根據(jù)異常數(shù)據(jù)的數(shù)據(jù)標(biāo)簽中的傳輸路徑標(biāo)識,通知向自身提供數(shù)據(jù)的數(shù)據(jù)提供方。

      具體實施時,應(yīng)用層在發(fā)現(xiàn)某一數(shù)據(jù)指標(biāo)異常時,首先讀取異常數(shù)據(jù)的數(shù)據(jù)標(biāo)簽<flag>name-sjgx-yyxt-xxxx-x1y1z1……xnynzn</flag>中sjgx字段,判斷該數(shù)據(jù)來源于哪個數(shù)據(jù)共享層系統(tǒng),并將異常數(shù)據(jù)發(fā)送給相應(yīng)的數(shù)據(jù)共享層。

      s92、數(shù)據(jù)共享層進(jìn)行異常數(shù)據(jù)檢查。

      具體的,數(shù)據(jù)共享層根據(jù)該標(biāo)簽<flag>name-sjgx-yyxt-xxxx-x1y1z1……xnynzn</flag>中x1y1z1……xnynzn字段來從上至下分析系統(tǒng)內(nèi)每一步數(shù)據(jù)計算及分發(fā)步驟,判斷該數(shù)據(jù)產(chǎn)生的問題是數(shù)據(jù)共享層內(nèi)部產(chǎn)生還是由于采集層導(dǎo)致。

      s93、如果是數(shù)據(jù)共享層內(nèi)部問題,直接進(jìn)行異常數(shù)據(jù)處理。

      s93’如果不是數(shù)據(jù)共享層內(nèi)部問題,則根據(jù)數(shù)據(jù)標(biāo)簽中的傳輸路徑標(biāo)識通知相應(yīng)的數(shù)據(jù)采集層。

      具體的,如果共享層確定異常數(shù)據(jù)費自身進(jìn)行數(shù)據(jù)處理過程中產(chǎn)生的,則讀取<flag>name-sjgx-yyxt-xxxx-x1y1z1……xnynzn</flag>中name字段,以確定該數(shù)據(jù)來源于哪個采集層系統(tǒng),再將異常數(shù)據(jù)發(fā)送給對應(yīng)采集層系統(tǒng)進(jìn)行排查。

      s94、數(shù)據(jù)采集層進(jìn)行異常數(shù)據(jù)檢查。

      具體的,數(shù)據(jù)采集層根據(jù)標(biāo)簽<flag>name-sjgx-yyxt-xxxx-x1y1z1……xnynzn</flag>中xxxx字段來判斷異常數(shù)據(jù)為哪個數(shù)據(jù)源,從而分析原因,直至問題解決,并向相應(yīng)系統(tǒng)發(fā)送問題解決信息。

      二、數(shù)據(jù)共享層內(nèi)部異常數(shù)據(jù)告警

      如圖10所示,其為數(shù)據(jù)共享層內(nèi)部異常數(shù)據(jù)告警的流程示意圖,可以包 括以下步驟:

      s101、數(shù)據(jù)共享層內(nèi)部檢測到異常數(shù)據(jù)。

      具體實施時,數(shù)據(jù)共享層內(nèi)部檢測到異常數(shù)據(jù),通過讀取數(shù)據(jù)標(biāo)簽<flag>name-sjgx-yyxt-xxxx-x1y1z1……xnynzn</flag>中name和yyxt字段,判斷該異常數(shù)據(jù)可能影響哪個數(shù)據(jù)采集層和哪個應(yīng)用層。

      s102、數(shù)據(jù)共享層進(jìn)行異常數(shù)據(jù)處理。

      具體實施時,數(shù)據(jù)共享層在進(jìn)行異常數(shù)據(jù)處理過程中,向?qū)?yīng)采集層、應(yīng)用層發(fā)送異常數(shù)據(jù)告警,由對應(yīng)系統(tǒng)維護(hù)人員采取相應(yīng)措施進(jìn)行補救。

      較佳的,告警內(nèi)容格式可以為:

      <flag>name-sjgx-yyxt-xxxx-x1y1z1……xnynzn</flag>;

      <code>sjgx–xiyizi-‘0/1’</code>;

      <message>sjgx–‘error-message’</message>

      其中,code為報錯信息標(biāo)簽,在這里表示數(shù)據(jù)采集層上傳數(shù)據(jù)是否有誤,sjgx為數(shù)據(jù)共享層的標(biāo)識,為數(shù)據(jù)處理步驟標(biāo)記,‘0/1’的含義為:code=0表示數(shù)據(jù)正常,code=1表示數(shù)據(jù)異常;message為數(shù)據(jù)異常信息標(biāo)簽,‘errormessage’為數(shù)據(jù)錯誤描述信息。

      s103、異常數(shù)據(jù)處理完畢后,數(shù)據(jù)共享層向各對應(yīng)系統(tǒng)發(fā)送告警解除報告。

      具體實施時,異常數(shù)據(jù)處理完畢后,數(shù)據(jù)共享層根據(jù)數(shù)據(jù)標(biāo)簽中的傳輸路徑標(biāo)識通知相應(yīng)的數(shù)據(jù)采集層和應(yīng)用層。

      三、數(shù)據(jù)采集層異常數(shù)據(jù)告警

      如圖11所示,其為數(shù)據(jù)采集層檢測到異常數(shù)據(jù)時的處理流程示意圖,可以包括以下步驟:

      s111、數(shù)據(jù)采集層檢測到異常數(shù)據(jù)。

      具體實施時,如果數(shù)據(jù)才基層發(fā)現(xiàn)其提供的某一數(shù)據(jù)異常時,可在處理異常數(shù)據(jù)的同時,根據(jù)數(shù)據(jù)標(biāo)簽<flag>name-sjgx-yyxt-xxxx-x1y1z1……xnynzn</flag>中sjgx字段和yyxt字段判斷該數(shù)據(jù)發(fā)送給了哪個數(shù)據(jù)共享層 及哪個應(yīng)用層。

      s112、數(shù)據(jù)采集層通知相應(yīng)的數(shù)據(jù)請求方。

      具體實施時,數(shù)據(jù)采集層在處理異常數(shù)據(jù)的同時,向相應(yīng)的數(shù)據(jù)共享層和應(yīng)用層發(fā)出告警信息,由對應(yīng)系統(tǒng)維護(hù)人員采取相應(yīng)措施進(jìn)行補救。

      較佳的,告警信息格式可以為:

      <flag>name-sjgx-yyxt-xxxx-x1y1z1……xnynzn</flag>;

      <code>sjgx–xiyizi-‘0/1’</code>;

      <message>sjgx–‘error-message’</message>

      其中,code為報錯信息標(biāo)簽,在這里表示數(shù)據(jù)采集層上傳數(shù)據(jù)是否有誤,sjgx為數(shù)據(jù)共享層的標(biāo)識,為數(shù)據(jù)處理步驟標(biāo)記,‘0/1’的含義為:code=0表示數(shù)據(jù)正常,code=1表示數(shù)據(jù)異常;message為數(shù)據(jù)異常信息標(biāo)簽,‘errormessage’為數(shù)據(jù)錯誤描述信息。

      s113、數(shù)據(jù)采集層在異常數(shù)據(jù)處理完畢后通知相應(yīng)的數(shù)據(jù)請求方。

      具體的,數(shù)據(jù)采集層在異常數(shù)據(jù)處理完畢后,根據(jù)數(shù)據(jù)標(biāo)簽中的傳輸路徑標(biāo)識,向相應(yīng)的數(shù)據(jù)共享層和應(yīng)用層發(fā)送告警解除信息。

      綜上,通過為在跨層系統(tǒng)間傳遞的數(shù)據(jù)添加數(shù)據(jù)標(biāo)簽及系統(tǒng)內(nèi)部數(shù)據(jù)處理添加標(biāo)簽,實現(xiàn)了跨層數(shù)據(jù)傳遞溯源及系統(tǒng)內(nèi)部數(shù)據(jù)溯源,進(jìn)而建立各層系統(tǒng)間異常數(shù)據(jù)響應(yīng)流程,從而實現(xiàn)了異常數(shù)據(jù)從采集層到應(yīng)用層全生命周期的溯源,減少了異常數(shù)據(jù)定位所需的時間,提高了異常數(shù)據(jù)定位效率。

      基于同一發(fā)明構(gòu)思,本發(fā)明實施例中還提供了一種分別由數(shù)據(jù)請求方和數(shù)據(jù)提供方實施的數(shù)據(jù)處理方法,由于上述方法解決問題的原理與數(shù)據(jù)處理系統(tǒng)相似,因此上述方法的實施可以參見系統(tǒng)的實施,重復(fù)之處不再贅述。

      如圖12所示,為本發(fā)明實施例提供的、數(shù)據(jù)提供方實施的數(shù)據(jù)處理方法的實施流程示意圖,可以包括以下步驟:

      s121、數(shù)據(jù)提供方接收數(shù)據(jù)獲取請求。

      其中,在接收到的數(shù)據(jù)獲取請求中攜帶有所請求數(shù)據(jù)的數(shù)據(jù)標(biāo)簽,所述數(shù) 據(jù)標(biāo)簽中至少包括所述數(shù)據(jù)請求方的標(biāo)識作為所述數(shù)據(jù)的傳輸路徑標(biāo)識。

      s122、數(shù)據(jù)提供方在對所述數(shù)據(jù)進(jìn)行處理得到的響應(yīng)數(shù)據(jù)過程中,在所述數(shù)據(jù)標(biāo)簽中的傳輸路徑標(biāo)識中添加自身的標(biāo)識。

      較佳的,數(shù)據(jù)處理系統(tǒng)采用自下而上的數(shù)據(jù)處理方式;以及

      如果所述提供方位于所述數(shù)據(jù)處理系統(tǒng)的最底層時,所述數(shù)據(jù)處理方法,還可以包括:在所述數(shù)據(jù)標(biāo)簽中添加所述數(shù)據(jù)的數(shù)據(jù)標(biāo)識。

      具體實施時,數(shù)據(jù)提供方包括多個數(shù)據(jù)處理子單元;

      所述數(shù)據(jù)處理方法,還包括:

      每一處理子單元在對所述數(shù)據(jù)進(jìn)行處理時,讀取所述數(shù)據(jù)標(biāo)簽,并在所述數(shù)據(jù)標(biāo)簽中按照自身處理所述數(shù)據(jù)的處理步驟,當(dāng)每一處理步驟結(jié)束時,在所述數(shù)據(jù)標(biāo)簽中依次添加每一處理步驟對應(yīng)的數(shù)據(jù)處理子路徑標(biāo)識。

      具體實施時,數(shù)據(jù)提供方實施的數(shù)據(jù)處理方法,還可以包括以下步驟:

      所述數(shù)據(jù)提供方接收位于所述數(shù)據(jù)處理系統(tǒng)最頂層的數(shù)據(jù)請求方發(fā)送的異常數(shù)據(jù)通知;

      所述數(shù)據(jù)提供方判斷異常數(shù)據(jù)是否為自身進(jìn)行數(shù)據(jù)處理過程中產(chǎn)生的;

      如果是,則進(jìn)行異常數(shù)據(jù)處理;

      如果否,則根據(jù)異常數(shù)據(jù)的數(shù)據(jù)標(biāo)簽中的傳輸路徑標(biāo)識通知向自身提供數(shù)據(jù)的數(shù)據(jù)提供方,直至異常數(shù)據(jù)通知到達(dá)位于所述數(shù)據(jù)處理系統(tǒng)最底層的數(shù)據(jù)提供方。

      較佳的,數(shù)據(jù)提供方在檢測到異常數(shù)據(jù)時,根據(jù)異常數(shù)據(jù)的數(shù)據(jù)標(biāo)簽中的傳輸路徑標(biāo)識,通知相應(yīng)的數(shù)據(jù)請求方;以及在異常數(shù)據(jù)處理完畢時,根據(jù)異常數(shù)據(jù)的數(shù)據(jù)標(biāo)簽中的傳輸路徑標(biāo)識,通知相應(yīng)的數(shù)據(jù)請求方。

      為了更好的理解本發(fā)明實施例,以下結(jié)合圖1所示的系統(tǒng)結(jié)構(gòu)對數(shù)據(jù)提供方提供的數(shù)據(jù)處理方法的具體實施過程進(jìn)行說明:

      第一種實施方式、數(shù)據(jù)提供方為數(shù)據(jù)采集層,數(shù)據(jù)請求方為數(shù)據(jù)共享層。

      如圖13所示,為數(shù)據(jù)提供方為數(shù)據(jù)采集層,數(shù)據(jù)請求方為數(shù)據(jù)共享層時 的數(shù)據(jù)處理方法實施流程示意圖,可以包括以下步驟:

      s131、數(shù)據(jù)采集層接收數(shù)據(jù)共享層發(fā)送的數(shù)據(jù)獲取請求。

      其中,數(shù)據(jù)共享層在發(fā)送的xml文件中加入數(shù)據(jù)標(biāo)簽,格式為<flag>sjgx</flag>,其中:<flag>為預(yù)先定義的實現(xiàn)溯源功能的標(biāo)記,sjgx為數(shù)據(jù)共享層的標(biāo)識,并進(jìn)入阻塞狀態(tài),等待數(shù)據(jù)提供方的響應(yīng)數(shù)據(jù)返回。

      s132、數(shù)據(jù)采集層進(jìn)行數(shù)據(jù)處理得到響應(yīng)數(shù)據(jù)。

      其中,由于數(shù)據(jù)采集層位于數(shù)據(jù)處理系統(tǒng)的最底層,因此,數(shù)據(jù)采集層在對數(shù)據(jù)共享層請求的數(shù)據(jù)進(jìn)行處理得到響應(yīng)數(shù)據(jù)的過程中,還需要在響應(yīng)數(shù)據(jù)中加入數(shù)據(jù)標(biāo)簽,其格式可以為<flag>name-sjgx-xxxx</flag>,其中,name為數(shù)據(jù)采集層的標(biāo)識,xxxx為數(shù)據(jù)共享層所請求數(shù)據(jù)的數(shù)據(jù)標(biāo)識。

      s133、數(shù)據(jù)采集層向數(shù)據(jù)共享層返回響應(yīng)數(shù)據(jù)。

      具體實施時,數(shù)據(jù)共享層系統(tǒng)在接收到響應(yīng)數(shù)據(jù)后,中止阻塞狀態(tài)繼續(xù)運行。

      二、數(shù)據(jù)提供方為數(shù)據(jù)共享層,數(shù)據(jù)請求方為應(yīng)用層。

      如圖14所示,其為數(shù)據(jù)提供方為數(shù)據(jù)共享層,數(shù)據(jù)請求方為應(yīng)用層時的數(shù)據(jù)處理流程示意圖,可以包括以下步驟:

      s141、數(shù)據(jù)共享層接收應(yīng)用層發(fā)送的數(shù)據(jù)獲取請求。

      其中,應(yīng)用層在發(fā)送的xml文件中加入數(shù)據(jù),格式為<flag>yyxt</flag>,其中:<flag>為預(yù)先定義的實現(xiàn)數(shù)據(jù)溯源功能的標(biāo)記,yyxt為應(yīng)用系統(tǒng)的標(biāo)識(可以根據(jù)不同的應(yīng)用層定義其唯一標(biāo)識),并進(jìn)入阻塞狀態(tài),等待數(shù)據(jù)提供方的響應(yīng)數(shù)據(jù)返回。

      s142、數(shù)據(jù)共享層進(jìn)行數(shù)據(jù)處理得到響應(yīng)數(shù)據(jù)。

      具體實施時,數(shù)據(jù)共享層在接收到數(shù)據(jù)獲取請求后,進(jìn)行一系列的業(yè)務(wù)處理獲取響應(yīng)數(shù)據(jù),并將響應(yīng)數(shù)據(jù)回復(fù)給應(yīng)用層,其在響應(yīng)數(shù)據(jù)中需要加入數(shù)據(jù)標(biāo)簽,格式為<flag>name-sjgx-yyxt-xxxx-x1y1z1……xnynzn</flag>,其中flag為預(yù)先定義的實現(xiàn)數(shù)據(jù)溯源功能的標(biāo)記,name為采集層的標(biāo)識,sjgx為 數(shù)據(jù)共享層的標(biāo)識,yyxt為應(yīng)用層的標(biāo)識,xxxx為該數(shù)據(jù)的數(shù)據(jù)標(biāo)識。

      較佳的,數(shù)據(jù)共享層可以在進(jìn)行數(shù)據(jù)裝載、處理、分發(fā)、計算的過程中都保留數(shù)據(jù)采集層提供數(shù)據(jù)中所帶的數(shù)據(jù)標(biāo)簽,并在數(shù)據(jù)處理過程中每一步自動寫入數(shù)據(jù)處理子路徑標(biāo)簽,從而實現(xiàn)數(shù)據(jù)共享層內(nèi)部數(shù)據(jù)溯源的功能。具體的,數(shù)據(jù)裝載子層對數(shù)據(jù)采集層提供的數(shù)據(jù)進(jìn)行數(shù)據(jù)分發(fā)、裝載等操作。在數(shù)據(jù)分發(fā)、裝載過程中,讀取數(shù)據(jù)標(biāo)簽<flag>name-sjgx-xxxx<flag>,并在下一數(shù)據(jù)處理過程中自動產(chǎn)生新的數(shù)據(jù)標(biāo)簽<flag>name-sjgx-xxxx-x1y1z1……xnynzn</flag>,其中xiyizi(i=1,2,…,n)的含義是:數(shù)據(jù)經(jīng)過每一次處理,就在數(shù)據(jù)標(biāo)簽中以從左至右的順序加上xiyizi,作為該數(shù)據(jù)在此數(shù)據(jù)處理子單元的唯一標(biāo)記,直到第n次處理結(jié)束。數(shù)據(jù)處理子層對數(shù)據(jù)裝載子層傳遞的數(shù)據(jù)數(shù)據(jù)計算,明細(xì)存儲。在每次數(shù)據(jù)計算時讀取數(shù)據(jù)標(biāo)簽<flag>name-sjgx-xxxx-x1y1z1……xnynzn</flag>,并在每一步計算完成后,在原數(shù)據(jù)標(biāo)簽最后一組xiyizi標(biāo)識后面加入新的xiyizi標(biāo)識,作為該數(shù)據(jù)在此處理子單元的唯一標(biāo)記,直至第n次計算結(jié)束,再將數(shù)據(jù)上傳到數(shù)據(jù)共享子層,由數(shù)據(jù)共享子層向應(yīng)用層提供帶有<flag>name-sjgx-xxxx-x1y1z1……xnynzn</flag>標(biāo)簽的數(shù)據(jù)。

      s143、數(shù)據(jù)共享層向應(yīng)用層返回響應(yīng)數(shù)據(jù)。

      其中,數(shù)據(jù)共享子層可以以消息交互、發(fā)布訂閱等不同方式分發(fā)給應(yīng)用層,本發(fā)明實施例對此不做限定。

      應(yīng)用層在接收到響應(yīng)數(shù)據(jù)后,還需要將完整的數(shù)據(jù)標(biāo)簽發(fā)送給數(shù)據(jù)共享層和數(shù)據(jù)采集層。

      至此,完成了數(shù)據(jù)在數(shù)據(jù)處理系統(tǒng)不同層之間的傳輸過程?;跀?shù)據(jù)傳輸過程中添加的數(shù)據(jù)標(biāo)簽,對異常數(shù)據(jù)溯源的過程可以參照上述數(shù)據(jù)處理系統(tǒng)中對異常數(shù)據(jù)進(jìn)行溯源的過程,這里不再贅述。

      如圖15所示,其為本發(fā)明實施例提供的數(shù)據(jù)請求方實施的數(shù)據(jù)處理方法的實施流程示意圖,可以包括以下步驟:

      s151、數(shù)據(jù)請求方向數(shù)據(jù)提供方發(fā)送數(shù)據(jù)獲取請求。

      其中,所述數(shù)據(jù)獲取請求中攜帶有所請求數(shù)據(jù)的數(shù)據(jù)標(biāo)簽,所述數(shù)據(jù)標(biāo)簽中至少包括所述數(shù)據(jù)請求方的標(biāo)識作為所述數(shù)據(jù)的傳輸路徑標(biāo)識

      s152、所述數(shù)據(jù)請求方接收所述數(shù)據(jù)提供方根據(jù)所述數(shù)據(jù)獲取請求返回的響應(yīng)數(shù)據(jù)。

      其中,所述響應(yīng)數(shù)據(jù)為所述數(shù)據(jù)提供方在所述數(shù)據(jù)標(biāo)簽中的傳輸路徑標(biāo)識中添加了所述數(shù)據(jù)提供方的標(biāo)識后得到的。

      較佳的,所述數(shù)據(jù)處理系統(tǒng)采用自下而上的數(shù)據(jù)處理方式;以及

      如果所述數(shù)據(jù)請求方位于所述數(shù)據(jù)處理系統(tǒng)的最頂層時,則所述方法,還包括:

      所述數(shù)據(jù)請求方在接收到所述數(shù)據(jù)提供方返回的響應(yīng)數(shù)據(jù)后,提取所述響應(yīng)數(shù)據(jù)中包含的數(shù)據(jù)標(biāo)簽,并根據(jù)所述數(shù)據(jù)標(biāo)簽中包含的每一傳輸路徑標(biāo)識,向所述傳輸路徑標(biāo)識對應(yīng)的數(shù)據(jù)處理方發(fā)送所述數(shù)據(jù)標(biāo)簽。

      具體實施時,所述數(shù)據(jù)請求方在檢測到異常數(shù)據(jù)時,可以根據(jù)異常數(shù)據(jù)的數(shù)據(jù)標(biāo)簽中的傳輸路徑標(biāo)識,通知向自身提供數(shù)據(jù)的數(shù)據(jù)提供方。

      本發(fā)明實施例提供的數(shù)據(jù)處理方法,當(dāng)數(shù)據(jù)跨層傳遞時,可根據(jù)數(shù)據(jù)處理過程中添加的數(shù)據(jù)標(biāo)簽獲取數(shù)據(jù)流轉(zhuǎn)拓?fù)洌莆諗?shù)據(jù)來源和去向,掌握數(shù)據(jù)在數(shù)據(jù)共享層系統(tǒng)內(nèi)部數(shù)據(jù)處理過程溯源,一旦發(fā)現(xiàn)異常數(shù)據(jù),可從應(yīng)用層溯源至數(shù)據(jù)采集層,實現(xiàn)問題快速定位,提高異常數(shù)據(jù)定位效率。

      本發(fā)明實施例還給出了在數(shù)據(jù)中加入的數(shù)據(jù)標(biāo)簽,實現(xiàn)異常數(shù)據(jù)溯源、異常數(shù)據(jù)跨層預(yù)警等功能的具體流程,各層系統(tǒng)了解數(shù)據(jù)向外發(fā)送的拓?fù)浣Y(jié)構(gòu),當(dāng)任何一層系統(tǒng)數(shù)據(jù)異常時,可以知曉將會受影響的其他層系統(tǒng),并及時主動告知各相關(guān)系統(tǒng)。

      本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)明白,本發(fā)明的實施例可提供為方法、系統(tǒng)、或計算機程序產(chǎn)品。因此,本發(fā)明可采用完全硬件實施例、完全軟件實施例、或結(jié)合軟件和硬件方面的實施例的形式。而且,本發(fā)明可采用在一個或多個其中包 含有計算機可用程序代碼的計算機可用存儲介質(zhì)(包括但不限于磁盤存儲器、cd-rom、光學(xué)存儲器等)上實施的計算機程序產(chǎn)品的形式。

      本發(fā)明是參照根據(jù)本發(fā)明實施例的方法、設(shè)備(系統(tǒng))、和計算機程序產(chǎn)品的流程圖和/或方框圖來描述的。應(yīng)理解可由計算機程序指令實現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合。可提供這些計算機程序指令到通用計算機、專用計算機、嵌入式處理機或其他可編程數(shù)據(jù)處理設(shè)備的處理器以產(chǎn)生一個機器,使得通過計算機或其他可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的裝置。

      這些計算機程序指令也可存儲在能引導(dǎo)計算機或其他可編程數(shù)據(jù)處理設(shè)備以特定方式工作的計算機可讀存儲器中,使得存儲在該計算機可讀存儲器中的指令產(chǎn)生包括指令裝置的制造品,該指令裝置實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能。

      這些計算機程序指令也可裝載到計算機或其他可編程數(shù)據(jù)處理設(shè)備上,使得在計算機或其他可編程設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計算機實現(xiàn)的處理,從而在計算機或其他可編程設(shè)備上執(zhí)行的指令提供用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的步驟。

      盡管已描述了本發(fā)明的優(yōu)選實施例,但本領(lǐng)域內(nèi)的技術(shù)人員一旦得知了基本創(chuàng)造性概念,則可對這些實施例做出另外的變更和修改。所以,所附權(quán)利要求意欲解釋為包括優(yōu)選實施例以及落入本發(fā)明范圍的所有變更和修改。

      顯然,本領(lǐng)域的技術(shù)人員可以對本發(fā)明進(jìn)行各種改動和變型而不脫離本發(fā)明的精神和范圍。這樣,倘若本發(fā)明的這些修改和變型屬于本發(fā)明權(quán)利要求及其等同技術(shù)的范圍之內(nèi),則本發(fā)明也意圖包含這些改動和變型在內(nèi)。

      當(dāng)前第1頁1 2 
      網(wǎng)友詢問留言 已有0條留言
      • 還沒有人留言評論。精彩留言會獲得點贊!
      1