一種數(shù)據(jù)質(zhì)量追溯的方法及其裝置以及硬件處理器的制造方法
【專利摘要】本發(fā)明實施例提供一種數(shù)據(jù)質(zhì)量追溯的方法及其裝置以及硬件處理器，屬于計算機(jī)應(yīng)用技術(shù)領(lǐng)域。其中數(shù)據(jù)質(zhì)量追溯的方法包括：獲取數(shù)據(jù)處理任務(wù)并對所述數(shù)據(jù)處理任務(wù)進(jìn)行分析；根據(jù)所述數(shù)據(jù)處理任務(wù)的分析結(jié)果，生成血緣分析圖；根據(jù)所述血緣分析圖，確定出現(xiàn)數(shù)據(jù)質(zhì)量問題所在。本發(fā)明實施例中，一旦出現(xiàn)數(shù)據(jù)質(zhì)量問題，就會在血緣分析圖上有客觀顯現(xiàn)的體現(xiàn)，因此，上述整個過程通過血緣分析圖即可直接客觀的確定出數(shù)據(jù)質(zhì)量的問題所在，定位問題效率高、速度快。
【專利說明】
一種數(shù)據(jù)質(zhì)量追溯的方法及其裝置以及硬件處理器
技術(shù)領(lǐng)域
[0001]本發(fā)明實施例涉及計算機(jī)應(yīng)用技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)質(zhì)量追溯的方法及其裝置以及硬件處理器。
【背景技術(shù)】
[0002]當(dāng)前，IT系統(tǒng)大而集中，且隨著業(yè)務(wù)的不斷發(fā)展壯大，需要管理和運維的數(shù)據(jù)也是越來越多、同時各種各樣的數(shù)據(jù)模型也是越來越復(fù)雜。目前，面對越來越龐大的數(shù)據(jù)，數(shù)據(jù)的有效管理和數(shù)據(jù)的質(zhì)量是數(shù)據(jù)相關(guān)工程中最常見也是最難處理的問題。
[0003]現(xiàn)有的數(shù)據(jù)質(zhì)量管理中很難給出高效的方式追溯數(shù)據(jù)質(zhì)量的問題。目前常見處理方式是憑借個人經(jīng)驗判斷有可能出現(xiàn)問題的點，然后根據(jù)其數(shù)據(jù)處理過程逐個查看，同時分析每個過程中數(shù)據(jù)處理的邏輯，從而判斷是否有數(shù)據(jù)質(zhì)量的問題。
[0004]但是，由于現(xiàn)有技術(shù)的上述整個過程都是人工處理，工作效率和問題解決的成功率較低。

【發(fā)明內(nèi)容】

[0005]本發(fā)明實施例提供一種數(shù)據(jù)質(zhì)量問題追溯的方法及其裝置以及硬件處理器，可以解決現(xiàn)有技術(shù)中出現(xiàn)數(shù)據(jù)質(zhì)量問題時的處理方法效率低的技術(shù)問題。
[0006]本發(fā)明實施例提供了一種數(shù)據(jù)質(zhì)量問題追溯的方法及其裝置以及硬件處理器，其中:
[0007]—種數(shù)據(jù)質(zhì)量追溯的方法，其包括:
[0008]獲取數(shù)據(jù)處理任務(wù)并對所述數(shù)據(jù)處理任務(wù)進(jìn)行分析；
[0009]根據(jù)所述數(shù)據(jù)處理任務(wù)的分析結(jié)果，生成血緣分析圖；
[0010]根據(jù)所述血緣分析圖，確定出現(xiàn)數(shù)據(jù)質(zhì)量問題所在。
[0011 ]優(yōu)選地，在本發(fā)明一實施例中，所述對所述數(shù)據(jù)處理任務(wù)進(jìn)行分析包括:
[0012]確定所述數(shù)據(jù)處理任務(wù)涉及到的數(shù)據(jù)單元，以及所述數(shù)據(jù)處理任務(wù)的數(shù)據(jù)流向關(guān)系O
[0013]優(yōu)選地，在本發(fā)明一實施例中，所述根據(jù)對所述數(shù)據(jù)處理任務(wù)的分析結(jié)果，生成血緣分析圖包括:
[0014]根據(jù)所述數(shù)據(jù)處理任務(wù)涉及到的數(shù)據(jù)單元，以及所述數(shù)據(jù)處理任務(wù)的數(shù)據(jù)流向關(guān)系生成有向圖，所述有向圖作為血緣分析圖。
[0015]優(yōu)選地，在本發(fā)明一實施例中，所述根據(jù)所述數(shù)據(jù)處理任務(wù)涉及的數(shù)據(jù)單元，以及所述數(shù)據(jù)處理任務(wù)的數(shù)據(jù)流向關(guān)系生成有向圖包括:
[0016]根據(jù)所述數(shù)據(jù)處理任務(wù)涉及的數(shù)據(jù)單元，確定所述有向圖的節(jié)點；
[0017]根據(jù)所述數(shù)據(jù)處理任務(wù)的數(shù)據(jù)流向關(guān)系，確定所述有向圖的有向邊，所述有向邊的兩端分別連接所述有向圖中的上一個節(jié)點和下一個節(jié)點。
[0018]優(yōu)選地，在本發(fā)明一實施例中，根據(jù)所述血緣分析圖，確定出現(xiàn)數(shù)據(jù)質(zhì)量問題所在包括:
[0019]根據(jù)所述血緣分析圖，確定出現(xiàn)數(shù)據(jù)質(zhì)量問題的數(shù)據(jù)單元；
[0020]和/或
[0021]根據(jù)所述血緣分析圖，確定對出現(xiàn)數(shù)據(jù)質(zhì)量問題的數(shù)據(jù)單元有影響的數(shù)據(jù)處理任務(wù)，以及對出現(xiàn)數(shù)據(jù)質(zhì)量問題的數(shù)據(jù)單元有影響的其他數(shù)據(jù)單元；
[0022]和/或
[0023]根據(jù)所述血緣分析圖，確定受所述出現(xiàn)數(shù)據(jù)質(zhì)量問題的數(shù)據(jù)單元影響的的數(shù)據(jù)處理任務(wù)，以及受所述出現(xiàn)數(shù)據(jù)質(zhì)量問題影響的其他數(shù)據(jù)單元。
[0024]一種數(shù)據(jù)質(zhì)量追溯的裝置，其包括:
[0025]分析模塊，用于獲取數(shù)據(jù)處理任務(wù)并對所述數(shù)據(jù)處理任務(wù)進(jìn)行分析；
[0026]血緣分析圖生成模塊，用于根據(jù)對所述數(shù)據(jù)處理任務(wù)的分析結(jié)果，生成血緣分析圖；
[0027]問題確定模塊，用于根據(jù)所述血緣分析圖，確定出現(xiàn)數(shù)據(jù)質(zhì)量問題的問題所在。
[0028]優(yōu)選地，在本發(fā)明一實施例中，所述分析模塊進(jìn)一步用于確定所述數(shù)據(jù)處理任務(wù)涉及到的數(shù)據(jù)單元，以及所述數(shù)據(jù)處理任務(wù)的數(shù)據(jù)流向關(guān)系。
[0029]優(yōu)選地，在本發(fā)明一實施例中，所述血緣分析圖生成模塊進(jìn)一步用于根據(jù)所述數(shù)據(jù)處理任務(wù)涉及到的數(shù)據(jù)單元，以及所述數(shù)據(jù)處理任務(wù)的數(shù)據(jù)流向關(guān)系，生成血緣分析圖。
[0030]優(yōu)選地，在本發(fā)明一實施例中，所述血緣分析圖生成模塊進(jìn)一步用于根據(jù)所述數(shù)據(jù)處理任務(wù)涉及的數(shù)據(jù)單元，以及所述數(shù)據(jù)處理任務(wù)的數(shù)據(jù)流向關(guān)系生成有向圖，所述有向圖做為所述血緣分析圖。
[0031 ]優(yōu)選地，在本發(fā)明一實施例中，所述血緣分析圖生成模塊包括:
[0032]節(jié)點確定子模塊，用于根據(jù)所述數(shù)據(jù)處理任務(wù)涉及的數(shù)據(jù)單元，確定所述有向圖的節(jié)點；
[0033]有向邊確定子模塊，用于根據(jù)所述數(shù)據(jù)處理任務(wù)的數(shù)據(jù)流向關(guān)系，確定所述有向圖的有向邊，所述有向邊的兩端分別連接所述有向圖中的上一個節(jié)點和下一個節(jié)點。
[0034]優(yōu)選地，在本發(fā)明一實施例中，所述問題確定模塊進(jìn)一步用于根據(jù)所述血緣分析圖，確定出現(xiàn)數(shù)據(jù)質(zhì)量問題的數(shù)據(jù)單元；
[0035]和/或
[0036]所述問題確定模塊進(jìn)一步用于根據(jù)所述血緣分析圖，確定對出現(xiàn)數(shù)據(jù)質(zhì)量問題的數(shù)據(jù)單元有影響的數(shù)據(jù)處理任務(wù)，以及對出現(xiàn)數(shù)據(jù)質(zhì)量問題的數(shù)據(jù)單元有影響的其他數(shù)據(jù)單元；
[0037]和/或
[0038]所述問題確定模塊進(jìn)一步用于根據(jù)所述血緣分析圖，確定受所述出現(xiàn)數(shù)據(jù)質(zhì)量問題的數(shù)據(jù)單元影響的的數(shù)據(jù)處理任務(wù)，以及受所述出現(xiàn)數(shù)據(jù)質(zhì)量問題影響的其他數(shù)據(jù)單
J L ο
[0039]一種與數(shù)據(jù)質(zhì)量追溯裝置結(jié)合使用的硬件處理器，所述硬件處理器包括執(zhí)行以下步驟的指令:
[0040]獲取數(shù)據(jù)處理任務(wù)并對所述數(shù)據(jù)處理任務(wù)進(jìn)行分析；
[0041 ]根據(jù)所述數(shù)據(jù)處理任務(wù)的分析結(jié)果，生成血緣分析圖；
[0042]根據(jù)所述血緣分析圖確定出現(xiàn)數(shù)據(jù)質(zhì)量問題的所在。
[0043]本發(fā)明實施例中，由于可以自動獲取數(shù)據(jù)處理任務(wù)，并進(jìn)一步對數(shù)據(jù)處理任務(wù)進(jìn)行解析，根據(jù)對所述數(shù)據(jù)處理任務(wù)的分析結(jié)果生成血緣分析圖，進(jìn)而根據(jù)所述血緣分析圖確定出現(xiàn)數(shù)據(jù)質(zhì)量問題的所在。即根據(jù)本實施例所公開的技術(shù)方案，一旦出現(xiàn)數(shù)據(jù)質(zhì)量問題，就會在血緣分析圖上有客觀顯現(xiàn)的體現(xiàn)，因此，上述整個過程通過血緣分析圖即可直接客觀的確定出數(shù)據(jù)質(zhì)量的問題所在，無須人工參與，擺脫了人工的主觀因素影響，所以定位問題效率高、速度快。
【附圖說明】
[0044]為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作一簡單地介紹，顯而易見地，下面描述中的附圖是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0045]圖1為本發(fā)明一種數(shù)據(jù)質(zhì)量追溯的方法實施例的流程圖；
[0046]圖2為本發(fā)明一種數(shù)據(jù)質(zhì)量追溯的方法實施例所揭示的血緣分析圖的結(jié)構(gòu)示意圖；
[0047]圖3為本發(fā)明一種數(shù)據(jù)質(zhì)量追溯的裝置實施例的結(jié)構(gòu)示意圖；
[0048]圖4為本發(fā)明實施例血緣分析圖生成模塊結(jié)構(gòu)示意圖。
【具體實施方式】
[0049]為使本發(fā)明實施例的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實施例是本發(fā)明一部分實施例，而不是全部的實施例。基于本發(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護(hù)的范圍。
[0050]請參考圖1，本發(fā)明一種數(shù)據(jù)質(zhì)量追溯的方法實施例的流程圖。本發(fā)明實施例提供的一種數(shù)據(jù)質(zhì)量追溯的方法，包括:
[0051 ]步驟11，獲取數(shù)據(jù)處理任務(wù)并對所述數(shù)據(jù)處理任務(wù)進(jìn)行分析；
[0052]步驟12，根據(jù)所述數(shù)據(jù)處理任務(wù)的分析結(jié)果，生成血緣分析圖；
[0053]步驟13，根據(jù)所述血緣分析圖確定出現(xiàn)數(shù)據(jù)質(zhì)量問題的所在。
[0054]本實施例中，血緣分析圖上可以反映出數(shù)據(jù)處理任務(wù)涉及的各對象以及對象間的關(guān)系，比如對于運維管理來說，作為對象的數(shù)據(jù)單元以及數(shù)組單元之間信號的流向關(guān)系。
[0055]優(yōu)選地，所述獲取數(shù)據(jù)處理任務(wù)并對所述數(shù)據(jù)處理任務(wù)進(jìn)行分析包括:
[0056]確定所述數(shù)據(jù)處理任務(wù)涉及到的數(shù)據(jù)單元，及所述所述數(shù)據(jù)處理任務(wù)的數(shù)據(jù)流向關(guān)系。
[0057]其中，所述數(shù)據(jù)單元在不同的存儲媒介中的體現(xiàn)是不一樣的，一般數(shù)據(jù)處理任務(wù)的輸出目標(biāo)可以作為一個數(shù)據(jù)單元，所述數(shù)據(jù)單元可以作為數(shù)據(jù)的源，也可以作為數(shù)據(jù)處理的數(shù)據(jù)目標(biāo)。
[0058]本實施例中，為了減少數(shù)據(jù)處理的任務(wù)量，提高準(zhǔn)確性，進(jìn)一步實現(xiàn)數(shù)據(jù)質(zhì)量問題的快速定位，在步驟11之前還可以按照設(shè)定的規(guī)則進(jìn)行全部或者部分清洗和轉(zhuǎn)換，清洗和轉(zhuǎn)換的對象包括:數(shù)據(jù)單元及數(shù)據(jù)處理任務(wù)。清洗的規(guī)則可以是:篩選出需要的數(shù)據(jù)單元和數(shù)據(jù)處理任務(wù)、篩選掉不需要的數(shù)據(jù)單元和數(shù)據(jù)處理任務(wù)，比如有三個運維管理的對象系統(tǒng)A、B、C，但是，只有對象系統(tǒng)A是上述實施例實際的處理對象，因此，需要把系統(tǒng)B和C的數(shù)據(jù)單元和數(shù)據(jù)處理任務(wù)清除掉。轉(zhuǎn)換則是根據(jù)設(shè)定的規(guī)則將數(shù)據(jù)單元、數(shù)據(jù)處理任務(wù)進(jìn)行轉(zhuǎn)換，相當(dāng)于標(biāo)準(zhǔn)化處理，比如在不同的系統(tǒng)，同一對象用不同的描述進(jìn)行定義，比如“性另IJ”，在A系統(tǒng)中可能有“男” “女”定義，而在B系統(tǒng)中有“female” “male”定義，因此，轉(zhuǎn)換即為將所有“性別”統(tǒng)一定義為“男” “女”或者“female” “male”。
[0059]下面舉例進(jìn)行說明:
[0060]舉例1:在關(guān)系型數(shù)據(jù)庫中，所述關(guān)系型數(shù)據(jù)表中的每一個單元格均可以作為一個數(shù)據(jù)單元。
[0061]舉例2:在前端展現(xiàn)中，報表也可以作為一個數(shù)據(jù)單元。
[0062]所述數(shù)據(jù)處理任務(wù)可以是一個數(shù)據(jù)加工的過程。所述數(shù)據(jù)加工的過程可以是從源加載數(shù)據(jù)，然后進(jìn)行加工，最后將加工的結(jié)果輸出到目標(biāo)。每一個數(shù)據(jù)單元可對應(yīng)有輸入和輸出，對數(shù)據(jù)進(jìn)行處理之后的保存可以是一個輸出，當(dāng)然也可以有其他形式的輸出，輸入和輸出可以是一個，也可以是多個。
[0063]優(yōu)選地，由于有向圖可以表現(xiàn)出數(shù)據(jù)間的關(guān)系，因此，可以將有向圖直接作為血緣分析圖的具體實現(xiàn)形式。因此，上述實施例中，步驟13中所述根據(jù)對所述數(shù)據(jù)處理任務(wù)的分析結(jié)果，生成血緣分析圖可以包括:
[0064]根據(jù)所述數(shù)據(jù)處理任務(wù)涉及到的數(shù)據(jù)單元，以及所述數(shù)據(jù)處理任務(wù)的數(shù)據(jù)流向關(guān)系生成有向圖，所述有向圖作為血緣分析圖。
[0065]優(yōu)選地，在構(gòu)建有向圖時，即所述根據(jù)所述數(shù)據(jù)處理任務(wù)涉及的數(shù)據(jù)單元，以及所述數(shù)據(jù)處理任務(wù)的數(shù)據(jù)流向關(guān)系生成有向圖可以包括:
[0066]步驟131、根據(jù)所述數(shù)據(jù)處理任務(wù)涉及的數(shù)據(jù)單元，確定所述有向圖的節(jié)點；
[0067]具體地，可以直接將數(shù)據(jù)單元作為有向圖中的節(jié)點。
[0068]步驟132、根據(jù)所述數(shù)據(jù)處理任務(wù)的數(shù)據(jù)流向關(guān)系，確定所述有向圖的有向邊，所述有向邊的兩端分別連接所述有向圖中的上一個節(jié)點和下一個節(jié)點。
[0069]具體地，可以將數(shù)據(jù)流向作為有向圖的邊即有像邊。
[0070]優(yōu)選地，根據(jù)所述血緣分析圖，確定出現(xiàn)數(shù)據(jù)質(zhì)量問題所在包括下述情況中的任種或多種的組合:
[0071](I)根據(jù)所述血緣分析圖，確定出現(xiàn)數(shù)據(jù)質(zhì)量問題的數(shù)據(jù)單元；
[0072](2)根據(jù)所述血緣分析圖，確定導(dǎo)致所述數(shù)據(jù)單元出現(xiàn)數(shù)據(jù)質(zhì)量問題的數(shù)據(jù)處理任務(wù)。
[0073](3)根據(jù)所述血緣分析圖，確定對出現(xiàn)數(shù)據(jù)質(zhì)量問題的數(shù)據(jù)單元有影響的數(shù)據(jù)處理任務(wù)，以及對出現(xiàn)數(shù)據(jù)質(zhì)量問題的數(shù)據(jù)單元有影響的其他數(shù)據(jù)單元；
[0074](4)根據(jù)所述血緣分析圖，確定受所述出現(xiàn)數(shù)據(jù)質(zhì)量問題的數(shù)據(jù)單元影響的的數(shù)據(jù)處理任務(wù)，以及受所述出現(xiàn)數(shù)據(jù)質(zhì)量問題影響的其他數(shù)據(jù)單元。
[0075]本實施例中，由于可以自動獲取數(shù)據(jù)處理任務(wù)，并進(jìn)一步對數(shù)據(jù)處理任務(wù)進(jìn)行解析，根據(jù)對所述數(shù)據(jù)處理任務(wù)的分析結(jié)果生成血緣分析圖，進(jìn)而根據(jù)所述血緣分析圖確定出現(xiàn)數(shù)據(jù)質(zhì)量問題的所在。即根據(jù)本實施例所公開的技術(shù)方案，一旦出現(xiàn)數(shù)據(jù)質(zhì)量問題，就會在血緣分析圖上有客觀顯現(xiàn)的體現(xiàn)，因此，上述整個過程通過血緣分析圖即可直接客觀的確定出數(shù)據(jù)質(zhì)量的問題所在，無須人工參與，擺脫了人工的主觀因素影響，所以定位問題效率高、速度快。
[0076]如圖2所示，本發(fā)明一種數(shù)據(jù)質(zhì)量追溯的方法實施例所揭示的血緣分析圖的結(jié)構(gòu)示意圖。血緣分析圖的生成過程，請參考圖2，以5個數(shù)據(jù)單元參與血緣分析圖生成為例。本實施例中，根據(jù)所述數(shù)據(jù)處理任務(wù)的邏輯以及所述數(shù)據(jù)處理任務(wù)的輸入源和輸出目標(biāo)確定出所有數(shù)據(jù)單元的數(shù)據(jù)流向。
[0077]本實施例中，所有分析出來的結(jié)果可以形成一個有向圖，其中所述數(shù)據(jù)單元可以作為所述有向圖的節(jié)點，其中，所述節(jié)點包括數(shù)據(jù)單元01至數(shù)據(jù)單元05;所述數(shù)據(jù)處理任務(wù)作為所述有向圖的邊，其中，所述有向圖的邊的兩端分別連接上一個節(jié)點和下一個節(jié)點，即上一個數(shù)據(jù)單元、下一個數(shù)據(jù)單元，每一個數(shù)據(jù)處理任務(wù)可以是所述有向圖中多個節(jié)點的邊，例如邊01’是數(shù)據(jù)單元01的輸出邊，邊02’是數(shù)據(jù)單元02的輸出邊，與此同時邊01’和邊02’又是數(shù)據(jù)單元03的兩條輸入邊，邊03和邊03’是數(shù)據(jù)單元03的兩條輸出邊，與此同時邊03和邊03’分別是數(shù)據(jù)單元04和數(shù)據(jù)單元05的輸入邊。
[0078]當(dāng)確定圖2中的數(shù)據(jù)單元03出現(xiàn)數(shù)據(jù)質(zhì)量問題時，根據(jù)圖2所示的血緣分析圖可知，能夠影響所述出現(xiàn)數(shù)據(jù)質(zhì)量問題的數(shù)據(jù)單元03的數(shù)據(jù)單元包括:所述數(shù)據(jù)單元01和所述數(shù)據(jù)單元02，能夠影響所述出現(xiàn)數(shù)據(jù)質(zhì)量問題的數(shù)據(jù)單元03的數(shù)據(jù)處理任務(wù)包括:邊01’和邊02’；同時，根據(jù)所述血緣分析圖能夠確定所有被所述出現(xiàn)數(shù)據(jù)質(zhì)量問題的數(shù)據(jù)單元03所影響的數(shù)據(jù)單元包括:數(shù)據(jù)單元04和數(shù)據(jù)單元05，從而能夠確定所有被所述出現(xiàn)數(shù)據(jù)質(zhì)量問題的數(shù)據(jù)單元03所影響的數(shù)據(jù)處理任務(wù)包括:邊03’和邊04’。在確定所有影響所述出現(xiàn)數(shù)據(jù)質(zhì)量問題的數(shù)據(jù)單元的數(shù)據(jù)單元和數(shù)據(jù)處理任務(wù)和所有被所述出現(xiàn)數(shù)據(jù)質(zhì)量問題的數(shù)據(jù)單元所影響的數(shù)據(jù)單元和數(shù)據(jù)處理任務(wù)之后，可以逐個進(jìn)行修復(fù)。
[0079]需要說明的是，在初次生成血緣分析圖時，也可以執(zhí)行上述清洗和轉(zhuǎn)換過程，以更為精確和快速的確定出出現(xiàn)數(shù)據(jù)質(zhì)量問題的所在。
[0080]請參考圖3，本發(fā)明一種數(shù)據(jù)質(zhì)量追溯的裝置實施例的結(jié)構(gòu)示意圖。本實施例中，數(shù)據(jù)質(zhì)量追溯的裝置包括分析模塊31、血緣分析圖生成模塊32和問題確定模塊33，其中:
[0081]所述分析模塊31用于獲取數(shù)據(jù)處理任務(wù)并對所述數(shù)據(jù)處理任務(wù)進(jìn)行分析；
[0082]所述血緣分析圖生成模塊32用于根據(jù)對所述數(shù)據(jù)處理任務(wù)的分析結(jié)果，生成血緣分析圖；
[0083]所述問題確定模塊33用于根據(jù)所述血緣分析圖，確定出現(xiàn)數(shù)據(jù)質(zhì)量問題的問題所在。
[0084]優(yōu)選地，在實施例中，所述分析模塊31可以進(jìn)一步用于確定所述數(shù)據(jù)處理任務(wù)涉及到的數(shù)據(jù)單元，以及所述數(shù)據(jù)處理任務(wù)的數(shù)據(jù)流向關(guān)系。
[0085]優(yōu)選地，在本實施例中，所述血緣分析圖生成模塊32可以進(jìn)一步用于根據(jù)所述數(shù)據(jù)處理任務(wù)涉及到的數(shù)據(jù)單元，以及所述數(shù)據(jù)處理任務(wù)的數(shù)據(jù)流向關(guān)系，生成血緣分析圖。
[0086]具體地，本實施例中，所述血緣分析圖生成模塊32可以進(jìn)一步用于根據(jù)所述數(shù)據(jù)處理任務(wù)涉及的數(shù)據(jù)單元，以及所述數(shù)據(jù)處理任務(wù)的數(shù)據(jù)流向關(guān)系生成有向圖，所述有向圖做為所述血緣分析圖。
[0087]優(yōu)選地，本實施例中，所述問題確定模塊33進(jìn)一步可以用于根據(jù)所述血緣分析圖，確定出現(xiàn)數(shù)據(jù)質(zhì)量問題的數(shù)據(jù)單元和/或?qū)е滤鰯?shù)據(jù)單元出現(xiàn)數(shù)據(jù)質(zhì)量問題的數(shù)據(jù)處理任務(wù)。
[0088]進(jìn)一步地，本實施例中，所述問題確定模塊33進(jìn)一步還可以用于根據(jù)所述血緣分析圖，確定對出現(xiàn)數(shù)據(jù)質(zhì)量問題的數(shù)據(jù)單元有影響的數(shù)據(jù)處理任務(wù)，以及對出現(xiàn)數(shù)據(jù)質(zhì)量問題的數(shù)據(jù)單元有影響的其他數(shù)據(jù)單元;和/或
[0089]所述問題確定模塊33進(jìn)一步還可以用于根據(jù)所述血緣分析圖，確定受所述出現(xiàn)數(shù)據(jù)質(zhì)量問題的數(shù)據(jù)單元影響的的數(shù)據(jù)處理任務(wù)，以及受所述出現(xiàn)數(shù)據(jù)質(zhì)量問題影響的其他數(shù)據(jù)單元。
[0090]本實施例中，在實現(xiàn)上述分析模塊31、血緣分析圖生成模塊32和問題確定模塊33進(jìn)一步的功能時，可以由這些模塊本身來實現(xiàn)，也可以搭建對應(yīng)功能的子模塊來實現(xiàn)。
[0091 ]本實施例中，由于可以由分析模塊自動獲取數(shù)據(jù)處理任務(wù)，并進(jìn)一步對數(shù)據(jù)處理任務(wù)進(jìn)行解析，血緣分析圖生成模塊根據(jù)對所述數(shù)據(jù)處理任務(wù)的分析結(jié)果生成血緣分析圖，比如以數(shù)據(jù)單元為節(jié)點、信號流向關(guān)系為有向邊形成的有向圖作為血緣分析圖，進(jìn)而由問題確定模塊根據(jù)所述血緣分析圖確定出現(xiàn)數(shù)據(jù)質(zhì)量問題的所在。即根據(jù)本實施例所公開的技術(shù)方案，一旦出現(xiàn)數(shù)據(jù)質(zhì)量問題，就會在血緣分析圖上有客觀顯現(xiàn)的體現(xiàn)，因此，上述整個過程通過血緣分析圖即可直接客觀的確定出數(shù)據(jù)質(zhì)量的問題所在，無須人工參與，擺脫了人工的主觀因素影響，所以定位問題效率高、速度快。
[0092]圖4為本發(fā)明實施例血緣分析圖生成模塊結(jié)構(gòu)示意圖，如圖4所示，當(dāng)有向圖做為所述血緣分析圖時，所述血緣分析圖生成模塊32可以具體包括:
[0093]節(jié)點確定子模塊321，用于根據(jù)所述數(shù)據(jù)處理任務(wù)涉及的數(shù)據(jù)單元，確定所述有向圖的節(jié)點；
[0094]有向邊確定子模塊322，用于根據(jù)所述數(shù)據(jù)處理任務(wù)的數(shù)據(jù)流向關(guān)系，確定所述有向圖的有向邊，所述有向邊的兩端分別連接所述有向圖中的上一個節(jié)點和下一個節(jié)點。
[0095]需要說明的是，在另外一實施例中，也可以由所述血緣分析圖生成模塊32本身進(jìn)一步用于根據(jù)所述數(shù)據(jù)處理任務(wù)涉及的數(shù)據(jù)單元，確定所述有向圖的節(jié)點，以及根據(jù)所述數(shù)據(jù)處理任務(wù)的數(shù)據(jù)流向關(guān)系，確定所述有向圖的有向邊，所述有向邊的兩端分別連接所述有向圖中的上一個節(jié)點和下一個節(jié)點。
[0096]本實施例中，由于可以由分析模塊自動獲取數(shù)據(jù)處理任務(wù)，并進(jìn)一步對數(shù)據(jù)處理任務(wù)進(jìn)行解析，血緣分析圖生成模塊在根據(jù)對所述數(shù)據(jù)處理任務(wù)的分析結(jié)果生成血緣分析圖時，以數(shù)據(jù)單元為有向圖的節(jié)點，以信號流向關(guān)系為有向圖的有向邊從而形成的有向圖作為血緣分析圖，進(jìn)而后續(xù)可由問題確定模塊根據(jù)所述血緣分析圖確定出現(xiàn)數(shù)據(jù)質(zhì)量問題的所在，從而通過血緣分析圖即可直接客觀的確定出數(shù)據(jù)質(zhì)量的問題所在，無須人工參與，擺脫了人工的主觀因素影響，所以定位問題效率高、速度快。
[0097]本發(fā)明一種數(shù)據(jù)質(zhì)量追溯的裝置實施例中，各個單元的處理過程以及相互合作的具體實現(xiàn)過程可以參考本發(fā)明方法實施例的相關(guān)描述，這里不再一一描述。
[0098]本發(fā)明實施例所述的一種數(shù)據(jù)質(zhì)量追溯的方法可以通過硬件處理器來實現(xiàn)相關(guān)功能。所述硬件處理器在執(zhí)行本發(fā)明實施例提供的一種數(shù)據(jù)質(zhì)量追溯的方法，可以包括如下步驟的指令:
[0099]獲取數(shù)據(jù)處理任務(wù)并對所述數(shù)據(jù)處理任務(wù)進(jìn)行分析；
[0100]根據(jù)所述數(shù)據(jù)處理任務(wù)的分析結(jié)果，生成血緣分析圖；
[0101]根據(jù)所述血緣分析圖確定出現(xiàn)數(shù)據(jù)質(zhì)量問題的所在。
[0102]上述每個步驟的具體說明或者解釋，詳見上述圖1-圖4相關(guān)記載，在此不再贅述。
[0103]以上所描述的裝置實施例僅僅是示意性的，其中所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個地方，或者也可以分布到多個網(wǎng)絡(luò)單元上?？梢愿鶕?jù)實際的需要選擇其中的部分或者全部模塊來實現(xiàn)本實施例方案的目的。本領(lǐng)域普通技術(shù)人員在不付出創(chuàng)造性的勞動的情況下，即可以理解并實施。
[0104]通過以上的實施方式的描述，本領(lǐng)域的技術(shù)人員可以清楚地了解到各實施方式可借助軟件加必需的通用硬件平臺的方式來實現(xiàn)，當(dāng)然也可以通過硬件?；谶@樣的理解，上述技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻(xiàn)的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計算機(jī)軟件產(chǎn)品可以存儲在計算機(jī)可讀存儲介質(zhì)中，如R0M/RAM、磁碟、光盤等，包括若干指令用以使得一臺計算機(jī)設(shè)備(可以是個人計算機(jī)，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行各個實施例或者實施例的某些部分所述的方法。
[0105]最后應(yīng)說明的是:以上實施例僅用以說明本發(fā)明的技術(shù)方案，而非對其限制;盡管參照前述實施例對本發(fā)明進(jìn)行了詳細(xì)的說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解:其依然可以對前述各實施例所記載的技術(shù)方案進(jìn)行修改，或者對其中部分技術(shù)特征進(jìn)行等同替換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實施例技術(shù)方案的精神和范圍。
【主權(quán)項】
1.一種數(shù)據(jù)質(zhì)量追溯的方法，其特征在于，包括: 獲取數(shù)據(jù)處理任務(wù)并對所述數(shù)據(jù)處理任務(wù)進(jìn)行分析； 根據(jù)所述數(shù)據(jù)處理任務(wù)的分析結(jié)果，生成血緣分析圖； 根據(jù)所述血緣分析圖，確定出現(xiàn)數(shù)據(jù)質(zhì)量問題所在。2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取數(shù)據(jù)處理任務(wù)并對所述數(shù)據(jù)處理任務(wù)進(jìn)行分析包括: 確定所述數(shù)據(jù)處理任務(wù)涉及到的數(shù)據(jù)單元，以及所述數(shù)據(jù)處理任務(wù)的數(shù)據(jù)流向關(guān)系。3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)對所述數(shù)據(jù)處理任務(wù)的分析結(jié)果，生成血緣分析圖包括: 根據(jù)所述數(shù)據(jù)處理任務(wù)涉及到的數(shù)據(jù)單元，以及所述數(shù)據(jù)處理任務(wù)的數(shù)據(jù)流向關(guān)系生成有向圖，所述有向圖作為血緣分析圖。4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述根據(jù)所述數(shù)據(jù)處理任務(wù)涉及的數(shù)據(jù)單元，以及所述數(shù)據(jù)處理任務(wù)的數(shù)據(jù)流向關(guān)系生成有向圖包括: 根據(jù)所述數(shù)據(jù)處理任務(wù)涉及的數(shù)據(jù)單元，確定所述有向圖的節(jié)點； 根據(jù)所述數(shù)據(jù)處理任務(wù)的數(shù)據(jù)流向關(guān)系，確定所述有向圖的有向邊，所述有向邊的兩端分別連接所述有向圖中的上一個節(jié)點和下一個節(jié)點。5.根據(jù)權(quán)利要求2所述的方法，其特征在于，根據(jù)所述血緣分析圖，確定出現(xiàn)數(shù)據(jù)質(zhì)量問題所在包括: 根據(jù)所述血緣分析圖，確定出現(xiàn)數(shù)據(jù)質(zhì)量問題的數(shù)據(jù)單元； 和/或 根據(jù)所述血緣分析圖，確定對出現(xiàn)數(shù)據(jù)質(zhì)量問題的數(shù)據(jù)單元有影響的數(shù)據(jù)處理任務(wù)，以及對出現(xiàn)數(shù)據(jù)質(zhì)量問題的數(shù)據(jù)單元有影響的其他數(shù)據(jù)單元； 和/或 根據(jù)所述血緣分析圖，確定受所述出現(xiàn)數(shù)據(jù)質(zhì)量問題的數(shù)據(jù)單元影響的的數(shù)據(jù)處理任務(wù)，以及受所述出現(xiàn)數(shù)據(jù)質(zhì)量問題影響的其他數(shù)據(jù)單元。6.一種數(shù)據(jù)質(zhì)量追溯的裝置，其特征在于，包括: 分析模塊，用于獲取數(shù)據(jù)處理任務(wù)并對所述數(shù)據(jù)處理任務(wù)進(jìn)行分析 血緣分析圖生成模塊，用于根據(jù)對所述數(shù)據(jù)處理任務(wù)的分析結(jié)果，生成血緣分析圖； 問題確定模塊，用于根據(jù)所述血緣分析圖，確定出現(xiàn)數(shù)據(jù)質(zhì)量問題的問題所在。7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述分析模塊進(jìn)一步用于確定所述數(shù)據(jù)處理任務(wù)涉及到的數(shù)據(jù)單元，以及所述數(shù)據(jù)處理任務(wù)的數(shù)據(jù)流向關(guān)系。8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述血緣分析圖生成模塊進(jìn)一步用于根據(jù)所述數(shù)據(jù)處理任務(wù)涉及的數(shù)據(jù)單元，以及所述數(shù)據(jù)處理任務(wù)的數(shù)據(jù)流向關(guān)系生成有向圖，所述有向圖做為所述血緣分析圖。9.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述血緣分析圖生成模塊包括: 節(jié)點確定子模塊，用于根據(jù)所述數(shù)據(jù)處理任務(wù)涉及的數(shù)據(jù)單元，確定所述有向圖的節(jié)占.V ， 有向邊確定子模塊，用于根據(jù)所述數(shù)據(jù)處理任務(wù)的數(shù)據(jù)流向關(guān)系，確定所述有向圖的有向邊，所述有向邊的兩端分別連接所述有向圖中的上一個節(jié)點和下一個節(jié)點。10.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述問題確定模塊進(jìn)一步用于根據(jù)所述血緣分析圖，確定出現(xiàn)數(shù)據(jù)質(zhì)量問題的數(shù)據(jù)單元； 和/或 所述問題確定模塊進(jìn)一步用于根據(jù)所述血緣分析圖，確定對出現(xiàn)數(shù)據(jù)質(zhì)量問題的數(shù)據(jù)單元有影響的數(shù)據(jù)處理任務(wù)，以及對出現(xiàn)數(shù)據(jù)質(zhì)量問題的數(shù)據(jù)單元有影響的其他數(shù)據(jù)單元； 和/或 所述問題確定模塊進(jìn)一步用于根據(jù)所述血緣分析圖，確定受所述出現(xiàn)數(shù)據(jù)質(zhì)量問題的數(shù)據(jù)單元影響的的數(shù)據(jù)處理任務(wù)，以及受所述出現(xiàn)數(shù)據(jù)質(zhì)量問題影響的其他數(shù)據(jù)單元。11.一種與數(shù)據(jù)質(zhì)量追溯裝置結(jié)合使用的硬件處理器，其特征在于，所述硬件處理器包括執(zhí)行以下步驟的指令: 獲取數(shù)據(jù)處理任務(wù)并對所述數(shù)據(jù)處理任務(wù)進(jìn)行分析； 根據(jù)所述數(shù)據(jù)處理任務(wù)的分析結(jié)果，生成血緣分析圖； 根據(jù)所述血緣分析圖確定出現(xiàn)數(shù)據(jù)質(zhì)量問題的所在。
【文檔編號】G06Q10/06GK105844390SQ201610160404
【公開日】2016年8月10日
【申請日】2016年3月21日
【發(fā)明人】劉宏斌, 國鐵龍
【申請人】樂視網(wǎng)信息技術(shù)（北京）股份有限公司