大數(shù)據(jù)量號(hào)碼過(guò)濾裝置及方法
【專利摘要】本發(fā)明涉及號(hào)碼過(guò)濾系統(tǒng)及方法，公開了一種大數(shù)據(jù)量號(hào)碼過(guò)濾方法，至少包括以下步驟，在準(zhǔn)備待過(guò)濾數(shù)據(jù)的同時(shí)對(duì)其進(jìn)行標(biāo)識(shí)，按照標(biāo)識(shí)指定的過(guò)濾順序，對(duì)待過(guò)濾數(shù)據(jù)進(jìn)行逐項(xiàng)過(guò)濾，按照標(biāo)識(shí)指定的過(guò)濾項(xiàng)類型，將數(shù)據(jù)項(xiàng)與過(guò)濾器類相對(duì)應(yīng)，當(dāng)過(guò)濾條件不滿足時(shí)，掛起過(guò)濾任務(wù)直至過(guò)濾條件滿足。此外還公開了一種應(yīng)用上述方法的大數(shù)據(jù)量號(hào)碼過(guò)濾裝置。本發(fā)明的優(yōu)點(diǎn)在于，能夠適應(yīng)大批量的數(shù)據(jù)過(guò)濾，智能化程度高，無(wú)需人工手動(dòng)干預(yù)，且能夠支持復(fù)雜的過(guò)濾項(xiàng)，便于位于，尤其是可以支持按照指定的順序進(jìn)行過(guò)濾的方式，提高了過(guò)濾效率和應(yīng)用范圍。
【專利說(shuō)明】大數(shù)據(jù)量號(hào)碼過(guò)濾裝置及方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及號(hào)碼過(guò)濾系統(tǒng)及方法，特別涉及一種大數(shù)據(jù)量號(hào)碼過(guò)濾方法以及裝置。

【背景技術(shù)】
[0002]號(hào)碼過(guò)濾系統(tǒng)是一種在目前的商業(yè)以及業(yè)務(wù)系統(tǒng)中常用的系統(tǒng)，用于剔除那些不需要的號(hào)碼，從而降低各種無(wú)用號(hào)碼的侵?jǐn)_，提高業(yè)務(wù)效率。在現(xiàn)有的業(yè)務(wù)系統(tǒng)中，由于業(yè)務(wù)往來(lái)頻繁，導(dǎo)致各種號(hào)碼數(shù)量飛增，現(xiàn)有的過(guò)濾系統(tǒng)無(wú)法在短時(shí)間內(nèi)實(shí)現(xiàn)過(guò)濾，導(dǎo)致延誤。為了解決上述問(wèn)題，現(xiàn)有技術(shù)采用多平臺(tái)過(guò)濾，特別是在現(xiàn)有的過(guò)濾系統(tǒng)中加入了人工干預(yù)的操作步驟，以提高過(guò)濾的準(zhǔn)確性，降低過(guò)濾系統(tǒng)的復(fù)雜性。即便如此，由于采用多平臺(tái)過(guò)濾，導(dǎo)致平臺(tái)之間的協(xié)同性較差，為了提高平臺(tái)之間的協(xié)同性，尚需要在平臺(tái)之間進(jìn)行數(shù)據(jù)交換，增加了傳輸數(shù)據(jù)量，在一定程度上也降低了整個(gè)系統(tǒng)的安全性。進(jìn)一步地，現(xiàn)有技術(shù)的擴(kuò)展性較差，尤其是不支持復(fù)雜的過(guò)濾條件，通常而言，這些較為復(fù)雜的過(guò)濾條件往往被保留給人工操作。由此，導(dǎo)致整個(gè)過(guò)濾系統(tǒng)的速度大為降低，大批量數(shù)據(jù)過(guò)濾能力較低。
[0003]鑒于上述問(wèn)題，有必要對(duì)現(xiàn)有的號(hào)碼過(guò)濾系統(tǒng)進(jìn)行改進(jìn)，至少應(yīng)當(dāng)提高其針對(duì)大批量數(shù)據(jù)的過(guò)濾能力，同時(shí)，如果可以的話，應(yīng)當(dāng)在其他方面改進(jìn)現(xiàn)有技術(shù)的缺點(diǎn)。


【發(fā)明內(nèi)容】

[0004]本發(fā)明針對(duì)現(xiàn)有技術(shù)針對(duì)大批量數(shù)據(jù)的過(guò)濾速度較慢的缺點(diǎn)，提供了一種大數(shù)據(jù)量號(hào)碼過(guò)濾方法，以實(shí)現(xiàn)對(duì)大批量號(hào)碼的快速過(guò)濾的目的，進(jìn)一步地，還公開了一種應(yīng)用上述防范的大數(shù)據(jù)量號(hào)碼過(guò)濾裝置。
[0005]為實(shí)現(xiàn)上述目的，本發(fā)明可采取下述技術(shù)方案:
[0006]一種大數(shù)據(jù)量號(hào)碼過(guò)濾方法，包括以下至少一個(gè)具體步驟:
[0007]準(zhǔn)備步驟:在準(zhǔn)備待過(guò)濾數(shù)據(jù)的同時(shí)對(duì)其進(jìn)行標(biāo)識(shí)；
[0008]過(guò)濾步驟:按照標(biāo)識(shí)指定的過(guò)濾順序，對(duì)待過(guò)濾數(shù)據(jù)進(jìn)行逐項(xiàng)過(guò)濾；
[0009]對(duì)應(yīng)步驟:按照標(biāo)識(shí)指定的過(guò)濾項(xiàng)類型，將數(shù)據(jù)項(xiàng)與過(guò)濾器類相對(duì)應(yīng)；
[0010]掛起步驟:當(dāng)過(guò)濾條件不滿足時(shí)，掛起過(guò)濾任務(wù)直至過(guò)濾條件滿足。
[0011 ] 于本發(fā)明的實(shí)施例中，還包括數(shù)據(jù)采集步驟:以工具相關(guān)的方式采集與過(guò)濾相關(guān)的數(shù)據(jù)，所述以工具相關(guān)的方式至少包括以下三個(gè)方面的步驟:
[0012]抽取步驟:由初始系統(tǒng)讀取數(shù)據(jù)；
[0013]歸一化步驟:統(tǒng)一上述抽取步驟中得到的數(shù)據(jù)的數(shù)據(jù)格式，所述數(shù)據(jù)格式為具有運(yùn)行環(huán)境相關(guān)性的可讀格式；
[0014]轉(zhuǎn)載步驟:按順序?qū)w一化步驟中得到的數(shù)據(jù)進(jìn)行排列并將排列后的數(shù)據(jù)作為待過(guò)濾數(shù)據(jù)的數(shù)據(jù)源。
[0015]于本發(fā)明的實(shí)施例中，在所述準(zhǔn)備步驟中，依據(jù)數(shù)據(jù)分離的方式對(duì)待過(guò)濾數(shù)據(jù)進(jìn)行標(biāo)識(shí)，所述數(shù)據(jù)分離的方式為以待過(guò)濾數(shù)據(jù)的數(shù)據(jù)項(xiàng)內(nèi)容的差異為分離標(biāo)準(zhǔn)，將差異值超出閾值的數(shù)據(jù)項(xiàng)歸類為同一批數(shù)據(jù)，同一批數(shù)據(jù)將由指定的過(guò)濾器按順序進(jìn)行過(guò)濾。
[0016]于本發(fā)明的實(shí)施例中，在所述準(zhǔn)備步驟中，將標(biāo)識(shí)后的數(shù)據(jù)項(xiàng)導(dǎo)入過(guò)濾表，以表的形式進(jìn)行過(guò)濾。
[0017]于本發(fā)明的實(shí)施例中，還包括數(shù)據(jù)分析步驟:在對(duì)數(shù)據(jù)項(xiàng)進(jìn)行過(guò)濾的同時(shí)，對(duì)以下至少一個(gè)項(xiàng)目進(jìn)行分析:D被過(guò)濾原因，以及2)留存率，并將分析結(jié)果輸出至統(tǒng)計(jì)庫(kù)中。為了提高數(shù)據(jù)處理的速率，本實(shí)施例使用了一個(gè)具有特別結(jié)構(gòu)的統(tǒng)計(jì)庫(kù)，該統(tǒng)計(jì)庫(kù)被用于分析過(guò)濾數(shù)據(jù)，至少應(yīng)當(dāng)包括任務(wù)ID，與特定任務(wù)相對(duì)應(yīng)的過(guò)濾項(xiàng)以及過(guò)濾數(shù)量。
[0018]于本發(fā)明的實(shí)施例中，還包括數(shù)據(jù)生成步驟:依據(jù)數(shù)據(jù)項(xiàng)是否符合通過(guò)過(guò)濾器將過(guò)濾后的數(shù)據(jù)項(xiàng)分為留存數(shù)據(jù)和被剔除數(shù)據(jù)，所述留存數(shù)據(jù)為通過(guò)過(guò)濾器的數(shù)據(jù)項(xiàng)，所述被剔除數(shù)據(jù)為未通過(guò)過(guò)濾器的數(shù)據(jù)項(xiàng)。
[0019]于本發(fā)明的實(shí)施例中，分別建立留存數(shù)據(jù)文件和被剔除數(shù)據(jù)文件，并將留存數(shù)據(jù)文件和被剔除數(shù)據(jù)文件輸出至過(guò)濾庫(kù)。
[0020]一種大數(shù)據(jù)量號(hào)碼過(guò)濾裝置，包括數(shù)據(jù)過(guò)濾模塊，用于在準(zhǔn)備待過(guò)濾數(shù)據(jù)的同時(shí)對(duì)其進(jìn)行標(biāo)識(shí)；按照標(biāo)識(shí)指定的過(guò)濾順序，對(duì)待過(guò)濾數(shù)據(jù)進(jìn)行逐項(xiàng)過(guò)濾；按照標(biāo)識(shí)指定的過(guò)濾項(xiàng)類型，將數(shù)據(jù)項(xiàng)與過(guò)濾器類相對(duì)應(yīng)；以及當(dāng)過(guò)濾條件不滿足時(shí)，掛起過(guò)濾任務(wù)直至過(guò)濾條件滿足。
[0021]于本發(fā)明的實(shí)施例中，還包括數(shù)據(jù)采集模塊以及數(shù)據(jù)生成模塊；數(shù)據(jù)采集模塊用于以工具相關(guān)的方式采集與過(guò)濾相關(guān)的數(shù)據(jù)；數(shù)據(jù)生成模塊用于依據(jù)數(shù)據(jù)項(xiàng)是否符合通過(guò)過(guò)濾器將過(guò)濾后的數(shù)據(jù)項(xiàng)分為留存數(shù)據(jù)和被剔除數(shù)據(jù)并建立相應(yīng)的留存數(shù)據(jù)文件和被剔除數(shù)據(jù)文件。
[0022]于本發(fā)明的實(shí)施例中，還包括過(guò)濾分析模塊，用于在對(duì)數(shù)據(jù)項(xiàng)進(jìn)行過(guò)濾的同時(shí)，對(duì)數(shù)據(jù)項(xiàng)進(jìn)行分析，并將分析結(jié)果輸出至統(tǒng)計(jì)庫(kù)。
[0023]本發(fā)明具有以下的顯著技術(shù)效果:
[0024]提高了過(guò)濾系統(tǒng)的峰值過(guò)濾能力，通過(guò)設(shè)定標(biāo)識(shí)，不僅可以支持對(duì)號(hào)碼進(jìn)行指定順序過(guò)濾，還可以提高系統(tǒng)對(duì)于大批量數(shù)據(jù)的過(guò)濾能力，答復(fù)提高了過(guò)濾效率。
[0025]進(jìn)一步地，可以應(yīng)用分批過(guò)濾的原則，在對(duì)數(shù)據(jù)項(xiàng)進(jìn)行標(biāo)識(shí)的基礎(chǔ)上，對(duì)具有相同類型的數(shù)據(jù)進(jìn)行同批次過(guò)濾，提高數(shù)據(jù)過(guò)濾的速度。
[0026]此外，在本申請(qǐng)中，針對(duì)標(biāo)識(shí)所指明的各種不同的數(shù)據(jù)類型，預(yù)設(shè)有一定的過(guò)濾條件，在過(guò)濾條件不滿足時(shí)，僅僅掛起過(guò)濾條件不滿足的數(shù)據(jù)項(xiàng)，等待條件滿足時(shí)再進(jìn)行過(guò)濾，減少了處理那些不滿足過(guò)濾條件的數(shù)據(jù)項(xiàng)的系統(tǒng)開支。

【專利附圖】

【附圖說(shuō)明】
[0027]圖1為大數(shù)據(jù)量號(hào)碼過(guò)濾方法的流程示意圖。
[0028]圖2為大數(shù)據(jù)量號(hào)碼過(guò)濾裝置的結(jié)構(gòu)示意圖。

【具體實(shí)施方式】
[0029]下面結(jié)合實(shí)施例對(duì)本發(fā)明作進(jìn)一步的詳細(xì)描述。
[0030]實(shí)施例1
[0031]一種大數(shù)據(jù)量號(hào)碼過(guò)濾方法，如圖1所示，包括以下至少一個(gè)具體步驟:
[0032]準(zhǔn)備步驟101:在準(zhǔn)備待過(guò)濾數(shù)據(jù)的同時(shí)對(duì)其進(jìn)行標(biāo)識(shí)；
[0033]過(guò)濾步驟102:按照標(biāo)識(shí)指定的過(guò)濾順序，對(duì)待過(guò)濾數(shù)據(jù)進(jìn)行逐項(xiàng)過(guò)濾；
[0034]對(duì)應(yīng)步驟103:按照標(biāo)識(shí)指定的過(guò)濾項(xiàng)類型，將數(shù)據(jù)項(xiàng)與過(guò)濾器類相對(duì)應(yīng)；
[0035]掛起步驟104:當(dāng)過(guò)濾條件不滿足時(shí)，掛起過(guò)濾任務(wù)直至過(guò)濾條件滿足。當(dāng)需要掛起一個(gè)數(shù)據(jù)項(xiàng)時(shí)，為了降低系統(tǒng)耗費(fèi)的存儲(chǔ)資源，將被掛起的數(shù)據(jù)項(xiàng)轉(zhuǎn)移至過(guò)濾掛起表，將相應(yīng)的數(shù)據(jù)項(xiàng)的任務(wù)狀態(tài)標(biāo)志標(biāo)識(shí)為掛起，并在過(guò)濾項(xiàng)表中相對(duì)應(yīng)的過(guò)濾項(xiàng)下進(jìn)行記錄。
[0036]上述各個(gè)步驟可以分別作為各自獨(dú)立的步驟存在，也可以共同形成一個(gè)數(shù)據(jù)分析步驟120，尤其是，該數(shù)據(jù)分析步驟120至少應(yīng)當(dāng)包括準(zhǔn)備步驟101。
[0037]進(jìn)一步地，所述方法還包括數(shù)據(jù)采集步驟110:以工具相關(guān)的方式采集與過(guò)濾相關(guān)的數(shù)據(jù)，所述以工具相關(guān)的方式至少包括以下三個(gè)方面的步驟:
[0038]抽取步驟111:由初始系統(tǒng)讀取數(shù)據(jù)。本實(shí)施例中所述初始系統(tǒng)可以是營(yíng)銷系統(tǒng)，訂單系統(tǒng)以及其他任何與所采集的數(shù)據(jù)項(xiàng)相關(guān)聯(lián)的數(shù)據(jù)系統(tǒng)均可，在本步驟中，初始系統(tǒng)至少應(yīng)當(dāng)提供一個(gè)數(shù)據(jù)讀取權(quán)限以用于讀取初始系統(tǒng)的數(shù)據(jù)文件。需要進(jìn)一步明確的是，應(yīng)當(dāng)限定該數(shù)據(jù)文件具有可讀的形式，或者以可讀的編排形式進(jìn)行輸入，例如，操作人員在生成初始系統(tǒng)的數(shù)據(jù)文件時(shí)，采用特定的編碼格式，將需要記載的電話號(hào)碼或者其他號(hào)碼以統(tǒng)一的標(biāo)準(zhǔn)進(jìn)行記錄并輸入該數(shù)據(jù)文件中。
[0039]歸一化步驟112:統(tǒng)一上述抽取步驟111中得到的數(shù)據(jù)的數(shù)據(jù)格式，所述數(shù)據(jù)格式為具有運(yùn)行環(huán)境相關(guān)性的可讀格式。與上述抽取步驟111中的統(tǒng)一標(biāo)準(zhǔn)不同，本步驟是位于數(shù)據(jù)編譯層面，即將抽取得到的數(shù)據(jù)，例如號(hào)碼變換為同樣的存儲(chǔ)格式，一個(gè)較為常用的手段是將號(hào)碼轉(zhuǎn)移至具有足夠長(zhǎng)度的字段中，并補(bǔ)齊缺失的數(shù)據(jù)位。
[0040]轉(zhuǎn)載步驟113:按順序?qū)w一化步驟112中得到的數(shù)據(jù)進(jìn)行排列并將排列后的數(shù)據(jù)作為待過(guò)濾數(shù)據(jù)的數(shù)據(jù)源?？紤]到后繼操作的便捷性，應(yīng)當(dāng)采用順序排列的方式，從而可以保留數(shù)據(jù)在初始系統(tǒng)的數(shù)據(jù)文件中的順序。
[0041]在所述準(zhǔn)備步驟101中，依據(jù)數(shù)據(jù)分離的方式對(duì)待過(guò)濾數(shù)據(jù)進(jìn)行標(biāo)識(shí)以實(shí)現(xiàn)分批過(guò)濾數(shù)據(jù)項(xiàng)，所述數(shù)據(jù)分離的方式為以待過(guò)濾數(shù)據(jù)的數(shù)據(jù)項(xiàng)內(nèi)容的差異為分離標(biāo)準(zhǔn)，將差異值超出閾值的數(shù)據(jù)項(xiàng)歸類為同一批數(shù)據(jù)，同一批數(shù)據(jù)將由指定的過(guò)濾器按順序進(jìn)行過(guò)濾。為了提高對(duì)于大數(shù)據(jù)的過(guò)濾效率，需要在過(guò)濾項(xiàng)的耗時(shí)的基礎(chǔ)上對(duì)數(shù)據(jù)項(xiàng)進(jìn)行分批，根據(jù)耗時(shí)的長(zhǎng)短進(jìn)行分批，同時(shí)將每一批數(shù)據(jù)使用的數(shù)據(jù)項(xiàng)與其調(diào)用的系統(tǒng)資源的數(shù)量相聯(lián)系O
[0042]此外，作為一種可選的方案，標(biāo)識(shí)可以作為數(shù)據(jù)項(xiàng)的替換項(xiàng)目存在，以用于維持?jǐn)?shù)據(jù)項(xiàng)之間的原有順序，例如，在過(guò)濾后需要剔除相應(yīng)的數(shù)據(jù)項(xiàng)時(shí)，保留標(biāo)識(shí)，并打上空數(shù)據(jù)項(xiàng)的標(biāo)志。所述標(biāo)識(shí)還應(yīng)當(dāng)包括是否被過(guò)濾標(biāo)志以及該數(shù)據(jù)項(xiàng)應(yīng)當(dāng)被哪個(gè)過(guò)濾項(xiàng)過(guò)濾的標(biāo)
)■'、O
[0043]進(jìn)一步地，為了提高過(guò)濾速度，特別是大批量數(shù)據(jù)的過(guò)濾速度，在所述準(zhǔn)備步驟101中，將標(biāo)識(shí)后的數(shù)據(jù)項(xiàng)導(dǎo)入過(guò)濾表，以表的形式進(jìn)行過(guò)濾，便于數(shù)據(jù)項(xiàng)的定位以及迀移。其中，過(guò)濾表為一種特殊類型的表，至少應(yīng)當(dāng)包括過(guò)濾任務(wù)表以及過(guò)濾項(xiàng)表。過(guò)濾任務(wù)表至少記錄以下信息:任務(wù)基本信息，任務(wù)基本信息包括任務(wù)狀態(tài)以及任務(wù)過(guò)濾進(jìn)度。過(guò)濾項(xiàng)表包括每個(gè)任務(wù)需要過(guò)濾的項(xiàng)目，至少應(yīng)當(dāng)記錄數(shù)據(jù)項(xiàng)的所述任務(wù)、過(guò)濾條件、過(guò)濾順序以及過(guò)濾狀態(tài)。此外，針對(duì)每一類的過(guò)濾項(xiàng)，還可以設(shè)置額外的關(guān)鍵字表，以提供額外的關(guān)鍵字過(guò)濾。
[0044]還包括數(shù)據(jù)分析步驟130:在對(duì)數(shù)據(jù)項(xiàng)進(jìn)行過(guò)濾的同時(shí)，對(duì)以下至少一個(gè)項(xiàng)目進(jìn)行分析:1)被過(guò)濾原因，以及2)留存率，并將分析結(jié)果輸出至統(tǒng)計(jì)庫(kù)中。
[0045]還包括數(shù)據(jù)生成步驟140:依據(jù)數(shù)據(jù)項(xiàng)是否符合通過(guò)過(guò)濾器將過(guò)濾后的數(shù)據(jù)項(xiàng)分為留存數(shù)據(jù)和被剔除數(shù)據(jù)，所述留存數(shù)據(jù)為通過(guò)過(guò)濾器的數(shù)據(jù)項(xiàng)，所述被剔除數(shù)據(jù)為未通過(guò)過(guò)濾器的數(shù)據(jù)項(xiàng)。
[0046]分別建立留存數(shù)據(jù)文件和被剔除數(shù)據(jù)文件，并將留存數(shù)據(jù)文件和被剔除數(shù)據(jù)文件輸出至過(guò)濾庫(kù)。其中，還需要額外設(shè)置統(tǒng)計(jì)表，用于統(tǒng)計(jì)每個(gè)過(guò)濾項(xiàng)過(guò)濾剔除的數(shù)據(jù)項(xiàng)。
[0047]實(shí)施例2
[0048]進(jìn)一步地，本申請(qǐng)還包括了一種大數(shù)據(jù)量號(hào)碼過(guò)濾裝置，其結(jié)構(gòu)如圖2所示，包括數(shù)據(jù)過(guò)濾模塊210，用于在準(zhǔn)備待過(guò)濾數(shù)據(jù)的同時(shí)對(duì)其進(jìn)行標(biāo)識(shí)；按照標(biāo)識(shí)指定的過(guò)濾順序，對(duì)待過(guò)濾數(shù)據(jù)進(jìn)行逐項(xiàng)過(guò)濾；按照標(biāo)識(shí)指定的過(guò)濾項(xiàng)類型，將數(shù)據(jù)項(xiàng)與過(guò)濾器類相對(duì)應(yīng)；以及當(dāng)過(guò)濾條件不滿足時(shí)，掛起過(guò)濾任務(wù)直至過(guò)濾條件滿足。
[0049]進(jìn)一步地，所述裝置還包括數(shù)據(jù)采集模塊220以及數(shù)據(jù)生成模塊230 ;數(shù)據(jù)采集模塊220用于以工具相關(guān)的方式采集與過(guò)濾相關(guān)的數(shù)據(jù)；數(shù)據(jù)生成模塊230用于依據(jù)數(shù)據(jù)項(xiàng)是否符合通過(guò)過(guò)濾器將過(guò)濾后的數(shù)據(jù)項(xiàng)分為留存數(shù)據(jù)和被剔除數(shù)據(jù)并建立相應(yīng)的留存數(shù)據(jù)文件和被剔除數(shù)據(jù)文件。
[0050]此外，所述裝置還包括過(guò)濾分析模塊240，用于在對(duì)數(shù)據(jù)項(xiàng)進(jìn)行過(guò)濾的同時(shí)，對(duì)數(shù)據(jù)項(xiàng)進(jìn)行分析，并將分析結(jié)果輸出至統(tǒng)計(jì)庫(kù)。
[0051]總之，以上所述僅為本發(fā)明的較佳實(shí)施例，凡依本發(fā)明申請(qǐng)專利范圍所作的均等變化與修飾，皆應(yīng)屬本發(fā)明專利的涵蓋范圍。
【權(quán)利要求】
1.一種大數(shù)據(jù)量號(hào)碼過(guò)濾方法，其特征在于，包括以下至少一個(gè)具體步驟: 準(zhǔn)備步驟(101):在準(zhǔn)備待過(guò)濾數(shù)據(jù)的同時(shí)對(duì)其進(jìn)行標(biāo)識(shí)； 過(guò)濾步驟(102):按照標(biāo)識(shí)指定的過(guò)濾順序，對(duì)待過(guò)濾數(shù)據(jù)進(jìn)行逐項(xiàng)過(guò)濾； 對(duì)應(yīng)步驟(103):按照標(biāo)識(shí)指定的過(guò)濾項(xiàng)類型，將數(shù)據(jù)項(xiàng)與過(guò)濾器類相對(duì)應(yīng)； 掛起步驟(104):當(dāng)過(guò)濾條件不滿足時(shí)，掛起過(guò)濾任務(wù)直至過(guò)濾條件滿足。
2.根據(jù)權(quán)利要求1所述的大數(shù)據(jù)量號(hào)碼過(guò)濾方法，其特征在于，還包括數(shù)據(jù)采集步驟(110):以工具相關(guān)的方式采集與過(guò)濾相關(guān)的數(shù)據(jù)，所述以工具相關(guān)的方式至少包括以下三個(gè)方面的步驟: 抽取步驟(111):由初始系統(tǒng)讀取數(shù)據(jù)； 歸一化步驟(112):統(tǒng)一上述抽取步驟(111)中得到的數(shù)據(jù)的數(shù)據(jù)格式，所述數(shù)據(jù)格式為具有運(yùn)行環(huán)境相關(guān)性的可讀格式； 轉(zhuǎn)載步驟(113):按順序?qū)w一化步驟(112)中得到的數(shù)據(jù)進(jìn)行排列并將排列后的數(shù)據(jù)作為待過(guò)濾數(shù)據(jù)的數(shù)據(jù)源。
3.根據(jù)權(quán)利要求1所述的大數(shù)據(jù)量號(hào)碼過(guò)濾方法，其特征在于，在所述準(zhǔn)備步驟(101)中，依據(jù)數(shù)據(jù)分離的方式對(duì)待過(guò)濾數(shù)據(jù)進(jìn)行標(biāo)識(shí)，所述數(shù)據(jù)分離的方式為以待過(guò)濾數(shù)據(jù)的數(shù)據(jù)項(xiàng)內(nèi)容的差異為分離標(biāo)準(zhǔn)，將差異值超出閾值的數(shù)據(jù)項(xiàng)歸類為同一批數(shù)據(jù)，同一批數(shù)據(jù)將由指定的過(guò)濾器按順序進(jìn)行過(guò)濾。
4.根據(jù)權(quán)利要求1或者3所述的大數(shù)據(jù)量號(hào)碼過(guò)濾方法，其特征在于，在所述準(zhǔn)備步驟(101)中，將標(biāo)識(shí)后的數(shù)據(jù)項(xiàng)導(dǎo)入過(guò)濾表，以表的形式進(jìn)行過(guò)濾。
5.根據(jù)權(quán)利要求1所述的大數(shù)據(jù)量號(hào)碼過(guò)濾方法，其特征在于，還包括數(shù)據(jù)分析步驟(130):在對(duì)數(shù)據(jù)項(xiàng)進(jìn)行過(guò)濾的同時(shí)，對(duì)以下至少一個(gè)項(xiàng)目進(jìn)行分析:1)被過(guò)濾原因，以及2)留存率，并將分析結(jié)果輸出至統(tǒng)計(jì)庫(kù)中。
6.根據(jù)權(quán)利要求5所述的大數(shù)據(jù)量號(hào)碼過(guò)濾方法，其特征在于，還包括數(shù)據(jù)生成步驟(140):依據(jù)數(shù)據(jù)項(xiàng)是否符合通過(guò)過(guò)濾器將過(guò)濾后的數(shù)據(jù)項(xiàng)分為留存數(shù)據(jù)和被剔除數(shù)據(jù)，所述留存數(shù)據(jù)為通過(guò)過(guò)濾器的數(shù)據(jù)項(xiàng)，所述被剔除數(shù)據(jù)為未通過(guò)過(guò)濾器的數(shù)據(jù)項(xiàng)。
7.根據(jù)權(quán)利要求6所述的大數(shù)據(jù)量號(hào)碼過(guò)濾方法，其特征在于，分別建立留存數(shù)據(jù)文件和被剔除數(shù)據(jù)文件，并將留存數(shù)據(jù)文件和被剔除數(shù)據(jù)文件輸出至過(guò)濾庫(kù)。
8.一種大數(shù)據(jù)量號(hào)碼過(guò)濾裝置，其特征在于，包括數(shù)據(jù)過(guò)濾模塊(210)，用于在準(zhǔn)備待過(guò)濾數(shù)據(jù)的同時(shí)對(duì)其進(jìn)行標(biāo)識(shí)；按照標(biāo)識(shí)指定的過(guò)濾順序，對(duì)待過(guò)濾數(shù)據(jù)進(jìn)行逐項(xiàng)過(guò)濾；按照標(biāo)識(shí)指定的過(guò)濾項(xiàng)類型，將數(shù)據(jù)項(xiàng)與過(guò)濾器類相對(duì)應(yīng)；以及當(dāng)過(guò)濾條件不滿足時(shí)，掛起過(guò)濾任務(wù)直至過(guò)濾條件滿足。
9.根據(jù)權(quán)利要求8所述的大數(shù)據(jù)量號(hào)碼過(guò)濾裝置，其特征在于，還包括數(shù)據(jù)采集模塊(220)以及數(shù)據(jù)生成模塊(230);數(shù)據(jù)采集模塊(220)用于以工具相關(guān)的方式采集與過(guò)濾相關(guān)的數(shù)據(jù)；數(shù)據(jù)生成模塊(230)用于依據(jù)數(shù)據(jù)項(xiàng)是否符合通過(guò)過(guò)濾器將過(guò)濾后的數(shù)據(jù)項(xiàng)分為留存數(shù)據(jù)和被剔除數(shù)據(jù)并建立相應(yīng)的留存數(shù)據(jù)文件和被剔除數(shù)據(jù)文件。
10.根據(jù)權(quán)利要求10所述的大數(shù)據(jù)量號(hào)碼過(guò)濾裝置，其特征在于，還包括過(guò)濾分析模塊(240)，用于在對(duì)數(shù)據(jù)項(xiàng)進(jìn)行過(guò)濾的同時(shí)，對(duì)數(shù)據(jù)項(xiàng)進(jìn)行分析，并將分析結(jié)果輸出至統(tǒng)計(jì)庫(kù)。
【文檔編號(hào)】G06F17/30GK104484351SQ201410709301
【公開日】2015年4月1日 申請(qǐng)日期:2014年11月28日 優(yōu)先權(quán)日:2014年11月28日
【發(fā)明者】曾應(yīng)玉 申請(qǐng)人:上海百事通信息技術(shù)股份有限公司