大數(shù)據(jù)信息分析方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及電數(shù)據(jù)信息處理領(lǐng)域，更具體而言，涉及一種大數(shù)據(jù)信息分析方法方法和裝置。
【背景技術(shù)】
[0002]隨著社會(huì)工業(yè)化、信息化水平的不斷提高，如今數(shù)據(jù)已取代計(jì)算成為信息計(jì)算的中心，云計(jì)算、大數(shù)據(jù)正在成為一種趨勢和潮流。包括存儲容量、可用性、I/O性能、數(shù)據(jù)安全性、可擴(kuò)展性等諸多方面。大數(shù)據(jù)是規(guī)模非常巨大和復(fù)雜的數(shù)據(jù)集。大數(shù)據(jù)有4V:Volume (大量)，數(shù)據(jù)量持續(xù)快速增加；Velocity(高速)，數(shù)據(jù)I/O速度更快；Variety(多樣)，數(shù)據(jù)類型和來源多樣化；Value (價(jià)值)，其存在各方面的可用價(jià)值。由于大數(shù)據(jù)中包含海量的信息，在對海量信息中的可用數(shù)據(jù)資源進(jìn)行分布式的大數(shù)據(jù)分析和挖掘是最優(yōu)選方式。然而，現(xiàn)有技術(shù)中的分布式數(shù)據(jù)系統(tǒng)和相關(guān)聯(lián)的數(shù)據(jù)庫不能滿足于日益增長的數(shù)據(jù)量和分析挖掘需求，而且數(shù)據(jù)處理效率不夠高，響應(yīng)不夠及時(shí)，因?yàn)槠洳荒軌蛴行У孬@得、存儲、管理、挖掘和分析這種特征的數(shù)據(jù)，難以體現(xiàn)數(shù)據(jù)處理的準(zhǔn)確性、及時(shí)性和靈活性。
[0003]因此，為了能夠迎接大數(shù)據(jù)時(shí)代的挑戰(zhàn)，提高大數(shù)據(jù)分析的準(zhǔn)確性、及時(shí)性和靈活性，特別是提高分析結(jié)果的準(zhǔn)確性、及時(shí)性和靈活性并改善其質(zhì)量，本領(lǐng)域中需要一種能夠有效解決上述技術(shù)問題的大數(shù)據(jù)信息分析方法。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的之一是提供一種大數(shù)據(jù)信息分析方法及其裝置，通過該方法和執(zhí)行該方法的裝置，能夠迎接大數(shù)據(jù)時(shí)代的挑戰(zhàn)，提高大數(shù)據(jù)分析的準(zhǔn)確性、及時(shí)性和靈活性。
[0005]本發(fā)明為解決上述技術(shù)問題而采取的技術(shù)方案為:一種大數(shù)據(jù)信息分析方法，其特征在于包括以下步驟:在步驟S1中，確定數(shù)據(jù)分析目標(biāo)和計(jì)劃；在步驟S2中，根據(jù)確定的數(shù)據(jù)分析目標(biāo)和計(jì)劃，創(chuàng)建基于大數(shù)據(jù)的分析架構(gòu)；在步驟S3中，數(shù)據(jù)準(zhǔn)備和處理；在步驟S4中，對數(shù)據(jù)進(jìn)行聚類，并對數(shù)據(jù)分析；以及在步驟S5中，對結(jié)果進(jìn)行測試、驗(yàn)證、評估和部署。
[0006]根據(jù)本發(fā)明的另一個(gè)方面，其中針對不同數(shù)據(jù)具有的不同特征、特性和/或?qū)傩詠硗诰蚍治鲆蠛蛯傩詫ο?。分析架?gòu)可以是基于大數(shù)據(jù)的特性的任意形式的架構(gòu)。數(shù)據(jù)準(zhǔn)備和處理包括步驟:為了處理數(shù)據(jù)，先傳載數(shù)據(jù)；存儲數(shù)據(jù)；將數(shù)據(jù)轉(zhuǎn)換為一種形式，該形式是一對二進(jìn)制格式的值；獲取數(shù)據(jù)的標(biāo)識符及對應(yīng)的描述；每隔預(yù)定的時(shí)間段更新數(shù)據(jù)，但需確保不能傳載所有的數(shù)據(jù)。對數(shù)據(jù)進(jìn)行聚類以及分析包括步驟:識別相關(guān)聯(lián)的數(shù)據(jù)；確定每個(gè)待處理的數(shù)據(jù)點(diǎn)；使用聚類機(jī)器學(xué)習(xí)算法來減少數(shù)據(jù)量；使用該聚類機(jī)器學(xué)習(xí)算法來分析數(shù)據(jù)集；對數(shù)據(jù)進(jìn)行聚類以及分析進(jìn)一步包括以下步驟:針對每個(gè)待處理的數(shù)據(jù)點(diǎn)，生成一對二進(jìn)制格式的值；一對二進(jìn)制格式的值進(jìn)一步包括聚類標(biāo)識符并且對應(yīng)于該數(shù)據(jù)點(diǎn)的坐標(biāo)值；為每個(gè)聚類生成輸入的和；發(fā)送與相同的聚類有關(guān)的值；將聚類的結(jié)果存儲為不相關(guān)的數(shù)據(jù)。
[0007]根據(jù)本發(fā)明的再一個(gè)方面，提供了一種執(zhí)行上述方法中步驟的裝置。
【附圖說明】
[0008]在附圖中通過實(shí)例的方式而不是通過限制的方式來示出本發(fā)明的實(shí)施例，其中:
[0009]根據(jù)本發(fā)明的實(shí)施例，圖1圖示了一種大數(shù)據(jù)信息分析方法的流程圖。
[0010]根據(jù)本發(fā)明的實(shí)施例，圖2圖示了數(shù)據(jù)準(zhǔn)備和處理的流程圖。
[0011]根據(jù)本發(fā)明的實(shí)施例，圖3圖示了對數(shù)據(jù)進(jìn)行聚類以及分析的流程圖。
【具體實(shí)施方式】
[0012]在下面的描述中，參考附圖并以例示的方式示出幾個(gè)具體的實(shí)施例。將理解的是:可設(shè)想并且可做出其他實(shí)施例而不脫離本公開的范圍或精神。因此，以下詳細(xì)描述不應(yīng)被認(rèn)為具有限制意義。
[0013]根據(jù)本發(fā)明的實(shí)施例，圖1例示了一種大數(shù)據(jù)信息分析方法的流程圖。
[0014]首先，在步驟S1中，確定數(shù)據(jù)分析目標(biāo)和計(jì)劃。因?yàn)椴煌臄?shù)據(jù)具有不同的特征、特性和/或?qū)傩?，例如社交媒體的大數(shù)據(jù)基于人與人之間的交互；軍事新聞的大數(shù)據(jù)隱含或集中了軍用武器或軍事動(dòng)向的數(shù)據(jù)；社會(huì)新聞的大數(shù)據(jù)反映了輿論導(dǎo)向和包括自媒體發(fā)布人員的意識傾向；針對某一個(gè)國家、地區(qū)或研究機(jī)構(gòu)的技術(shù)新聞的大數(shù)據(jù)包含了其研究重點(diǎn)、人員和資金投入情況、產(chǎn)出效率、可能應(yīng)用范圍以及對研究和應(yīng)用領(lǐng)域的引領(lǐng)作用/影響，等等。針對這些上下文背景，需要有針對不同數(shù)據(jù)的挖掘分析要求和屬性對象，從而可以增強(qiáng)大數(shù)據(jù)分析的針對性，為之后的聚類分析的準(zhǔn)確性奠定堅(jiān)實(shí)的基礎(chǔ)。
[0015]其次，在步驟S2中，根據(jù)確定的數(shù)據(jù)分析目標(biāo)和計(jì)劃，創(chuàng)建基于大數(shù)據(jù)的分析架構(gòu)。因?yàn)椴煌臄?shù)據(jù)具有不同的特征、特性和/或?qū)傩?，所以基于此，可針對性的結(jié)合其來搭建架構(gòu)。該架構(gòu)可基于任意的架構(gòu)，例如但不限于:可采用中央數(shù)據(jù)處理架構(gòu)，或者分布式數(shù)據(jù)處理架構(gòu)，當(dāng)然也可以采用其它形式的架構(gòu)，但前提是基于大數(shù)據(jù)的特性。
[0016]再次，在步驟S3中，數(shù)據(jù)準(zhǔn)備和處理。根據(jù)本發(fā)明的實(shí)施例，圖2圖示了數(shù)據(jù)準(zhǔn)備和處理的流程圖。數(shù)據(jù)的準(zhǔn)備工作能夠?yàn)楹罄m(xù)分析提供保障，具體而言，在上述步驟S3中，數(shù)據(jù)準(zhǔn)備和處理具體而言包括以下步驟:S31，為了處理數(shù)據(jù)，先傳載數(shù)據(jù)；S32，存儲數(shù)據(jù)；S33，將數(shù)據(jù)轉(zhuǎn)換為一種形式，該形式是一對二進(jìn)制格式的值；S34，獲取數(shù)據(jù)的標(biāo)識符及對應(yīng)的描述；S35，每隔預(yù)定的時(shí)間段更新數(shù)據(jù)，但需確保不能傳載所有的數(shù)據(jù)，該時(shí)間段可根據(jù)需要或者數(shù)據(jù)特點(diǎn)來人工或機(jī)器自動(dòng)設(shè)置。通過上述步驟，數(shù)據(jù)得以進(jìn)行初步處理，為準(zhǔn)確分析作準(zhǔn)備。
[0017]再次，在步驟S4中，對數(shù)據(jù)進(jìn)行聚類，并對數(shù)據(jù)分析。根據(jù)本發(fā)明的實(shí)施例，圖3圖示了對數(shù)據(jù)進(jìn)行聚類以及分析的流程圖。具體而言，在步驟S4中，對數(shù)據(jù)進(jìn)行聚類以及分析包括以下步驟:S41，識別相關(guān)聯(lián)的數(shù)據(jù)；S42，確定每個(gè)待處理的數(shù)據(jù)點(diǎn)；S43，使用聚類機(jī)器學(xué)習(xí)算法來減少數(shù)據(jù)量；S44，使用該聚類機(jī)器學(xué)習(xí)算法來分析數(shù)據(jù)集；S45，針對每個(gè)待處理的數(shù)據(jù)點(diǎn)，生成一對二進(jìn)制格式的值；S46，一對二進(jìn)制格式的值進(jìn)一步包括聚類標(biāo)識符并且對應(yīng)于該數(shù)據(jù)點(diǎn)的坐標(biāo)值；S47，為每個(gè)聚類生成輸入的和；S48，發(fā)送與相同的聚類有關(guān)的值；S49，將聚類的結(jié)果存儲為不相關(guān)的數(shù)據(jù)。通過上述步驟，基于大數(shù)據(jù)所獲得的數(shù)據(jù)被詳細(xì)分析，從而極大地提高了大數(shù)據(jù)分析的準(zhǔn)確性。優(yōu)選地，在步驟S42中，機(jī)器學(xué)習(xí)算法例如可以是均值算法。
[0018]再次，在步驟S5中，對結(jié)果進(jìn)行測試、驗(yàn)證、評估和部署。具體地，在步驟S5中，對結(jié)果進(jìn)行測試、驗(yàn)證、評估和部署的方式是任意的，可采用現(xiàn)有的和以后開發(fā)的各種方式。
[0019]通過以上處理，大數(shù)據(jù)的信息分析方法能夠完全迎接大數(shù)據(jù)時(shí)代的挑戰(zhàn)，提高大數(shù)據(jù)分析的準(zhǔn)確性、及時(shí)性和靈活性。
[0020]將理解的是:可以硬件、軟件或硬件和軟件的組合的形式實(shí)現(xiàn)本發(fā)明的示例和實(shí)施例。如上所述，可存儲任何執(zhí)行這種方法的主體，以易失性或非易失性存儲的形式，例如存儲設(shè)備，像R0M，無論可擦除或可重寫與否，或者以存儲器的形式，諸如例如RAM、存儲器芯片、設(shè)備或集成電路或在光或磁可讀的介質(zhì)上，諸如例如CD、DVD、磁盤或磁帶。將理解的是:存儲設(shè)備和存儲介質(zhì)是適合于存儲一個(gè)或多個(gè)程序的機(jī)器可讀存儲的示例，當(dāng)被執(zhí)行時(shí)，所述一個(gè)或多個(gè)程序?qū)崿F(xiàn)本發(fā)明的示例。經(jīng)由任何介質(zhì)，諸如通過有線或無線連接載有的通信信號，可以電子地傳遞本發(fā)明的示例，并且示例適當(dāng)?shù)匕嗤瑑?nèi)容。
[0021]應(yīng)當(dāng)注意的是:因?yàn)楸景l(fā)明解決了以上所述的技術(shù)問題，采用了計(jì)算機(jī)和通信領(lǐng)域中技術(shù)人員在閱讀本說明書之后可根據(jù)其教導(dǎo)所能理解的技術(shù)手段，并獲得了所述的技術(shù)效果，所以在所附權(quán)利要求中所請求保護(hù)的方案屬于專利法意義上的技術(shù)方案。另外，因?yàn)樗綑?quán)利要求要求保護(hù)的技術(shù)方案可以在工業(yè)中制造或使用，因此該技術(shù)方案具備實(shí)用性。
[0022]以上所述，僅為本發(fā)明較佳的【具體實(shí)施方式】，但本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到的變化或替換，都應(yīng)包涵在本發(fā)明的保護(hù)范圍之內(nèi)。除非以其他方式明確陳述，否則公開的每個(gè)特征僅是一般系列的等效或類似特征的一個(gè)示例。因此，本發(fā)明的保護(hù)范圍應(yīng)該以權(quán)利要求書的保護(hù)范圍為準(zhǔn)。
【主權(quán)項(xiàng)】
1.一種大數(shù)據(jù)信息分析方法，其特征在于包括以下步驟: 在步驟S1中，確定數(shù)據(jù)分析目標(biāo)和計(jì)劃； 在步驟S2中，根據(jù)確定的數(shù)據(jù)分析目標(biāo)和計(jì)劃，創(chuàng)建基于大數(shù)據(jù)的分析架構(gòu)； 在步驟S3中，數(shù)據(jù)準(zhǔn)備和處理； 在步驟S4中，對數(shù)據(jù)進(jìn)行聚類，并對數(shù)據(jù)分析；以及 在步驟S5中，對結(jié)果進(jìn)行測試、驗(yàn)證、評估和部署。2.如權(quán)利要求1所述的方法，其中針對不同數(shù)據(jù)具有的不同特征、特性和/或?qū)傩詠硗诰蚍治鲆蠛蛯傩詫ο蟆?.如權(quán)利要求2所述的方法，其中步驟S2中的分析架構(gòu)可采用中央數(shù)據(jù)處理架構(gòu)，或者分布式數(shù)據(jù)處理架構(gòu)。4.如權(quán)利要求2所述的方法，其中步驟S2中的分析架構(gòu)可以是基于大數(shù)據(jù)的特性的任意形式的架構(gòu)。5.如之前任一項(xiàng)權(quán)利要求所述的方法，其中數(shù)據(jù)準(zhǔn)備和處理包括以下步驟: S31，為了處理數(shù)據(jù)，先傳載數(shù)據(jù)； S32，存儲數(shù)據(jù)； S33，將數(shù)據(jù)轉(zhuǎn)換為一種形式，該形式是一對二進(jìn)制格式的值； S34，獲取數(shù)據(jù)的標(biāo)識符及對應(yīng)的描述；以及 S35，每隔預(yù)定的時(shí)間段更新數(shù)據(jù)，但需確保不能傳載所有的數(shù)據(jù)。6.如權(quán)利要求5所述的方法，其中對所述時(shí)間段可根據(jù)需要或者數(shù)據(jù)特點(diǎn)來人工或機(jī)器自動(dòng)設(shè)置。7.如權(quán)利要求1-4中任一項(xiàng)所述的方法，其中在步驟S4中，對數(shù)據(jù)進(jìn)行聚類以及分析包括以下步驟: S41，識別相關(guān)聯(lián)的數(shù)據(jù)； S42，確定每個(gè)待處理的數(shù)據(jù)點(diǎn)； S43，使用聚類機(jī)器學(xué)習(xí)算法來減少數(shù)據(jù)量；以及 S44，使用該聚類機(jī)器學(xué)習(xí)算法來分析數(shù)據(jù)集。8.如權(quán)利要求7所述的方法，其中在步驟S4中，對數(shù)據(jù)進(jìn)行聚類以及分析進(jìn)一步包括以下步驟: S45，針對每個(gè)待處理的數(shù)據(jù)點(diǎn)，生成一對二進(jìn)制格式的值； S46，一對二進(jìn)制格式的值進(jìn)一步包括聚類標(biāo)識符并且對應(yīng)于該數(shù)據(jù)點(diǎn)的坐標(biāo)值； S47，為每個(gè)聚類生成輸入的和； S48，發(fā)送與相同的聚類有關(guān)的值；以及 S49，將聚類的結(jié)果存儲為不相關(guān)的數(shù)據(jù)。9.如權(quán)利要求7或8中任一項(xiàng)所述的方法，其中在步驟S42中，機(jī)器學(xué)習(xí)算法是均值算法。10.一種用于實(shí)現(xiàn)權(quán)利要求1-9中任一項(xiàng)所述的大數(shù)據(jù)信息分析方法的系統(tǒng)，包括用于實(shí)現(xiàn)每個(gè)步驟的各個(gè)裝置。
【專利摘要】本發(fā)明提供了一種大數(shù)據(jù)信息分析方法以及裝置，該方法包括以下步驟：在步驟S1中，確定數(shù)據(jù)分析目標(biāo)和計(jì)劃；在步驟S2中，根據(jù)確定的數(shù)據(jù)分析目標(biāo)和計(jì)劃，創(chuàng)建基于大數(shù)據(jù)的分析架構(gòu)；在步驟S3中，數(shù)據(jù)準(zhǔn)備和處理；在步驟S4中，對數(shù)據(jù)進(jìn)行聚類，并對數(shù)據(jù)分析；以及在步驟S5中，對結(jié)果進(jìn)行測試、驗(yàn)證、評估和部署。通過本發(fā)明的分析方法和裝置，能夠迎接大數(shù)據(jù)時(shí)代的挑戰(zhàn)，提高大數(shù)據(jù)分析的準(zhǔn)確性、及時(shí)性和靈活性。
【IPC分類】G06F17/30
【公開號】CN105260448
【申請?zhí)枴緾N201510650437
【發(fā)明人】楊立波
【申請人】成都博元時(shí)代軟件有限公司
【公開日】2016年1月20日
【申請日】2015年10月10日