本發(fā)明涉及大數(shù)據(jù)技術(shù)領(lǐng)域,尤其涉及一種數(shù)據(jù)處理方法及設(shè)備。
背景技術(shù):
隨著互聯(lián)網(wǎng)規(guī)模的不斷擴(kuò)大,特別是移動互聯(lián)網(wǎng)的迅猛發(fā)展,產(chǎn)生了海量的互聯(lián)網(wǎng)數(shù)據(jù),并由此產(chǎn)生了相應(yīng)的大數(shù)據(jù)技術(shù)。
大數(shù)據(jù)技術(shù)主要就是從各種各樣的海量數(shù)據(jù)中,快速獲得有價值信息的技術(shù)。大數(shù)據(jù)技術(shù)可應(yīng)用于多個技術(shù)領(lǐng)域,如數(shù)據(jù)開放領(lǐng)域。具體地,以將大數(shù)據(jù)技術(shù)應(yīng)用于企業(yè)之間的數(shù)據(jù)開放領(lǐng)域為例,A企業(yè)可將自有數(shù)據(jù)開放給與其合作的B企業(yè),此時,B企業(yè)即可利用自有的大數(shù)據(jù)技術(shù)對A企業(yè)的自有數(shù)據(jù)進(jìn)行處理,或者利用自有的大數(shù)據(jù)技術(shù)將A企業(yè)提供的自有數(shù)據(jù)與B企業(yè)自身的自有數(shù)據(jù)進(jìn)行融合處理,以為A企業(yè)或B企業(yè)等提供相應(yīng)服務(wù)。
由上述內(nèi)容可知,現(xiàn)有的大數(shù)據(jù)處理方案在一定程度上為企業(yè)提供了數(shù)據(jù)開放服務(wù)的方法和平臺,給各企業(yè)提供了便利,但在數(shù)據(jù)安全層面,由于至少有一方企業(yè)的數(shù)據(jù)是透明的,因此,對于業(yè)務(wù)上合作的雙方來說難以避免存在信息暴露的風(fēng)險。也就是說,現(xiàn)有的大數(shù)據(jù)處理方案未考慮到企業(yè)合作時的自有數(shù)據(jù)保密性的問題,因此無法保障企業(yè)的數(shù)據(jù)信息的安全性,使得企業(yè)的數(shù)據(jù)信息的隱私性受到了侵害,安全性較低。
技術(shù)實現(xiàn)要素:
本發(fā)明實施例提供了一種數(shù)據(jù)處理方法及設(shè)備,用以解決現(xiàn)有大數(shù)據(jù)處理方案存在的無法保障企業(yè)的數(shù)據(jù)信息的安全性的問題。
本發(fā)明實施例提供了一種數(shù)據(jù)處理方法,包括:
數(shù)據(jù)處理設(shè)備接收數(shù)據(jù)查詢方發(fā)送的查詢請求;
根據(jù)所述查詢請求調(diào)用在所述數(shù)據(jù)處理設(shè)備本地存儲的所述數(shù)據(jù)查詢方的自有數(shù)據(jù)和所述查詢請求所對應(yīng)的數(shù)據(jù)提供方的自有數(shù)據(jù),并利用預(yù)先設(shè)置的數(shù)據(jù)處理算法對所述數(shù)據(jù)查詢方的自有數(shù)據(jù)和所述數(shù)據(jù)提供方的自有數(shù)據(jù)進(jìn)行融合處理,得到處理后的結(jié)果數(shù)據(jù);
將所述結(jié)果數(shù)據(jù)返回至所述數(shù)據(jù)查詢方。
進(jìn)一步地,所述數(shù)據(jù)查詢方的自有數(shù)據(jù)和所述數(shù)據(jù)提供方的自有數(shù)據(jù)是根據(jù)以下方式所得到的:
監(jiān)聽所述數(shù)據(jù)查詢方的自有數(shù)據(jù)和/或所述數(shù)據(jù)提供方的自有數(shù)據(jù)的更新狀態(tài),并在確定所述數(shù)據(jù)查詢方的自有數(shù)據(jù)和/或所述數(shù)據(jù)提供方的自有數(shù)據(jù)有更新時,獲取所述數(shù)據(jù)查詢方更新后的數(shù)據(jù)和/或獲取所述數(shù)據(jù)提供方更新后的數(shù)據(jù);
將獲取到的更新后的數(shù)據(jù)存儲至本地。
進(jìn)一步地,所述更新后的數(shù)據(jù)為加密數(shù)據(jù),則將獲取到的更新后的數(shù)據(jù)存儲至本地,包括:
利用多線程處理方式將獲取到的已加密的更新后的數(shù)據(jù)進(jìn)行解密后存儲至本地。
進(jìn)一步地,將所述結(jié)果數(shù)據(jù)返回至所述數(shù)據(jù)查詢方,包括:
將所述結(jié)果數(shù)據(jù)以同步或異步的方式返回至所述數(shù)據(jù)查詢方。
進(jìn)一步地,所述預(yù)先設(shè)置的數(shù)據(jù)處理算法是由所述數(shù)據(jù)查詢方和所述數(shù)據(jù)提供方共同編寫的、用于實現(xiàn)所述數(shù)據(jù)查詢方的相應(yīng)查詢請求的算法。
進(jìn)一步地,本發(fā)明實施例還提供了一種數(shù)據(jù)處理設(shè)備,包括:
數(shù)據(jù)存儲單元,用于存儲數(shù)據(jù)查詢方的自有數(shù)據(jù)和數(shù)據(jù)提供方的自有數(shù)據(jù);
數(shù)據(jù)接收單元,用于接收數(shù)據(jù)查詢方發(fā)送的查詢請求;
數(shù)據(jù)處理單元,用于根據(jù)所述查詢請求調(diào)用所述數(shù)據(jù)存儲單元存儲的所述 數(shù)據(jù)查詢方的自有數(shù)據(jù)和所述查詢請求所對應(yīng)的數(shù)據(jù)提供方的自有數(shù)據(jù),并利用預(yù)先設(shè)置的數(shù)據(jù)處理算法對所述數(shù)據(jù)查詢方的自有數(shù)據(jù)和所述數(shù)據(jù)提供方的自有數(shù)據(jù)進(jìn)行融合處理,得到處理后的結(jié)果數(shù)據(jù);
數(shù)據(jù)發(fā)送單元,用于將所述結(jié)果數(shù)據(jù)返回至所述數(shù)據(jù)查詢方。
進(jìn)一步地,所述數(shù)據(jù)存儲單元,具體用于監(jiān)聽所述數(shù)據(jù)查詢方的自有數(shù)據(jù)和/或所述數(shù)據(jù)提供方的自有數(shù)據(jù)的更新狀態(tài),并在確定所述數(shù)據(jù)查詢方的自有數(shù)據(jù)和/或所述數(shù)據(jù)提供方的自有數(shù)據(jù)有更新時,獲取所述數(shù)據(jù)查詢方更新后的數(shù)據(jù)和/或獲取所述數(shù)據(jù)提供方更新后的數(shù)據(jù),并將獲取到的更新后的數(shù)據(jù)存儲至本地。
進(jìn)一步地,所述更新后的數(shù)據(jù)為加密數(shù)據(jù),則所述數(shù)據(jù)存儲單元,具體用于利用多線程處理方式將獲取到的已加密的更新后的數(shù)據(jù)進(jìn)行解密后存儲至本地。
進(jìn)一步地,所述發(fā)送單元,具體用于將所述結(jié)果數(shù)據(jù)以同步或異步的方式返回至所述數(shù)據(jù)查詢方。
進(jìn)一步地,所述預(yù)先設(shè)置的數(shù)據(jù)處理算法是由所述數(shù)據(jù)查詢方和所述數(shù)據(jù)提供方共同編寫的、用于實現(xiàn)所述數(shù)據(jù)查詢方的相應(yīng)查詢請求的算法。
本發(fā)明有益效果如下:
本發(fā)明實施例提供了一種數(shù)據(jù)處理方法及設(shè)備,數(shù)據(jù)處理設(shè)備能夠根據(jù)接收到的數(shù)據(jù)查詢方發(fā)送的查詢請求,調(diào)用在所述數(shù)據(jù)處理設(shè)備本地存儲的所述數(shù)據(jù)查詢方的自有數(shù)據(jù)和所述查詢請求所對應(yīng)的數(shù)據(jù)提供方的自有數(shù)據(jù),并利用預(yù)先設(shè)置的數(shù)據(jù)處理算法對所述數(shù)據(jù)查詢方的自有數(shù)據(jù)和所述數(shù)據(jù)提供方的自有數(shù)據(jù)進(jìn)行融合處理,得到處理后的結(jié)果數(shù)據(jù),以及,將所述結(jié)果數(shù)據(jù)返回至所述數(shù)據(jù)查詢方。也就是說,在本發(fā)明實施例所述技術(shù)方案中,數(shù)據(jù)處理設(shè)備根據(jù)數(shù)據(jù)查詢方的查詢請求向該數(shù)據(jù)查詢方提供的是經(jīng)過融合處理的結(jié)果數(shù)據(jù),并非數(shù)據(jù)提供方的原始的自有數(shù)據(jù),從而在實現(xiàn)了數(shù)據(jù)開放服務(wù)的同時保障了數(shù)據(jù)提供方的數(shù)據(jù)信息的安全性,并且,由于本發(fā)明實施例所述的數(shù) 據(jù)處理方法考慮了企業(yè)合作時的自有數(shù)據(jù)保密性,因此避免了企業(yè)的數(shù)據(jù)信息的隱私性受到侵害,提高了用戶體驗。
附圖說明
為了更清楚地說明本發(fā)明實施例中的技術(shù)方案,下面將對實施例描述中所需要使用的附圖作簡要介紹,顯而易見地,下面描述中的附圖僅僅是本發(fā)明的一些實施例,對于本領(lǐng)域的普通技術(shù)人員來講,在不付出創(chuàng)造性勞動的前提下,還可以根據(jù)這些附圖獲得其他的附圖。
圖1所示為本發(fā)明實施例一中所述的數(shù)據(jù)處理方法的流程示意圖;
圖2所示為本發(fā)明實施例二中所述的數(shù)據(jù)處理設(shè)備的結(jié)構(gòu)示意圖。
具體實施方式
為了使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚,下面將結(jié)合附圖對本發(fā)明作進(jìn)一步地詳細(xì)描述,顯然,所描述的實施例僅僅是本發(fā)明一部分實施例,而不是全部的實施例?;诒景l(fā)明中的實施例,本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其它實施例,都屬于本發(fā)明保護(hù)的范圍。
實施例一:
本發(fā)明實施例一提供了一種數(shù)據(jù)處理方法,所述數(shù)據(jù)處理方法可應(yīng)用于大數(shù)據(jù)技術(shù)領(lǐng)域,具體可應(yīng)用于大數(shù)據(jù)技術(shù)的數(shù)據(jù)開放技術(shù)領(lǐng)域,如圖1所示,其為本發(fā)明實施例一所述數(shù)據(jù)處理方法的流程示意圖,所述方法可包括以下步驟:
步驟101:數(shù)據(jù)處理設(shè)備獲取各數(shù)據(jù)查詢方的自有數(shù)據(jù)和各數(shù)據(jù)提供方的自有數(shù)據(jù)并存儲。
可選地,數(shù)據(jù)處理設(shè)備可通過以下方式獲取各數(shù)據(jù)查詢方的自有數(shù)據(jù)和各數(shù)據(jù)提供方的自有數(shù)據(jù)并存儲:
監(jiān)聽(實時監(jiān)聽或定時監(jiān)聽)各數(shù)據(jù)查詢方的自有數(shù)據(jù)和/或各數(shù)據(jù)提供方 的自有數(shù)據(jù)的更新狀態(tài),并在確定各數(shù)據(jù)查詢方的自有數(shù)據(jù)和/或各數(shù)據(jù)提供方的自有數(shù)據(jù)有更新時,獲取所述數(shù)據(jù)查詢方更新后的數(shù)據(jù)和/或獲取所述數(shù)據(jù)提供方更新后的數(shù)據(jù),并將獲取到的更新后的數(shù)據(jù)存儲至本地。
具體地,各數(shù)據(jù)查詢方和各數(shù)據(jù)提供方可定期按指定文件格式和文件名分別將自身的自有數(shù)據(jù)更新至各自預(yù)先建立的服務(wù)器中,以由數(shù)據(jù)處理設(shè)備實時或定時地對各數(shù)據(jù)查詢方自身對應(yīng)的服務(wù)器以及各數(shù)據(jù)提供方自身對應(yīng)的服務(wù)器進(jìn)行查詢,并在確定各數(shù)據(jù)查詢方的自有數(shù)據(jù)和/或各數(shù)據(jù)提供方的自有數(shù)據(jù)有更新時,啟用新線程下載更新后的數(shù)據(jù),并將獲取到的更新后的數(shù)據(jù)存儲至本地。
需要說明的是,獲取所述數(shù)據(jù)查詢方更新后的數(shù)據(jù)和/或獲取所述數(shù)據(jù)提供方更新后的數(shù)據(jù),具體可實施為獲取數(shù)據(jù)查詢方和/或數(shù)據(jù)提供方相應(yīng)的更新后的全部數(shù)據(jù),或者獲取數(shù)據(jù)查詢方和/或數(shù)據(jù)提供方除數(shù)據(jù)處理設(shè)備已獲取到的數(shù)據(jù)之外的更新部分的數(shù)據(jù),本發(fā)明實施例對此不作限定。
進(jìn)一步地,為了提高數(shù)據(jù)傳輸?shù)陌踩?,各?shù)據(jù)查詢方和各數(shù)據(jù)提供方定期按指定文件格式和文件名分別向各自預(yù)先建立的服務(wù)器中更新的數(shù)據(jù)可以是加密數(shù)據(jù),則相應(yīng)地,將獲取到的更新后的數(shù)據(jù)存儲至本地,可具體實施為:
利用多線程處理方式將獲取到的已加密的更新后的數(shù)據(jù)進(jìn)行解密后存儲至本地。由于數(shù)據(jù)處理設(shè)備在存儲獲取到的更新后的數(shù)據(jù)時采用的是多線程處理方式,因此避免了因處理速度和文件讀取速度不一致而造成的系統(tǒng)資源浪費,提高了數(shù)據(jù)入庫的效率。
另外,需要說明的是,步驟101所述的獲取各數(shù)據(jù)查詢方的自有數(shù)據(jù)和各數(shù)據(jù)提供方的自有數(shù)據(jù)并存儲的過程通常是在接收數(shù)據(jù)查詢方發(fā)送的查詢請求之前所進(jìn)行的數(shù)據(jù)預(yù)存儲過程,在執(zhí)行完該步驟101所述的數(shù)據(jù)預(yù)存儲過程之后,可多次執(zhí)行后續(xù)所述的接收數(shù)據(jù)查詢方發(fā)送的查詢請求等操作;當(dāng)然,需要說明的是,由于各數(shù)據(jù)查詢方的自有數(shù)據(jù)以及各數(shù)據(jù)提供方的自有數(shù)據(jù)通常是處于不斷更新變化狀態(tài)中的,因而,實際上,步驟101所述的數(shù)據(jù)存儲操 作除了可以在數(shù)據(jù)處理設(shè)備接收查詢請求之前執(zhí)行之外,還可以在數(shù)據(jù)處理設(shè)備接收查詢請求的同時或之后的過程中執(zhí)行,本發(fā)明實施例對此不作限定。
步驟102:接收數(shù)據(jù)查詢方發(fā)送的查詢請求。
可選地,當(dāng)各數(shù)據(jù)查詢方有使用數(shù)據(jù)處理設(shè)備進(jìn)行相應(yīng)的數(shù)據(jù)融合的需求時,可向數(shù)據(jù)處理設(shè)備發(fā)送相應(yīng)的查詢請求。
具體地,數(shù)據(jù)處理設(shè)備同一時段可接收到一個或多個數(shù)據(jù)查詢方發(fā)送的查詢請求。并且,為了提高系統(tǒng)的處理效率,當(dāng)數(shù)據(jù)處理設(shè)備在同一時段接收到多個數(shù)據(jù)查詢方發(fā)送的查詢請求時,可采用并行處理的方式對各查詢請求進(jìn)行處理;當(dāng)然,其也可采用串行處理的方式對各查詢請求進(jìn)行相應(yīng)處理,本發(fā)明實施例對此不作贅述。
可選地,所述查詢請求中可攜帶有數(shù)據(jù)查詢方的標(biāo)識信息,以及所述查詢請求所對應(yīng)的數(shù)據(jù)提供方的標(biāo)識信息,以由數(shù)據(jù)處理設(shè)備根據(jù)數(shù)據(jù)查詢方的標(biāo)識信息以及與所述查詢請求相對應(yīng)的數(shù)據(jù)提供方的標(biāo)識信息,調(diào)用本地存儲的所述數(shù)據(jù)查詢方的自有數(shù)據(jù)和數(shù)據(jù)提供方的自有數(shù)據(jù)。當(dāng)然,若所述數(shù)據(jù)處理設(shè)備中僅存儲有一個數(shù)據(jù)查詢方的自有數(shù)據(jù)和一個數(shù)據(jù)提供方的自有數(shù)據(jù),則所述查詢請求中也可不攜帶數(shù)據(jù)查詢方和數(shù)據(jù)提供方的標(biāo)識信息,本發(fā)明實施例對此不作贅述。
需要說明的是,所述查詢請求可以是所述數(shù)據(jù)查詢方根據(jù)自身所處場景或自身需求發(fā)送的,本發(fā)明實施例對此不作贅述。
另外,需要說明的是,為了提高系統(tǒng)的安全性,在接收到查詢請求后,數(shù)據(jù)處理設(shè)備還可對該查詢請求進(jìn)行驗證,在驗證該查詢請求合法后,再執(zhí)行后續(xù)步驟103所述的操作,否則,拒絕響應(yīng)該查詢請求,本發(fā)明實施例對此不作贅述。
步驟103:根據(jù)所述查詢請求調(diào)用本地存儲的所述數(shù)據(jù)查詢方的自有數(shù)據(jù)和所述查詢請求所對應(yīng)的數(shù)據(jù)提供方的自有數(shù)據(jù),并利用預(yù)先設(shè)置的數(shù)據(jù)處理算法對所述數(shù)據(jù)查詢方的自有數(shù)據(jù)和所述數(shù)據(jù)提供方的自有數(shù)據(jù)進(jìn)行融合處 理,得到處理后的結(jié)果數(shù)據(jù)。
需要說明的是,所述融合處理是指將數(shù)據(jù)查詢方的自有數(shù)據(jù)和數(shù)據(jù)提供方的自有數(shù)據(jù)通過雙方都具備的意義相同的關(guān)鍵字段進(jìn)行關(guān)聯(lián)綜合分析處理,如根據(jù)手機(jī)號碼、身份證號碼等關(guān)鍵字段進(jìn)行關(guān)聯(lián)綜合分析處理,本發(fā)明實施例對此不作贅述。
可選地,所述預(yù)先設(shè)置的數(shù)據(jù)處理算法可以是由所述數(shù)據(jù)查詢方和所述數(shù)據(jù)提供方共同編寫的、用于實現(xiàn)所述數(shù)據(jù)查詢方的相應(yīng)查詢請求的算法;當(dāng)然,也可以是由所述數(shù)據(jù)提供方單獨編寫的、用于實現(xiàn)所述數(shù)據(jù)查詢方的相應(yīng)查詢請求的算法,本發(fā)明實施例對此不作限定。
步驟104:將所述結(jié)果數(shù)據(jù)返回至所述數(shù)據(jù)查詢方。
也就是說,在本發(fā)明實施例所述技術(shù)方案中,數(shù)據(jù)處理設(shè)備根據(jù)數(shù)據(jù)查詢方的查詢請求向該數(shù)據(jù)查詢方提供的是經(jīng)過融合處理的結(jié)果數(shù)據(jù),并非數(shù)據(jù)提供方的原始的自有數(shù)據(jù),從而在實現(xiàn)了數(shù)據(jù)開放服務(wù)的同時保障了數(shù)據(jù)提供方的數(shù)據(jù)信息的安全性,并且,由于本發(fā)明實施例所述的數(shù)據(jù)處理方法考慮了企業(yè)合作時的自有數(shù)據(jù)保密性,因此避免了企業(yè)的數(shù)據(jù)信息的隱私性受到侵害,提高了用戶體驗。
進(jìn)一步地,針對步驟103所述的將所述結(jié)果數(shù)據(jù)返回至所述數(shù)據(jù)查詢方,可具體實施為:
將所述結(jié)果數(shù)據(jù)以同步或異步的方式返回至所述數(shù)據(jù)查詢方。
也就是說,數(shù)據(jù)處理設(shè)備可將查詢的結(jié)果數(shù)據(jù)同步實時返回給數(shù)據(jù)查詢方以供其查看,也可將結(jié)果數(shù)據(jù)寫入相應(yīng)文件進(jìn)行存儲,以供數(shù)據(jù)查詢方下載后查看,從而滿足不同效率的結(jié)果返回需求,同時也提高了本發(fā)明實施例所述技術(shù)方案的靈活度,進(jìn)而提高用戶體驗。
進(jìn)一步地,所述方法還可包括:實時或定時獲取數(shù)據(jù)提供方的位置狀態(tài)等狀態(tài)信息,如歸屬于數(shù)據(jù)提供方的用戶終端的位置信息、歸屬于數(shù)據(jù)提供方的用戶終端的開關(guān)機(jī)狀態(tài)等狀態(tài)信息,以便于數(shù)據(jù)處理設(shè)備可將獲取到的數(shù)據(jù)提 供方的狀態(tài)信息告知給對應(yīng)的數(shù)據(jù)查詢方,由數(shù)據(jù)查詢方根據(jù)獲取到的數(shù)據(jù)提供方的狀態(tài)信息為數(shù)據(jù)提供方提供相應(yīng)服務(wù)。
可選地,數(shù)據(jù)處理設(shè)備可將獲取到的數(shù)據(jù)提供方的狀態(tài)信息與之前所得到的結(jié)果數(shù)據(jù)進(jìn)行融合后告知給對應(yīng)的數(shù)據(jù)查詢方,本發(fā)明實施例對此不作贅述。
下面以一具體實施例說明本發(fā)明實施例所述的數(shù)據(jù)處理方法的詳細(xì)流程、以及可應(yīng)用的場景。
該具體實施例的應(yīng)用場景可為:兩個合作企業(yè),分別為A企業(yè)和B企業(yè),其中,假設(shè)A企業(yè)為互聯(lián)網(wǎng)公司,B企業(yè)為個人征信企業(yè),且B為數(shù)據(jù)查詢方,則具體流程可包括:
步驟S1:互聯(lián)網(wǎng)公司和個人征信企業(yè)定期按指定文件格式和文件名分別將已加密的自有數(shù)據(jù)更新至各自預(yù)先建立的服務(wù)器中。
具體地,互聯(lián)網(wǎng)公司可將自身的用戶的手機(jī)號碼和網(wǎng)購消費信息等更新至自身對應(yīng)的服務(wù)器中,個人征信企業(yè)也可將自身的用戶的手機(jī)號碼和日常生活消費信息等更新至自身對應(yīng)的服務(wù)器中,如水電費消費信息等。
步驟S2:數(shù)據(jù)處理設(shè)備實時或定時監(jiān)聽互聯(lián)網(wǎng)公司和/或個人征信企業(yè)分別對應(yīng)的服務(wù)器中的數(shù)據(jù)的更新狀態(tài),并在確定互聯(lián)網(wǎng)公司的自有數(shù)據(jù)和/或個人征信企業(yè)的自有數(shù)據(jù)有更新時,啟用新線程下載更新后的數(shù)據(jù),再利用多線程處理方式將獲取到的已加密的更新后的數(shù)據(jù)進(jìn)行逐行解密后存儲至本地。
步驟S3:數(shù)據(jù)處理設(shè)備接收個人征信企業(yè)發(fā)送的查詢請求,所述查詢請求中攜帶有個人征信企業(yè)的標(biāo)識信息、與其合作的互聯(lián)網(wǎng)公司的標(biāo)識信息、以及與所述個人征信企業(yè)和與其合作的互聯(lián)網(wǎng)公司對應(yīng)的數(shù)據(jù)處理算法標(biāo)識及算法所需的參數(shù)等信息,其中算法所需的參數(shù)信息可以是個人征信企業(yè)所要征信對象的手機(jī)號碼等信息。
步驟S4:數(shù)據(jù)處理設(shè)備根據(jù)個人征信企業(yè)的標(biāo)識信息以及互聯(lián)網(wǎng)公司的標(biāo)識信息,調(diào)用本地存儲的個人征信企業(yè)的自有數(shù)據(jù)和互聯(lián)網(wǎng)公司的自有數(shù)據(jù), 并根據(jù)所述數(shù)據(jù)處理算法標(biāo)識調(diào)取對應(yīng)預(yù)先配置的數(shù)據(jù)處理算法對互聯(lián)網(wǎng)公司的自有數(shù)據(jù)和個人征信企業(yè)的自有數(shù)據(jù)進(jìn)行融合處理,得到處理后的結(jié)果數(shù)據(jù),再將所述結(jié)果數(shù)據(jù)返回至個人征信企業(yè)。
可選地,根據(jù)所述數(shù)據(jù)處理算法標(biāo)識調(diào)取對應(yīng)預(yù)先配置的數(shù)據(jù)處理算法對互聯(lián)網(wǎng)公司的自有數(shù)據(jù)和個人征信企業(yè)的自有數(shù)據(jù)進(jìn)行融合處理,得到處理后的結(jié)果數(shù)據(jù),可具體實施為:數(shù)據(jù)處理設(shè)備可將互聯(lián)網(wǎng)公司的用戶的手機(jī)號碼與個人征信企業(yè)的用戶的手機(jī)號碼進(jìn)行融合處理,篩選出與查詢請求中攜帶的征信對象的手機(jī)號碼相同的用戶,進(jìn)一步地,對該手機(jī)號碼對應(yīng)的日常生活消費信息和網(wǎng)購消費信息進(jìn)行綜合分析,得到該手機(jī)號碼對應(yīng)的個人信用綜合評分,再將在該手機(jī)號碼對應(yīng)的個人信用綜合評分返回至個人征信企業(yè),以便于個人征信企業(yè)根據(jù)相應(yīng)的個人信用綜合評分為互聯(lián)網(wǎng)公司的各用戶提供相應(yīng)的個人征信服務(wù)。
也就是說,通過該具體實施例,個人征信企業(yè)無需獲取互聯(lián)網(wǎng)公司的原始的自有數(shù)據(jù)即可為互聯(lián)網(wǎng)公司的各用戶提供相應(yīng)的個人征信服務(wù),從而在實現(xiàn)了數(shù)據(jù)開放服務(wù)的同時保障了數(shù)據(jù)提供方的數(shù)據(jù)信息的安全性。
本發(fā)明實施例一提供了一種數(shù)據(jù)處理方法,數(shù)據(jù)處理設(shè)備能夠根據(jù)接收到的數(shù)據(jù)查詢方發(fā)送的查詢請求,調(diào)用在數(shù)據(jù)處理設(shè)備本地存儲的所述數(shù)據(jù)查詢方的自有數(shù)據(jù)和所述查詢請求所對應(yīng)的數(shù)據(jù)提供方的自有數(shù)據(jù),并利用預(yù)先設(shè)置的數(shù)據(jù)處理算法對所述數(shù)據(jù)查詢方的自有數(shù)據(jù)和所述數(shù)據(jù)提供方的自有數(shù)據(jù)進(jìn)行融合處理,得到處理后的結(jié)果數(shù)據(jù),以及,將所述結(jié)果數(shù)據(jù)返回至所述數(shù)據(jù)查詢方。也就是說,在本發(fā)明實施例所述技術(shù)方案中,數(shù)據(jù)處理設(shè)備根據(jù)數(shù)據(jù)查詢方的查詢請求向該數(shù)據(jù)查詢方提供的是經(jīng)過融合分析處理的結(jié)果數(shù)據(jù),并非數(shù)據(jù)提供方的原始的自有數(shù)據(jù),從而在實現(xiàn)了數(shù)據(jù)開放服務(wù)的同時保障了數(shù)據(jù)提供方的數(shù)據(jù)信息的安全性,并且,由于本發(fā)明實施例所述的數(shù)據(jù)處理方法考慮了企業(yè)合作時的自有數(shù)據(jù)保密性,因此避免了企業(yè)的數(shù)據(jù)信息的隱私性受到侵害,提高了用戶體驗。
實施例二
基于與本發(fā)明實施例一相同的發(fā)明構(gòu)思,本發(fā)明實施例二提供了一種數(shù)據(jù)處理設(shè)備,該數(shù)據(jù)處理設(shè)備的具體實施可參見上述方法實施例一中的相關(guān)描述,重復(fù)之處不再贅述,其結(jié)構(gòu)示意圖如圖2所示,該設(shè)備主要可包括:
數(shù)據(jù)存儲單元21,可用于存儲數(shù)據(jù)查詢方的自有數(shù)據(jù)和數(shù)據(jù)提供方的自有數(shù)據(jù);
數(shù)據(jù)接收單元22,可用于接收數(shù)據(jù)查詢方發(fā)送的查詢請求;
數(shù)據(jù)處理單元23,可用于根據(jù)所述查詢請求調(diào)用所述數(shù)據(jù)存儲單元21存儲的所述數(shù)據(jù)查詢方的自有數(shù)據(jù)和所述查詢請求所對應(yīng)的數(shù)據(jù)提供方的自有數(shù)據(jù),并利用預(yù)先設(shè)置的數(shù)據(jù)處理算法對所述數(shù)據(jù)查詢方的自有數(shù)據(jù)和所述數(shù)據(jù)提供方的自有數(shù)據(jù)進(jìn)行融合處理,得到處理后的結(jié)果數(shù)據(jù);
數(shù)據(jù)發(fā)送單元24,可用于將所述結(jié)果數(shù)據(jù)返回至所述數(shù)據(jù)查詢方。
需要說明的是,所述融合處理是指將數(shù)據(jù)查詢方的自有數(shù)據(jù)和數(shù)據(jù)提供方的自有數(shù)據(jù)通過雙方都具備的意義相同的關(guān)鍵字段進(jìn)行關(guān)聯(lián)綜合分析處理,如根據(jù)手機(jī)號碼、身份證號碼等關(guān)鍵字段進(jìn)行關(guān)聯(lián)綜合分析處理,本發(fā)明實施例對此不作贅述。
可選地,所述預(yù)先設(shè)置的數(shù)據(jù)處理算法可以是由所述數(shù)據(jù)查詢方和所述數(shù)據(jù)提供方共同編寫的、用于實現(xiàn)所述數(shù)據(jù)查詢方的相應(yīng)查詢請求的算法,當(dāng)然,也可以是由所述數(shù)據(jù)提供方單獨編寫的、用于實現(xiàn)所述數(shù)據(jù)查詢方的相應(yīng)查詢請求的算法,本發(fā)明實施例對此不作限定。
需要說明的是,所述查詢請求中可攜帶有數(shù)據(jù)查詢方的標(biāo)識信息,以及所述查詢請求所對應(yīng)的數(shù)據(jù)提供方的標(biāo)識信息,以由數(shù)據(jù)處理單元23根據(jù)數(shù)據(jù)查詢方的標(biāo)識信息以及與所述查詢請求對應(yīng)的數(shù)據(jù)提供方的標(biāo)識信息,調(diào)用本地存儲的所述數(shù)據(jù)查詢方的自有數(shù)據(jù)和數(shù)據(jù)提供方的自有數(shù)據(jù)。當(dāng)然,若所述數(shù)據(jù)處理設(shè)備中僅存儲有一個數(shù)據(jù)查詢方的自有數(shù)據(jù)和一個數(shù)據(jù)提供方的自有數(shù)據(jù),則所述查詢請求中也可不攜帶數(shù)據(jù)查詢方和數(shù)據(jù)提供方的標(biāo)識信息, 本發(fā)明實施例對此不作贅述。
進(jìn)一步地,所述數(shù)據(jù)存儲單元21,可具體用于監(jiān)聽各數(shù)據(jù)查詢方的自有數(shù)據(jù)和/或各數(shù)據(jù)提供方的自有數(shù)據(jù)的更新狀態(tài),并在確定各數(shù)據(jù)查詢方的自有數(shù)據(jù)和/或各數(shù)據(jù)提供方的自有數(shù)據(jù)有更新時,獲取所述數(shù)據(jù)查詢方更新后的數(shù)據(jù)和/或獲取所述數(shù)據(jù)提供方更新后的數(shù)據(jù),并將獲取到的更新后的數(shù)據(jù)存儲至本地。
具體地,各數(shù)據(jù)查詢方和各數(shù)據(jù)提供方可定期按指定文件格式和文件名分別將數(shù)據(jù)更新至各自預(yù)先建立的服務(wù)器中,如FTP/SFTP服務(wù)器,以由數(shù)據(jù)存儲單元21實時或定時的對各數(shù)據(jù)查詢方對應(yīng)的服務(wù)器以及各數(shù)據(jù)提供方對應(yīng)的服務(wù)器進(jìn)行查詢,并在確定各數(shù)據(jù)查詢方的自有數(shù)據(jù)和/或各數(shù)據(jù)提供方的自有數(shù)據(jù)有更新時,啟用新線程下載更新后的數(shù)據(jù),再將獲取到的更新后的數(shù)據(jù)存儲至本地。
進(jìn)一步地,為了提高數(shù)據(jù)傳輸?shù)陌踩?,各?shù)據(jù)查詢方和各數(shù)據(jù)提供方定期按指定文件格式和文件名分別向各自預(yù)先建立的服務(wù)器中更新的數(shù)據(jù)可以是加密數(shù)據(jù),則相應(yīng)地,所述數(shù)據(jù)存儲單元21,可具體用于利用多線程處理方式將獲取到的已加密的更新后的數(shù)據(jù)進(jìn)行解密后存儲至本地。
由于所述數(shù)據(jù)存儲單元21在存儲獲取到的更新后的數(shù)據(jù)時采用的是多線程處理方式,因此避免了因處理速度和文件讀取速度不一致而造成的系統(tǒng)資源浪費,提高了數(shù)據(jù)入庫的效率。
可選地,所述數(shù)據(jù)存儲單元21可包括數(shù)據(jù)監(jiān)聽子單元、消息中間件子單元、數(shù)據(jù)入庫子單元和數(shù)據(jù)存儲子單元:
所述數(shù)據(jù)監(jiān)聽子單元,可用于實時或定時監(jiān)聽各數(shù)據(jù)查詢方的自有數(shù)據(jù)和/或各數(shù)據(jù)提供方的自有數(shù)據(jù)的更新狀態(tài),并在確定各數(shù)據(jù)查詢方的自有數(shù)據(jù)和/或各數(shù)據(jù)提供方的自有數(shù)據(jù)有更新時,獲取所述數(shù)據(jù)查詢方更新后的數(shù)據(jù)和/或獲取所述數(shù)據(jù)提供方更新后的數(shù)據(jù),并將獲取到的更新后的數(shù)據(jù)輸出至消息中間件子單元;其中,獲取到的更新后的數(shù)據(jù)通常為加密數(shù)據(jù);
所述消息中間件子單元,可用于將所述數(shù)據(jù)監(jiān)聽子單元發(fā)送的更新后的數(shù)據(jù)轉(zhuǎn)發(fā)至數(shù)據(jù)入庫子單元;
所述數(shù)據(jù)入庫子單元,可用于采用多線程處理方式將所述消息中間件子單元發(fā)送的更新后的數(shù)據(jù)進(jìn)行解密后存入數(shù)據(jù)存儲子單元;
所述數(shù)據(jù)存儲子單元,可用于存儲數(shù)據(jù)處理入庫子單元發(fā)送的解密后的數(shù)據(jù)。
可選地,所述數(shù)據(jù)監(jiān)聽子單元可用于在確定各數(shù)據(jù)查詢方的自有數(shù)據(jù)和/或各數(shù)據(jù)提供方的自有數(shù)據(jù)有更新時,啟動新線程下載更新后的數(shù)據(jù),并將已下載的數(shù)據(jù)輸出至消息中間件子單元。需要說明的是,已下載的數(shù)據(jù)可以行為單位輸出至消息中間件,也可以列為單位輸出至消息中間件,本發(fā)明實施例對此不作限定。
可選地,所述消息中間件子單元可采用多線程處理方式將所述數(shù)據(jù)監(jiān)聽子單元發(fā)送的更新后的數(shù)據(jù)轉(zhuǎn)發(fā)至數(shù)據(jù)入庫子單元,從而避免了因處理速度和文件讀取速度不一致而造成的系統(tǒng)資源浪費,提高數(shù)據(jù)入庫的效率。
需要說明的是,為了進(jìn)一步提高數(shù)據(jù)處理速率,所述消息中間件子單元可選用kafka消息中間件;當(dāng)然,也可選用其它消息中間件,本發(fā)明實施例對此不作限定。
可選地,所述數(shù)據(jù)入庫子單元具體可采用二級解密(即部分解密)的方式對已加密的更新后的數(shù)據(jù)進(jìn)行解密(其中,解密后的數(shù)據(jù)可分為兩個字段,一個為供查詢的明文字段,一個為數(shù)據(jù)密文字段)。相應(yīng)地,在解密后,所述數(shù)據(jù)入庫子單元可根據(jù)當(dāng)前文件中第一行的字段名及字段類型將對應(yīng)的解密后的數(shù)據(jù)存入數(shù)據(jù)存儲子單元。
可選地,由于Solr索引服務(wù)器具有數(shù)據(jù)存儲量大、查詢速度快以及存儲靈活的優(yōu)點,因此,優(yōu)選地,所述數(shù)據(jù)存儲子單元可選用Solr索引服務(wù)器;當(dāng)然,也可選用其它數(shù)據(jù)存儲設(shè)備,本發(fā)明實施例對此不作限定。
進(jìn)一步地,所述數(shù)據(jù)處理設(shè)備還可包括狀態(tài)信息獲取接口(圖中未示出):
所述狀態(tài)信息獲取接口,可用于實時或定時獲取數(shù)據(jù)提供方的位置狀態(tài)等狀態(tài)信息,如歸屬于數(shù)據(jù)提供方的用戶終端的位置信息、歸屬于數(shù)據(jù)提供方的用戶終端的開關(guān)機(jī)狀態(tài)等狀態(tài)信息,以便于數(shù)據(jù)處理設(shè)備可將獲取到的數(shù)據(jù)提供方的狀態(tài)信息告知給對應(yīng)的數(shù)據(jù)查詢方,由數(shù)據(jù)查詢方根據(jù)獲取到的數(shù)據(jù)提供方的狀態(tài)信息為數(shù)據(jù)提供方提供相應(yīng)服務(wù)。
進(jìn)一步地,所述數(shù)據(jù)發(fā)送單元24,可具體用于將所述結(jié)果數(shù)據(jù)以同步或異步的方式返回至所述數(shù)據(jù)查詢方。
也就是說,數(shù)據(jù)處理設(shè)備可將查詢的結(jié)果數(shù)據(jù)同步實時返回給數(shù)據(jù)查詢方以供其查看,也可將結(jié)果數(shù)據(jù)寫入相應(yīng)文件進(jìn)行存儲,以供數(shù)據(jù)查詢方下載后查看,從而滿足不同效率的結(jié)果返回需求,同時也提高了本發(fā)明實施例所述技術(shù)方案的靈活度,提高了用戶體驗。
需要說明的是,所述數(shù)據(jù)處理設(shè)備通常可為獨立于數(shù)據(jù)查詢方和數(shù)據(jù)提供方的第三方設(shè)備,當(dāng)然,由于所述數(shù)據(jù)處理設(shè)備為具有數(shù)據(jù)安全加固功能的設(shè)備(即不會將數(shù)據(jù)提供方原始的自有數(shù)據(jù)提供給數(shù)據(jù)查詢方,也不會將數(shù)據(jù)查詢方原始的自有數(shù)據(jù)提供給數(shù)據(jù)提供方),因而,也可放置于數(shù)據(jù)查詢方或提供方任一方設(shè)備當(dāng)中,本發(fā)明實施例對此不作限定。
也就是說,在本發(fā)明實施例所述技術(shù)方案中,數(shù)據(jù)處理設(shè)備能夠根據(jù)接收到的數(shù)據(jù)查詢方發(fā)送的查詢請求,調(diào)用在數(shù)據(jù)處理設(shè)備本地存儲的所述數(shù)據(jù)查詢方的自有數(shù)據(jù)和所述查詢請求所對應(yīng)的數(shù)據(jù)提供方的自有數(shù)據(jù),并利用預(yù)先設(shè)置的數(shù)據(jù)處理算法對所述數(shù)據(jù)查詢方的自有數(shù)據(jù)和所述數(shù)據(jù)提供方的自有數(shù)據(jù)進(jìn)行融合處理,得到處理后的結(jié)果數(shù)據(jù),以及,將所述結(jié)果數(shù)據(jù)返回至所述數(shù)據(jù)查詢方。也就是說,在本發(fā)明實施例所述技術(shù)方案中,數(shù)據(jù)處理設(shè)備根據(jù)數(shù)據(jù)查詢方的查詢請求向該數(shù)據(jù)查詢方提供的是經(jīng)過融合分析處理的結(jié)果數(shù)據(jù),并非數(shù)據(jù)提供方的原始的自有數(shù)據(jù),從而在實現(xiàn)了數(shù)據(jù)開放服務(wù)的同時保障了數(shù)據(jù)提供方的數(shù)據(jù)信息的安全性,并且,由于本發(fā)明實施例所述的數(shù)據(jù)處理方法考慮了企業(yè)合作時的自有數(shù)據(jù)保密性,因此避免了企業(yè)的數(shù)據(jù)信息的 隱私性受到侵害,提高了用戶體驗。
本領(lǐng)域技術(shù)人員應(yīng)明白,本發(fā)明的實施例可提供為方法、裝置(設(shè)備)、或計算機(jī)程序產(chǎn)品。因此,本發(fā)明可采用完全硬件實施例、完全軟件實施例、或結(jié)合軟件和硬件方面的實施例的形式。而且,本發(fā)明可采用在一個或多個其中包含有計算機(jī)可用程序代碼的計算機(jī)可用存儲介質(zhì)(包括但不限于磁盤存儲器、CD-ROM、光學(xué)存儲器等)上實施的計算機(jī)程序產(chǎn)品的形式。
本發(fā)明是參照根據(jù)本發(fā)明實施例的方法、裝置(設(shè)備)和計算機(jī)程序產(chǎn)品的流程圖和/或方框圖來描述的。應(yīng)理解可由計算機(jī)程序指令實現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合??商峁┻@些計算機(jī)程序指令到通用計算機(jī)、專用計算機(jī)、嵌入式處理機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器以產(chǎn)生一個機(jī)器,使得通過計算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的裝置。
這些計算機(jī)程序指令也可存儲在能引導(dǎo)計算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備以特定方式工作的計算機(jī)可讀存儲器中,使得存儲在該計算機(jī)可讀存儲器中的指令產(chǎn)生包括指令裝置的制造品,該指令裝置實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能。
這些計算機(jī)程序指令也可裝載到計算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備上,使得在計算機(jī)或其他可編程設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計算機(jī)實現(xiàn)的處理,從而在計算機(jī)或其他可編程設(shè)備上執(zhí)行的指令提供用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的步驟。
盡管已描述了本發(fā)明的優(yōu)選實施例,但本領(lǐng)域內(nèi)的技術(shù)人員一旦得知了基本創(chuàng)造性概念,則可對這些實施例作出另外的變更和修改。所以,所附權(quán)利要求意欲解釋為包括優(yōu)選實施例以及落入本發(fā)明范圍的所有變更和修改。
顯然,本領(lǐng)域的技術(shù)人員可以對本發(fā)明進(jìn)行各種改動和變型而不脫離本發(fā)明的精神和范圍。這樣,倘若本發(fā)明的這些修改和變型屬于本發(fā)明權(quán)利要求及 其等同技術(shù)的范圍之內(nèi),則本發(fā)明也意圖包含這些改動和變型在內(nèi)。