一種融合數(shù)據(jù)糾錯方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及互聯(lián)網(wǎng)技術(shù)領(lǐng)域，特別涉及一種融合數(shù)據(jù)糾錯方法及裝置。
【背景技術(shù)】
[0002] 現(xiàn)有技術(shù)中，隨著計算機技術(shù)、通信技術(shù)的快速發(fā)展，且日趨緊密地互相結(jié)合，加 之軍事應用的特殊迫切需求，作為數(shù)據(jù)處理的新興技術(shù)一一數(shù)據(jù)融合技術(shù)，在近幾年得到 廣泛的應用。目前在決策層融合采用的主要方法有貝葉斯推斷、D-S證據(jù)理論、模糊集理論 等，通過上述方式進行數(shù)據(jù)融合之后，融合數(shù)據(jù)直接統(tǒng)一進入數(shù)據(jù)庫中。由于用于融合的數(shù) 據(jù)在不斷變化，而且進行數(shù)據(jù)融合的策略也在不斷變化，因此需要對融合數(shù)據(jù)進行糾錯?，F(xiàn) 有的融合數(shù)據(jù)糾錯方式為人工判斷融合數(shù)據(jù)是否需要進行糾錯，無法實現(xiàn)融合數(shù)據(jù)糾錯的 自動化。

【發(fā)明內(nèi)容】

[0003] 本發(fā)明提供一種融合數(shù)據(jù)糾錯方法及裝置，用以實現(xiàn)融合數(shù)據(jù)糾錯的自動化。
[0004] 本發(fā)明提供一種融合數(shù)據(jù)糾錯方法，包括：
[0005] 針對待糾錯的融合數(shù)據(jù)，根據(jù)多個預設(shè)數(shù)據(jù)指標，確定所述融合數(shù)據(jù)對應于各個 預設(shè)數(shù)據(jù)指標的指標值；
[0006] 將各個所述指標值與各個所述預設(shè)數(shù)據(jù)指標對應的指標權(quán)重值加權(quán)求和，得到所 述融合數(shù)據(jù)的指標得分；
[0007] 當所述指標得分大于預設(shè)觸發(fā)閾值時，對所述融合數(shù)據(jù)進行糾錯。
[0008] 在一實施例中，所述方法還包括：
[0009] 針對獲取的各個樣本融合數(shù)據(jù)，根據(jù)所述多個預設(shè)數(shù)據(jù)指標，確定所述樣本融合 數(shù)據(jù)對應于各個預設(shè)數(shù)據(jù)指標的指標值；將各個所述指標值與各個所述預設(shè)數(shù)據(jù)指標對應 的權(quán)重值變量加權(quán)求和，得到所述樣本融合數(shù)據(jù)的指標得分；當所述指標得分大于預設(shè)觸 發(fā)閾值時，對所述樣本融合數(shù)據(jù)進行糾錯；
[0010] 確定各個預設(shè)數(shù)據(jù)指標對應的權(quán)重值變量的最優(yōu)變量值，所述最優(yōu)變量值使各個 樣本融合數(shù)據(jù)的糾錯成功率最高，將所述最優(yōu)變量值作為所述預設(shè)數(shù)據(jù)指標對應的指標權(quán) 重值。
[0011] 在一實施例中，當所述預設(shè)數(shù)據(jù)指標包括整體相似度指標時，所述針對待糾錯的 融合數(shù)據(jù)，根據(jù)多個預設(shè)數(shù)據(jù)指標，確定所述融合數(shù)據(jù)對應于各個預設(shè)數(shù)據(jù)指標的指標值， 包括：
[0012] 對于用于融合為所述融合數(shù)據(jù)的多條數(shù)據(jù)，計算每兩條數(shù)據(jù)間的相似度，將所述 每兩條數(shù)據(jù)間的相似度的平均值，作為所述融合數(shù)據(jù)的對應于整體相似度指標的指標值。
[0013] 在一實施例中，當所述預設(shè)數(shù)據(jù)指標包括算法更新指標時，所述針對待糾錯的融 合數(shù)據(jù)，根據(jù)多個預設(shè)數(shù)據(jù)指標，確定所述融合數(shù)據(jù)對應于各個預設(shè)數(shù)據(jù)指標的指標值，包 括：
[0014] 當融合所述融合數(shù)據(jù)的算法變更時，得出所述融合數(shù)據(jù)對應于算法更新指標的指 標值為第一預設(shè)值，當融合所述融合數(shù)據(jù)的算法沒有變更時，得出所述融合數(shù)據(jù)對應于算 法更新指標的指標值為第二預設(shè)值。
[0015] 在一實施例中，當所述預設(shè)數(shù)據(jù)指標包括時效指標或數(shù)據(jù)源信任度指標時，所述 針對待糾錯的融合數(shù)據(jù)，根據(jù)多個預設(shè)數(shù)據(jù)指標，確定所述融合數(shù)據(jù)對應于各個預設(shè)數(shù)據(jù) 指標的指標值，包括：
[0016] 根據(jù)用于融合為所述融合數(shù)據(jù)的多條數(shù)據(jù)的最近抓取時間與上次抓取時間的時 間差，或者用于融合為所述融合數(shù)據(jù)的多條數(shù)據(jù)的信任度變化前后的差值，確定所述融合 數(shù)據(jù)對應的變化參量Ak ;
[0017] 根據(jù)#所得比值確定所述融合數(shù)據(jù)對應于時效指標或數(shù)據(jù)源信任度指標的指標 值；
[0018] 其中，K為與時效指標或數(shù)據(jù)源信任度指標對應的常量。
[0019] 在一實施例中，所述方法還包括：
[0020] 將時效指標或數(shù)據(jù)源信任度指標對應的常量K從初始值開始，按預設(shè)步長逐步進 行增加；
[0021] 對應于增加后所得的常量K，針對獲取的各個樣本融合數(shù)據(jù)，根據(jù)用于融合為所述 樣本融合數(shù)據(jù)的多條數(shù)據(jù)的最近抓取時間與上次抓取時間的時間差，或者用于融合為所述 樣本融合數(shù)據(jù)的多條數(shù)據(jù)的信任度變化前后的差值，確定所述樣本融合數(shù)據(jù)對應的變化參 Λ A- 量Λ k，當IT所得比值大于1時，對所述樣本融合數(shù)據(jù)進行糾錯； 人
[0022] 統(tǒng)計進行糾錯的樣本融合數(shù)據(jù)的糾錯成功率，當所述糾錯成功率大于預設(shè)成功率 閾值時，停止對所述常量K進行增加，確定所述常量K的取值為當前所得數(shù)值。
[0023] 在一實施例中，對所述融合數(shù)據(jù)或所述樣本融合數(shù)據(jù)進行糾錯，包括：
[0024] 對于用于融合為所述融合數(shù)據(jù)或所述樣本融合數(shù)據(jù)的多條數(shù)據(jù)，計算每兩條數(shù)據(jù) 間的相似度；
[0025] 當所述每兩條數(shù)據(jù)間的相似度的平均值小于預設(shè)相似度閾值時，按預設(shè)策略逐步 去除用于融合為所述融合數(shù)據(jù)或所述樣本融合數(shù)據(jù)的多條數(shù)據(jù)中部分數(shù)據(jù)，直到所述多條 數(shù)據(jù)的剩余的數(shù)據(jù)中每兩條數(shù)據(jù)間的相似度的平均值大于預設(shè)相似度閾值時為止。
[0026] 本發(fā)明提供一種融合數(shù)據(jù)糾錯裝置，包括：
[0027] 第一確定模塊，用于針對待糾錯的融合數(shù)據(jù)，根據(jù)多個預設(shè)數(shù)據(jù)指標，確定所述融 合數(shù)據(jù)對應于各個預設(shè)數(shù)據(jù)指標的指標值；
[0028] 第一計算模塊，用于將各個所述指標值與各個所述預設(shè)數(shù)據(jù)指標對應的指標權(quán)重 值加權(quán)求和，得到所述融合數(shù)據(jù)的指標得分；
[0029] 第一糾錯模塊，用于當所述指標得分大于預設(shè)觸發(fā)閾值時，對所述融合數(shù)據(jù)進行 糾錯。
[0030] 在一實施例中，所述裝置還包括：
[0031] 第二確定模塊，用于針對獲取的各個樣本融合數(shù)據(jù)，根據(jù)所述多個預設(shè)數(shù)據(jù)指標， 確定所述樣本融合數(shù)據(jù)對應于各個預設(shè)數(shù)據(jù)指標的指標值；
[0032] 第二計算模塊，用于將各個所述指標值與各個所述預設(shè)數(shù)據(jù)指標對應的權(quán)重值變 量加權(quán)求和，得到所述樣本融合數(shù)據(jù)的指標得分；
[0033] 第二糾錯模塊，用于當所述指標得分大于預設(shè)觸發(fā)閾值時，對所述樣本融合數(shù)據(jù) 進行糾錯；
[0034] 第三確定模塊，用于確定各個預設(shè)數(shù)據(jù)指標對應的權(quán)重值變量的最優(yōu)變量值，所 述最優(yōu)變量值使各個樣本融合數(shù)據(jù)的糾錯成功率最高，將所述最優(yōu)變量值作為所述預設(shè)數(shù) 據(jù)指標對應的指標權(quán)重值。
[0035] 在一實施例中，所述第一確定模塊包括：
[0036] 第一計算子模塊，用于當所述預設(shè)數(shù)據(jù)指標包括整體相似度指標時，對于用于融 合為所述融合數(shù)據(jù)的多條數(shù)據(jù)，計算每兩條數(shù)據(jù)間的相似度，將所述每兩條數(shù)據(jù)間的相似 度的平均值，作為所述融合數(shù)據(jù)的對應于整體相似度指標的指標值。
[0037] 在一實施例中，所述第一確定模塊包括：
[0038] 第一確定子模塊，用于當融合所述融合數(shù)據(jù)的算法變更時，得出所述融合數(shù)據(jù)對 應于算法更新指標的指標值為第一預設(shè)值，當融合所述融合數(shù)據(jù)的算法沒有變更時，得出 所述融合數(shù)據(jù)對應于算法更新指標的指標值為第二預設(shè)值。
[0039] 在一實施例中，所述第一確定模塊包括：
[0040] 第二確定子模塊，用于當所述預設(shè)數(shù)據(jù)指標包括時效指標或數(shù)據(jù)源信任度指標 時，根據(jù)用于融合為所述融合數(shù)據(jù)的多條數(shù)據(jù)的最近抓取時間與上次抓取時間的時間差， 或者用于融合為所述融合數(shù)據(jù)的多條數(shù)據(jù)的信任度變化前后的差值，確定所述融合數(shù)據(jù)對 應的變化參量Ak ;
[0041] 第三確定子模塊，用于根據(jù)i所得比值確定所述融