本申請(qǐng)涉及一種基于深度學(xué)習(xí)的多模式數(shù)據(jù)融合方法，屬于機(jī)器學(xué)習(xí)領(lǐng)域。

背景技術(shù)：

深度學(xué)習(xí)已經(jīng)成為在計(jì)算機(jī)視覺(jué)，語(yǔ)音分析和許多其他領(lǐng)域占優(yōu)勢(shì)的機(jī)器學(xué)習(xí)形式。深度學(xué)習(xí)采用與神經(jīng)網(wǎng)絡(luò)相似的分層結(jié)構(gòu)，系統(tǒng)由包括輸入層、多隱層、輸出層組成的多層網(wǎng)絡(luò)，只有相鄰層節(jié)點(diǎn)之間有連接，同一層以及跨層節(jié)點(diǎn)之間相互無(wú)連接。

現(xiàn)有技術(shù)中，深度學(xué)習(xí)中多模式數(shù)據(jù)融合主要是使用深度自編碼機(jī)實(shí)現(xiàn)音頻、視頻兩種模式數(shù)據(jù)的融合，或者使用高斯伯努利限制波爾茲曼機(jī)、重復(fù)softMax限制玻爾茲曼機(jī)實(shí)現(xiàn)圖片、文本兩種模式數(shù)據(jù)的融合，或者使用深度玻爾茲曼機(jī)的深度學(xué)習(xí)實(shí)現(xiàn)音頻、視頻、文本等數(shù)據(jù)的融合。

但是在實(shí)際應(yīng)用中，還包括大量的傳感器數(shù)據(jù)，而目前還未有對(duì)音頻、圖像、文本、傳感器數(shù)據(jù)等多種模式數(shù)據(jù)的融合。

技術(shù)實(shí)現(xiàn)要素：

根據(jù)本申請(qǐng)的一個(gè)方面，提供了一種基于深度學(xué)習(xí)的多模式數(shù)據(jù)融合方法，該方法可以融合包括傳感器數(shù)據(jù)在內(nèi)的多種模式數(shù)據(jù)。

一種基于深度學(xué)習(xí)的多模式數(shù)據(jù)融合方法，包括：

對(duì)N個(gè)模式數(shù)據(jù)分別進(jìn)行向量化處理；N為自然數(shù)，且N個(gè)模式數(shù)據(jù)中包括傳感器數(shù)據(jù)；

對(duì)N個(gè)模式數(shù)據(jù)中每一個(gè)模式數(shù)據(jù)建模，得到N個(gè)單模式數(shù)據(jù)；

將得到的任意兩個(gè)單模式數(shù)據(jù)進(jìn)行融合，得到雙模式數(shù)據(jù)；

將包含相同模式數(shù)據(jù)的任意兩個(gè)雙模式數(shù)據(jù)進(jìn)行融合，將任一個(gè)雙模式數(shù)據(jù)和與該雙模式數(shù)據(jù)不相同的單模式數(shù)據(jù)進(jìn)行融合，得到三模式數(shù)據(jù)；

以此類推，根據(jù)得到的N-1模式數(shù)據(jù)進(jìn)行N模式數(shù)據(jù)融合，得到N模式數(shù)據(jù)。

其中，所述N為4，四個(gè)模式數(shù)據(jù)分別為音頻數(shù)據(jù)、傳感器數(shù)據(jù)、圖像數(shù)據(jù)和文本數(shù)據(jù)。

其中，對(duì)音頻數(shù)據(jù)進(jìn)行稀疏化和向量化處理具體為：

根據(jù)第j個(gè)隱層神經(jīng)元的平均激活度得到m為音頻數(shù)據(jù)的個(gè)數(shù)，x⁽ⁱ⁾表示第i個(gè)音頻數(shù)據(jù)；

其中，表示兩個(gè)分別以ρ和為均值伯努力分布的相對(duì)熵，ρ為稀疏性參數(shù)，為隱藏神經(jīng)元j的激活度，n為隱層神經(jīng)元個(gè)數(shù)；

設(shè)定截?cái)嗪朔稊?shù)；

然后進(jìn)行稀疏自編碼學(xué)習(xí)，得到稀疏化和向量化的音頻數(shù)據(jù)J_sparse(W,b)；

其中，h_W，b(x⁽ⁱ⁾)表示重建的x⁽ⁱ⁾，β,α表示稀疏化懲罰因子的權(quán)重，W⁽¹⁾表示可見(jiàn)層到第一隱層的權(quán)重。

其中，對(duì)傳感器數(shù)據(jù)和圖像數(shù)據(jù)進(jìn)行稀疏化和向量化處理，具體為：

設(shè)神經(jīng)網(wǎng)絡(luò)為k層，設(shè)傳感器數(shù)據(jù)和圖像數(shù)據(jù)均由N個(gè)數(shù)據(jù)樣本組成，每個(gè)數(shù)據(jù)樣本為D維向量，第k層數(shù)據(jù)向量為

預(yù)設(shè)每一層的學(xué)習(xí)閾值為(b₁,…b_K)，每一層的學(xué)習(xí)閾值逐漸增加；

進(jìn)行可見(jiàn)層到第一隱層的學(xué)習(xí)，得到第一隱層的向量；

根據(jù)得到的第一隱層的向量，進(jìn)行第i隱層到第i+1隱層的學(xué)習(xí)，得到第i+1隱層的向量，0<i<k-2；

根據(jù)第k-2隱層的向量，進(jìn)行第k-2隱層到第k-1隱層的學(xué)習(xí)，得到稀疏化和向量化后的傳感器數(shù)據(jù)和圖像數(shù)據(jù)。

所述第一隱層的向量為其中，{v¹,...,v^m}表示訓(xùn)練集中有m個(gè)訓(xùn)練樣本，ρ為稀疏性參數(shù)，D表示維數(shù)，W_ij表示可見(jiàn)層第i個(gè)單元對(duì)第一隱層第j個(gè)神經(jīng)元的貢獻(xiàn)度；b_j表示第j個(gè)神經(jīng)元的偏移值。

所述第k-2隱層的向量為

其中，表示第i隱層第j個(gè)向量，表示第k-2隱層第j個(gè)向量，表示第i隱層第s個(gè)神經(jīng)元對(duì)第i-1隱層第j個(gè)神經(jīng)元的貢獻(xiàn)度，表示第i層到第i+1層的第j個(gè)神經(jīng)元的偏移值；表示第k-2隱層第s個(gè)神經(jīng)元對(duì)第k-1隱層第j個(gè)神經(jīng)元的貢獻(xiàn)度，表示第k-3層到第k-2層的第j個(gè)神經(jīng)元的偏移值。

設(shè)稀疏化和向量化后的傳感器數(shù)據(jù)和圖像數(shù)據(jù)為h^(k-1)，則表示第k-1隱層第j個(gè)向量，其中，第k-2隱層第s個(gè)神經(jīng)元對(duì)第k-1隱層第j個(gè)神經(jīng)元的貢獻(xiàn)度，表示第k-2層到第k層的第j個(gè)神經(jīng)元的偏移值。

其中，將包含相同模式數(shù)據(jù)的任意兩個(gè)雙模式數(shù)據(jù)進(jìn)行融合，將任一個(gè)雙模式數(shù)據(jù)和與該雙模式數(shù)據(jù)不相同的單模式數(shù)據(jù)進(jìn)行融合，得到三模式數(shù)據(jù)，具體為：

將雙模式數(shù)據(jù)中包含相同模式數(shù)據(jù)的任意兩個(gè)雙模式數(shù)據(jù)組合，稱為第一組合；將任一個(gè)雙模式數(shù)據(jù)和與其不相同的單模式數(shù)據(jù)組合，稱為第二組合；

使用限制波爾茲曼機(jī)對(duì)第一組合和第二組合中的任一項(xiàng)的第一、第二隱層分別建模，得到三模式數(shù)據(jù)。

其中，根據(jù)得到的N-1模式數(shù)據(jù)進(jìn)行N模式數(shù)據(jù)融合，得到N模式數(shù)據(jù)，具體為：

將得到的三模式數(shù)據(jù)中任一個(gè)三模式數(shù)據(jù)與其不相同的單模式數(shù)據(jù)組合，稱為第三組合；將雙模式數(shù)據(jù)中任一個(gè)雙模式數(shù)據(jù)和與其不相同的雙模式數(shù)據(jù)組合，稱為第四組合；

使用限制波爾茲曼機(jī)對(duì)第三組合和第四組合中的任一項(xiàng)的第一、第二隱層分別建模，得到四模式數(shù)據(jù)。

進(jìn)一步地，還包括：根據(jù)包含第一模式數(shù)據(jù)的多模式數(shù)據(jù)和對(duì)應(yīng)不包含第一模式數(shù)據(jù)的單模式或多模式數(shù)據(jù)推測(cè)第一模式數(shù)據(jù)。

本申請(qǐng)能產(chǎn)生的有益效果包括：

1)本申請(qǐng)通過(guò)對(duì)N個(gè)模式數(shù)據(jù)分別進(jìn)行向量化處理，然后對(duì)得到向量化后處理后的N個(gè)模式數(shù)據(jù)中每一個(gè)模式數(shù)據(jù)建模，得到雙模式數(shù)據(jù)，再將得到的雙模式數(shù)據(jù)融合，得到三模式數(shù)據(jù)，以此類推，最終得到N模式數(shù)據(jù)，實(shí)現(xiàn)對(duì)包括傳感器數(shù)據(jù)在內(nèi)的多種模式數(shù)據(jù)的融合；

2)進(jìn)一步地，對(duì)傳感器等高維數(shù)據(jù)進(jìn)行向量化處理時(shí)，每一層的學(xué)習(xí)閾值逐漸增加，中間多個(gè)隱層的激活神經(jīng)元數(shù)目最少，最后一層激活關(guān)聯(lián)性最大的有限數(shù)目個(gè)神經(jīng)元，這樣，不僅可以實(shí)現(xiàn)逐層學(xué)習(xí)、逐層校正，還可以實(shí)現(xiàn)高維數(shù)據(jù)分布在有限維上，從而實(shí)現(xiàn)數(shù)據(jù)的壓縮，即傳感器等高維數(shù)據(jù)在學(xué)習(xí)過(guò)程中得到稀疏化表示，方便后續(xù)處理；

3)進(jìn)一步地，基于高斯伯努利限制波爾茲曼機(jī)融合雙模式或多模式數(shù)據(jù)時(shí)，隱層激活神經(jīng)元的數(shù)目有限，從而獲得高維數(shù)據(jù)在有限維上的表示，簡(jiǎn)化了融合過(guò)程；

4)進(jìn)一步地，在一種模式或多種模式缺失的情況下，通過(guò)將已知模式數(shù)據(jù)帶入多模式數(shù)據(jù)模型可以推測(cè)出丟失的或不完整的數(shù)據(jù)。

附圖說(shuō)明

圖1為一種基于深度學(xué)習(xí)的多模式數(shù)據(jù)融合方法流程示意圖。

具體實(shí)施方式

下面結(jié)合實(shí)施例詳述本申請(qǐng)，但本申請(qǐng)并不局限于這些實(shí)施例。

實(shí)施例1

參見(jiàn)圖1，本發(fā)明實(shí)施例提供了一種基于深度學(xué)習(xí)的多模式數(shù)據(jù)融合方法，該方法包括：

101、對(duì)N個(gè)模式數(shù)據(jù)分別進(jìn)行向量化處理；N為自然數(shù)，且N個(gè)模式數(shù)據(jù)中包括傳感器數(shù)據(jù)；

本發(fā)明實(shí)施例中，設(shè)N為4，即四個(gè)模式數(shù)據(jù)中除了傳感器數(shù)據(jù)，還包括音頻數(shù)據(jù)、圖像數(shù)據(jù)和文本數(shù)據(jù)。

具體地，對(duì)音頻數(shù)據(jù)進(jìn)行稀疏化和向量化處理，具體為：

根據(jù)第j個(gè)隱層神經(jīng)元的平均激活度得到m為音頻數(shù)據(jù)的個(gè)數(shù)，x⁽ⁱ⁾表示第i個(gè)音頻數(shù)據(jù)；

其中，表示兩個(gè)分別以ρ和為均值的伯努力分布的相對(duì)熵，ρ為稀疏性參數(shù)，為隱層神經(jīng)元j的激活度，n為隱層神經(jīng)元個(gè)數(shù)；和相互獨(dú)立，所以和相互獨(dú)立，最小化也即最小化所有的相對(duì)熵，使得逼近于ρ；

設(shè)定截?cái)嗪朔稊?shù)；

具體地，給定矩陣W⁽¹⁾∈R^D×n，截?cái)嗪朔稊?shù)||W||_r定義為min(D,n)-r個(gè)奇異值的和；

然后進(jìn)行稀疏自編碼學(xué)習(xí)，得到稀疏化和向量化的音頻數(shù)據(jù)J_sparse(W,b)；

其中，h_W,b(x⁽ⁱ⁾)表示重建的x⁽ⁱ⁾，β,α表示稀疏化懲罰因子的權(quán)重，W⁽¹⁾表示可見(jiàn)層到第一隱層的權(quán)重。

對(duì)傳感器數(shù)據(jù)和圖像數(shù)據(jù)進(jìn)行稀疏化和向量化處理，具體為：

設(shè)神經(jīng)網(wǎng)絡(luò)為k層，設(shè)傳感器數(shù)據(jù)和圖像數(shù)據(jù)均由N個(gè)數(shù)據(jù)樣本組成，每個(gè)數(shù)據(jù)樣本為D維向量，第k層數(shù)據(jù)向量為

預(yù)設(shè)每一層的學(xué)習(xí)閾值為(b₁,…b_K)，每一層的學(xué)習(xí)閾值逐漸增加；

進(jìn)行可見(jiàn)層到第一隱層的學(xué)習(xí)，得到第一隱層的向量；

具體地，采用基于隱層有限數(shù)目個(gè)激活神經(jīng)元的高斯伯努利限制波爾茲曼機(jī)實(shí)現(xiàn)可見(jiàn)層到第一隱層的學(xué)習(xí)，設(shè)可見(jiàn)層v的邊緣分布為P(v；θ)，則

其中，真值單元v∈R^D,h∈{0,1}^F；

v、h的能量函數(shù)為：

其中，θ＝{a,b,W,σ}是模型參數(shù)，采用懲罰項(xiàng)進(jìn)行稀疏，λ是懲罰項(xiàng)的權(quán)重，F(xiàn)表示神經(jīng)元個(gè)數(shù)，然后通過(guò)對(duì)比散度算法重構(gòu)出可見(jiàn)層，然后使用梯度下降算法學(xué)習(xí)出模型θ，對(duì)比散度算法、梯度下降學(xué)習(xí)算法屬于本領(lǐng)域技術(shù)人員的公知常識(shí)，本發(fā)明實(shí)施例在此不再贅述。

在得出θ后，基于上述能量函數(shù)可得到當(dāng)可見(jiàn)層為給定值、隱層神經(jīng)元為1時(shí)的條件概率為：

基于上述能量函數(shù)可得到隱層為給定值、可見(jiàn)層為x時(shí)的條件概率：

通過(guò)上述條件概率，得到第一隱層的向量為其中，表示訓(xùn)練集中有m個(gè)訓(xùn)練樣本，D是輸入向量的維數(shù)，ρ為稀疏性參數(shù)；W_ij表示可見(jiàn)層第i個(gè)單元對(duì)第一隱層第j個(gè)神經(jīng)元的貢獻(xiàn)度；b_j表示第j個(gè)神經(jīng)元的偏移值。

根據(jù)上述得到的第一隱層的向量，進(jìn)行第i隱層到第i+1隱層的學(xué)習(xí)，得到第i+1隱層的向量，0<i<k-2；

具體地，將第i隱層的向量作為第i+1隱層的輸入，得到第i+1隱層的向量，即經(jīng)過(guò)多層學(xué)習(xí)后得到第k-2隱層的向量；

本發(fā)明實(shí)施例中，第i隱層的向量由實(shí)數(shù)值組成，設(shè)第i隱層的第j個(gè)向量為其中，表示第i-1隱層第s個(gè)神經(jīng)元對(duì)第i隱層第j個(gè)神經(jīng)元的貢獻(xiàn)度；表示第i-1隱層到第i隱層的學(xué)習(xí)時(shí)，第j個(gè)神經(jīng)元的偏移值；

重建得到第i-1隱層向量為表示第i隱層第s個(gè)神經(jīng)元對(duì)第i-1隱層第j個(gè)神經(jīng)元的貢獻(xiàn)度；表示第i隱層到第i-1隱層的重建第j個(gè)神經(jīng)元時(shí)的偏移值；

在已知z的情況下，設(shè)定第i-1隱層的條件分布為H^(i-1)|z～N(z,σ²I)和其中，H^(i-1)表示第i-1隱層，表示第i-1隱層的第k個(gè)神經(jīng)元。

然后利用損失函數(shù)進(jìn)行優(yōu)化，得到符合約束條件的第i+1隱層的向量，約束條件為|z-h^(i-1)|≤B_i。

其中，C(σ²)表示常數(shù)，λ₁表示懲罰項(xiàng)的權(quán)重，||·||_*表示核范數(shù)，ξ為激活值，最優(yōu)化Loss(x,z)，使得z在σ²誤差范圍內(nèi)盡量靠近。經(jīng)過(guò)多層學(xué)習(xí)，可得到多個(gè)第i+1隱層的向量，經(jīng)過(guò)優(yōu)化后得到第k-2隱層的向量為：

其中，表示第i隱層第j個(gè)向量，表示第k-2隱層第j個(gè)向量，表示第i隱層第s個(gè)神經(jīng)元對(duì)第i-1隱層第j個(gè)神經(jīng)元的貢獻(xiàn)度，表示第i層到第i+1層的第j個(gè)神經(jīng)元的偏移值；表示第k-2隱層第s個(gè)神經(jīng)元對(duì)第k-1隱層第j個(gè)神經(jīng)元的貢獻(xiàn)度，表示第k-3層到第k-2層的第j個(gè)神經(jīng)元的偏移值；

根據(jù)第k-2隱層的向量，進(jìn)行第k-2隱層到第k-1隱層的學(xué)習(xí)，得到第k-1隱層的向量：

具體地，將第k-2隱層的向量作為第k-1隱層的輸入，得到第k-1隱層的向量，即稀疏化和向量化后的傳感器數(shù)據(jù)和圖像數(shù)據(jù)h^(k-1)；表示第k-1隱層第j個(gè)向量，其中，第k-2隱層第s個(gè)神經(jīng)元對(duì)第k-1隱層第j個(gè)神經(jīng)元的貢獻(xiàn)度，表示第k-2層到第k層的第j個(gè)神經(jīng)元的偏移值；

重建得到的第k-2隱層向量為z^k-2的約束條件為

然后利用對(duì)重建得到的第k-2隱層向量進(jìn)行優(yōu)化，使得傳感器數(shù)據(jù)和圖像數(shù)據(jù)特征大量分布在關(guān)聯(lián)性最大的有限數(shù)目的神經(jīng)元上。

其中，1^TW_(k-1,k)＝1，表示元素相乘，d_i是第k-2隱層向量h^(k-2)與第k-1隱層到第k隱層的權(quán)重矩陣的第i個(gè)向量的歐式距離。

本發(fā)明實(shí)施例中每一層學(xué)習(xí)后都會(huì)和前一層互相關(guān)聯(lián)，每一層的學(xué)習(xí)閾值逐漸增加，中間多個(gè)隱層的激活神經(jīng)元數(shù)目最少，最后一層激活關(guān)聯(lián)性最大的有限數(shù)目個(gè)神經(jīng)元，這樣，不僅可以實(shí)現(xiàn)逐層學(xué)習(xí)、逐層校正，還可以實(shí)現(xiàn)高維數(shù)據(jù)分布在有限維上，從而實(shí)現(xiàn)數(shù)據(jù)的壓縮，即傳感器等高維數(shù)據(jù)在學(xué)習(xí)過(guò)程中得到稀疏化表示。

對(duì)文本數(shù)據(jù)進(jìn)行向量化處理具體為：對(duì)文本數(shù)據(jù)中不同的字進(jìn)行編序，并將對(duì)應(yīng)文本轉(zhuǎn)換為關(guān)于對(duì)應(yīng)字出現(xiàn)的頻度向量。

102、對(duì)向量化處理后的N個(gè)模式數(shù)據(jù)中每一個(gè)模式數(shù)據(jù)建模，得到N個(gè)單模式數(shù)據(jù)；

本發(fā)明實(shí)施例中，向量化處理后的N個(gè)模式數(shù)據(jù)為可見(jiàn)層，對(duì)可見(jiàn)層使用限制波爾茲曼機(jī)進(jìn)行建模，也就是說(shuō)使用限制波爾茲曼機(jī)對(duì)向量化的音頻數(shù)據(jù)、感應(yīng)器數(shù)據(jù)、圖像數(shù)據(jù)進(jìn)行建模，使用重復(fù)Softmax的限制波爾茲曼機(jī)對(duì)文本數(shù)據(jù)建模；使用限制波爾茲曼機(jī)對(duì)N個(gè)模式數(shù)據(jù)的第一隱層和第二隱層建模。

103、將得到的任意兩個(gè)單模式數(shù)據(jù)進(jìn)行融合，得到雙模式數(shù)據(jù)；

本發(fā)明實(shí)施例中設(shè)A為向量化的音頻數(shù)據(jù)，B為向量化的傳感器數(shù)據(jù)，C為向量化的圖像數(shù)據(jù)，D為向量化的文本數(shù)據(jù)，則得到的雙模式數(shù)據(jù)為AB、AC、AD、BC、BD、CD。

其中，任一個(gè)單模式數(shù)據(jù)與文本數(shù)據(jù)的融合可以通過(guò)基于高斯伯努利限制波爾茲曼機(jī)的模式和基于重復(fù)SoftMax的限制波爾茲曼機(jī)得到，例如AD、BD、CD。

雙模式或者多模式數(shù)據(jù)融合結(jié)果由第一模式與第二模式表示，例如雙模式數(shù)據(jù)融合結(jié)果為(A,B)，則第一模式為A，第二模式為B；三模式數(shù)據(jù)融合結(jié)果為((AB)C)，則第一模式為已經(jīng)融合的AB，第二模式為C；四模式數(shù)據(jù)融合結(jié)果為((AB)(CD))，則第一模式為已經(jīng)融合的AB，第二模式為已經(jīng)融合的CD；以此類推。

本發(fā)明實(shí)施例中，雙模式或者多模式數(shù)據(jù)融合的過(guò)程可以通過(guò)基于高斯伯努利限制波爾茲曼機(jī)表示，其中，設(shè)基于高斯伯努利限制波爾茲曼機(jī)的第一模式采用m表示，設(shè)基于高斯伯努利限制波爾茲曼機(jī)的第二模式采用t表示，繼續(xù)以上述例子進(jìn)行描述，雙模式數(shù)據(jù)融合(A,B)中，第一模式m表示A，第二模式t表示B；三模式數(shù)據(jù)融合((AB)C)中，第一模式m表示已經(jīng)融合的AB，第二模式表示C；四模式數(shù)據(jù)融合((AB)(CD))中，第一模式表示已經(jīng)融合的AB，第二模式t表示已經(jīng)融合的CD；以此類推。

雙模式或者多模式數(shù)據(jù)融合的過(guò)程也可以通過(guò)基于{0,1}限制波爾茲曼機(jī)表示，基于{0,1}限制波爾茲曼機(jī)的第一模式采用n表示，基于{0,1}限制波爾茲曼機(jī)的第二模式采用a表示。

除了文本數(shù)據(jù)以外，其它任意兩個(gè)單模式數(shù)據(jù)的融合可以通過(guò)基于高斯伯努利限制波爾茲曼機(jī)的第一模式m和基于高斯伯努利限制波爾茲曼機(jī)的第二模式t得到；還可以通過(guò)基于{0,1}限制波爾茲曼機(jī)的第一模式n和基于{0,1}限制波爾茲曼機(jī)的第二模式a得到。

104、將包含相同模式數(shù)據(jù)的任意兩個(gè)雙模式數(shù)據(jù)進(jìn)行融合，將任一個(gè)雙模式數(shù)據(jù)和與該雙模式數(shù)據(jù)不相同的單模式數(shù)據(jù)進(jìn)行融合，得到三模式數(shù)據(jù)；

具體地，將雙模式數(shù)據(jù)中包含相同模式數(shù)據(jù)的任意兩個(gè)雙模式數(shù)據(jù)組合，稱為第一組合；將任一個(gè)雙模式數(shù)據(jù)和與其不相同的單模式數(shù)據(jù)組合，稱為第二組合；

使用限制波爾茲曼機(jī)對(duì)第一組合和第二組合中的任一項(xiàng)的第一、第二隱層分別建模，得到三模式數(shù)據(jù)。

繼續(xù)上述例子，上述6個(gè)雙模式數(shù)據(jù)中包含相同模式數(shù)據(jù)的任意兩個(gè)雙模式數(shù)據(jù)的第一組合為：(AB，AC)、(AB，AD)、(AB，BC)、(AB，BD)、(AC，AD)、(AC，BC)、(AC，CD)、(AD，BD)、(AD，CD)、(BC，BD)、(BC，CD)、(BD，CD)；

上述6個(gè)雙模式數(shù)據(jù)中任一個(gè)雙模式數(shù)據(jù)中與其不相同的單模式數(shù)據(jù)的第二組合為：(AB，C)、(AB，D)、(AC，B)、(AC，D)、(AD，B)、(AD，C)、(BC，A)、(BC，D)、(BD，A)、(BD，C)、(CD，A)、(CD，B)；

然后，使用限制波爾茲曼機(jī)對(duì)第一組合和第二組合中的任一項(xiàng)的第一、第二隱層分別建模，得到三模式數(shù)據(jù)(ABC、ABD、ACD、BCD)。

基于高斯伯努利限制波爾茲曼機(jī)融合雙模式或多模式數(shù)據(jù)時(shí)，隱層變量h＝{h^(1m),h^(2m),h^(1t),h^(2t),h⁽³⁾}，即隱層激活神經(jīng)元的數(shù)目有限，則雙模式或多模式數(shù)據(jù)的具體融合結(jié)果如下表示：

其中，

表示m模式下，已知可見(jiàn)層、第二隱層神經(jīng)元情況下，第一隱層的條件概率；

表示m模式下，已知第一隱層、第三隱層神經(jīng)元情況，第二隱層的條件概率；

表示t模式下，已知可見(jiàn)層、第二隱層，第一隱層的條件概率；

表示t模式下，已知第一隱層、第三隱層，第二隱層的條件概率；

表示已知t模式的第二隱層和m模式的第二隱層，第三隱層的條件概率；

表示t模式下，給定第一隱層，可見(jiàn)層服從高斯分布；

表示m模式下，給定第一隱層，可見(jiàn)層服從高斯分布；

基于{0,1}限制波爾茲曼機(jī)融合雙模式或多模式數(shù)據(jù)時(shí)，隱層變量，則雙模式或多模式數(shù)據(jù)的具體融合結(jié)果如下表示：

其中，

表示n模式下，已知可見(jiàn)層、第二隱層神經(jīng)元情況下，第一隱層的條件概率；

表示n模式下，已知可見(jiàn)層、第二隱層神經(jīng)元情況下，第一隱層的條件概率；

表示a模式下，已知可見(jiàn)層、第二隱層神經(jīng)元情況下，第一隱層的條件概率；

表示已知a模式的第一隱層、第三隱層神經(jīng)元情況下，a模式第二隱層的條件概率；

表示已知n模式的第二隱層、a模式第二隱層神經(jīng)元情況下，第三隱層的條件概率；

表示a模式下，給定第一隱層，可見(jiàn)層服從高斯分布；

表示n模式下，給定第一隱層，可見(jiàn)層服從高斯分布；

105、以此類推，根據(jù)得到的N-1模式數(shù)據(jù)進(jìn)行N模式數(shù)據(jù)融合，得到N模式數(shù)據(jù)。

本發(fā)明實(shí)施例中N為4，則對(duì)得到的三模式數(shù)據(jù)進(jìn)行四模式建模。

具體地，將得到的三模式數(shù)據(jù)中任一個(gè)三模式數(shù)據(jù)與其不相同的單模式數(shù)據(jù)組合，稱為第三組合；將雙模式數(shù)據(jù)中任一個(gè)雙模式數(shù)據(jù)和與其不相同的雙模式數(shù)據(jù)組合，稱為第四組合；

然后使用限制波爾茲曼機(jī)對(duì)第三組合和第四組合中的任一項(xiàng)的第一、第二隱層分別建模，得到四模式數(shù)據(jù)。

繼續(xù)上述例子，任一個(gè)三模式數(shù)據(jù)與其不相同的單模式數(shù)據(jù)的第三組合為：(ABC，D)、(ABD，C)、(ACD，B)、(BCD，A)；

任一個(gè)雙模式數(shù)據(jù)和與其不相同的雙模式數(shù)據(jù)的第四組合為：(AB，CD)、(AC，BD)、(AD，BC)；

根據(jù)第三組合和第四組合，得到四模式數(shù)據(jù)ABCD。

進(jìn)一步地，得到多模式數(shù)據(jù)之后，還可以利用這些多模式數(shù)據(jù)進(jìn)行學(xué)習(xí)，由于利用這些多模式數(shù)據(jù)進(jìn)行學(xué)習(xí)屬于本領(lǐng)域技術(shù)人員的公知常識(shí)，本發(fā)明在此對(duì)其過(guò)程進(jìn)行簡(jiǎn)單描述：為求得滿足條件的平均域參數(shù)μ，需最大化下列不等式右側(cè)部分，可得到最理想的μ＝{μ^(1m)，μ^(1t)，μ^(2m)，μ^(2t)，μ⁽³⁾}；其中，μ與θ相關(guān)；上面提到的不等式為

其中，

由于，

當(dāng)Q(h|v；μ)＝P(h|v；θ)時(shí)，logP(v；θ)＝L(Q(h|v；μ))，則最小化logP(v；θ)就轉(zhuǎn)化為最大化上述不等式右側(cè)的L(Q(h|v；μ))；當(dāng)KL(Q(h|v；μ)||P(h|v；θ))＝0時(shí)，L(Q(h|v；μ))最大，因此優(yōu)化logP(v；θ)即可轉(zhuǎn)化為采用Q(h|v；μ)逼近P(h|v；θ)。

本發(fā)明實(shí)施例使用樸素平均域近似進(jìn)行逼近P(h|v；θ)；

當(dāng)雙模式或者多模式數(shù)據(jù)融合的過(guò)程通過(guò)基于高斯伯努利限制波爾茲曼機(jī)表示時(shí)，構(gòu)建Q(h|v；μ)，通過(guò)上述學(xué)習(xí)過(guò)程得到的μ如下：

其中，Q(h|v；μ)是關(guān)于各隱層神經(jīng)元的連乘形式，在于簡(jiǎn)化對(duì)后驗(yàn)分布的逼近。

則μ中的{μ^(1m)，μ^(1t)，μ^(2m)，μ^(2t)，μ⁽³⁾}分別為：

其中，分別對(duì)應(yīng)m模式的第一隱層和第二隱層，分別對(duì)應(yīng)t模式的第一隱層和第二隱層，對(duì)應(yīng)混合層也即第三隱層。

當(dāng)雙模式或者多模式數(shù)據(jù)融合的過(guò)程也可以通過(guò)基于{0,1}限制波爾茲曼機(jī)表示時(shí)，構(gòu)建的Q(h|v；μ)為：

此時(shí)μ中的{μ⁽¹ⁿ⁾，μ^(1a)，μ⁽²ⁿ⁾，μ^(2a)，μ⁽³⁾}分別為：

其中，分別對(duì)應(yīng)n模式的第一隱層和第二隱層，分別對(duì)應(yīng)a模式的第一隱層和第二隱層，對(duì)應(yīng)混合層也即第三隱層。

然后，

從Q(v,h；θ)上采樣，得到模型期望P(v,h|θ)；

v_i、h_j表示Q(v,h；θ)上的樣本，N_v表示可見(jiàn)層單元個(gè)數(shù)，N_h表示隱層神經(jīng)元個(gè)數(shù)；

然后根據(jù)得到的μ計(jì)算數(shù)據(jù)期望E_P(h|v)；

再根據(jù)當(dāng)前神經(jīng)元關(guān)于其他神經(jīng)元的條件分布和采集到的部分樣本計(jì)算全樣本；

具體的，設(shè)有Q個(gè)樣本，第s個(gè)樣本的初始狀態(tài)為(v_0,s,h_0,s)，吉布斯采樣后得到馬爾科夫鏈，在t＝50次采樣后可以獲得穩(wěn)定狀態(tài)的樣本，Q個(gè)樣本就構(gòu)成了Q個(gè)馬爾科夫鏈。

根據(jù)采集到的新樣本和得到的μ對(duì)神經(jīng)網(wǎng)絡(luò)各層之間的連接權(quán)重w和隱層神經(jīng)元的偏移值b進(jìn)行更新；

具體地，設(shè)定θ情況下，求能量函數(shù)P(v,h)關(guān)于θ、W⁽¹⁾、W⁽ⁱ⁾、a、b的一階導(dǎo)數(shù)，獲得關(guān)于P(h|v；θ)和關(guān)于P(v,h；θ)情況下對(duì)應(yīng)期望的差值；

根據(jù)得到的期望差值使用梯度下降法對(duì)權(quán)重進(jìn)行更新，從而達(dá)到利用得到的多模式數(shù)據(jù)進(jìn)行學(xué)習(xí)的目的。

其中，能量函數(shù)P(v,h)關(guān)于θ、W⁽¹⁾、W⁽ⁱ⁾、a、b的一階導(dǎo)數(shù)為現(xiàn)有技術(shù)，本發(fā)明實(shí)施例僅列出能量函數(shù)關(guān)于連接權(quán)重W⁽¹⁾和W⁽ⁱ⁾的一階導(dǎo)數(shù)，其余不再贅述。

能量函數(shù)關(guān)于連接權(quán)重W⁽¹⁾的一階導(dǎo)數(shù)為

表示可見(jiàn)層和第一隱層的權(quán)值矩陣；P(v；θ)為關(guān)于v的邊緣概率；

能量函數(shù)關(guān)于連接權(quán)重W⁽ⁱ⁾的一階導(dǎo)數(shù)為

表示第i-1隱層和第i隱層的權(quán)值矩陣。

最終當(dāng)Q(h|v；μ)＝P(h|v；θ)時(shí)，上述不等式右側(cè)部分最大，可得到最理想的μ。

進(jìn)一步地，通過(guò)本發(fā)明實(shí)施例最終得到的多模式數(shù)據(jù)模型還可以推測(cè)出丟失的或不完整的數(shù)據(jù)，即根據(jù)包含第一模式數(shù)據(jù)的多模式數(shù)據(jù)和對(duì)應(yīng)不包含第一模式數(shù)據(jù)的單模式或多模式數(shù)據(jù)推測(cè)第一模式數(shù)據(jù)；

例如，設(shè)第一模式數(shù)據(jù)為C模式數(shù)據(jù)，如果缺失C模式數(shù)據(jù)，通過(guò)雙模式數(shù)據(jù)P(AC)、P(BC)或者P(CD)引導(dǎo)，然后對(duì)應(yīng)的在單模式P(A)、P(B)或者P(D)上采樣，就可以推測(cè)出C模式數(shù)據(jù)；也可以通過(guò)三模式數(shù)據(jù)p(ABC)、P(ACD)或者P(BCD)引導(dǎo)，然后對(duì)應(yīng)的在雙模式數(shù)據(jù)P(AB)、P(AD)或者P(BD)上采樣，從而推測(cè)出C模式數(shù)據(jù)；也可以通過(guò)四模式數(shù)據(jù)p(ABCD)引導(dǎo)，然后在三模式數(shù)據(jù)p(ABD)上采樣，推測(cè)出C模式數(shù)據(jù)，同理，缺失兩個(gè)或多個(gè)模式數(shù)據(jù)時(shí)的推測(cè)方法類似，本發(fā)明實(shí)施例在此不再贅述。

本發(fā)明實(shí)施例中，通過(guò)對(duì)N個(gè)模式數(shù)據(jù)分別進(jìn)行向量化處理，然后對(duì)得到向量化后處理后的N個(gè)模式數(shù)據(jù)中每一個(gè)模式數(shù)據(jù)建模，得到雙模式數(shù)據(jù)，再將得到的雙模式數(shù)據(jù)融合，得到三模式數(shù)據(jù)，以此類推，最終得到N模式數(shù)據(jù)，實(shí)現(xiàn)對(duì)包括傳感器數(shù)據(jù)在內(nèi)的多種模式數(shù)據(jù)的融合；進(jìn)一步地，對(duì)傳感器等高維數(shù)據(jù)進(jìn)行向量化處理時(shí)，每一層的學(xué)習(xí)閾值逐漸增加，中間多個(gè)隱層的激活神經(jīng)元數(shù)目最少，最后一層激活關(guān)聯(lián)性最大的有限數(shù)目個(gè)神經(jīng)元，這樣，不僅可以實(shí)現(xiàn)逐層學(xué)習(xí)、逐層校正，還可以實(shí)現(xiàn)高維數(shù)據(jù)分布在有限維上，從而實(shí)現(xiàn)數(shù)據(jù)的壓縮，即傳感器等高維數(shù)據(jù)在學(xué)習(xí)過(guò)程中得到稀疏化表示，方便后續(xù)處理；進(jìn)一步地，基于高斯伯努利限制波爾茲曼機(jī)融合雙模式或多模式數(shù)據(jù)時(shí)，隱層激活神經(jīng)元的數(shù)目有限，從而獲得高維數(shù)據(jù)在有限維上的表示，簡(jiǎn)化了融合過(guò)程；進(jìn)一步地，在一種模式或多種模式缺失的情況下，通過(guò)將已知模式數(shù)據(jù)帶入多模式數(shù)據(jù)模型可以推測(cè)出丟失的或不完整的數(shù)據(jù)。

以上所述，僅是本申請(qǐng)的幾個(gè)實(shí)施例，并非對(duì)本申請(qǐng)做任何形式的限制，雖然本申請(qǐng)以較佳實(shí)施例揭示如上，然而并非用以限制本申請(qǐng)，任何熟悉本專業(yè)的技術(shù)人員，在不脫離本申請(qǐng)技術(shù)方案的范圍內(nèi)，利用上述揭示的技術(shù)內(nèi)容做出些許的變動(dòng)或修飾均等同于等效實(shí)施案例，均屬于技術(shù)方案范圍內(nèi)。