一種基于子空間的自步跨模態(tài)匹配方法
【專利摘要】本發(fā)明公開一種基于子空間的自步跨模態(tài)匹配方法。該方法通過提取數(shù)據(jù)集中不同模態(tài)數(shù)據(jù)的特征向量；利用子空間自步學(xué)習(xí)得到訓(xùn)練集中與不同模態(tài)對應(yīng)的不同映射矩陣，利用該映射矩陣將測試集中數(shù)據(jù)樣本的不同模態(tài)類別映射到同一空間，使訓(xùn)練集與測試集的數(shù)據(jù)映射到統(tǒng)一空間，然后度量測試集中的查詢數(shù)據(jù)和目標(biāo)數(shù)據(jù)間的相似度從而得到跨模態(tài)匹配的結(jié)果。本發(fā)明可將不同模態(tài)的數(shù)據(jù)映射到統(tǒng)一空間度量，且在映射同時(shí)進(jìn)行樣本選擇和特征學(xué)習(xí)，提高了匹配的魯棒性和準(zhǔn)確性。
【專利說明】
一種基于子空間的自步跨模態(tài)匹配方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及模式識(shí)別技術(shù)領(lǐng)域，尤其是一種基于子空間的自步跨模態(tài)匹配方法。
【背景技術(shù)】
[0002] 現(xiàn)實(shí)中的數(shù)據(jù)往往具有多種模態(tài)。比如網(wǎng)頁數(shù)據(jù)既包含圖片信息，又包含文本信 息;視頻數(shù)據(jù)同時(shí)包含音頻信息和圖片信息?？缒B(tài)匹配的根本任務(wù)是以一種模態(tài)作為查 詢條件，匹配出與之相似的異質(zhì)模態(tài)信息。傳統(tǒng)跨模態(tài)匹配方法大多是監(jiān)督學(xué)習(xí)方法，它們 都是通過語義標(biāo)簽來減少異質(zhì)模態(tài)之間的鴻溝，但是無法處理無標(biāo)簽信息，人工標(biāo)記數(shù)據(jù) 又是一個(gè)費(fèi)時(shí)費(fèi)力的工作。此外，有些無監(jiān)督的方法沒有考慮特征的判定性和相關(guān)性和樣 本間的語義相似性，無法滿足人們的日常需求。因此亟需一種高效的無監(jiān)督跨模態(tài)匹配方 法。

【發(fā)明內(nèi)容】

[0003] 本發(fā)明目的在于解決上述技術(shù)問題而提供一種基于子空間的無監(jiān)督自步跨模態(tài) 匹配方法，能有效地跨越不同模態(tài)媒體之間的語義鴻溝，進(jìn)而使得跨媒體搜索引擎返回的 結(jié)果更加準(zhǔn)確。
[0004] 本發(fā)明是這樣實(shí)現(xiàn)的，一種基于子空間的自步跨模態(tài)匹配方法，包括步驟：
[0005] S1，收集不同模態(tài)的數(shù)據(jù)樣本建立跨模態(tài)數(shù)據(jù)庫，并將所述跨模態(tài)數(shù)據(jù)庫分為訓(xùn) 練集和測試集；
[0006] S2，提取所述跨模態(tài)數(shù)據(jù)庫中不同模態(tài)數(shù)據(jù)樣本的特征向量；
[0007] S3,基于所述訓(xùn)練集中不同模態(tài)數(shù)據(jù)的特征向量，得到與所述不同模態(tài)分別對應(yīng) 的映射矩陣；
[0008] S4,利用所述映射矩陣將所述測試集中數(shù)據(jù)樣本的模態(tài)類別映射到同一空間；
[0009] S5,將映射到同一空間的測試集中同一模態(tài)類別的數(shù)據(jù)作為查詢集，另一模態(tài)類 別的數(shù)據(jù)作為目標(biāo)集；
[0010] S6,通過度量數(shù)據(jù)間的相似度，在所述目標(biāo)集中查詢與所述查詢集中的一個(gè)數(shù)據(jù) 樣本相匹配的數(shù)據(jù)，從而得到跨模態(tài)匹配的結(jié)果。
[0011] 根據(jù)本發(fā)明的方法，可以將不同模態(tài)的多媒體數(shù)據(jù)映射入統(tǒng)一空間進(jìn)行度量，且 在映射的同時(shí)進(jìn)行了樣本選擇與特征學(xué)習(xí)，從而提高了檢索的魯棒性和準(zhǔn)確性，具有良好 的運(yùn)用前景。
【附圖說明】
[0012] 圖1是本發(fā)明提供的基于子空間的自步跨模態(tài)匹配方法的流程圖；
[0013] 圖2是在圖像和文本兩個(gè)模態(tài)下子空間匹配的具體模型圖。
【具體實(shí)施方式】
[0014] 為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，以下結(jié)合具體實(shí)施例，并參照 附圖，對本發(fā)明進(jìn)一步詳細(xì)說明。
[0015] 本發(fā)明通過學(xué)習(xí)兩個(gè)映射矩陣，將不同模態(tài)的數(shù)據(jù)映射到同一個(gè)子空間中去，并 在映射的同時(shí)進(jìn)行樣本選擇和特征學(xué)習(xí)，并使用多模態(tài)圖約束保持?jǐn)?shù)據(jù)模態(tài)內(nèi)和模態(tài)間的 相似性;在學(xué)習(xí)到的子空間中度量不同模態(tài)的數(shù)據(jù)的相似性，以此來實(shí)現(xiàn)跨模態(tài)匹配。
[0016] 參見圖1所示，一種基于子空間的自步跨模態(tài)匹配方法，包括以下步驟：
[0017] 步驟S1，收集不同模態(tài)的數(shù)據(jù)樣本，建立跨模態(tài)數(shù)據(jù)庫，并將所述跨模態(tài)數(shù)據(jù)庫分 為訓(xùn)練集和測試集；
[0018] 需要說明的是，本發(fā)明中所述不同模態(tài)可以為文本、圖像等模態(tài)。
[0019] 為了便于說明，下面以文本和圖像兩個(gè)模態(tài)的數(shù)據(jù)為例進(jìn)行解釋本發(fā)明。
[0020] 具體的，將所述跨模態(tài)數(shù)據(jù)庫分為訓(xùn)練集和測試集時(shí)，可根據(jù)實(shí)際需要進(jìn)行劃分， 如可將所述跨模態(tài)數(shù)據(jù)庫中的80%的數(shù)據(jù)劃分為訓(xùn)練集，剩下的20%的數(shù)據(jù)劃分為測試 集，形成訓(xùn)練樣本庫與測試樣本庫。
[0021] 步驟S2,提取所述跨模態(tài)數(shù)據(jù)庫中不同模態(tài)數(shù)據(jù)樣本的特征向量，形成相應(yīng)的不 同模態(tài)數(shù)據(jù)特征庫；
[0022] 本步驟中，不但要提取訓(xùn)練集的訓(xùn)練樣本庫中不同模態(tài)數(shù)據(jù)樣本的特征向量，也 要提取測試集的測試樣本庫中不同模態(tài)數(shù)據(jù)樣本的特征向量，從而形成訓(xùn)練集與測試集的 文本特征庫與圖片特征庫；
[0023]本發(fā)明中，對于文本數(shù)據(jù)庫中的文本模態(tài)數(shù)據(jù)樣本和圖像數(shù)據(jù)庫的圖像模態(tài)數(shù)據(jù) 樣本，可分別使用LDA算法與SIFT算法進(jìn)行特征提??；
[0024] LDA算法即隱狄雷克雷分布（Latent Dirichlet Allocation,LDA)算法，SIFT算法 即尺度不變特征變換（Scale-Invariant Feature Transform,SIFT)算法。
[0025] 步驟S3,基于所述訓(xùn)練集中提取的不同模態(tài)數(shù)據(jù)的特征向量，通過子空間自步學(xué) 習(xí)（即通過建立目標(biāo)函數(shù)并通過迭代算法求解目標(biāo)函數(shù)），得到與所述不同模態(tài)分別對應(yīng)的 特征映射矩陣；
[0026] 對步驟S3詳細(xì)介紹前，先介紹矩陣運(yùn)算符:對于矩陣Me3Txm，第i行和第j列分別 為mi和是矩陣的第i行和第j列元素。矩陣M的Frobenius范數(shù)為||M:||f= ， 矩陣M的跡為Tr(M)= 2iMi,i。
[0027] 假設(shè)有圖片和文本兩個(gè)特征集，\=[又>;，.._0肢-，\?乂，...乂]￡艫' 其中cU是第i個(gè)模態(tài)的維度，n是訓(xùn)練圖像-文本對的數(shù)目。每一對圖像-文本對{?!具有 相同的隱含內(nèi)容，且屬于相同類別，即硬配對約束，但每個(gè)圖像-文本對的離散標(biāo)簽是未知 的。
[0028] 所述步驟S3包括以下步驟：
[0029]步驟S31，基于所述訓(xùn)練集中不同模態(tài)數(shù)據(jù)的特征向量建立目標(biāo)函數(shù)：
[0032] 其中，a和0為權(quán)重參數(shù)，取值范圍為10-6~1〇2;
[0033] 其中，a，b分別代表兩種模態(tài)，p，q的取值分別為a，b兩種模態(tài)中的一種，UP是p模態(tài) 對應(yīng)的映射矩陣，U PT是矩陣1^的轉(zhuǎn)置，乂1)是口模態(tài)數(shù)據(jù)特征，Uq是q模態(tài)對應(yīng)的映射矩陣，乂 (1是 q模態(tài)數(shù)據(jù)特征，XqT是矩陣Xq的轉(zhuǎn)置，Y是聚類標(biāo)記，V e肢"代表損失項(xiàng)權(quán)重，Vi是向量V的第i 個(gè)元素，k為常量，代表自步學(xué)習(xí)的學(xué)習(xí)率，a和0為權(quán)重參數(shù)，|| ? ||F為求取F-范數(shù)操作，Tr (?)是矩陣的跡，LPq是模態(tài)p和模態(tài)q的拉普拉斯矩陣，c，n分別為矩陣Y的行數(shù)和列數(shù)，Y1;J 是矩陣Y的第i行、第j列的元素。
[0034] 步驟S32,求解所述目標(biāo)函數(shù)(如通過迭代算法)得到與所述不同模態(tài)分別對應(yīng)的 特征映射矩陣：
[0035] 所述步驟S32進(jìn)一步包括以下步驟：
[0036] 步驟S321，使用k均值算法對文本特征聚類以初始化聚類標(biāo)記Y，然后計(jì)算多模態(tài) 圖約束拉普拉斯矩陣L，設(shè)置映射矩陣UP，pG {a，b}的初始值為單位矩陣，設(shè)置最大迭代次 數(shù)N，迭代次數(shù)的初始值為1;
[0037] 使用k均值算法對文本特征聚類以初始化聚類標(biāo)記Y，是指先對文本特征聚類，然 后將文本特征聚類結(jié)果作為聚類標(biāo)記Y的初始值；
[0038] 多模態(tài)圖由兩部分組成：一是不同模態(tài)樣本特征之間的相似性;二是同一模態(tài)內(nèi) 不同樣本特征之間的相似性。前者相似性的計(jì)算是根據(jù)聚類標(biāo)簽 Y得到;后者是通過計(jì)算高 斯核函數(shù)得到。
[0039] 步驟S322,計(jì)算每個(gè)樣本的經(jīng)驗(yàn)損失，將其與閾值k比較，得出損失項(xiàng)權(quán)重Vl;
[0041] 其中乂二II⑴X-&是第i個(gè)樣本的損失函數(shù)。
[0042] 步驟S323,通過求解下式中的線性問題來求得映射矩陣UP: (X/)WrXj +aXpbppXTp +mvp
[0043] ， ^XpWtYt ~aXphpqXl^q
[0044] 其中，Y G {〇，1}為類別標(biāo)簽矩陣，n為特征向量的個(gè)數(shù)，c為模態(tài)類別的個(gè)數(shù)，I為 單位矩陣，V = diag(V)，ve:lT代表損失項(xiàng)的權(quán)重，VT是矩陣V的轉(zhuǎn)置；
[0045] 步驟S324,一列一列地優(yōu)化Y，即優(yōu)化Y的其中一列時(shí)，固定其它所有列，一次學(xué)習(xí) Y 的一列。求解Y的目標(biāo)函數(shù)等價(jià)于： min Tr(\'\l YV^ + oTrCEY' YFr)
[0046] -7-r(GY/)-rr(HY/) ， .c s.i. Y e J0,H'x,;= hV/ e[1?n]. i
[0047] 其中E = U^X"，F(xiàn) = 〇 = 11 = 11；>；^\通過計(jì)算，將上式 轉(zhuǎn)化為： miny'f^YV o + aYF' e + aYE f-g-h) y
[0048] f , st. V e =1
[0049] 其中，u是矩陣V的第i列，V是矩陣V移出第i列后得到的矩陣；e是矩陣E的第i列，E 是矩陣E移出第i列后得到的矩陣;f是矩陣F的第i列，F(xiàn)是矩陣F移出第i列后得到的矩陣;g 是矩陣G的第i列，G是矩陣G移出第i列后得到的矩陣;h是矩陣H的第i列，H是矩陣H移出第i 列后得到的矩陣。以上對y的優(yōu)化使用如下公式解決： i=h(m)
[0050] ， |〇 otherwise
[0051 ] 其中m=2YVTu+aYETe+aYETf-g-h，h(m)返回m中最大值的索引。經(jīng)過2~3內(nèi)部迭代， 可以獲得完整的Y。
[0052]步驟S325，W為多模態(tài)圖的相似性矩陣，通過下式計(jì)算W: \wa wab"
[0053] W = ,， WbH yWb
[0054]其中，y為模態(tài)間的相似性矩陣與同一模態(tài)內(nèi)的局部相似性的權(quán)重參數(shù)，取y = l，Wab = Wba = YTY是模態(tài)間的相似性矩陣，WlPWb為同一模態(tài)內(nèi)的局部相似性，采用高斯核函 數(shù)
渡量局部相似性：
[0055] Wp=\di^，X'p) 〇rX^ , " [() otherwise
[0056]其中Nr( ?)是最鄰近的r個(gè)樣本的集合。
[0057]步驟S326,判斷此時(shí)的迭代次數(shù)是否小于最大迭代次數(shù)N，若是則轉(zhuǎn)向步驟S322繼 續(xù)迭代;若否則停止迭代，得到所述映射矩陣UdPUb。
[0058] 步驟S4,將所述測試集中多模態(tài)數(shù)據(jù)樣本的模態(tài)類別，利用步驟S3得到的特征映 射矩陣映射到同一子空間；
[0059] 步驟S5,將映射到同一子空間后的測試集中同一模態(tài)類別的數(shù)據(jù)作為查詢集，另 一模態(tài)類別的數(shù)據(jù)作為目標(biāo)集；
[0060] 步驟S6,對于所述查詢集中的一個(gè)數(shù)據(jù)樣本，通過度量數(shù)據(jù)間的相似度，得到所述 目標(biāo)集中與查詢集中的一個(gè)數(shù)據(jù)樣本相匹配的數(shù)據(jù)，從而得到跨模態(tài)匹配結(jié)果。
[0061] 本發(fā)明中，所述數(shù)據(jù)之間的相似度可以使用余弦距離來度量，對于余弦距離來說， 距離越近說明這兩個(gè)數(shù)據(jù)越相似。
[0062] 附圖2中，圖片提取SIFT特征后形成相應(yīng)的方框圖，文本提取LDA特征后形成相應(yīng) 的柱狀圖，在圖片提取SIFT特征之后形成的特征空間沢: 7中，方塊代表每個(gè)圖片的SIFT特征 在圖像特征空間下的點(diǎn)，虛線圈表示圈中的這些方塊點(diǎn)屬于同一個(gè)聚類標(biāo)記。文本提取LDA 特征之后的文本特征空間中，虛線圈中的圓圈代表每個(gè)文本的LDA特征在特征空間下的 點(diǎn)。虛線圈是表示圈中的這些點(diǎn)屬于同一個(gè)聚類標(biāo)記，語義組帶箭頭虛線表示指向的圖像 特征空間與文本特征空間中分別屬于同一個(gè)聚類標(biāo)記的對應(yīng)的特征點(diǎn)對應(yīng)具有相同的聚 類標(biāo)簽，配對帶箭頭實(shí)線表示分別屬于同一個(gè)聚類標(biāo)記的對應(yīng)形成的圖像-文本數(shù)據(jù)對，在 圖片特征空間和文本特征空間投影后的公共子間貨€中，通過自步學(xué)習(xí)選出來訓(xùn)練的樣本 對，形成自步學(xué)習(xí)對。
[0063] 為了驗(yàn)證本發(fā)明方法的有效性，接下來將本發(fā)明方法應(yīng)用于Wiki多模態(tài)數(shù)據(jù)庫。 該數(shù)據(jù)庫中包含10個(gè)語義范疇的多模態(tài)數(shù)據(jù)，包括2866對相同語義信息的文本和圖像，隨 機(jī)選取其中1300對文本和圖像樣本作為訓(xùn)練集，選取其中1566對文本和圖像樣本作為測試 集，應(yīng)用本發(fā)明方法的步驟如下:參見圖2所示；
[0064] 1)對于所述數(shù)據(jù)庫中的數(shù)據(jù)，根據(jù)模態(tài)類別的不同提取不同的特征向量:對于文 本模態(tài)提取10維LDA語義特征，對于圖像模態(tài)提取128維SIFT特征；
[0065] 2)將所述訓(xùn)練集中文本模態(tài)特征矩陣和圖像模態(tài)特征矩陣，構(gòu)造目標(biāo)函數(shù)，通過 最小化目標(biāo)函數(shù)學(xué)習(xí)得到文本和圖像對應(yīng)的兩個(gè)映射矩陣，所述映射矩陣的學(xué)習(xí)過程通過 迭代過程實(shí)現(xiàn)；
[0066] 3)根據(jù)所述模態(tài)類別的不同，將測試集中的文本數(shù)據(jù)的特征向量和圖像數(shù)據(jù)的特 征向量通過學(xué)習(xí)得到的映射矩陣映射到同一子空間中；
[0067] 4)將測試集中的文本數(shù)據(jù)作為查詢集，圖像數(shù)據(jù)作為目標(biāo)集，在查詢集中給定一 個(gè)文本文檔，能夠得到目標(biāo)集中和文本文檔最相似(即余弦距離最近)的圖像。
[0068] 綜上，本發(fā)明提出的基于子空間的自步跨模態(tài)匹配方法，能有效地跨越了不同模 態(tài)數(shù)據(jù)之間的語義鴻溝，與傳統(tǒng)跨模態(tài)方法比較，易于實(shí)現(xiàn)、性能穩(wěn)定，識(shí)別準(zhǔn)確率高。另 外，本方法用自步學(xué)習(xí)框架，即按簡單到復(fù)雜的順序選擇樣本進(jìn)行學(xué)習(xí)（簡單和復(fù)雜的定義 根據(jù)每個(gè)樣本的經(jīng)驗(yàn)損失確定），避免目標(biāo)函數(shù)陷入局部極小值，提高聚類精度；同時(shí)使用 多模態(tài)圖約束，保持?jǐn)?shù)據(jù)映射前后結(jié)構(gòu)的相似性，挖掘出一個(gè)判別的隱空間，從而實(shí)現(xiàn)跨模 態(tài)匹配。
[0069] 以上所述的具體實(shí)施例，對本發(fā)明的目的、技術(shù)方案和有益效果進(jìn)行了進(jìn)一步詳 細(xì)說明，所應(yīng)理解的是，以上所述僅為本發(fā)明的具體實(shí)施例而已，并不用于限制本發(fā)明，凡 在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保 護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1. 一種基于子空間的自步跨模態(tài)匹配方法，其特征在于，包括步驟： Sl，收集不同模態(tài)的數(shù)據(jù)樣本建立跨模態(tài)數(shù)據(jù)庫，并將所述跨模態(tài)數(shù)據(jù)庫分為訓(xùn)練集 和測試集； S2，提取所述跨模態(tài)數(shù)據(jù)庫中不同模態(tài)數(shù)據(jù)樣本的特征向量； 53, 基于所述訓(xùn)練集中不同模態(tài)數(shù)據(jù)的特征向量建立目標(biāo)函數(shù)并求解目標(biāo)函數(shù)，得到 與所述不同模態(tài)分別對應(yīng)的映射矩陣； 54, 利用所述映射矩陣將所述測試集中數(shù)據(jù)樣本的模態(tài)類別映射到同一空間； 55, 將映射到同一空間的測試集中同一模態(tài)類別的數(shù)據(jù)作為查詢集，另一模態(tài)類別的 數(shù)據(jù)作為目標(biāo)集； S6，通過度量數(shù)據(jù)間的相似度在所述目標(biāo)集中查詢與所述查詢集中的一個(gè)數(shù)據(jù)樣本相 匹配的數(shù)據(jù)，從而得到跨模態(tài)匹配的結(jié)果。2. 根據(jù)權(quán)利要求1所述方法，其特征在于，所述不同模態(tài)為雙模態(tài)。3. 根據(jù)權(quán)利要求2所述方法，其特征在于，所述雙模態(tài)為文本和圖像。4. 根據(jù)權(quán)利要求3所述方法，其特征在于，對于文本模態(tài)數(shù)據(jù)樣本提取隱狄雷克雷分布 特征向量;對于圖像多媒體數(shù)據(jù)樣本提取尺度不變特征變換特征向量。5. 根據(jù)權(quán)利要求1所述方法，其特征在于，步驟S3包括以下步驟： S31，基于所述訓(xùn)練集中不同模態(tài)數(shù)據(jù)的特征向量建立目標(biāo)函數(shù)； S32,使用迭代算法求解所述目標(biāo)函數(shù)，得到與所述不同模態(tài)分別對應(yīng)的映射矩陣； 所述目標(biāo)函數(shù)為：其中，a，b分別代表兩種模態(tài)，p，q的取值分別為a，b兩種模態(tài)中的一種，Up是p模態(tài)對應(yīng) 的映射矩陣，UPT是矩陣UW轉(zhuǎn)置，Xt^p模態(tài)數(shù)據(jù)特征，Uq是q模態(tài)對應(yīng)的映射矩陣，X t^q模 態(tài)數(shù)據(jù)特征，XqT是矩陣Xq的轉(zhuǎn)置，Y是聚類標(biāo)記，veir代表損失項(xiàng)權(quán)重，V 1是向量V的第i個(gè) 元素，k為常量，代表自步學(xué)習(xí)的學(xué)習(xí)率，α和β為權(quán)重參數(shù)，I I · I |F為求取F-范數(shù)操作，Tr (·)是矩陣的跡，Lpq是模態(tài)p和模態(tài)q的拉普拉斯矩陣，c，n分別為矩陣Y的行數(shù)和列數(shù)，Y1,j 是矩陣Y的第i行、第j列的元素。6. 根據(jù)權(quán)利要求7所述方法，其特征在于，步驟S32包括步驟： S321，使用k均值算法對文本特征聚類以初始化聚類標(biāo)記Y，然后創(chuàng)建多模態(tài)圖，多模態(tài) 圖是由不同模態(tài)數(shù)據(jù)特征之間的語義聚類標(biāo)記和同一模態(tài)中數(shù)據(jù)特征之間的相似性構(gòu)建； 再計(jì)算多模態(tài)圖約束拉普拉斯矩陣L，設(shè)置映射矩陣U P，pe {a，b}初始值都為單位矩陣，設(shè) 置最大迭代次數(shù)N，迭代次數(shù)的初始值為1; S322,計(jì)算每個(gè)樣本的經(jīng)驗(yàn)損失并與閾值k比較，得出每個(gè)樣本的損失項(xiàng)權(quán)重Vi;其中，A = ||(liyp-yK是第i個(gè)樣本的損失函數(shù)； 5323, 通過求解下式中的線性問題求得映射矩陣Up:其中，Ye {〇，?ΓΧη為類別標(biāo)簽矩陣，n為特征向量的個(gè)數(shù)，c為模態(tài)類別的個(gè)數(shù)，I為單位 矩陣，V = diag(v)，VeEn代表損失項(xiàng)的權(quán)重，Vt是矩陣V的轉(zhuǎn)置； 5324, 一列一列地優(yōu)化聚類標(biāo)記Y，即優(yōu)化聚類標(biāo)記Y其中一列時(shí)，固定其它所有列，一 次學(xué)習(xí) Y的一列，求解Y的目標(biāo)函數(shù)等價(jià)于：其中F=IJfxs, G = I^xaW1'，通過計(jì)算，將上式轉(zhuǎn)化 為：其中，U是矩陣V的第i列，V是矩陣V移除第i列后得到的矩陣;e是矩陣E的第i列，E是矩 陣E移除第i列后得到的矩陣;f是矩陣F的第i列，F(xiàn)是矩陣F移除第i列后得到的矩陣;g是矩 陣G的第i列，G是矩陣G移除第i列后得到的矩陣;h是矩陣H的第i列，H是矩陣H移除第i列后 得到的矩陣，以上對y的優(yōu)化使用如下公式解決：其中m = 2YVTu+aYETe+aYETf-g-h，h(m)返回m中最大值的索引，經(jīng)過2~3內(nèi)部迭代，可以 獲得完整的Y; S325，W為多模態(tài)圖的相似性矩陣，通過下式計(jì)算W:其中，γ為模態(tài)間的相似性矩陣與同一模態(tài)內(nèi)的局部相似性的權(quán)重參數(shù)，取γ =i，wab =wba=YTY是模態(tài)間的相似性矩陣，w，wb為同一模態(tài)內(nèi)的局部相似性，采用高斯核函數(shù)量局部相似性：其中Nr( ·)是最鄰近的r個(gè)樣本的集合； S326，判斷此時(shí)的迭代次數(shù)是否小于最大迭代次數(shù)N，若是則轉(zhuǎn)向S322繼續(xù)迭代;若否 則停止迭代，得到所述映射矩陣UjPUb。7.根據(jù)權(quán)利要求1所述方法，其特征在于，度量數(shù)據(jù)樣本之間的相似度使用余弦距離來 度量。
【文檔編號】G06K9/62GK105930873SQ201610274436
【公開日】2016年9月7日
【申請日】2016年4月27日
【發(fā)明人】赫然, 孫哲南, 李志航, 梁堅(jiān), 曹冬
【申請人】天津中科智能識(shí)別產(chǎn)業(yè)技術(shù)研究院有限公司