本公開涉及互聯(lián)網(wǎng)和自然語言處理領(lǐng)域，更具體地，涉及一種用于利用圖像的標(biāo)簽信息自動地將圖像鏈接到語義知識庫的圖像鏈接方法和圖像鏈接設(shè)備。

背景技術(shù)：

語義網(wǎng)絡(luò)是一種使用可以被計(jì)算機(jī)理解的方式描述事物的網(wǎng)絡(luò)，由節(jié)點(diǎn)和弧組成。其中，文本、圖像、音頻以及視頻都能成為語義網(wǎng)絡(luò)中的不同類型節(jié)點(diǎn)，而連接這些節(jié)點(diǎn)的弧則代表著這些節(jié)點(diǎn)之間的語義關(guān)系。

目前，如何將各種類型的內(nèi)容自動添加到語義網(wǎng)絡(luò)中，已經(jīng)成為擴(kuò)大語義網(wǎng)絡(luò)規(guī)模的關(guān)鍵技術(shù)點(diǎn)。以中文文本類型的內(nèi)容為例，由于中文包含常用文字僅為幾千個(gè)，即使是由這些字組成的常用詞語也不過幾萬或者幾十萬的量級，因此對文本內(nèi)容的理解、處理和自動添加到語義網(wǎng)絡(luò)的過程相對容易，能夠利用的文本處理工具也較多。然而，針對圖像類型的數(shù)據(jù)內(nèi)容，由于圖像本身包含的視覺信息千差萬別，僅僅針對一種物體，就可能由于拍攝角度、光線強(qiáng)度或者其他各種因素而產(chǎn)生非常多不同的圖像，因此自動理解圖像中的內(nèi)容并且實(shí)現(xiàn)自動化的圖像語義化過程，是非常困難的。目前，將圖像鏈接到語義知識庫中的本體或者資源的過程，基本是由人工來手動完成的，而與圖像鏈接的本體或者資源則包括圖像的拍攝地點(diǎn)、圖像內(nèi)的景點(diǎn)、人物以及對圖像內(nèi)容的其他類型描述。

曾有工作嘗試實(shí)現(xiàn)自動的圖像標(biāo)注過程，其嘗試?yán)镁W(wǎng)頁中的文本內(nèi)容，將網(wǎng)頁中的圖片進(jìn)行自動的語義標(biāo)注。然而，由于網(wǎng)頁文本內(nèi)容的復(fù)雜性，使得定位與圖片有實(shí)際關(guān)聯(lián)的文本片段非常困難，有的時(shí)候甚至?xí)霈F(xiàn)圖片與網(wǎng)頁中所有文本均無語義關(guān)聯(lián)的情況發(fā)生。因此，上述方法中使用的數(shù)據(jù)包含了很多噪音，使得最終的圖片標(biāo)注結(jié)果不理想。

隨著web2.0技術(shù)的發(fā)展，以flickr等為代表的在線圖像標(biāo)注系統(tǒng)網(wǎng)站日益流行。在線圖像標(biāo)注系統(tǒng)中的圖像對應(yīng)了大量的人工標(biāo)注的標(biāo)簽，這些標(biāo)簽是上傳圖像的用戶為了讓別人更容易的搜索到自己上傳的圖 像而對圖像的拍攝地點(diǎn)、圖像內(nèi)的景點(diǎn)、人物等等方面進(jìn)行描述。這些人工標(biāo)注的標(biāo)簽質(zhì)量好、準(zhǔn)確度高，因此，如果利用這些圖像的標(biāo)簽信息來將圖像鏈接到語義知識庫中，則能夠更有效地實(shí)現(xiàn)基于語義的圖像檢索以及圖像與其他實(shí)體之間的關(guān)聯(lián)關(guān)系檢測。

技術(shù)實(shí)現(xiàn)要素：

在下文中給出了關(guān)于本公開的簡要概述，以便提供關(guān)于本公開的某些方面的基本理解。但是，應(yīng)當(dāng)理解，這個(gè)概述并不是關(guān)于本公開的窮舉性概述。它并不是意圖用來確定本公開的關(guān)鍵性部分或重要部分，也不是意圖用來限定本公開的范圍。其目的僅僅是以簡化的形式給出關(guān)于本公開的某些概念，以此作為稍后給出的更詳細(xì)描述的前序。

鑒于以上問題，本公開的目的是提供一種圖像鏈接方法和圖像鏈接設(shè)備，其能夠利用圖像的標(biāo)簽信息自動地將圖像鏈接到語義知識庫，從而更有效地實(shí)現(xiàn)基于語義的圖像檢索以及圖像與其他實(shí)體之間的關(guān)聯(lián)關(guān)系檢測。

根據(jù)本公開的一方面，提供了一種用于將圖像鏈接到語義知識庫的圖像鏈接方法，包括：查找無歧義標(biāo)簽步驟，可以用于在圖像的標(biāo)簽中，查找與語義知識庫中的本體存在無歧義關(guān)聯(lián)的一個(gè)或多個(gè)無歧義標(biāo)簽；查找近似標(biāo)簽步驟，可以用于針對一個(gè)或多個(gè)無歧義標(biāo)簽中的每個(gè)無歧義標(biāo)簽，在圖像的標(biāo)簽中，查找與該無歧義標(biāo)簽相似性高的一個(gè)或多個(gè)近似標(biāo)簽，并且計(jì)算該無歧義標(biāo)簽與一個(gè)或多個(gè)近似標(biāo)簽中的每個(gè)近似標(biāo)簽之間的語義相似度；計(jì)算關(guān)聯(lián)值步驟，可以用于基于一個(gè)或多個(gè)無歧義標(biāo)簽與本體的無歧義關(guān)聯(lián)關(guān)系和語義相似度，計(jì)算圖像與本體的關(guān)聯(lián)值；判定步驟，如果圖像與本體的關(guān)聯(lián)值大于或等于第一閾值，則可以將該本體判定為存在真實(shí)關(guān)聯(lián)的本體；以及關(guān)聯(lián)步驟，基于語義知識庫中已有的包含存在真實(shí)關(guān)聯(lián)的本體的語義關(guān)系組，可以判斷是否將圖像關(guān)聯(lián)到存在真實(shí)關(guān)聯(lián)的本體，并且可以根據(jù)判斷結(jié)果來執(zhí)行關(guān)聯(lián)操作。

根據(jù)本公開的另一方面，還提供了一種用于將圖像鏈接到語義知識庫的圖像鏈接設(shè)備，包括：查找無歧義標(biāo)簽單元，可以被配置成在圖像的標(biāo)簽中，查找與語義知識庫中的本體存在無歧義關(guān)聯(lián)的一個(gè)或多個(gè)無歧義標(biāo)簽；查找近似標(biāo)簽單元，可以被配置成針對一個(gè)或多個(gè)無歧義標(biāo)簽中的每個(gè)無歧義標(biāo)簽，在圖像的標(biāo)簽中，查找與該無歧義標(biāo)簽相似性高的一個(gè)或 多個(gè)近似標(biāo)簽，并且計(jì)算該無歧義標(biāo)簽與一個(gè)或多個(gè)近似標(biāo)簽中的每個(gè)近似標(biāo)簽之間的語義相似度；計(jì)算關(guān)聯(lián)值單元，可以被配置成基于一個(gè)或多個(gè)無歧義標(biāo)簽與本體的無歧義關(guān)聯(lián)關(guān)系和語義相似度，計(jì)算圖像與本體的關(guān)聯(lián)值；判定單元，可以被配置成如果圖像與本體的關(guān)聯(lián)值大于或等于第一閾值，則將該本體判定為存在真實(shí)關(guān)聯(lián)的本體；以及關(guān)聯(lián)單元，可以被配置成基于語義知識庫中已有的包含存在真實(shí)關(guān)聯(lián)的本體的語義關(guān)系組，判斷是否將圖像關(guān)聯(lián)到存在真實(shí)關(guān)聯(lián)的本體，并且根據(jù)判斷結(jié)果來執(zhí)行關(guān)聯(lián)操作。

根據(jù)本公開的其它方面，還提供了用于實(shí)現(xiàn)上述根據(jù)本公開的方法的計(jì)算機(jī)程序代碼和計(jì)算機(jī)程序產(chǎn)品以及其上記錄有該用于實(shí)現(xiàn)上述根據(jù)本公開的方法的計(jì)算機(jī)程序代碼的計(jì)算機(jī)可讀存儲介質(zhì)。

在下面的說明書部分中給出本公開實(shí)施例的其它方面，其中，詳細(xì)說明用于充分地公開本公開實(shí)施例的優(yōu)選實(shí)施例，而不對其施加限定。

附圖說明

本公開可以通過參考下文中結(jié)合附圖所給出的詳細(xì)描述而得到更好的理解，其中在所有附圖中使用了相同或相似的附圖標(biāo)記來表示相同或者相似的部件。所述附圖連同下面的詳細(xì)說明一起包含在本說明書中并形成說明書的一部分，用來進(jìn)一步舉例說明本公開的優(yōu)選實(shí)施例和解釋本公開的原理和優(yōu)點(diǎn)。其中：

圖1是示出根據(jù)本公開的實(shí)施例的圖像鏈接方法的流程示例的流程圖；

圖2是示出圖像-標(biāo)簽之間的關(guān)聯(lián)關(guān)系的圖；

圖3是示出圖像-主題-標(biāo)簽三者之間的關(guān)聯(lián)關(guān)系的圖；

圖4是示出根據(jù)本公開的實(shí)施例的圖像鏈接設(shè)備的功能配置示例的框圖；以及

圖5是示出作為本公開的實(shí)施例中可采用的信息處理設(shè)備的個(gè)人計(jì)算機(jī)的示例結(jié)構(gòu)的框圖。

具體實(shí)施方式

在下文中將結(jié)合附圖對本公開的示范性實(shí)施例進(jìn)行描述。為了清楚和簡明起見，在說明書中并未描述實(shí)際實(shí)施方式的所有特征。然而，應(yīng)該了解，在開發(fā)任何這種實(shí)際實(shí)施例的過程中必須做出很多特定于實(shí)施方式的決定，以便實(shí)現(xiàn)開發(fā)人員的具體目標(biāo)，例如，符合與系統(tǒng)及業(yè)務(wù)相關(guān)的那些限制條件，并且這些限制條件可能會隨著實(shí)施方式的不同而有所改變。此外，還應(yīng)該了解，雖然開發(fā)工作有可能是非常復(fù)雜和費(fèi)時(shí)的，但對得益于本公開內(nèi)容的本領(lǐng)域技術(shù)人員來說，這種開發(fā)工作僅僅是例行的任務(wù)。

在此，還需要說明的一點(diǎn)是，為了避免因不必要的細(xì)節(jié)而模糊了本公開，在附圖中僅僅示出了與根據(jù)本公開的方案密切相關(guān)的設(shè)備結(jié)構(gòu)和/或處理步驟，而省略了與本公開關(guān)系不大的其它細(xì)節(jié)。

下面結(jié)合附圖詳細(xì)說明根據(jù)本公開的實(shí)施例。

首先，將參照圖1描述根據(jù)本公開的實(shí)施例的圖像鏈接方法的流程示例。圖1是示出根據(jù)本公開的實(shí)施例的圖像鏈接方法的流程示例的流程圖。如圖1所示，根據(jù)本公開的實(shí)施例的圖像鏈接方法可包括查找無歧義標(biāo)簽步驟s102、查找近似標(biāo)簽步驟s104、計(jì)算關(guān)聯(lián)值步驟s106、判定步驟s108以及關(guān)聯(lián)步驟s110。

首先，在查找無歧義標(biāo)簽步驟s102中，可以在圖像的標(biāo)簽中，查找與語義知識庫中的本體存在無歧義關(guān)聯(lián)的一個(gè)或多個(gè)無歧義標(biāo)簽。

在本公開中，例示而非限制，語義知識庫為dbpedia。另外，語義知識庫還可以是schema。我們將無歧義標(biāo)簽定義為能夠在dbpedia或者schema等語義庫中匹配到唯一對應(yīng)的已經(jīng)定義好的本體或者資源的標(biāo)簽。舉例來說，假設(shè)圖像包含一個(gè)標(biāo)簽為“asus”，我們首先在dbpedia中搜索與華碩匹配的本體定義，若發(fā)現(xiàn)該標(biāo)簽?zāi)軌驘o歧義地與本體“http://dbpedia.org/resource/asus”進(jìn)行關(guān)聯(lián)，則將該標(biāo)簽定義為無歧義標(biāo)簽。以此類推，可以在該圖像的標(biāo)簽中查找到與本體“http://dbpedia.org/resource/asus”存在無歧義關(guān)聯(lián)的全部無歧義標(biāo)簽。換言之，查找無歧義標(biāo)簽相當(dāng)于把無歧義標(biāo)簽鏈接到語義知識庫，即將無歧義標(biāo)簽與語義知識庫中的本體或資源進(jìn)行鏈接。

在查找近似標(biāo)簽步驟s104中，可以針對一個(gè)或多個(gè)無歧義標(biāo)簽中的每個(gè)無歧義標(biāo)簽，在圖像的標(biāo)簽中，查找與該無歧義標(biāo)簽相似性高的一個(gè)或多個(gè)近似標(biāo)簽，并且計(jì)算該無歧義標(biāo)簽與一個(gè)或多個(gè)近似標(biāo)簽中的每個(gè)近似標(biāo)簽之間的語義相似度。

我們將與無歧義標(biāo)簽相似性高的標(biāo)簽定義為近似標(biāo)簽。在查找近似標(biāo)簽步驟s104中，可以查找每個(gè)無歧義標(biāo)簽的一個(gè)或多個(gè)近似標(biāo)簽，并且計(jì)算該無歧義標(biāo)簽與每個(gè)近似標(biāo)簽之間的語義相似度。

優(yōu)選地，在查找近似標(biāo)簽步驟s104中，可以利用主題模型來發(fā)現(xiàn)圖像的標(biāo)簽的主題信息并且形成圖像的標(biāo)簽與主題之間的轉(zhuǎn)換關(guān)系，從而將圖像的標(biāo)簽表示成主題向量。

具體地，在在線圖像標(biāo)注系統(tǒng)中，每個(gè)圖像的標(biāo)簽個(gè)數(shù)從幾個(gè)到幾百個(gè)，因?yàn)楸竟_在后面階段需要利用標(biāo)簽之間的語義相似度進(jìn)行標(biāo)簽鏈接的擴(kuò)充，因此在查找近似標(biāo)簽步驟s104中，我們利用lda(latentdirichletallocation，潛在狄利克雷分配)主題模型來發(fā)現(xiàn)標(biāo)簽的主題信息，用以將標(biāo)簽表示成主題向量并能夠很方便地計(jì)算標(biāo)簽之間的主題向量相似性，亦即是標(biāo)簽之間的語義相似度。另外，lsa(latentsemanticanalysis，潛在語義分析)模型以及plsa(probabilisticlatentsemanticanalysis，概率潛在語義分析)模型亦可以實(shí)現(xiàn)該過程。由于lda模型為領(lǐng)域內(nèi)常用模型，該處不再進(jìn)行詳細(xì)介紹，只結(jié)合本公開實(shí)現(xiàn)過程進(jìn)行直觀解釋。我們首先對大量的圖像標(biāo)簽進(jìn)行收集，并將這些標(biāo)簽去重后形成一個(gè)標(biāo)簽向量空間，將每幅圖像表示成標(biāo)簽向量之后，利用lda模型發(fā)現(xiàn)隱含主題，并形成標(biāo)簽與主題之間的轉(zhuǎn)換關(guān)系。此處，標(biāo)簽向量的維度約為幾萬維，并且其中的數(shù)據(jù)比較稀疏，而主題數(shù)目通常會根據(jù)經(jīng)驗(yàn)設(shè)定為幾十到幾百。因此，利用主題模型，每個(gè)標(biāo)簽?zāi)軌虮硎境梢粋€(gè)幾十或幾百維的主題向量，方便之后計(jì)算標(biāo)簽之間的語義相似性。

圖2是示出圖像-標(biāo)簽之間的關(guān)聯(lián)關(guān)系的圖。根據(jù)圖2可知，對于m(例如，m為數(shù)萬的量級)個(gè)圖像，每個(gè)標(biāo)簽(標(biāo)簽的總數(shù)量為n)的標(biāo)簽向量為m維。

在查找近似標(biāo)簽步驟s104中，利用“圖像-標(biāo)簽”關(guān)系矩陣訓(xùn)練主題模型，基于標(biāo)簽之間的語義相似性進(jìn)一步增加鏈接到語義知識庫的標(biāo)簽范圍。主題模型訓(xùn)練是指將“圖像-標(biāo)簽”關(guān)系通過對其中包含的隱含主題進(jìn)行發(fā)現(xiàn)從而得到“圖像-主題-標(biāo)簽”關(guān)系，進(jìn)而能夠?qū)⒚總€(gè)標(biāo)簽表示成一個(gè)主題向量。

圖3是示出圖像-主題-標(biāo)簽三者之間的關(guān)聯(lián)關(guān)系的圖。關(guān)聯(lián)主題發(fā)現(xiàn)的過程，就是如圖2到圖3的轉(zhuǎn)變過程。根據(jù)圖3可知，圖像的數(shù)量為m(例如，m為數(shù)萬的量級)，而對于k(k為幾十或幾百的量級)個(gè)主題，每個(gè)標(biāo)簽(標(biāo)簽的總數(shù)量為n)能夠表示成k維的主題向量。由于標(biāo)簽 的主題向量的維度較低，因此方便計(jì)算標(biāo)簽之間的語義相似度。

優(yōu)選地，在查找近似標(biāo)簽步驟s104中，可以基于主題向量和圖像的標(biāo)簽之間的包含關(guān)系和/或編輯距離，查找一個(gè)或多個(gè)近似標(biāo)簽。

如上所述，可以得到每一個(gè)標(biāo)簽的幾十或者幾百維的主題向量。此處的主題向量維度應(yīng)根據(jù)具體的‘圖像-標(biāo)簽’數(shù)據(jù)規(guī)模，由本領(lǐng)域技術(shù)人員根據(jù)經(jīng)驗(yàn)進(jìn)行設(shè)定，通常的維度設(shè)定范圍在幾十到幾百之間。本公開利用兩個(gè)標(biāo)簽的主題向量另外輔以兩個(gè)標(biāo)簽的包含關(guān)系和/或編輯距離來查找近似標(biāo)簽。

優(yōu)選地，對于一個(gè)或多個(gè)無歧義標(biāo)簽中的一個(gè)無歧義標(biāo)簽，判定如下標(biāo)簽為所述一個(gè)無歧義標(biāo)簽的近似標(biāo)簽：該標(biāo)簽與所述一個(gè)無歧義標(biāo)簽存在包含關(guān)系，并且該標(biāo)簽的主題向量與所述一個(gè)無歧義標(biāo)簽的主題向量之間的余弦相似度大于或等于第三閾值。

具體地，如果一個(gè)無歧義標(biāo)簽與另一標(biāo)簽存在包含關(guān)系(例如標(biāo)簽“birds”和“bird”之間存在包含關(guān)系、標(biāo)簽“grandfather”和“father”之間存在包含關(guān)系)，并且這兩個(gè)標(biāo)簽的主題向量之間的余弦相似度大于或等于閾值α(α為0到1之間的實(shí)數(shù))，則判定所述另一標(biāo)簽為所述一個(gè)無歧義標(biāo)簽的近似標(biāo)簽。

優(yōu)選地，對于一個(gè)或多個(gè)無歧義標(biāo)簽中的一個(gè)無歧義標(biāo)簽，判定如下標(biāo)簽為所述一個(gè)無歧義標(biāo)簽的近似標(biāo)簽：該標(biāo)簽與所述一個(gè)無歧義標(biāo)簽之間的編輯距離小于或等于第四閾值，并且該標(biāo)簽的主題向量與所述一個(gè)無歧義標(biāo)簽的主題向量之間的余弦相似度大于或等于第五閾值。

具體地，如果一個(gè)無歧義標(biāo)簽與另一標(biāo)簽的編輯距離小于等于閾值β(β為大于或等于1的整數(shù))(例如標(biāo)簽“fish”和“fsih”之間的編輯距離較小)，并且這兩個(gè)標(biāo)簽的主題向量之間的余弦相似度大于或等于α(α為0到1之間的實(shí)數(shù))，則判定所述另一標(biāo)簽為所述一個(gè)無歧義標(biāo)簽的近似標(biāo)簽。

優(yōu)選地，還可以基于近義詞典來判定兩個(gè)標(biāo)簽之間是否為近似標(biāo)簽的關(guān)系。

如果所述另一標(biāo)簽為所述一個(gè)無歧義標(biāo)簽的近似標(biāo)簽，并且其中所述一個(gè)無歧義標(biāo)簽已經(jīng)存在與語義知識庫中本體的無歧義關(guān)聯(lián)，則可以認(rèn)為所述另一個(gè)標(biāo)簽存在到語義知識庫中同一本體的間接關(guān)聯(lián)。需要注意的是，本公開并沒有把與無歧義標(biāo)簽相似性較高的近似標(biāo)簽真的鏈接到了語 義知識庫中，而是為了在計(jì)算關(guān)聯(lián)值步驟s106中，增加將圖像鏈接到語義知識庫的可能性。

優(yōu)選地，基于主題向量而計(jì)算一個(gè)或多個(gè)無歧義標(biāo)簽中的每個(gè)無歧義標(biāo)簽與一個(gè)或多個(gè)近似標(biāo)簽中的每個(gè)近似標(biāo)簽之間的語義相似度。

具體地，本公開利用兩個(gè)標(biāo)簽的主題向量之間的余弦相似度來衡量這兩個(gè)標(biāo)簽的語義相似度。

如上所述，在查找近似標(biāo)簽步驟s104中，利用“圖像-標(biāo)簽”關(guān)系矩陣訓(xùn)練主題模型，并且基于標(biāo)簽之間的語義相似度進(jìn)一步增加鏈接到語義知識庫的標(biāo)簽范圍。即，通過計(jì)算那些尚未關(guān)聯(lián)到語義知識庫的標(biāo)簽與那些已經(jīng)關(guān)聯(lián)到語義知識庫的無歧義標(biāo)簽之間的語義相似度，進(jìn)而將標(biāo)簽更大范圍地關(guān)聯(lián)到語義知識庫。

在計(jì)算關(guān)聯(lián)值步驟s106中，可以基于一個(gè)或多個(gè)無歧義標(biāo)簽與本體的無歧義關(guān)聯(lián)關(guān)系和語義相似度，計(jì)算圖像與本體的關(guān)聯(lián)值。

優(yōu)選地，在計(jì)算關(guān)聯(lián)值步驟s106中，針對一個(gè)或多個(gè)無歧義標(biāo)簽中的每個(gè)無歧義標(biāo)簽進(jìn)行如下增加關(guān)聯(lián)值的處理：基于該無歧義標(biāo)簽與本體的無歧義關(guān)聯(lián)關(guān)系而將關(guān)聯(lián)值增加一，以及對于該無歧義標(biāo)簽的一個(gè)或多個(gè)近似標(biāo)簽中的每個(gè)近似標(biāo)簽，將關(guān)聯(lián)值增加該無歧義標(biāo)簽與該近似標(biāo)簽之間的語義相似度。

具體地，將圖像的所有標(biāo)簽出現(xiàn)的與語義知識庫的直接或者間接關(guān)聯(lián)，均作為對圖像與本體關(guān)聯(lián)的依據(jù)。對于能夠直接關(guān)聯(lián)到本體的無歧義標(biāo)簽的情況，將圖像與該本體之間的關(guān)聯(lián)值增加1；對于能夠間接關(guān)聯(lián)到該本體的近似標(biāo)簽的情況，將圖像與該本體之間的關(guān)聯(lián)值增加“該近似標(biāo)簽與其對應(yīng)的無歧義標(biāo)簽之間的語義相似度”。

在判定步驟s108中，如果圖像與本體的關(guān)聯(lián)值大于或等于第一閾值，則將該本體判定為存在真實(shí)關(guān)聯(lián)的本體。

具體地，如果圖像與本體之間的關(guān)聯(lián)值大于或等于閾值γ(γ為大于或等于1的實(shí)數(shù))，則將其判定為與圖像存在真實(shí)關(guān)聯(lián)的本體。

在關(guān)聯(lián)步驟s110中，基于語義知識庫中已有的包含存在真實(shí)關(guān)聯(lián)的本體的語義關(guān)系組，判斷是否將圖像關(guān)聯(lián)到存在真實(shí)關(guān)聯(lián)的本體，并且根據(jù)判斷結(jié)果來執(zhí)行關(guān)聯(lián)操作。

由于在將圖像鏈接到語義知識庫中本體的過程中，需要定義圖像與本 體之間的關(guān)聯(lián)類型，因此，并不是每個(gè)判定與圖像存在真實(shí)關(guān)聯(lián)的本體最后都能直接建立它們之間的關(guān)聯(lián)。對于這些本體，本公開基于語義知識庫中已有的語義關(guān)系三元組來判斷是否將圖像關(guān)聯(lián)到存在真實(shí)關(guān)聯(lián)的本體。若判斷將圖像關(guān)聯(lián)到存在真實(shí)關(guān)聯(lián)的本體，則執(zhí)行圖像和存在真實(shí)關(guān)聯(lián)的本體之間的關(guān)聯(lián)操作。

優(yōu)選地，在關(guān)聯(lián)步驟s110中，如果在以存在真實(shí)關(guān)聯(lián)的本體作為賓語的語義關(guān)系組中謂語相同的組的數(shù)量與以該存在真實(shí)關(guān)聯(lián)的本體作為賓語的語義關(guān)系組的總數(shù)量的比值大于或等于第二閾值，則將圖像關(guān)聯(lián)到該本體。

具體地，本公開在已有的語義關(guān)系三元組中對以存在真實(shí)關(guān)聯(lián)的本體作為賓語的情況進(jìn)行統(tǒng)計(jì)，如果謂語相同的組的數(shù)量與以該存在真實(shí)關(guān)聯(lián)的本體作為賓語的語義關(guān)系組的總數(shù)量的比值大于或等于第二閾值，則將圖像關(guān)聯(lián)到該本體，否則不予建立關(guān)聯(lián)。

優(yōu)選地，第二閾值可以由本領(lǐng)域技術(shù)人員根據(jù)經(jīng)驗(yàn)或?qū)嶒?yàn)確定。例示而非限制，第二閾值可以為0.9到1之間的實(shí)數(shù)。第二閾值選取得越大，則越能保證圖像與本體之間所建立的鏈接的準(zhǔn)確性。

優(yōu)選地，對于該圖像，可以基于所述謂語形成以存在真實(shí)關(guān)聯(lián)的本體作為賓語的語義關(guān)系組。

下面以第二閾值為1、即以該存在真實(shí)關(guān)聯(lián)的本體作為賓語的語義關(guān)系組中的謂語均相同的情況為例，描述建立圖像與該本體之間的關(guān)聯(lián)。

例如，假設(shè)在判定步驟s108中判定<http://dbpedia.org/ontology/casino>為與圖像存在真實(shí)關(guān)聯(lián)的本體，如果在語義知識庫中已有的所有以本體<http://dbpedia.org/ontology/casino>為賓語的三元組中，謂語均相同(假設(shè)謂語均為<http://schema.org/location>)，則對于該圖像，以謂語<http://schema.org/location>形成以本體<http://dbpedia.org/ontology/casino>作為賓語的語義三元組，即將該圖像與本體<http://dbpedia.org/ontology/casino>間的關(guān)系標(biāo)為<http://schema.org/location>。該過程能夠保證建立鏈接的準(zhǔn)確性，從而將圖像有效地鏈接到語義知識庫中。

在以上描述中，介紹了將圖像與一個(gè)本體進(jìn)行關(guān)聯(lián)的操作，可以按上述步驟，類似地將圖像與其他本體進(jìn)行關(guān)聯(lián)。

根據(jù)以上描述可知，根據(jù)本公開的實(shí)施例的圖像鏈接方法利用圖像的標(biāo)簽信息自動地將圖像鏈接到語義知識庫，從而更有效地實(shí)現(xiàn)基于語義的圖像檢索以及圖像與其他實(shí)體之間的關(guān)聯(lián)關(guān)系檢測。

與上述方法實(shí)施例相對應(yīng)地，本公開還提供了以下設(shè)備實(shí)施例。

圖4是示出根據(jù)本公開的實(shí)施例的圖像鏈接設(shè)備400的功能配置示例的框圖。

如圖4所示，根據(jù)本公開的實(shí)施例的圖像鏈接設(shè)備400可以包括查找無歧義標(biāo)簽單元402、查找近似標(biāo)簽單元404、計(jì)算關(guān)聯(lián)值單元406、判定單元408以及關(guān)聯(lián)單元410。接下來將描述各個(gè)單元的功能配置示例。

在查找無歧義標(biāo)簽單元402中，可以在圖像的標(biāo)簽中，查找與語義知識庫中的本體存在無歧義關(guān)聯(lián)的一個(gè)或多個(gè)無歧義標(biāo)簽。查找無歧義標(biāo)簽相當(dāng)于把無歧義標(biāo)簽鏈接到語義知識庫，即將無歧義標(biāo)簽與語義知識庫中的本體或資源進(jìn)行鏈接。

查找無歧義標(biāo)簽的具體方法可參見以上方法實(shí)施例中相應(yīng)位置的描述，在此不再重復(fù)。

在查找近似標(biāo)簽步單元404中，可以針對一個(gè)或多個(gè)無歧義標(biāo)簽中的每個(gè)無歧義標(biāo)簽，在圖像的標(biāo)簽中，查找與該無歧義標(biāo)簽相似性高的一個(gè)或多個(gè)近似標(biāo)簽，并且計(jì)算該無歧義標(biāo)簽與一個(gè)或多個(gè)近似標(biāo)簽中的每個(gè)近似標(biāo)簽之間的語義相似度。

優(yōu)選地，在查找近似標(biāo)簽單元404中，可以利用主題模型來發(fā)現(xiàn)圖像的標(biāo)簽的主題信息并且形成圖像的標(biāo)簽與主題之間的轉(zhuǎn)換關(guān)系，從而將圖像的標(biāo)簽表示成主題向量。

得到主題向量的具體方法可參見以上方法實(shí)施例中相應(yīng)位置的描述，在此不再重復(fù)。

優(yōu)選地，在查找近似標(biāo)簽單元404中，可以基于主題向量和圖像的標(biāo)簽之間的包含關(guān)系和/或編輯距離，查找一個(gè)或多個(gè)近似標(biāo)簽。

本公開利用兩個(gè)標(biāo)簽的主題向量另外輔以兩個(gè)標(biāo)簽的包含關(guān)系和/或編輯距離來查找近似標(biāo)簽。

優(yōu)選地，對于一個(gè)或多個(gè)無歧義標(biāo)簽中的一個(gè)無歧義標(biāo)簽，判定如下標(biāo)簽為所述一個(gè)無歧義標(biāo)簽的近似標(biāo)簽：該標(biāo)簽與所述一個(gè)無歧義標(biāo)簽存在包含關(guān)系，并且該標(biāo)簽的主題向量與所述一個(gè)無歧義標(biāo)簽的主題向量之 間的余弦相似度大于或等于第三閾值。

優(yōu)選地，對于一個(gè)或多個(gè)無歧義標(biāo)簽中的一個(gè)無歧義標(biāo)簽，判定如下標(biāo)簽為所述一個(gè)無歧義標(biāo)簽的近似標(biāo)簽：該標(biāo)簽與所述一個(gè)無歧義標(biāo)簽之間的編輯距離小于或等于第四閾值，并且該標(biāo)簽的主題向量與所述一個(gè)無歧義標(biāo)簽的主題向量之間的余弦相似度大于或等于第五閾值。

判定近似標(biāo)簽的具體方法可參見以上方法實(shí)施例中相應(yīng)位置的描述，在此不再重復(fù)。

優(yōu)選地，還可以基于近義詞典來判定兩個(gè)標(biāo)簽之間是否為近似標(biāo)簽的關(guān)系。

如果一個(gè)標(biāo)簽為一個(gè)無歧義標(biāo)簽的近似標(biāo)簽，并且其中所述一個(gè)無歧義標(biāo)簽已經(jīng)存在與語義知識庫中本體的無歧義關(guān)聯(lián)，則可以認(rèn)為所述一個(gè)個(gè)標(biāo)簽存在到語義知識庫中同一本體的間接關(guān)聯(lián)。

優(yōu)選地，基于主題向量而計(jì)算一個(gè)或多個(gè)無歧義標(biāo)簽中的每個(gè)無歧義標(biāo)簽與一個(gè)或多個(gè)近似標(biāo)簽中的每個(gè)近似標(biāo)簽之間的語義相似度。

具體地，本公開利用兩個(gè)標(biāo)簽的主題向量之間的余弦相似度來衡量這兩個(gè)標(biāo)簽的語義相似度。

在查找近似標(biāo)簽單元404中，利用“圖像-標(biāo)簽”關(guān)系矩陣訓(xùn)練主題模型，并且基于標(biāo)簽之間的語義相似度進(jìn)一步增加鏈接到語義知識庫的標(biāo)簽范圍。即，通過計(jì)算那些尚未關(guān)聯(lián)到語義知識庫的標(biāo)簽與那些已經(jīng)關(guān)聯(lián)到語義知識庫的標(biāo)簽之間的語義相似度，進(jìn)而將標(biāo)簽更大范圍地關(guān)聯(lián)到語義知識庫。

在計(jì)算關(guān)聯(lián)值單元406中，可以基于一個(gè)或多個(gè)無歧義標(biāo)簽與本體的無歧義關(guān)聯(lián)關(guān)系和語義相似度，計(jì)算圖像與本體的關(guān)聯(lián)值。

優(yōu)選地，在計(jì)算關(guān)聯(lián)值單元406中，針對一個(gè)或多個(gè)無歧義標(biāo)簽中的每個(gè)無歧義標(biāo)簽進(jìn)行如下增加關(guān)聯(lián)值的處理：基于該無歧義標(biāo)簽與本體的無歧義關(guān)聯(lián)關(guān)系而將關(guān)聯(lián)值增加一，以及對于該無歧義標(biāo)簽的一個(gè)或多個(gè)近似標(biāo)簽中的每個(gè)近似標(biāo)簽，將關(guān)聯(lián)值增加該無歧義標(biāo)簽與該近似標(biāo)簽之間的語義相似度。

具體地，將圖像的所有標(biāo)簽出現(xiàn)的與語義知識庫的直接或者間接關(guān)聯(lián)，均作為對圖像與本體關(guān)聯(lián)的依據(jù)。對于能夠直接關(guān)聯(lián)到本體的無歧義標(biāo)簽的情況，將圖像與該本體之間的關(guān)聯(lián)值增加1；對于能夠間接關(guān)聯(lián)到 該本體的近似標(biāo)簽的情況，將圖像與該本體之間的關(guān)聯(lián)值增加“該近似標(biāo)簽與其對應(yīng)的無歧義標(biāo)簽之間的語義相似度”。

在判定單元408中，如果圖像與本體的關(guān)聯(lián)值大于或等于第一閾值，則將該本體判定為存在真實(shí)關(guān)聯(lián)的本體。

具體地，如果圖像與本體之間的關(guān)聯(lián)值大于或等于閾值γ(γ為大于或等于1的實(shí)數(shù))，則將其判定為與圖像存在真實(shí)關(guān)聯(lián)的本體。

在關(guān)聯(lián)單元410中，基于語義知識庫中已有的包含存在真實(shí)關(guān)聯(lián)的本體的語義關(guān)系組，判斷是否將圖像關(guān)聯(lián)到存在真實(shí)關(guān)聯(lián)的本體，并且根據(jù)判斷結(jié)果來執(zhí)行關(guān)聯(lián)操作。

由于在將圖像鏈接到語義知識庫中本體的過程中，需要定義圖像與本體之間的關(guān)聯(lián)類型，因此，并不是每個(gè)判定與圖像存在真實(shí)關(guān)聯(lián)的本體最后都能直接建立它們之間的關(guān)聯(lián)。對于這些本體，本公開基于語義知識庫中已有的語義關(guān)系三元組來判斷是否將圖像關(guān)聯(lián)到存在真實(shí)關(guān)聯(lián)的本體。若判斷將圖像關(guān)聯(lián)到存在真實(shí)關(guān)聯(lián)的本體，則執(zhí)行圖像和存在真實(shí)關(guān)聯(lián)的本體之間的關(guān)聯(lián)操作。

優(yōu)選地，在關(guān)聯(lián)單元410中，如果在以存在真實(shí)關(guān)聯(lián)的本體作為賓語的語義關(guān)系組中謂語相同的組的數(shù)量與以該存在真實(shí)關(guān)聯(lián)的本體作為賓語的語義關(guān)系組的總數(shù)量的比值大于或等于第二閾值，則將圖像關(guān)聯(lián)到該本體。

具體地，本公開在已有的語義關(guān)系三元組中對以存在真實(shí)關(guān)聯(lián)的本體作為賓語的情況進(jìn)行統(tǒng)計(jì)，如果謂語相同的組的數(shù)量與以該存在真實(shí)關(guān)聯(lián)的本體作為賓語的語義關(guān)系組的總數(shù)量的比值大于或等于第二閾值，則將圖像關(guān)聯(lián)到該本體，否則不予建立關(guān)聯(lián)。

優(yōu)選地，第二閾值可以由本領(lǐng)域技術(shù)人員根據(jù)經(jīng)驗(yàn)或?qū)嶒?yàn)確定。例示而非限制，第二閾值可以為0.9到1之間的實(shí)數(shù)。第二閾值選取得越大，則越能保證圖像與本體之間所建立的鏈接的準(zhǔn)確性。

優(yōu)選地，對于該圖像，可以基于所述謂語形成以存在真實(shí)關(guān)聯(lián)的本體作為賓語的語義關(guān)系組。

建立圖像與本體的關(guān)聯(lián)的具體示例可參見以上方法實(shí)施例中相應(yīng)位置的描述，在此不再重復(fù)。

根據(jù)以上描述可知，根據(jù)本公開的實(shí)施例的圖像鏈接設(shè)備利用圖像的 標(biāo)簽信息自動地將圖像鏈接到語義知識庫，從而更有效地實(shí)現(xiàn)基于語義的圖像檢索以及圖像與其他實(shí)體之間的關(guān)聯(lián)關(guān)系檢測。

應(yīng)指出，盡管以上描述了根據(jù)本公開的實(shí)施例的圖像鏈接設(shè)備的功能配置，但是這僅是示例而非限制，并且本領(lǐng)域技術(shù)人員可根據(jù)本公開的原理對以上實(shí)施例進(jìn)行修改，例如可對各個(gè)實(shí)施例中的功能模塊進(jìn)行添加、刪除或者組合等，并且這樣的修改均落入本公開的范圍內(nèi)。

此外，還應(yīng)指出，這里的裝置實(shí)施例是與上述方法實(shí)施例相對應(yīng)的，因此在裝置實(shí)施例中未詳細(xì)描述的內(nèi)容可參見方法實(shí)施例中相應(yīng)位置的描述，在此不再重復(fù)描述。

應(yīng)理解，根據(jù)本公開的實(shí)施例的存儲介質(zhì)和程序產(chǎn)品中的機(jī)器可執(zhí)行的指令還可以被配置成執(zhí)行上述圖像鏈接方法，因此在此未詳細(xì)描述的內(nèi)容可參考先前相應(yīng)位置的描述，在此不再重復(fù)進(jìn)行描述。

相應(yīng)地，用于承載上述包括機(jī)器可執(zhí)行的指令的程序產(chǎn)品的存儲介質(zhì)也包括在本發(fā)明的公開中。該存儲介質(zhì)包括但不限于軟盤、光盤、磁光盤、存儲卡、存儲棒等等。

另外，還應(yīng)該指出的是，上述系列處理和裝置也可以通過軟件和/或固件實(shí)現(xiàn)。在通過軟件和/或固件實(shí)現(xiàn)的情況下，從存儲介質(zhì)或網(wǎng)絡(luò)向具有專用硬件結(jié)構(gòu)的計(jì)算機(jī)，例如圖5所示的通用個(gè)人計(jì)算機(jī)500安裝構(gòu)成該軟件的程序，該計(jì)算機(jī)在安裝有各種程序時(shí)，能夠執(zhí)行各種功能等等。

在圖5中，中央處理單元(cpu)501根據(jù)只讀存儲器(rom)502中存儲的程序或從存儲部分508加載到隨機(jī)存取存儲器(ram)503的程序執(zhí)行各種處理。在ram503中，也根據(jù)需要存儲當(dāng)cpu501執(zhí)行各種處理等時(shí)所需的數(shù)據(jù)。

cpu501、rom502和ram503經(jīng)由總線504彼此連接。輸入/輸出接口505也連接到總線504。

下述部件連接到輸入/輸出接口505：輸入部分506，包括鍵盤、鼠標(biāo)等；輸出部分507，包括顯示器，比如陰極射線管(crt)、液晶顯示器(lcd)等，和揚(yáng)聲器等；存儲部分508，包括硬盤等；和通信部分509，包括網(wǎng)絡(luò)接口卡比如lan卡、調(diào)制解調(diào)器等。通信部分509經(jīng)由網(wǎng)絡(luò)比如因特網(wǎng)執(zhí)行通信處理。

根據(jù)需要，驅(qū)動器510也連接到輸入/輸出接口505?？刹鹦督橘|(zhì)511比如磁盤、光盤、磁光盤、半導(dǎo)體存儲器等等根據(jù)需要被安裝在驅(qū)動器 510上，使得從中讀出的計(jì)算機(jī)程序根據(jù)需要被安裝到存儲部分508中。

在通過軟件實(shí)現(xiàn)上述系列處理的情況下，從網(wǎng)絡(luò)比如因特網(wǎng)或存儲介質(zhì)比如可拆卸介質(zhì)511安裝構(gòu)成軟件的程序。

本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，這種存儲介質(zhì)不局限于圖5所示的其中存儲有程序、與設(shè)備相分離地分發(fā)以向用戶提供程序的可拆卸介質(zhì)511?？刹鹦督橘|(zhì)511的例子包含磁盤(包含軟盤(注冊商標(biāo)))、光盤(包含光盤只讀存儲器(cd-rom)和數(shù)字通用盤(dvd))、磁光盤(包含迷你盤(md)(注冊商標(biāo)))和半導(dǎo)體存儲器。或者，存儲介質(zhì)可以是rom502、存儲部分508中包含的硬盤等等，其中存有程序，并且與包含它們的設(shè)備一起被分發(fā)給用戶。

以上參照附圖描述了本公開的優(yōu)選實(shí)施例，但是本公開當(dāng)然不限于以上示例。本領(lǐng)域技術(shù)人員可在所附權(quán)利要求的范圍內(nèi)得到各種變更和修改，并且應(yīng)理解這些變更和修改自然將落入本公開的技術(shù)范圍內(nèi)。

例如，在以上實(shí)施例中包括在一個(gè)單元中的多個(gè)功能可以由分開的裝置來實(shí)現(xiàn)。替選地，在以上實(shí)施例中由多個(gè)單元實(shí)現(xiàn)的多個(gè)功能可分別由分開的裝置來實(shí)現(xiàn)。另外，以上功能之一可由多個(gè)單元來實(shí)現(xiàn)。無需說，這樣的配置包括在本公開的技術(shù)范圍內(nèi)。

在該說明書中，流程圖中所描述的步驟不僅包括以所述順序按時(shí)間序列執(zhí)行的處理，而且包括并行地或單獨(dú)地而不是必須按時(shí)間序列執(zhí)行的處理。此外，甚至在按時(shí)間序列處理的步驟中，無需說，也可以適當(dāng)?shù)馗淖冊擁樞颉?/p>

另外，根據(jù)本公開的技術(shù)還可以如下進(jìn)行配置。

附記1.一種用于將圖像鏈接到語義知識庫的圖像鏈接方法，包括：

查找無歧義標(biāo)簽步驟，用于在所述圖像的標(biāo)簽中，查找與所述語義知識庫中的本體存在無歧義關(guān)聯(lián)的一個(gè)或多個(gè)無歧義標(biāo)簽；

查找近似標(biāo)簽步驟，用于針對所述一個(gè)或多個(gè)無歧義標(biāo)簽中的每個(gè)無歧義標(biāo)簽，在所述圖像的標(biāo)簽中，查找與該無歧義標(biāo)簽相似性高的一個(gè)或多個(gè)近似標(biāo)簽，并且計(jì)算該無歧義標(biāo)簽與所述一個(gè)或多個(gè)近似標(biāo)簽中的每個(gè)近似標(biāo)簽之間的語義相似度；

計(jì)算關(guān)聯(lián)值步驟，用于基于所述一個(gè)或多個(gè)無歧義標(biāo)簽與所述本體的無歧義關(guān)聯(lián)關(guān)系和所述語義相似度，計(jì)算所述圖像與所述本體的關(guān)聯(lián)值；

判定步驟，如果所述圖像與所述本體的關(guān)聯(lián)值大于或等于第一閾值，則將所述本體判定為存在真實(shí)關(guān)聯(lián)的本體；以及

關(guān)聯(lián)步驟，基于所述語義知識庫中已有的包含所述存在真實(shí)關(guān)聯(lián)的本體的語義關(guān)系組，判斷是否將所述圖像關(guān)聯(lián)到所述存在真實(shí)關(guān)聯(lián)的本體，并且根據(jù)判斷結(jié)果來執(zhí)行關(guān)聯(lián)操作。

附記2.根據(jù)附記1所述的圖像鏈接方法，其中，在所述關(guān)聯(lián)步驟中，如果在以所述存在真實(shí)關(guān)聯(lián)的本體作為賓語的語義關(guān)系組中謂語相同的組的數(shù)量與以所述存在真實(shí)關(guān)聯(lián)的本體作為賓語的語義關(guān)系組的總數(shù)量的比值大于或等于第二閾值，則將所述圖像關(guān)聯(lián)到該本體。

附記3.根據(jù)附記2所述的圖像鏈接方法，其中，對于所述圖像，基于所述謂語形成以所述存在真實(shí)關(guān)聯(lián)的本體作為賓語的語義關(guān)系組。

附記4.根據(jù)附記1所述的圖像鏈接方法，其中，在所述查找近似標(biāo)簽步驟中，利用主題模型來發(fā)現(xiàn)所述圖像的標(biāo)簽的主題信息并且形成所述圖像的標(biāo)簽與主題之間的轉(zhuǎn)換關(guān)系，從而將所述圖像的標(biāo)簽表示成主題向量。

附記5.根據(jù)附記4所述的圖像鏈接方法，其中，基于所述主題向量和所述圖像的標(biāo)簽之間的包含關(guān)系和/或編輯距離，查找所述一個(gè)或多個(gè)近似標(biāo)簽。

附記6.根據(jù)附記5所述的圖像鏈接方法，其中，對于所述一個(gè)或多個(gè)無歧義標(biāo)簽中的一個(gè)無歧義標(biāo)簽，判定如下標(biāo)簽為所述一個(gè)無歧義標(biāo)簽的近似標(biāo)簽：該標(biāo)簽與所述一個(gè)無歧義標(biāo)簽存在包含關(guān)系，并且該標(biāo)簽的主題向量與所述一個(gè)無歧義標(biāo)簽的主題向量之間的余弦相似度大于或等于第三閾值。

附記7.根據(jù)附記5所述的圖像鏈接方法，其中，對于所述一個(gè)或多個(gè)無歧義標(biāo)簽中的一個(gè)無歧義標(biāo)簽，判定如下標(biāo)簽為所述一個(gè)無歧義標(biāo)簽的近似標(biāo)簽：該標(biāo)簽與所述一個(gè)無歧義標(biāo)簽之間的編輯距離小于或等于第四閾值，并且該標(biāo)簽的主題向量與所述一個(gè)無歧義標(biāo)簽的主題向量之間的余弦相似度大于或等于第五閾值。

附記8.根據(jù)附記4所述的圖像鏈接方法，其中，基于所述主題向量而計(jì)算所述一個(gè)或多個(gè)無歧義標(biāo)簽中的每個(gè)無歧義標(biāo)簽與所述一個(gè)或多個(gè)近似標(biāo)簽中的每個(gè)近似標(biāo)簽之間的語義相似度。

附記9.根據(jù)附記1所述的圖像鏈接方法，其中，在所述計(jì)算關(guān)聯(lián)值 步驟中，針對所述一個(gè)或多個(gè)無歧義標(biāo)簽中的每個(gè)無歧義標(biāo)簽進(jìn)行如下增加所述關(guān)聯(lián)值的處理：基于該無歧義標(biāo)簽與所述本體的無歧義關(guān)聯(lián)關(guān)系而將所述關(guān)聯(lián)值增加一，以及對于該無歧義標(biāo)簽的所述一個(gè)或多個(gè)近似標(biāo)簽中的每個(gè)近似標(biāo)簽，將所述關(guān)聯(lián)值增加該無歧義標(biāo)簽與該近似標(biāo)簽之間的語義相似度。

附記10.一種用于將圖像鏈接到語義知識庫的圖像鏈接設(shè)備，包括：

查找無歧義標(biāo)簽單元，被配置成在所述圖像的標(biāo)簽中，查找與所述語義知識庫中的本體存在無歧義關(guān)聯(lián)的一個(gè)或多個(gè)無歧義標(biāo)簽；

查找近似標(biāo)簽單元，被配置成針對所述一個(gè)或多個(gè)無歧義標(biāo)簽中的每個(gè)無歧義標(biāo)簽，在所述圖像的標(biāo)簽中，查找與該無歧義標(biāo)簽相似性高的一個(gè)或多個(gè)近似標(biāo)簽，并且計(jì)算該無歧義標(biāo)簽與所述一個(gè)或多個(gè)近似標(biāo)簽中的每個(gè)近似標(biāo)簽之間的語義相似度；

計(jì)算關(guān)聯(lián)值單元，被配置成基于所述一個(gè)或多個(gè)無歧義標(biāo)簽與所述本體的無歧義關(guān)聯(lián)關(guān)系和所述語義相似度，計(jì)算所述圖像與所述本體的關(guān)聯(lián)值；

判定單元，被配置成如果所述圖像與所述本體的關(guān)聯(lián)值大于或等于第一閾值，則將所述本體判定為存在真實(shí)關(guān)聯(lián)的本體；以及

關(guān)聯(lián)單元，被配置成基于所述語義知識庫中已有的包含所述存在真實(shí)關(guān)聯(lián)的本體的語義關(guān)系組，判斷是否將所述圖像關(guān)聯(lián)到所述存在真實(shí)關(guān)聯(lián)的本體，并且根據(jù)判斷結(jié)果來執(zhí)行關(guān)聯(lián)操作。

附記11.根據(jù)附記10所述的圖像鏈接設(shè)備，其中，在所述關(guān)聯(lián)步驟中，如果在以所述存在真實(shí)關(guān)聯(lián)的本體作為賓語的語義關(guān)系組中謂語相同的組的數(shù)量與以所述存在真實(shí)關(guān)聯(lián)的本體作為賓語的語義關(guān)系組的總數(shù)量的比值大于或等于第二閾值，則將所述圖像關(guān)聯(lián)到該本體。

附記12.根據(jù)附記11所述的圖像鏈接設(shè)備，其中，對于所述圖像，基于所述謂語形成以所述存在真實(shí)關(guān)聯(lián)的本體作為賓語的語義關(guān)系組。

附記13.根據(jù)附記10所述的圖像鏈接設(shè)備，其中，在所述查找近似標(biāo)簽步驟中，利用主題模型來發(fā)現(xiàn)所述圖像的標(biāo)簽的主題信息并且形成所述圖像的標(biāo)簽與主題之間的轉(zhuǎn)換關(guān)系，從而將所述圖像的標(biāo)簽表示成主題向量。

附記14.根據(jù)附記13所述的圖像鏈接設(shè)備，其中，基于所述主題向 量和所述圖像的標(biāo)簽之間的包含關(guān)系和/或編輯距離，查找所述一個(gè)或多個(gè)近似標(biāo)簽。

附記15.根據(jù)附記14所述的圖像鏈接設(shè)備，其中，對于所述一個(gè)或多個(gè)無歧義標(biāo)簽中的一個(gè)無歧義標(biāo)簽，判定如下標(biāo)簽為所述一個(gè)無歧義標(biāo)簽的近似標(biāo)簽：該標(biāo)簽與所述一個(gè)無歧義標(biāo)簽存在包含關(guān)系，并且該標(biāo)簽的主題向量與所述一個(gè)無歧義標(biāo)簽的主題向量之間的余弦相似度大于或等于第三閾值。

附記16.根據(jù)附記14所述的圖像鏈接設(shè)備，其中，對于所述一個(gè)或多個(gè)無歧義標(biāo)簽中的一個(gè)無歧義標(biāo)簽，判定如下標(biāo)簽為所述一個(gè)無歧義標(biāo)簽的近似標(biāo)簽：該標(biāo)簽與所述一個(gè)無歧義標(biāo)簽之間的編輯距離小于或等于第四閾值，并且該標(biāo)簽的主題向量與所述一個(gè)無歧義標(biāo)簽的主題向量之間的余弦相似度大于或等于第五閾值。

附記17.根據(jù)附記13所述的圖像鏈接設(shè)備，其中，基于所述主題向量而計(jì)算所述一個(gè)或多個(gè)無歧義標(biāo)簽中的每個(gè)無歧義標(biāo)簽與所述一個(gè)或多個(gè)近似標(biāo)簽中的每個(gè)近似標(biāo)簽之間的語義相似度。

附記18.根據(jù)附記10所述的圖像鏈接設(shè)備，其中，在所述計(jì)算關(guān)聯(lián)值步驟中，針對所述一個(gè)或多個(gè)無歧義標(biāo)簽中的每個(gè)無歧義標(biāo)簽進(jìn)行如下增加所述關(guān)聯(lián)值的處理：基于該無歧義標(biāo)簽與所述本體的無歧義關(guān)聯(lián)關(guān)系而將所述關(guān)聯(lián)值增加一，以及對于該無歧義標(biāo)簽的所述一個(gè)或多個(gè)近似標(biāo)簽中的每個(gè)近似標(biāo)簽，將所述關(guān)聯(lián)值增加該無歧義標(biāo)簽與該近似標(biāo)簽之間的語義相似度。