本發(fā)明屬于信息檢索領(lǐng)域，具體涉及一種基于可視搜索的媒體交互方法及系統(tǒng)。
背景技術(shù)：
：伴隨著科學(xué)技術(shù)的發(fā)展，人類社會在20世紀(jì)90年代進(jìn)入了一個嶄新的時代——新媒體時代，而這一時期的一個顯著標(biāo)志就是互聯(lián)網(wǎng)媒體的興起。隨著互聯(lián)網(wǎng)的迅猛崛起，以門戶網(wǎng)站為首的互聯(lián)網(wǎng)媒體成為了“新媒體”的代表，報紙、廣播和電視等傳統(tǒng)媒體形成了巨大的沖擊。其中，報業(yè)集團(tuán)首當(dāng)其沖地面臨著最大的挑戰(zhàn)。進(jìn)入新世紀(jì)之后，西方報業(yè)的發(fā)行量和廣告收益整體上呈現(xiàn)逐年下滑趨勢，而我國報業(yè)的整體狀況也不容樂觀，發(fā)行量和廣告的萎縮使報業(yè)做大、做強(qiáng)的目標(biāo)被擱淺，報業(yè)集團(tuán)的逆勢發(fā)展和影響力的蛻變形成鮮明對比。2003年前后，報業(yè)領(lǐng)域出現(xiàn)的“拐點(diǎn)論”、“寒冬論”、“消亡論”等論調(diào)層出不窮。2008年，席卷全球的金融風(fēng)暴使大量的報社倒閉或進(jìn)行破產(chǎn)清算。2010年之后，移動互聯(lián)網(wǎng)進(jìn)入了一個快速發(fā)展的時期。這讓我們看到了一個不爭的事實(shí)，移動互聯(lián)網(wǎng)引起的第五信息技術(shù)革命給傳統(tǒng)報業(yè)帶來了前所未有的沖擊。隨著新的傳播技術(shù)和媒介的出現(xiàn)，普通的大眾讀者在閱讀習(xí)慣和趨勢上發(fā)生了質(zhì)變以蘋果iphone、ipad為代表的智能移動終端的普及，以及各種與新聞相關(guān)移動應(yīng)用的層出不窮，這對傳統(tǒng)報業(yè)而言是巨大的挑戰(zhàn)。那么面對這場終端戰(zhàn)役，傳統(tǒng)報業(yè)如何在這夾縫中求生。在移動通信飛速發(fā)展的今天，移動通信技術(shù)也在悄然改變著信息傳播的生態(tài)面臨挑戰(zhàn)，傳統(tǒng)報業(yè)紛紛進(jìn)軍移動互聯(lián)網(wǎng)，試圖在新一輪的媒體競爭中占得先機(jī)。早期主要是通過手機(jī)報的形式用移動終端用戶傳播新聞。手機(jī)報是將傳統(tǒng)媒體的新聞內(nèi)容通過無線技術(shù)平臺發(fā)送到彩信手機(jī)上，從而在手機(jī)上開發(fā)發(fā)送短信新聞、彩圖、漫畫和WAP（上網(wǎng)瀏覽）等功能。手機(jī)報，已經(jīng)成為傳統(tǒng)報業(yè)繼創(chuàng)辦網(wǎng)絡(luò)版、興辦網(wǎng)站之后，躋身電子媒體的又一舉措，是報業(yè)開發(fā)新媒體的一種特殊方式。雖然手機(jī)報的推出一定程度上緩解了傳統(tǒng)報業(yè)所面對的緊張局勢，但是手機(jī)報自身的缺點(diǎn)限制了它的發(fā)展。首先是手機(jī)終端的限制。雖然2005年手機(jī)用戶已經(jīng)超過兩億，但是支持彩信和WAP瀏覽的手機(jī)在手機(jī)用戶中并不普及，擁有彩信手機(jī)的用戶只占20%左右。其次是訂閱價格相對來說比較貴，沒有價格優(yōu)勢。最后是用戶的閱讀習(xí)慣。據(jù)了解，能夠收發(fā)多媒體短信的手機(jī)，一般一個屏幕只能顯示100個左右的漢字，而一個版面的報紙通常都在5000多字，要想看完一張報紙，讀者需要翻閱50頁左右，閱讀起來十分麻煩。隨著近幾年移動互聯(lián)網(wǎng)的快速發(fā)展和高配置智能手機(jī)的普及，手機(jī)終端和用戶閱讀習(xí)慣的影響已顯得無足輕重，但是并沒有帶來手機(jī)報的蓬勃發(fā)展。大屏幕的高智能機(jī)的出現(xiàn)和手機(jī)資費(fèi)的降低，消費(fèi)者更愿意通過手機(jī)瀏覽器瀏覽新聞，或者通過人人網(wǎng)、微博等社交網(wǎng)站等獲取新聞。雖然移動互聯(lián)網(wǎng)的發(fā)展給傳統(tǒng)報業(yè)帶了巨大的挑戰(zhàn)，但是機(jī)遇從來都是與挑戰(zhàn)并存的。各傳統(tǒng)報業(yè)集團(tuán)已經(jīng)意識到“從傳媒競爭的角度來講，從內(nèi)容向終端，是必然的趨勢”。中國報業(yè)“十二五”信息化建設(shè)發(fā)展規(guī)劃建議書中提到，“十二五”時期（2011年至2015年），是中國報業(yè)信息化建設(shè)全面推進(jìn)的關(guān)鍵時期，是跨媒體融合創(chuàng)新的攻堅時期，也是中國報業(yè)妥善應(yīng)對媒體競爭而變化的重要時期。未來報業(yè)的發(fā)展趨勢和巨大的用戶資源，及智能手機(jī)等智能終端的普及，促使傳統(tǒng)報業(yè)利用移動終端向報業(yè)電子化的方向發(fā)展。目前，在大眾眼中，最得寵的移動終端當(dāng)屬微博，它憑借著形式精簡、支持多媒體功能等特點(diǎn)迅速崛起，成為了一支影響力不斷增強(qiáng)的新媒體主力軍。截至目前，在中國最大的微博門戶新浪微博上，約有5500家報紙、雜志、電臺、電視臺及通訊社等傳統(tǒng)媒體開設(shè)了賬戶。微博都是將新聞推送給用戶，用戶的自主選擇性很小。而對于媒體集團(tuán)來說，選擇的道路除了在新浪微博上開通屬于自己的官方微博，同時馬不停蹄地開發(fā)自己專屬新聞客戶端。基本上國內(nèi)每個報業(yè)集團(tuán)旗下的各大報紙、雜志都擁有了相應(yīng)的電子版，為了方便人們閱讀，同時抓住一部分網(wǎng)民受眾，報紙電子版的出現(xiàn)似乎是必不可少的，但是，這些電子版在一定程度上是方便了人們閱讀，但是從便攜性、操作過程等方面，還需要更大發(fā)展。在一些情況下，用戶感興趣的可能并不是報紙中的新聞，而是一些產(chǎn)品、廣告等。傳統(tǒng)的方法無法與用戶進(jìn)行交互，提供最符合用戶需求的信息，并且形式單一，不能以視頻、聲音地方式呈現(xiàn)給用戶。技術(shù)實(shí)現(xiàn)要素：針對現(xiàn)有技術(shù)的以上缺陷或改進(jìn)需求，本發(fā)明提供了一種基于可視搜索的交互式媒體方法及系統(tǒng)，根據(jù)用戶拍攝的報紙圖片，為用戶搜索其它感興趣的電子版報刊、雜志及相關(guān)鏈接，使得用戶能更自主地選擇自己喜歡的新聞或報紙，并且可以獲得更為豐富的相關(guān)信息。一種媒體交互方法，具體為：服務(wù)端預(yù)存有報紙和雜志圖片集及其相關(guān)鏈接信息，并以圖片的特征建立索引；客戶端對報紙或雜志上拍攝得到感興趣圖片，提取感興趣圖片的特征，依據(jù)該屬性在服務(wù)端中檢索得到與其內(nèi)容相關(guān)的圖片及相關(guān)鏈接信息。進(jìn)一步地，該方法具體為：服務(wù)端預(yù)存報紙和雜志圖片集及相關(guān)鏈接信息，并提取預(yù)存的圖片的文本特征和視覺特征；服務(wù)端以提取的文本特征為索引，對圖片搜集模塊中的圖片建立倒排索引，還為提取的視覺特征構(gòu)建哈希碼和訓(xùn)練哈希函數(shù)；客戶端對報紙或雜志上感興趣的內(nèi)容拍攝得到感興趣圖片，并提取感興趣圖片的文本特征和視覺特征；客戶端向服務(wù)端發(fā)送查詢請求，查詢請求含有感興趣圖片的視覺特征、感興趣圖片的文本特征和用戶的興趣點(diǎn)信息；服務(wù)端使用訓(xùn)練得到的哈希函數(shù)為查詢請求攜帶的視覺特征計算哈希碼，依據(jù)哈希碼初步檢索到客戶端可能感興趣的圖片，并依據(jù)視覺特征在初步檢索到的圖片中進(jìn)行定位；進(jìn)一步利用查詢請求中的文本特征在初步檢索到的圖片中篩選得到更精準(zhǔn)的圖片；最后從篩選得到的圖片中選取與用戶的興趣點(diǎn)匹配的內(nèi)容及相關(guān)鏈接反饋給用戶端。進(jìn)一步地，所述服務(wù)端按照如下方式對提取的視覺特征構(gòu)建哈希碼和訓(xùn)練哈希函數(shù)：令X＝[x1,x2...，xn]，其對應(yīng)的哈希碼Y＝[y1,y2...，yn]，其中，xi為對第i張圖像提取視覺特征得到的視覺特征單詞包，yi為xi對應(yīng)的哈希碼，i＝1,2...，n，n為圖片總數(shù)；求取滿足的哈希碼Y和變換矩陣A，其中，近鄰矩陣W的第i行第j列元素N(x)表示對象x的近鄰集，‖‖2表示求二維范數(shù)，exp表示指數(shù)函數(shù)，t∈(0,1]，‖‖1表示求一維范數(shù)，上標(biāo)T表示轉(zhuǎn)置；依據(jù)變換矩陣A確定哈希函數(shù)進(jìn)一步地，使用如下的迭代更新公式求解哈希碼Y和變換矩陣A：n×n維的對角矩陣D的第i行第i列元素Dii＝ΣjWij，平衡參數(shù)λ∈(0,1]，Ed×n是d×n維元素全為1的矩陣，d為哈希碼yi的維度。進(jìn)一步地，所述文本特征為標(biāo)題和關(guān)鍵詞，所述視覺特征為全局特征或\和局部特征；所述全局特征為顏色直方圖或圖像紋理或GIST特征，所述局部特征為SIFT特征或SURF特征或HoG特征或CHoG特征。一種媒體交互系統(tǒng)，包括客戶端，用于對報紙或雜志上感興趣的內(nèi)容拍攝得到感興趣圖片，提取感興趣圖片的特征，將攜帶有特征信息的查詢請求發(fā)送給服務(wù)端，接收并顯示服務(wù)端反饋的查詢結(jié)果；服務(wù)端，用于預(yù)存報紙和雜志圖片集及相關(guān)鏈接信息，并以圖片的特征建立索引；接收客戶端的查詢請求，依據(jù)查詢請求攜帶的特征信息檢索客戶端感興趣圖片及相關(guān)鏈接信息，并將檢索結(jié)果反饋給客戶端；進(jìn)一步地，所述客戶端包括圖片拍攝模塊、客戶端特征提取模塊和查詢模塊；圖片拍攝模塊，用于對報紙或雜志上感興趣的內(nèi)容拍攝得到感興趣圖片；客戶端特征提取模塊，用于與服務(wù)端特征提取模塊相同的方式提取感興趣圖片的文本特征和視覺特征；查詢模塊，用于向服務(wù)端發(fā)送查詢請求，查詢請求含有感興趣圖片的視覺特征、感興趣圖片的文本特征和用戶興趣點(diǎn)信息；顯示模塊，用于接收和顯示服務(wù)端反饋的圖片及相關(guān)鏈接；所述服務(wù)端包括圖片搜集模塊、服務(wù)端特征提取模塊、索引構(gòu)建模塊、粗選模塊和精選模塊；圖片搜集模塊，用于搜集各種報紙和雜志圖片以及與其相關(guān)的鏈接信息；服務(wù)端特征提取模塊，用于提取預(yù)存圖片的文本特征和視覺特征；索引構(gòu)建模塊，用于以預(yù)存圖片的文本特征為索引，對圖片搜集模塊中的圖片建立倒排索引；還用于為預(yù)存圖片的視覺特征構(gòu)建哈希碼和訓(xùn)練哈希函數(shù)；粗選模塊，用于接收客戶端的查詢請求，使用訓(xùn)練得到的哈希函數(shù)為查詢請求攜帶的視覺特征計算哈希碼，依據(jù)哈希碼初步檢索到客戶端可能感興趣的圖片，并依據(jù)視覺特征在初步檢索到的圖片中進(jìn)行定位；精選模塊，用于利用查詢請求中的文本特征在初步檢索到的圖片中篩選得到更精準(zhǔn)的圖片，從篩選得到的圖片中選取與查詢請求攜帶的用戶興趣點(diǎn)匹配的內(nèi)容及相關(guān)鏈接反饋給用戶端。進(jìn)一步地，所述索引構(gòu)建模塊包括哈希碼構(gòu)建模塊和哈希函數(shù)訓(xùn)練模塊：令X＝[x1,x2...,xn]，其對應(yīng)的哈希碼Y＝[y1,y2...,yn]，其中xi為對第i張圖像提取視覺特征得到的視覺特征單詞包，yi為xi對應(yīng)的哈希碼，i＝1,2...,n，n為圖片總數(shù)；所述哈希碼構(gòu)建模塊，用于求取滿足的哈希碼Y和變換矩陣A，其中，近鄰矩陣W的第i行第j列元素N(x)表示對象x的近鄰集，‖‖2表示求二維范數(shù)，exp表示指數(shù)函數(shù)，t∈(0,1]，‖‖1表示求一維范數(shù)，上標(biāo)T表示轉(zhuǎn)置；所述哈希函數(shù)訓(xùn)練模塊，用于依據(jù)變換矩陣A確定哈希函數(shù)進(jìn)一步地，所述哈希碼構(gòu)建模塊使用如下的迭代更新公式求解哈希碼Y和變換矩陣A：n×n維的對角矩陣D的第i行第i列元素Dii＝ΣjWij，平衡參數(shù)λ∈(0,1]，Ed×n是d×n維元素全為1的矩陣，d為哈希碼yi的維度。總體而言，通過本發(fā)明所構(gòu)思的以上技術(shù)方案與現(xiàn)有技術(shù)相比，本發(fā)明提供了一種新的基于可視搜索的交互式媒體技術(shù)。該發(fā)明結(jié)合了圖像搜索和文本搜索，允許用戶使用智能手機(jī)、平板電腦或者個人電腦拍攝報紙圖片，然后利用拍攝的圖片檢索以獲得用戶想閱讀的報紙的電子版。本發(fā)明可以方便不想閱讀紙質(zhì)報紙的用戶很便捷地在終端上進(jìn)行閱讀，用戶的自主性更強(qiáng)。相比于傳統(tǒng)的手機(jī)報，本發(fā)明能夠提供給用戶的內(nèi)容更加豐富多彩。進(jìn)一步地，本發(fā)明中的哈希方法采用了自主研究的非負(fù)稀疏局部保持哈希方法，可以使可視搜索更加快捷準(zhǔn)確。附圖說明圖1為本發(fā)明的系統(tǒng)結(jié)構(gòu)圖。具體實(shí)施方式為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。此外，下面所描述的本發(fā)明各個實(shí)施方式中所涉及到的技術(shù)特征只要彼此之間未構(gòu)成沖突就可以相互組合。如圖1所示，本發(fā)明的構(gòu)成分成兩部分，服務(wù)端和客戶端?？蛻舳说妮d體可以是帶攝像頭的個人電腦、筆記本電腦、平板電腦、智能手機(jī)以及其它帶有攝像頭并可以連接互聯(lián)網(wǎng)的設(shè)備?？蛻舳说闹饕猛臼桥臄z報紙圖片，對圖片進(jìn)行初步處理，將檢索請求發(fā)送到服務(wù)端，并顯示檢索返回的結(jié)果。服務(wù)端的載體可以是第三方機(jī)構(gòu)的服務(wù)器，也可以是各報業(yè)集團(tuán)的網(wǎng)站。它的主要作用是搜索報紙和雜志圖片集，對圖片集進(jìn)行處理，建立索引表，并處理檢索請求，向客戶端發(fā)送檢索結(jié)果。按照圖1所示的示意圖，本發(fā)明交互式媒體系統(tǒng)按客戶端和服務(wù)端來描述。因為服務(wù)端的流程是必須預(yù)先在后臺處理的，所以首先描述服務(wù)端的各模塊的功能及其流程。本發(fā)明的服務(wù)端包括圖片搜集模塊100、服務(wù)端特征提取模塊200、索引構(gòu)建模塊300、粗選模塊400和精選模塊500。圖片搜集模塊100，用于搜集各種報紙和雜志圖片，建立報紙和雜志各區(qū)域內(nèi)容相關(guān)的鏈接信息。圖片可以使用掃描儀掃描獲得，也可以通過格式轉(zhuǎn)換直接轉(zhuǎn)換成圖片的形式，例如Word格式轉(zhuǎn)化為圖片格式。另外，根據(jù)報紙內(nèi)容，將圖片劃分區(qū)域。對于圖片不同區(qū)域的內(nèi)容，為其建立一個鏈接。如果該區(qū)域是新聞，鏈接內(nèi)容為與其相關(guān)文本、視頻、音頻新聞的鏈接。如果該區(qū)域為產(chǎn)品廣告，則鏈接內(nèi)容為該產(chǎn)品的信息以及產(chǎn)品的購買鏈接。服務(wù)端特征提取模塊200，用于提取圖片的文本特征和視覺特征。特征的優(yōu)劣決定著檢索的準(zhǔn)確性。它主要是對搜集圖片模塊中搜集的圖片進(jìn)行特征提取的過程。因為報紙圖片的特殊性，它即有文本又含有圖片。傳統(tǒng)的基于文本和圖片搜索的方法，都不能很精確地搜索到用戶所需要的報紙。本發(fā)明結(jié)合報紙圖片的特征，提出了結(jié)合圖像搜索和文本搜索的方法，將特征提取模塊劃分為文本特征提取模塊201和視覺特征提取模塊202。文本特征提取模塊201，用于提取搜集到的圖片集中的每幅報紙圖片中的標(biāo)題和關(guān)鍵詞。用于示例的一種具體實(shí)施方式為，首先采用文本檢測進(jìn)行文本定位，例如采用最大的穩(wěn)定未端區(qū)域（MaximallyStableExtremalRegions,MSER）方法從侯選字符的連接集中得到直的文本和單詞線，然后用邊界盒子標(biāo)記這些單詞和文本。通過檢測到的盒子，可以分辨出對應(yīng)的標(biāo)題。因為標(biāo)題包含了報紙新聞中最關(guān)鍵的信息。只要使用光學(xué)字符識別（OCR）識別標(biāo)題對應(yīng)的片就可以獲得標(biāo)題和關(guān)鍵詞。視覺特征提取模塊202，用于提取圖像的視覺特征。圖像的視覺特征分為全局特征和局部特征。全局特征如顏色直方圖、圖像紋理、GIST特征等。局部特征如SIFT特征、SURF特征、HoG特征、CHoG特征等，這些特征都可以應(yīng)用在本發(fā)明的框架中，也可以進(jìn)行多特征融合后使用，全局特征或其融合結(jié)果視為一個獨(dú)立的視覺特征單詞包。由于每幅圖像的局部特征點(diǎn)的個數(shù)不同，還對局部特征點(diǎn)進(jìn)行詞頻統(tǒng)計，根據(jù)詞頻統(tǒng)計結(jié)果將圖像用視覺特征單詞包BoVF來表示。對于文本圖片這一類特殊圖像，還可以使用磚墻編碼特征（BrickWallCodingFeatures,BWC）。BWC特征利用了單詞的空間分布特征，然而對于中文、日文這一類單詞之間沒有間隔的文本，該方法并不奏效。SIFT特征在這種情況下比較有效。如果主要面向于國內(nèi)的報業(yè)集團(tuán)，優(yōu)選采用SIFT特征來描述文本圖片。在后續(xù)的哈希碼訓(xùn)練時，可采用提取全局特征或局部特征得到的視覺特征單詞包，也可將兩者融合使用。索引構(gòu)建模塊300，用于在特征提取模塊200將特征提取完成后，對提取的特征建立索引。索引的優(yōu)劣決定著檢索的效率。該模塊包含對標(biāo)題和關(guān)鍵詞進(jìn)行處理的倒排索引模塊301和對圖像視覺特征進(jìn)行處理的哈希模塊302。倒排索引模塊301，用于以提取的標(biāo)題和關(guān)鍵詞為索引，對搜集的圖片建立倒排索引。用于示例的一種具體實(shí)施方式為，首先用詞頻統(tǒng)計方法（TF-IDF）對標(biāo)題和關(guān)鍵詞進(jìn)行處理，刪除無用的關(guān)鍵詞，然后分別用標(biāo)題和關(guān)鍵詞作索引，對圖像搜集模塊100中的文本圖片建立倒排索引。哈希模塊302通過機(jī)器學(xué)習(xí)的方法，為視覺特征提取模塊202提取的特征構(gòu)建哈希碼和訓(xùn)練哈希函數(shù)。該模塊在索引構(gòu)中模塊300中起著舉足輕重的地位，決定整個發(fā)明的性能優(yōu)劣。作為優(yōu)化，本發(fā)明提出了一種非負(fù)稀疏局部保持哈希方法（NonnegativeSparseLocalityPreservingHashing,NSLPH），具體如下：假定圖片搜集模塊100搜集了n張報紙圖片，圖片視覺特征提取模塊202為每幅圖片提取特征后形成的視覺特征單詞包BoVF的維度為m。通常情況下，BoVF的維度會非常高，即m的值很大，這會導(dǎo)致“維度災(zāi)難”的問題，這將會使基于圖片視覺特征的快速檢索變得非常困難。因此需要采用一種有效的哈希方法來折衷，犧牲部分準(zhǔn)確性換取較快的速度。哈希方法可以迅速地檢索到查詢樣本的近似集。用X＝[x1,x2...,xn]∈Rm×n表示圖像集，通過哈希得到與其對應(yīng)的哈希碼用Y＝[y1,y2...,yn]∈{0,1}d×n，其中xi為第i張圖像的視覺特征單詞包BoVF，d為哈希后的維度，yi為xi對應(yīng)的哈希碼。首先構(gòu)造近鄰矩陣W，第i行第j列元素其中N(x)表示對象x的近鄰集，‖‖2表示求二維范數(shù)，exp表示指數(shù)函數(shù)。為了保證相似的對象得到相近的哈希碼，構(gòu)造如下的最優(yōu)化函數(shù)：通過一些簡單的數(shù)學(xué)變換，可以使用如下的迭代更新方法求解哈希碼Y和變換矩陣A：其中，n×n維的對角矩陣D的第i行第i列元素Dij=∑jWij，平衡參數(shù)λ∈(0，1]，Ed×n是d×n圳維元素全為1的矩陣，J為哈希碼yi的維度，上標(biāo)廠表示轉(zhuǎn)置。該方法的優(yōu)點(diǎn)是能夠保證相似的特征獲得相近的哈希碼，并且它的映射矩陣A可以為其它的特征快速生成哈希碼。依據(jù)變換矩陣A確定哈希函數(shù)粗選模塊400，用于接收客戶端的查詢請求，使用訓(xùn)練得到的哈希函數(shù)為查詢請求攜帶的視覺特征計算哈希碼，依據(jù)哈希碼初步檢索得到客戶端可能感興趣的圖片，并依據(jù)視覺特征在查詢得到的圖片中進(jìn)行定位。本發(fā)明通過查找哈希碼可以快速地查詢到與其相近的哈希碼，進(jìn)而得到相似的圖片。本發(fā)明采用哈希方法的目的主要是加快搜索速度。因為服務(wù)端的視覺特征提取模塊202和客戶端的視覺特征提取模塊702提取的特征維度非常高，會帶來“維度災(zāi)難”的問題，導(dǎo)致查詢的速度非常慢。采用哈希的方法，可能將獲得的特征映射較低維度的漢明空間(Hamming)，能過簡單的異或操作就可以判斷它們對應(yīng)的哈希碼是否相近。精選模塊500，用于依據(jù)查詢請求攜帶的感興趣圖片的文本特征在倒排索引表中檢索有相同文本特征的圖片，并從中找出同時被粗選模塊檢索得到的圖片，作為最終檢索結(jié)果，進(jìn)而根據(jù)精選得到的圖片定位區(qū)域得到與其相關(guān)新聞、視頻、音頻或產(chǎn)品信息鏈接。根據(jù)用戶的興趣點(diǎn)，向客戶端反饋相應(yīng)的查詢結(jié)果，如果用戶感興趣的是拍攝內(nèi)容所屬報紙或雜志，則反饋精選得到的圖片所屬報紙或雜志；如果用戶感興趣的只是某一篇報道，則反饋精選得到的圖片定位區(qū)域內(nèi)容及其相關(guān)新聞連接；如果用戶感興趣的是廣告，則反饋圖片定位區(qū)域所示產(chǎn)品的相關(guān)信息和鏈接。一般的搜索算法在顯示近似結(jié)果之后就結(jié)束。本發(fā)明新增了精選模塊對搜索得到的近似結(jié)果進(jìn)行精煉以顯示精確結(jié)果。該模塊利用了客戶端和服務(wù)端提取的標(biāo)題和關(guān)鍵詞，對粗選結(jié)果進(jìn)行篩選得到最終的準(zhǔn)確結(jié)果。進(jìn)而從圖片搜集模塊100中圖片對應(yīng)的區(qū)域的鏈接獲得用戶感興趣內(nèi)容的鏈接。接下來描述本發(fā)明的客戶端的流程和功能。本發(fā)明的客戶端也包括三個模塊：圖片拍攝模塊600、客戶端特征提取模塊700、查詢模塊800和顯示模塊900。圖片拍攝模塊600的功能是拍攝報紙圖片。拍照設(shè)備可以是智能手機(jī)、平板電腦及筆記本電腦內(nèi)置的攝像頭，也可以個人電腦連接的外置攝像頭。與服務(wù)端的圖片搜集模塊100搜索的圖片不同，該模塊獲得的圖片分辨率可能不高，但這并不影響后面的基于拍攝圖片的檢索效果。圖片的拍攝最好是在光照較充足的條件下，并且垂直拍攝。其目的是盡量與圖片搜集模塊100獲得的圖片相似。客戶端特征提取模塊700與服務(wù)端的特征提取模塊200的功能相同，是用來提取拍攝模塊600拍攝的圖片的特征。為了保持客戶端與服務(wù)端的一致性，它們所包含的子模塊和所采用的特征提取方法也完全一致。它包含的標(biāo)題關(guān)鍵詞提取模塊701和視覺特征提取模塊702分別對應(yīng)于服務(wù)端的標(biāo)題、關(guān)鍵詞提取模塊201和視覺特征提取模塊202。查詢模塊800的主要功能是向服務(wù)端發(fā)送查詢請求。查詢請求主要包含感興趣圖片的視覺特征、文本特征信息以及用戶的興趣點(diǎn)信息。用戶的興趣點(diǎn)主要是指用戶感興趣的是整個報紙，還是只是某篇報道本身，還是廣告涉及產(chǎn)品介紹和購買渠道。顯示模塊900接收和顯示服務(wù)端反饋的查詢結(jié)果。這樣用戶只需要拍攝一圖片，就可獲取自己想要的所有信息，對用戶來講，方便、靈活。本領(lǐng)域的技術(shù)人員容易理解，以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。當(dāng)前第1頁1 2 3