專利名稱：：一種支持多數(shù)據(jù)源的索引維護(hù)方法
技術(shù)領(lǐng)域：
：本發(fā)明屬于搜索引擎
技術(shù)領(lǐng)域：
，具體涉及一種索引庫(kù)更新維護(hù)方法。
背景技術(shù)：
：企業(yè)信息化產(chǎn)生了大量的原始信息或加工信息，如各種文本信息、多媒體信息等。這些信息中包含了用戶感興趣的各種內(nèi)容，需要對(duì)這些信息進(jìn)行有效存儲(chǔ)與檢索。這種信息檢索系統(tǒng)的主要特點(diǎn)一是，數(shù)據(jù)來源多，當(dāng)原始信息產(chǎn)生之后，要求能夠盡快地進(jìn)入檢索系統(tǒng)，并能夠被檢索；二是，用戶對(duì)信息檢索的響應(yīng)時(shí)間有更高的要求，特別地索引庫(kù)的更新過程不能對(duì)用戶檢索的響應(yīng)時(shí)間產(chǎn)生影響。三是，不同類型企業(yè)用戶在檢索過程中，可能對(duì)檢索的時(shí)間范圍有一定區(qū)別，有的要求對(duì)剛產(chǎn)生的數(shù)據(jù)能夠進(jìn)行即時(shí)查詢，而有的要求能夠查詢歷史上某個(gè)時(shí)間段的數(shù)據(jù)?，F(xiàn)有的搜索引擎研究在海量信息處理、體系結(jié)構(gòu)等方面已經(jīng)有了很大的進(jìn)展，如google公司發(fā)明的Bigtable等一系列技術(shù)[1]，有效地解決了海量信息的分布式存儲(chǔ)與索引中的主要問題，為上層應(yīng)用提供了統(tǒng)一的數(shù)據(jù)接口。在企業(yè)級(jí)的文本信息存儲(chǔ)與檢索技術(shù)方面，為了適應(yīng)企業(yè)用戶對(duì)檢索響應(yīng)時(shí)間的要求，人們提出了多種匹配算法、索引庫(kù)的組織方法以及軟件體系結(jié)構(gòu)設(shè)計(jì)方法等。其中，索引庫(kù)的組織及其維護(hù)方法由于對(duì)檢索性能有較大的影響，而成為搜索引擎設(shè)計(jì)的關(guān)鍵。歸納起來，主要有以下幾類方法一是，針對(duì)集中式環(huán)境下的索引結(jié)構(gòu)，主要是基于倒排索引結(jié)構(gòu)及其改進(jìn)方法[2]。二是，針對(duì)分布式環(huán)境下的索引結(jié)構(gòu)，在倒排結(jié)構(gòu)的基礎(chǔ)上，對(duì)索引建立算法進(jìn)行了分布式處理的增強(qiáng)[3，4]。這些方法在海量信息的存儲(chǔ)、索引管理以及提高檢索系統(tǒng)性能方面，起了關(guān)鍵作用。隨著用戶對(duì)檢索系統(tǒng)性能要求的不斷提高，人們需要在索引庫(kù)實(shí)時(shí)維護(hù)機(jī)制方面提出新的方法，以便在大量的索引庫(kù)中快速定位與選擇某次檢索所需要的索引庫(kù)片斷，避免在大索引庫(kù)中檢索記錄，同時(shí)避免索引庫(kù)更新過程對(duì)用戶檢索所造成的影響，進(jìn)一步縮短用戶檢索的響應(yīng)時(shí)間。而現(xiàn)有各種方法在解決這些需求時(shí)尚存在一定的不足，具體說明如下1.對(duì)多個(gè)數(shù)據(jù)源上的數(shù)據(jù)同時(shí)建立索引時(shí)，現(xiàn)有方法由于需要進(jìn)行索引庫(kù)的不斷更新，而造成建立索引時(shí)產(chǎn)生延遲，從而影響用戶即時(shí)檢索的需要。2.由于索引的更新在一個(gè)大的索引庫(kù)上進(jìn)行，因此，在更新期間容易發(fā)生用戶檢索無法進(jìn)行的現(xiàn)象，或檢索請(qǐng)求的處理過程變慢。3.面對(duì)用戶在檢索過程中對(duì)時(shí)間范圍的限定，現(xiàn)有方法實(shí)際上還是在大的索引庫(kù)中進(jìn)行，因此，檢索效率的提升是很有限的。由此可見，為了實(shí)現(xiàn)對(duì)多數(shù)據(jù)源進(jìn)行索引創(chuàng)建，同時(shí)保證用戶檢索的響應(yīng)時(shí)間不受影響，需要引入新的索引庫(kù)并發(fā)實(shí)時(shí)更新維護(hù)機(jī)制，才能有效克服目前存在的問題并滿足企業(yè)用戶需要。本發(fā)明的目的就是設(shè)計(jì)這樣的索引庫(kù)更新維護(hù)機(jī)制。
發(fā)明內(nèi)容本發(fā)明的目的主要是針對(duì)搜索引擎性能進(jìn)一步改善的需要，提出一種新的索引庫(kù)維護(hù)方法。本發(fā)明基于對(duì)多個(gè)數(shù)據(jù)源同時(shí)建立索引的性能需求而提出一種索引庫(kù)維護(hù)方法。本發(fā)明針對(duì)索引服務(wù)器中索引庫(kù)的組織方式、更新方法及檢索過程，將整個(gè)索引庫(kù)分為一系列子索引庫(kù)，每個(gè)子索引庫(kù)存儲(chǔ)一定時(shí)間粒度內(nèi)的索引，子索引庫(kù)包含一個(gè)獨(dú)立的目錄及相關(guān)文件。本發(fā)明的總體流程如圖1。操作步驟分為三個(gè)流程，具體如下一.子索引庫(kù)的數(shù)據(jù)加載(1)生成新的子索引庫(kù)，并按照一定的命名方式對(duì)該子索引庫(kù)進(jìn)行標(biāo)識(shí)；(2)對(duì)該子索引庫(kù)進(jìn)行加鎖；(3)按照建立索引結(jié)構(gòu)的算法[5，6]創(chuàng)建數(shù)據(jù)對(duì)應(yīng)的索引文件，實(shí)現(xiàn)數(shù)據(jù)加載；(4)子索引庫(kù)解鎖；(5)通知索引服務(wù)器上的檢索請(qǐng)求處理進(jìn)程，將該子索引庫(kù)標(biāo)識(shí)為可用庫(kù)。二.子索引庫(kù)的合并(1)按照一定的時(shí)間間隔選擇需要合并的子索引庫(kù)；(2)生成新的子索引庫(kù)，并按照一定命名方式對(duì)該子索引庫(kù)進(jìn)行標(biāo)識(shí)；(3)對(duì)該子索引庫(kù)進(jìn)行加鎖；(4)按照與索引結(jié)構(gòu)相對(duì)應(yīng)的索引合并算法[5，6]將所選擇的子索引庫(kù)合并，寫入到新的子索引庫(kù)；(5)子索引庫(kù)解鎖；(6)通知索引服務(wù)器上的檢索請(qǐng)求處理進(jìn)程，將所選擇的子索引庫(kù)標(biāo)識(shí)為不可用，而將新的子索引庫(kù)標(biāo)識(shí)為可用。三.用戶檢索請(qǐng)求的處理(1)從接收到的用戶檢索請(qǐng)求命令中，提取指定的時(shí)間范圍；(2)根據(jù)該時(shí)間范圍，選擇符合時(shí)間條件的子索引庫(kù)，作為處理當(dāng)前檢索命令的索引庫(kù)；(3)執(zhí)行檢索過程，并返回結(jié)果。支持多數(shù)據(jù)源的索引維護(hù)方法，其特征在于對(duì)子索引庫(kù)具有如下的標(biāo)識(shí)DATE1-DATE2，其中DATEl與DATE2分別表示索引庫(kù)中所包含的數(shù)據(jù)文件的最早與最遲的生成時(shí)間，格式均為yyyyYYDDHHMMSS，yyyy表示年份，YY表示月份，DD表示日，ⅠⅡⅠ表示小時(shí)數(shù)，ⅥM表示分鐘，SS表示秒數(shù)。本發(fā)明的支持多數(shù)據(jù)源的索引維護(hù)方法，索引合并具有靈活的時(shí)間粒度，即由G1、G2和G3表示不同時(shí)間粒度，對(duì)應(yīng)的子索引庫(kù)具有如下特點(diǎn)SUB_SET1={siDATE2-DATE1>G1}SUB_SET2={siDATE2-DATE1>G2}SUB_SET3={siDATE2-DATE1>G3}其中，G1>G2>G3。本發(fā)明的支持多數(shù)據(jù)源的索引維護(hù)方法，用戶的檢索請(qǐng)求在合適的時(shí)間范圍子索引庫(kù)中進(jìn)行；針對(duì)檢索請(qǐng)求所限定的查詢時(shí)間范圍[tl，t2]，根據(jù)以下選擇方法選擇用于本次查詢的可用子索引列表tl<=DATEl<=t2或tl<=DATE2<=t2，其中DATEl和DATE2為各個(gè)子索引庫(kù)的標(biāo)識(shí)。本發(fā)明的支持多數(shù)據(jù)源的索引維護(hù)方法，子索引庫(kù)的數(shù)據(jù)加載過程中，通過產(chǎn)生加鎖文件的方式來避免合并進(jìn)程對(duì)正在加載的子索引庫(kù)進(jìn)行合并，也避免正在加載的子索引庫(kù)被用戶檢索處理進(jìn)程選擇為檢索范圍。本發(fā)明的支持多數(shù)據(jù)源的索引維護(hù)方法，子索引庫(kù)合并過程中，通過產(chǎn)生加鎖文件的方式來避免正在生成的新子索引庫(kù)被用戶檢索請(qǐng)求處理進(jìn)程選擇為檢索范圍。本發(fā)明具有實(shí)質(zhì)性特點(diǎn)和顯著進(jìn)步(1)通過設(shè)置子索引庫(kù)，需要為不同數(shù)據(jù)源建立索引時(shí)，只需要在各自的子索引庫(kù)中進(jìn)行，而不互相影響，因此能夠?qū)崿F(xiàn)索引的實(shí)時(shí)更新。(2)通過設(shè)置合適的索引合并檢測(cè)周期，可以實(shí)現(xiàn)具有不同時(shí)間粒度的子索引庫(kù)互相共存，為索引庫(kù)的組織提供了一種新的思路。(3)用戶限定時(shí)間范圍的檢索請(qǐng)求可以方便地映射到子索引庫(kù)上，索引的更新在獨(dú)立的子索引庫(kù)中進(jìn)行而不影響用戶的檢索請(qǐng)求，從而保證響應(yīng)時(shí)間滿足用戶要求，提高檢索效率。圖1為本發(fā)明總體流程圖。圖2為數(shù)據(jù)加載處理流程圖。圖3為子索引庫(kù)合并處理流程圖。圖4為用戶檢索請(qǐng)求處理流程圖。具體實(shí)施例方式在索引服務(wù)器上維護(hù)三個(gè)進(jìn)程，分別是子索引庫(kù)的數(shù)據(jù)加載、子索引庫(kù)的合并、用戶檢索請(qǐng)求的處理。圖2、圖3、圖4為本發(fā)明流程圖示。索引庫(kù)是一個(gè)獨(dú)立目錄，其中所包含的子目錄為子索引庫(kù)，每個(gè)子索引庫(kù)中的具體文件根據(jù)不同的索引組織形式而有所不同。1、子索引庫(kù)的數(shù)據(jù)加載進(jìn)程索引服務(wù)器設(shè)定一個(gè)目錄用于接收新數(shù)據(jù)文件，按照以下處理流程執(zhí)行(1)檢查該目錄是否有新的數(shù)據(jù)文件達(dá)到。(2)如果沒有新的數(shù)據(jù)文件，則轉(zhuǎn)(1)。(3)如果有新的數(shù)據(jù)文件，則執(zhí)行以下處理流程(a)在索引庫(kù)中建立相應(yīng)的子目錄，將目錄名稱命名為DATE1-DATE2，其中DATEl與DATE2分別表示數(shù)據(jù)文件集中文件最早與最遲的生成時(shí)間，格式均為yyyyYYDDHHMMSS，yyyy表示年份，YY表示月份，DD表示日，HH表示小時(shí)，匪表示分鐘，SS表示秒；(b)在該子目錄中生成lock文件，表示該子索引庫(kù)處于加鎖狀態(tài)；(c)按照創(chuàng)建索引的算法(具體的算法在本發(fā)明中沒有限制，可選用目前任何已有的算法，如倒排索引創(chuàng)建算法[5，6]等)，為數(shù)據(jù)文件中的數(shù)據(jù)建立索引，在該子索引庫(kù)中生成索引文件；(d)刪除lock文件，表示該子索引庫(kù)處于解鎖狀態(tài)；(e)通知用戶檢索請(qǐng)求處理進(jìn)程，將該子索引標(biāo)識(shí)為可用。(4)轉(zhuǎn)本進(jìn)程的流程(1)繼續(xù)執(zhí)行，直到用戶終止該進(jìn)程的運(yùn)行。2、子索引庫(kù)的合并進(jìn)程索引服務(wù)器設(shè)定一個(gè)時(shí)間間隔T，子索引庫(kù)的合并進(jìn)程每過這個(gè)時(shí)間間隔，就按照一定策略將子索引庫(kù)合并(1)在時(shí)間間隔達(dá)到時(shí)，分別選擇未加鎖的，同時(shí)滿足下面條件的子索引庫(kù)集合SUB__SET1=IsiDATE2-DATE1>G1}SUB__SET2=IsiDATE2-DATE1>G2}SUB__SET3=IsiDATE2-DATE1>G3}其中，G1>G2>G3。Gl,G2，G3代表不同的時(shí)間粒度。(2)對(duì)所選擇的子索引庫(kù)集分別按照以下處理流程執(zhí)行(a)在索引庫(kù)中建立相應(yīng)的子目錄，將目錄名稱命名為DATE1-DATE2，其中DATEl與DATE2分別表示子索引庫(kù)集中各個(gè)子索引庫(kù)的最早與最遲時(shí)間標(biāo)識(shí)；(b)在該子目錄中生成lock文件，表示該子索引庫(kù)處于加鎖狀態(tài)；(c)按照索引算法相對(duì)應(yīng)的索引合并算法(具體的算法在本發(fā)明中沒有限制，可選用目前任何已有的算法，如針對(duì)倒排索引結(jié)構(gòu)的合并算法[5，6]等)，將所選擇的所有子索引庫(kù)合并，并寫入到新的子索引庫(kù)中；(d)刪除lock文件，表示該子索引庫(kù)處于解鎖狀態(tài)；(e)通知用戶檢索請(qǐng)求處理進(jìn)程，將所選擇的子索引庫(kù)標(biāo)識(shí)為不可用，而將新生成的子索引庫(kù)標(biāo)識(shí)為可用；(f)刪除子索引庫(kù)集中的各個(gè)子索引庫(kù)。(3)轉(zhuǎn)本進(jìn)程的流程(1)繼續(xù)執(zhí)行，直到用戶終止該進(jìn)程的運(yùn)行。3、用戶檢索請(qǐng)求處理進(jìn)程當(dāng)產(chǎn)生新的用戶檢索請(qǐng)求時(shí)，該進(jìn)程開始按照下面的流程執(zhí)行(1)從檢索請(qǐng)求串中提取檢索所限定的查詢時(shí)間范圍[tl，t2]；(2)根據(jù)時(shí)間范圍，選擇用于本次查詢的可用子索引列表，方法如下tl<=DATEl<=t2或tl<=DATE2<=t2，其中DATEl和DATE2為各個(gè)子索引庫(kù)的標(biāo)識(shí)。(3)根據(jù)所選擇的所有符合條件的子索引，構(gòu)造索引結(jié)構(gòu)，提取符合條件的記錄，并返回給用戶。從上述實(shí)施過程可以看出，本發(fā)明將索引庫(kù)按照時(shí)間粒度劃分子索引庫(kù)，而子索引庫(kù)的維護(hù)過程由數(shù)據(jù)加載、索引合并兩個(gè)進(jìn)程組成。數(shù)據(jù)加載過程中仍然可以保證對(duì)用戶檢索的連續(xù)請(qǐng)求，大索引合并處理期間不會(huì)對(duì)檢索過程的響應(yīng)時(shí)間造成影響。用戶的時(shí)間范圍檢索可以定位到合理的子索引庫(kù)，避免在大索引庫(kù)中檢索記錄。本發(fā)明所提出的索引庫(kù)維護(hù)方式為各種搜索引擎設(shè)計(jì)提供了新的思路與參考方法。具體例子在一臺(tái)計(jì)算機(jī)上部署索引服務(wù)器，實(shí)現(xiàn)子索引庫(kù)的數(shù)據(jù)加載、子索引庫(kù)合并以及用戶檢索請(qǐng)求處理等算法。設(shè)定接收數(shù)據(jù)文件的目錄為C:\reCeiVe_data;索引庫(kù)對(duì)應(yīng)的目錄為c:\index，數(shù)據(jù)加載進(jìn)程在該子目錄下生成子索引庫(kù)，如c:\index\20101010092500-20101010093000。設(shè)定合并的時(shí)間間隔T=300，即5分鐘。設(shè)定Gl=3600*24，G2=3600*3，G3=3600，分別表示建立一天的索引庫(kù)、三小時(shí)的索引庫(kù)和一小時(shí)的索引庫(kù)。參考文獻(xiàn)[1]FayChang，JeffreyDean,SanjayGhemawatjWilsonC.HsiehjDeborahA.WallachjMikeBurrows,TusharChandra,AndrewFikesjRobertE.Gruber.Bigtable:ADistributedStorageSystemforStructuredData.ACMTransactionsonComputerSystems,2008，26(2)，article4王智強(qiáng)，劉建毅.一種實(shí)時(shí)更新索引結(jié)構(gòu)的設(shè)計(jì)與實(shí)現(xiàn).計(jì)算機(jī)系統(tǒng)應(yīng)用，2005，(10)79-82.彭波，李曉明.搜索引擎倒排文件的一種分塊組織技術(shù).電子學(xué)報(bào)，2005，33(2)358-362印鑒，鄒勝.一種分布式搜索引擎設(shè)計(jì).計(jì)算機(jī)科學(xué)，2001,28(10):74-77.GoetzB.TheLucenesearchenginePowerful,flexible,free,http://www.javaworld.com/javaworld/jw-09-2000/jw-0915-lucene.html.賈崇，陸玉昌，魯明羽.一種支持高效檢索的即時(shí)更新倒排索引方法.計(jì)算機(jī)工程與應(yīng)用，2003，19198-201。權(quán)利要求一種支持多數(shù)據(jù)源的索引維護(hù)方法，其特征在于整個(gè)索引庫(kù)分為一系列子索引庫(kù)，每個(gè)子索引庫(kù)存儲(chǔ)一定時(shí)間粒度內(nèi)的索引，子索引庫(kù)包含一個(gè)獨(dú)立的目錄及相關(guān)文件；具體步驟包括以下3個(gè)處理流程一．子索引庫(kù)的數(shù)據(jù)加載(1)生成新的子索引庫(kù)，并按照一定的命名方式對(duì)該子索引庫(kù)進(jìn)行標(biāo)識(shí)；(2)對(duì)該子索引庫(kù)進(jìn)行加鎖；(3)按照建立索引結(jié)構(gòu)的算法創(chuàng)建數(shù)據(jù)對(duì)應(yīng)的索引文件，實(shí)現(xiàn)數(shù)據(jù)加載；(4)子索引庫(kù)解鎖；(5)通知索引服務(wù)器上的檢索請(qǐng)求處理進(jìn)程，將該子索引庫(kù)標(biāo)識(shí)為可用庫(kù)；二．子索引庫(kù)的合并(1)按照一定的時(shí)間間隔選擇需要合并的子索引庫(kù)；(2)生成新的子索引庫(kù)，并按照一定命名方式對(duì)該子索引庫(kù)進(jìn)行標(biāo)識(shí)；(3)對(duì)該子索引庫(kù)進(jìn)行加鎖；(4)按照與索引結(jié)構(gòu)相對(duì)應(yīng)的索引合并算法將所選擇的子索引庫(kù)合并，寫入到新的子索引庫(kù)；(5)子索引庫(kù)解鎖；(6)通知索引服務(wù)器上的檢索請(qǐng)求處理進(jìn)程，將所選擇的子索引庫(kù)標(biāo)識(shí)為不可用，而將新的子索引庫(kù)標(biāo)識(shí)為可用；三．用戶檢索請(qǐng)求的處理(1)從接收到的用戶檢索請(qǐng)求命令中，提取指定的時(shí)間范圍；(2)根據(jù)該時(shí)間范圍，選擇符合時(shí)間條件的子索引庫(kù)，作為處理當(dāng)前檢索命令的索引；(3)執(zhí)行檢索過程，并返回結(jié)果。2.如權(quán)利要求1所述的支持多數(shù)據(jù)源的索引維護(hù)方法，其特征在于對(duì)子索引庫(kù)具有如下的標(biāo)識(shí)DATE1-DATE2，其中DATEl與DATE2分別表示索引庫(kù)中所包含的數(shù)據(jù)文件的最早與最遲的生成時(shí)間，格式均為yyyyYYDDHHMMSS，yyyy表示年份，YY表示月份，DD表示日，HH表示小時(shí)數(shù)，匪表示分鐘，SS表示秒數(shù)。3.如權(quán)利要求2所述的支持多數(shù)據(jù)源的索引維護(hù)方法，其特征在于索引合并具有靈活的時(shí)間粒度，即由G1、G2和G3表示不同時(shí)間粒度，對(duì)應(yīng)的子索引庫(kù)具有如下特點(diǎn)SUB__SET1=IsiDATE2-DATE1>G1}SUB__SET2=IsiDATE2-DATE1>G2}SUB__SET3=IsiDATE2-DATE1>G3}其中，G1>G2>G3。4.如權(quán)利要求3所述的支持多數(shù)據(jù)源的索引維護(hù)方法，其特征在于用戶的檢索請(qǐng)求在合適的時(shí)間范圍子索引庫(kù)中進(jìn)行；針對(duì)檢索請(qǐng)求所限定的查詢時(shí)間范圍[tl，t2]，根據(jù)以下選擇方法選擇用于本次查詢的可用子索引列表tl<=DATEl<=t2或tl<=DATE2<=t2，其中DATEl和DATE2為各個(gè)子索引庫(kù)的標(biāo)識(shí)。5.如權(quán)利要求1所述的支持多數(shù)據(jù)源的索引維護(hù)方法，其特征在于子索引庫(kù)的數(shù)據(jù)加載過程中，通過產(chǎn)生加鎖文件的方式來避免合并進(jìn)程對(duì)正在加載的子索引庫(kù)進(jìn)行合并，也避免正在加載的子索引庫(kù)被用戶檢索處理進(jìn)程選擇為檢索范圍。6.如權(quán)利要求1所述的支持多數(shù)據(jù)源的索引維護(hù)方法，其特征在于子索引庫(kù)合并過程中，通過產(chǎn)生加鎖文件的方式來避免正在生成的新子索引庫(kù)被用戶檢索請(qǐng)求處理進(jìn)程選擇為檢索范圍。全文摘要本發(fā)明屬于搜索引擎
技術(shù)領(lǐng)域：
，具體涉及一種支持多數(shù)據(jù)源的索引維護(hù)方法。本發(fā)明將整個(gè)索引庫(kù)分為一系列子索引庫(kù)，每個(gè)子索引庫(kù)存儲(chǔ)一定時(shí)間粒度內(nèi)的索引，子索引庫(kù)包含一個(gè)獨(dú)立的目錄及相關(guān)文件。操作步驟分為三個(gè)流程子索引庫(kù)的數(shù)據(jù)加載、子索引庫(kù)的合并、用戶檢索請(qǐng)求的處理。本發(fā)明通過設(shè)置子索引庫(kù)，便于實(shí)現(xiàn)索引的實(shí)時(shí)更新；通過設(shè)置合適的索引合并檢測(cè)周期，實(shí)現(xiàn)具有不同時(shí)間粒度的子索引庫(kù)互相共存；將用戶限定時(shí)間范圍的檢索請(qǐng)求映射到子索引庫(kù)上，索引的更新可以在獨(dú)立的子索引庫(kù)中進(jìn)行而不影響用戶的檢索請(qǐng)求，從而保證響應(yīng)時(shí)間滿足用戶要求。文檔編號(hào)G06F17/30GK101989301SQ201010515780公開日2011年3月23日申請(qǐng)日期2010年10月22日優(yōu)先權(quán)日2010年10月22日發(fā)明者吳承榮,曾劍平申請(qǐng)人:復(fù)旦大學(xué)