信息查詢系統(tǒng)與方法
【專利摘要】本申請(qǐng)?zhí)峁┝艘环N信息查詢系統(tǒng)與方法，其中，信息查詢系統(tǒng)包括：第一集群和多個(gè)不同語(yǔ)種的第二集群；其中，所述第一集群，用于將源語(yǔ)種的查詢請(qǐng)求翻譯重寫(xiě)為多種目標(biāo)語(yǔ)種的查詢請(qǐng)求，并分別發(fā)送給相應(yīng)語(yǔ)種的所述第二集群；所述第二集群中的每個(gè)集群，用于接收與本集群語(yǔ)種相對(duì)應(yīng)的所述目標(biāo)語(yǔ)種的查詢請(qǐng)求，根據(jù)接收的所述目標(biāo)語(yǔ)種的查詢請(qǐng)求進(jìn)行信息查詢，并向所述第一集群返回本集群對(duì)應(yīng)的目標(biāo)語(yǔ)種的查詢結(jié)果；所述第一集群，還用于對(duì)所述第二集群返回的不同目標(biāo)語(yǔ)種的查詢結(jié)果進(jìn)行處理后，發(fā)送給搜索前端進(jìn)行展示。通過(guò)本申請(qǐng)，達(dá)到了多語(yǔ)言信息檢索，提供用戶更多信息和提升用戶使用體驗(yàn)的效果。
【專利說(shuō)明】信息查詢系統(tǒng)與方法
【技術(shù)領(lǐng)域】
[0001]本申請(qǐng)涉及網(wǎng)絡(luò)【技術(shù)領(lǐng)域】，特別是涉及一種信息查詢系統(tǒng)與方法。
【背景技術(shù)】
[0002]在電子商務(wù)活動(dòng)中，其中重要的一個(gè)環(huán)節(jié)是，如何將賣(mài)家發(fā)布的產(chǎn)品信息快速、友好、精準(zhǔn)地呈現(xiàn)給買(mǎi)家，而搜索引擎通常是實(shí)現(xiàn)這個(gè)環(huán)節(jié)的首選。在一次搜索體驗(yàn)過(guò)程中，買(mǎi)家一般使用查詢關(guān)鍵詞表達(dá)求購(gòu)意圖，期待搜索引擎快速、友好、精準(zhǔn)地返回賣(mài)家的相關(guān)產(chǎn)品信息。絕大多數(shù)提供搜索引擎功能的網(wǎng)站，返回的相關(guān)結(jié)果都是來(lái)自同一種語(yǔ)言的產(chǎn)品，而一個(gè)面向全球貿(mào)易的電子商務(wù)網(wǎng)站，發(fā)布、搜索和展示除了英語(yǔ)以外的其他不同語(yǔ)言的產(chǎn)品信息是很重要的功能。
[0003]現(xiàn)有的電子商務(wù)搜索引擎都是針對(duì)同一種語(yǔ)言的數(shù)據(jù)源進(jìn)行構(gòu)建，查詢?cè)~和產(chǎn)品信息都是使用同一種語(yǔ)言進(jìn)行描述的，查詢結(jié)果也只能是來(lái)自一種語(yǔ)言的產(chǎn)品。
[0004]下面以英文產(chǎn)品的分布式搜索框架為例進(jìn)行說(shuō)明，如圖1所示，該分布式搜索框架包括searchweb前端(web搜索前端)、merger (合并)集群、searcher (搜索)集群、和clustermap (集群映射)集群。在該英文分布式搜索框架中，產(chǎn)品數(shù)據(jù)按列劃分成N列。其中，M行XN列的searcher集群負(fù)責(zé)查詢串解析、檢索、過(guò)濾、統(tǒng)計(jì)、排序、選取和展示數(shù)據(jù)獲取，每一次查詢請(qǐng)求只會(huì)落到邏輯上的某一行上；1行XY列的merger集群負(fù)責(zé)向某行searcher發(fā)起查詢請(qǐng)求，并將來(lái)自N列的同構(gòu)數(shù)據(jù)的統(tǒng)計(jì)合并和排序，每一次查詢請(qǐng)求只會(huì)落到某一列上；clustermap維護(hù)merger和searcher集群機(jī)器角色之間的層次連接關(guān)系和機(jī)器狀態(tài)信息，控制searcher集群和merger集群機(jī)器之間的請(qǐng)求轉(zhuǎn)發(fā)和負(fù)載均衡；searchweb前端根據(jù)用戶查詢?cè)~及其他查詢條件拼成請(qǐng)求串，發(fā)送給某列merger,具體的merger列由F5負(fù)載均衡設(shè)備(處于searchweb前端和merger集群之間，圖1中未示出)決定，等待返回結(jié)果并進(jìn)行解析展示。
[0005]分布式搜索框架采用兩階段查詢處理用戶請(qǐng)求，首先，merger向某行的每臺(tái)searcher發(fā)起第一階段查詢，具體的searcher行由clustermap決定；searcher完成具體的檢索流程得到產(chǎn)品id集合及分?jǐn)?shù)等信息，并返回給merger ;merger將各臺(tái)searcher的結(jié)果進(jìn)行合并，經(jīng)過(guò)排序后，根據(jù)請(qǐng)求的區(qū)間選取最終的產(chǎn)品id集合，然后向第一階段選中的searcher發(fā)起第二階段查詢；searcher獲取產(chǎn)品具體數(shù)據(jù),返回給merger,并根據(jù)一定格式生成最終結(jié)果。
[0006]上述現(xiàn)有分布式搜索框架只能較好的處理同一種語(yǔ)言的產(chǎn)品檢索，但卻無(wú)法處理不同種語(yǔ)言的產(chǎn)品檢索，無(wú)法滿足面向多語(yǔ)言的混合搜索需求。

【發(fā)明內(nèi)容】

[0007]本申請(qǐng)?zhí)峁┝艘环N信息查詢系統(tǒng)與方法，以解決現(xiàn)有分布式搜索框架無(wú)法處理不同種語(yǔ)言的檢索，無(wú)法滿足面向多語(yǔ)言的混合搜索需求的問(wèn)題。
[0008]為了解決上述問(wèn)題，本申請(qǐng)公開(kāi)了一種信息查詢系統(tǒng)，包括:第一集群和多個(gè)不同語(yǔ)種的第二集群；其中，所述第一集群，用于將源語(yǔ)種的查詢請(qǐng)求翻譯重寫(xiě)為多種目標(biāo)語(yǔ)種的查詢請(qǐng)求，并分別發(fā)送給相應(yīng)語(yǔ)種的所述第二集群；所述第二集群中的每個(gè)集群，用于接收與本集群語(yǔ)種相對(duì)應(yīng)的所述目標(biāo)語(yǔ)種的查詢請(qǐng)求，根據(jù)接收的所述目標(biāo)語(yǔ)種的查詢請(qǐng)求進(jìn)行信息查詢，并向所述第一集群返回本集群對(duì)應(yīng)的目標(biāo)語(yǔ)種的查詢結(jié)果；所述第一集群，還用于對(duì)所述第二集群返回的不同目標(biāo)語(yǔ)種的查詢結(jié)果進(jìn)行處理后，發(fā)送給搜索前端進(jìn)行展示。
[0009]優(yōu)選地，所述信息查詢系統(tǒng)還包括:第三集群和所述搜索前端；其中，所述搜索前端，用于將所述處理后的所述不同目標(biāo)語(yǔ)種的查詢結(jié)果發(fā)送給所述第三集群；所述第三集群，用于從所述搜索前端獲取處理后的所述不同目標(biāo)語(yǔ)種的查詢結(jié)果，將所述不同目標(biāo)語(yǔ)種的查詢結(jié)果翻譯為所述源語(yǔ)種的查詢結(jié)果并返回給所述搜索前端；所述搜索前端，還用于接收所述源語(yǔ)種的查詢結(jié)果并進(jìn)行展示。
[0010]優(yōu)選地，所述第一集群中設(shè)置有字段名稱映射關(guān)系表，用于指示所述不同目標(biāo)語(yǔ)種的查詢結(jié)果中的字段名的對(duì)應(yīng)關(guān)系；所述第一集群在對(duì)所述第二集群返回的不同目標(biāo)語(yǔ)種的查詢結(jié)果進(jìn)行處理時(shí)，根據(jù)所述字段名映射關(guān)系表，對(duì)所述不同目標(biāo)語(yǔ)種的查詢結(jié)果進(jìn)行統(tǒng)計(jì)排序和合并，根據(jù)所述源語(yǔ)種的查詢請(qǐng)求生成最終查詢結(jié)果，其中，所述最終查詢結(jié)果中包含有所述不同目標(biāo)語(yǔ)種的查詢結(jié)果的語(yǔ)種信息。
[0011]優(yōu)選地，所述第一集群，還用于在將源語(yǔ)種的查詢請(qǐng)求翻譯重寫(xiě)為多種目標(biāo)語(yǔ)種的階段查詢請(qǐng)求之前，獲取所述源語(yǔ)種的信息，并判斷所述第一集群是否支持所述源語(yǔ)種，若支持，則將所述源語(yǔ)種的查詢請(qǐng)求翻譯重寫(xiě)為多種目標(biāo)語(yǔ)種的階段查詢請(qǐng)求。
[0012]優(yōu)選地，所述第一集群在將所述源語(yǔ)種的查詢請(qǐng)求翻譯重寫(xiě)為多種目標(biāo)語(yǔ)種的階段查詢請(qǐng)求時(shí)，將所述源語(yǔ)種的查詢請(qǐng)求中的查詢?cè)~翻譯為所述第二集群中的每個(gè)集群所支持的語(yǔ)種的查詢?cè)~，分別重新拼裝為相應(yīng)的多個(gè)第一階段查詢請(qǐng)求，其中，所述第一階段查詢請(qǐng)求用于查詢數(shù)據(jù)索引信息。
[0013]優(yōu)選地，每個(gè)所述第二集群包括第一子集群和第二子集群；其中，所述第一子集群，用于接收發(fā)送給本第二集群的第一階段查詢請(qǐng)求，并向本第二集群中的第二子集群發(fā)送；所述第二子集群，用于根據(jù)所述第一子集群發(fā)送的所述第一階段查詢請(qǐng)求，在本第二子集群內(nèi)查詢選取所述數(shù)據(jù)索引信息，并返回給所述第一子集群；所述第一子集群，還用于對(duì)所述數(shù)據(jù)索引信息進(jìn)行同構(gòu)數(shù)據(jù)的統(tǒng)計(jì)排序和選取后，返回給所述第一集群。
[0014]優(yōu)選地，所述第一集群，還用于對(duì)多個(gè)所述第二集群中的第一子集群返回的不同語(yǔ)種的所述數(shù)據(jù)索引信息進(jìn)行異構(gòu)數(shù)據(jù)的統(tǒng)計(jì)排序和選取后，向所述多個(gè)第二集群中的第一子集群發(fā)送第二階段查詢請(qǐng)求，其中，所述第二階段查詢請(qǐng)求用于查詢對(duì)應(yīng)于統(tǒng)計(jì)排序和選取后的所述數(shù)據(jù)索引信息的數(shù)據(jù)詳細(xì)信息。
[0015]優(yōu)選地，所述多個(gè)第二集群中的每個(gè)所述第一子集群還用于接收并向本第二集群的第二子集群發(fā)送所述第二階段查詢請(qǐng)求；本第二集群的第二子集群還用于根據(jù)所述第二階段查詢請(qǐng)求，獲取本第二集群的數(shù)據(jù)詳細(xì)信息并返回給本第二集群的第一子集群；所述第一子集群還用于對(duì)返回的所述數(shù)據(jù)詳細(xì)信息進(jìn)行同構(gòu)數(shù)據(jù)合并后，返回給所述第一集群。
[0016]優(yōu)選地，所述搜索前端，還用于接收輸入的所述源語(yǔ)種的查詢?cè)~，生成所述源語(yǔ)種的查詢請(qǐng)求并發(fā)送給所述第一集群，其中，所述源語(yǔ)種的查詢請(qǐng)求中包含有所述源語(yǔ)種的信息和所述目標(biāo)語(yǔ)種的信息。
[0017]優(yōu)選地，所述信息查詢系統(tǒng)還包括:第四集群，用于維護(hù)所述第一集群和所述第二集群的集群機(jī)器角色和層次關(guān)系。
[0018]優(yōu)選地，所述第一集群、所述第二集群、和所述第三集群均通過(guò)多個(gè)服務(wù)器實(shí)現(xiàn)；所述第四集群，還用于對(duì)所述第一集群中的多個(gè)服務(wù)器進(jìn)行負(fù)載均衡；以及，對(duì)所述第二集群中的第一子集群和/或第二子集群進(jìn)行負(fù)載均衡。
[0019]為了解決上述問(wèn)題，本申請(qǐng)還公開(kāi)了一種信息查詢方法，包括:第一集群將源語(yǔ)種的查詢請(qǐng)求翻譯重寫(xiě)為多種目標(biāo)語(yǔ)種的查詢請(qǐng)求，并分別發(fā)送給多個(gè)不同語(yǔ)種的第二集群中的相應(yīng)集群；所述多個(gè)第二集群中的每個(gè)集群接收與本集群語(yǔ)種相對(duì)應(yīng)的所述目標(biāo)語(yǔ)種的查詢請(qǐng)求，根據(jù)接收的所述目標(biāo)語(yǔ)種的查詢請(qǐng)求進(jìn)行信息查詢，并向所述第一集群返回本集群對(duì)應(yīng)的目標(biāo)語(yǔ)種的查詢結(jié)果；所述第一集群對(duì)所述第二集群返回的不同目標(biāo)語(yǔ)種的查詢結(jié)果進(jìn)行處理后，發(fā)送給搜索前端進(jìn)行展示。
[0020]優(yōu)選地，所述信息查詢方法還包括:所述搜索前端將所述處理后的所述不同目標(biāo)語(yǔ)種的查詢結(jié)果發(fā)送給第三集群；所述第三集群從所述搜索前端獲取處理后的所述不同目標(biāo)語(yǔ)種的查詢結(jié)果，將所述不同目標(biāo)語(yǔ)種的查詢結(jié)果翻譯為所述源語(yǔ)種的查詢結(jié)果并返回給所述搜索前端；所述搜索前端接收所述源語(yǔ)種的查詢結(jié)果并進(jìn)行展示。
[0021]優(yōu)選地，所述第一集群對(duì)所述第二集群返回的不同目標(biāo)語(yǔ)種的查詢結(jié)果進(jìn)行處理后，發(fā)送給搜索前端進(jìn)行展示的步驟包括:所述第一集群通過(guò)字段名稱映射關(guān)系表對(duì)所述不同目標(biāo)語(yǔ)種的查詢結(jié)果進(jìn)行統(tǒng)計(jì)排序和合并，根據(jù)所述源語(yǔ)種的查詢請(qǐng)求生成最終查詢結(jié)果并發(fā)送給所述搜索前端進(jìn)行展示；其中，所述字段名稱映射關(guān)系表用于指示所述不同目標(biāo)語(yǔ)種的查詢結(jié)果中的字段名的對(duì)應(yīng)關(guān)系；所述最終查詢結(jié)果中包含有所述不同目標(biāo)語(yǔ)種的查詢結(jié)果的語(yǔ)種信息。
[0022]與現(xiàn)有技術(shù)相比，本申請(qǐng)具有以下優(yōu)點(diǎn):
[0023]本申請(qǐng)通過(guò)設(shè)置第一集群和多個(gè)不同語(yǔ)種的第二集群，將源語(yǔ)種的查詢請(qǐng)求翻譯重寫(xiě)為多語(yǔ)種的查詢請(qǐng)求，并發(fā)送給相應(yīng)語(yǔ)種的第二集群進(jìn)行信息查詢。通過(guò)該方式，一個(gè)語(yǔ)種的查詢?cè)~可以查詢到對(duì)不同語(yǔ)種的信息，有效解決了現(xiàn)有分布式搜索框架無(wú)法處理不同種語(yǔ)言的檢索，無(wú)法滿足面向多語(yǔ)言的混合搜索需求的問(wèn)題，達(dá)到了多語(yǔ)言信息檢索，提供用戶更多信息和提升用戶使用體驗(yàn)的效果。
【專利附圖】

【附圖說(shuō)明】
[0024]圖1是現(xiàn)有技術(shù)的一種分布式搜索框架的示意圖；
[0025]圖2是根據(jù)本申請(qǐng)實(shí)施例一的一種信息查詢系統(tǒng)的結(jié)構(gòu)框圖；
[0026]圖3是根據(jù)本申請(qǐng)實(shí)施例二的一種信息查詢系統(tǒng)的結(jié)構(gòu)框圖；
[0027]圖4是根據(jù)本申請(qǐng)實(shí)施例三的一種信息查詢系統(tǒng)的結(jié)構(gòu)示意圖；
[0028]圖5是圖4所示系統(tǒng)的一種全量索引的流程示意圖；
[0029]圖6是圖4所示系統(tǒng)的一種增量索引的流程示意圖；
[0030]圖7是根據(jù)本申請(qǐng)實(shí)施例四的一種信息查詢方法的步驟流程圖。
【具體實(shí)施方式】[0031]為使本申請(qǐng)的上述目的、特征和優(yōu)點(diǎn)能夠更加明顯易懂，下面結(jié)合附圖和【具體實(shí)施方式】對(duì)本申請(qǐng)作進(jìn)一步詳細(xì)的說(shuō)明。
[0032]實(shí)施例一
[0033]參照?qǐng)D2，示出了根據(jù)本申請(qǐng)實(shí)施例一的一種信息查詢系統(tǒng)的結(jié)構(gòu)框圖。
[0034]本實(shí)施例的信息查詢系統(tǒng)包括:第一集群102和多個(gè)不同語(yǔ)種的第二集群104。
[0035]其中，第一集群102，用于將源語(yǔ)種的查詢請(qǐng)求翻譯重寫(xiě)為多種目標(biāo)語(yǔ)種的查詢請(qǐng)求，并分別發(fā)送給相應(yīng)語(yǔ)種的第二集群104 ;第二集群104中的每個(gè)集群，用于接收與本集群語(yǔ)種相對(duì)應(yīng)的目標(biāo)語(yǔ)種的查詢請(qǐng)求，根據(jù)接收的目標(biāo)語(yǔ)種的查詢請(qǐng)求進(jìn)行信息查詢，并向第一集群102返回本集群對(duì)應(yīng)的目標(biāo)語(yǔ)種的查詢結(jié)果；第一集群102，還用于對(duì)第二集群104返回的不同目標(biāo)語(yǔ)種的查詢結(jié)果進(jìn)行處理后，發(fā)送給搜索前端進(jìn)行展示。
[0036]例如，設(shè)定源語(yǔ)種為法語(yǔ)，多個(gè)不同語(yǔ)種的第二集群分別為法語(yǔ)集群、英語(yǔ)集群和西班牙語(yǔ)集群，則第一集群102接收法語(yǔ)的查詢請(qǐng)求后，分別重寫(xiě)為法語(yǔ)查詢請(qǐng)求、英語(yǔ)查詢請(qǐng)求和西班牙語(yǔ)查詢請(qǐng)求，并分別發(fā)送給對(duì)應(yīng)的法語(yǔ)集群、英語(yǔ)集群和西班牙語(yǔ)集群。法語(yǔ)集群、英語(yǔ)集群和西班牙語(yǔ)集群在接收到本集群語(yǔ)種的查詢請(qǐng)求后，按照查詢請(qǐng)求中的參數(shù)和信息進(jìn)行信息查詢，然后分別向第一集群102返回查詢結(jié)果，其中，法語(yǔ)集群返回的是法語(yǔ)的查詢結(jié)果、英語(yǔ)集群返回的是英語(yǔ)的查詢結(jié)果、西班牙語(yǔ)集群返回的是西班牙語(yǔ)的查詢結(jié)果。第一集群102在接收到這些查詢結(jié)果后進(jìn)行相應(yīng)的處理，如統(tǒng)計(jì)、排序、選取、合并、或者翻譯等，然后發(fā)送給搜索前端進(jìn)行展示。用戶通過(guò)該展示能夠獲取多語(yǔ)種的查詢結(jié)果息。
[0037]通過(guò)本實(shí)施例，在信息查詢系統(tǒng)中設(shè)置第一集群和多個(gè)不同語(yǔ)種的第二集群，將源語(yǔ)種的查詢請(qǐng)求翻譯重寫(xiě)為多語(yǔ)種的查詢請(qǐng)求，并發(fā)送給相應(yīng)語(yǔ)種的第二集群進(jìn)行信息查詢。通過(guò)該方式，一個(gè)語(yǔ)種的查詢?cè)~可以查詢到對(duì)不同語(yǔ)種的信息，有效解決了現(xiàn)有分布式搜索框架無(wú)法處理不同種語(yǔ)言的檢索，無(wú)法滿足面向多語(yǔ)言的混合搜索需求的問(wèn)題，達(dá)到了多語(yǔ)言信息檢索，提供用戶更多信息和提升用戶使用體驗(yàn)的效果。
[0038]實(shí)施例二
[0039]參照?qǐng)D3，示出了根據(jù)本申請(qǐng)實(shí)施例二的一種信息查詢系統(tǒng)的結(jié)構(gòu)框圖。
[0040]本實(shí)施例的信息查詢系統(tǒng)包括:搜索前端202、第一集群204、多個(gè)不同語(yǔ)種的第二集群206、第三集群208、第四集群210。其中，第一集群204、第二集群206、第三集群208、第四集群210中的每個(gè)集群均可由一個(gè)或多個(gè)服務(wù)器實(shí)現(xiàn)。
[0041]搜索前端202可以是客戶端，也可以與客戶端相連，并與第一集群204和第三集群208相連。搜索前端202用于接收輸入的源語(yǔ)種的查詢?cè)~，生成源語(yǔ)種的查詢請(qǐng)求并發(fā)送給第一集群204，其中，源語(yǔ)種的查詢請(qǐng)求中包含有源語(yǔ)種的信息和目標(biāo)語(yǔ)種的信息，該目標(biāo)語(yǔ)種與第二集群206支持的語(yǔ)種相對(duì)應(yīng)；并且，搜索前端202還用于將第一集群204處理后的不同目標(biāo)語(yǔ)種的查詢結(jié)果發(fā)送給第三集群208 ;并在第三集群208將不同目標(biāo)語(yǔ)種的查詢結(jié)果翻譯為源語(yǔ)種的查詢結(jié)果后，接收第三集群208的返回源語(yǔ)種的查詢結(jié)果進(jìn)行展示，如顯示給客戶端的用戶。
[0042]第一集群204與搜索前端202和多個(gè)不同語(yǔ)種的第二集群206相連。第一集群204用于源語(yǔ)種的查詢請(qǐng)求翻譯重寫(xiě)為多種目標(biāo)語(yǔ)種的查詢請(qǐng)求，并分別發(fā)送給相應(yīng)語(yǔ)種的第二集群206 ;以及，對(duì)第二集群206返回的不同目標(biāo)語(yǔ)種的查詢結(jié)果進(jìn)行處理后，發(fā)送給搜索前端202進(jìn)行展示。優(yōu)選地，可以在第一集群204中設(shè)置字段名稱映射關(guān)系表，該關(guān)系表用于指示不同目標(biāo)語(yǔ)種的查詢結(jié)果中的字段名的對(duì)應(yīng)關(guān)系，如英語(yǔ)查詢結(jié)果中的字段名“subject”與西班牙語(yǔ)查詢結(jié)果中的“tema”相對(duì)應(yīng)，均指示產(chǎn)品名字段等。這樣，在第一集群204接收到第二集群206返回的不同目標(biāo)語(yǔ)種的查詢結(jié)果后，可以根據(jù)字段名映射關(guān)系表，對(duì)不同目標(biāo)語(yǔ)種的查詢結(jié)果進(jìn)行處理，即，對(duì)來(lái)自不同目標(biāo)語(yǔ)種的異構(gòu)查詢結(jié)果利用名稱映射關(guān)系表進(jìn)行結(jié)果兼容性處理，包括進(jìn)行統(tǒng)計(jì)排序和合并(將不同目標(biāo)語(yǔ)種的異構(gòu)查詢結(jié)果進(jìn)行并集處理)等，進(jìn)而根據(jù)源語(yǔ)種的查詢請(qǐng)求生成最終查詢結(jié)果，如，源語(yǔ)種的查詢請(qǐng)求中設(shè)定僅顯示最靠前的30條記錄等，則第一集群204對(duì)不同目標(biāo)語(yǔ)種的查詢結(jié)果進(jìn)行統(tǒng)計(jì)排序和合并后，根據(jù)源語(yǔ)種的查詢請(qǐng)求僅選取排名前30的查詢結(jié)果，生成最終查詢結(jié)果發(fā)送給搜索前端202進(jìn)行展示。其中，最終查詢結(jié)果中包含有不同目標(biāo)語(yǔ)種的查詢結(jié)果的語(yǔ)種信息。
[0043]優(yōu)選地，第一集群204可以在將源語(yǔ)種的查詢請(qǐng)求翻譯重寫(xiě)為多種目標(biāo)語(yǔ)種的階段查詢請(qǐng)求之前，獲取源語(yǔ)種的信息，并判斷第一集群204是否支持源語(yǔ)種，若支持，則將源語(yǔ)種的查詢請(qǐng)求翻譯重寫(xiě)為多種目標(biāo)語(yǔ)種的階段查詢請(qǐng)求。第一集群204通過(guò)判斷是否支持源語(yǔ)種，一方面可以確定用戶輸入的語(yǔ)種是否合法，另一方面能夠提高查詢的效率，避免無(wú)效查詢。
[0044]第一集群204通過(guò)第二集群206進(jìn)行信息查詢，獲取信息查詢結(jié)果。在這一過(guò)程中，第一集群204先將源語(yǔ)種的查詢請(qǐng)求中的查詢?cè)~翻譯為第二集群206中的每個(gè)集群所支持的語(yǔ)種的查詢?cè)~，然后分別重新拼裝為相應(yīng)的多個(gè)第一階段查詢請(qǐng)求，該第一階段查詢請(qǐng)求用于查詢數(shù)據(jù)索引信息，如產(chǎn)品的編號(hào)、標(biāo)題、簡(jiǎn)要介紹，產(chǎn)品的屬性特征等字段建立有倒排索引，用于查詢匹配；產(chǎn)品產(chǎn)地、質(zhì)量、創(chuàng)建和修改時(shí)間等建立有正排索引，用于過(guò)濾、統(tǒng)計(jì)和排序。之后，第一集群204將多語(yǔ)種的多個(gè)第一階段查詢請(qǐng)求分別發(fā)送給相應(yīng)的第二集群206。在每個(gè)第二集群206中，都包括有第一子集群和第二子集群。以一個(gè)第二集群206的查詢請(qǐng)求處理為例，該第二集群206的第一子集群用于接收發(fā)送給本第二集群206的第一階段查詢請(qǐng)求，并向本第二集群206中的第二子集群發(fā)送；該第二集群206中的第二子集群用于根據(jù)本第二集群206的第一子集群發(fā)送的第一階段查詢請(qǐng)求，在本第二子集群內(nèi)查詢數(shù)據(jù)索引信息，并返回給本第二集群206的第一子集群；該第一子集群在接收到該第二子集群返回的數(shù)據(jù)索引信息后，還用于對(duì)數(shù)據(jù)索引信息進(jìn)行同構(gòu)數(shù)據(jù)(同構(gòu)數(shù)據(jù)指每條數(shù)據(jù)的描述形式是一致的，如每條數(shù)據(jù)的字段數(shù)量和名稱是一樣的)的統(tǒng)計(jì)排序和選取后，返回給第一集群204。第一集群204還用于接收各個(gè)第二集群206返回的不同語(yǔ)種的異構(gòu)(異構(gòu)數(shù)據(jù)是指數(shù)據(jù)的描述形式不一致，如每條數(shù)據(jù)的字段數(shù)量和/或字段名稱是不一樣的)的數(shù)據(jù)索引信息，對(duì)多個(gè)第二集群206中的第一子集群返回的不同語(yǔ)種的數(shù)據(jù)索引信息進(jìn)行異構(gòu)數(shù)據(jù)的統(tǒng)計(jì)排序和選取后，向多個(gè)第二集群206中的第一子集群發(fā)送第二階段查詢請(qǐng)求，該第二階段查詢請(qǐng)求用于查詢對(duì)應(yīng)于統(tǒng)計(jì)排序和選取后的數(shù)據(jù)索引信息的數(shù)據(jù)詳細(xì)信息(如產(chǎn)品的詳細(xì)介紹等)。優(yōu)選地，第一集群204在對(duì)多個(gè)第二集群206返回的不同語(yǔ)種的數(shù)據(jù)索引信息進(jìn)行異構(gòu)數(shù)據(jù)的統(tǒng)計(jì)排序和選取時(shí)，可以根據(jù)第一階段查詢請(qǐng)求對(duì)統(tǒng)計(jì)和排序后的數(shù)據(jù)索引信息進(jìn)行選取，如根據(jù)第一階段查詢請(qǐng)求中對(duì)條目數(shù)量的要求，選取符合條目數(shù)量的數(shù)據(jù)索引信息等；然后，再向多個(gè)第二集群206中的第一子集群發(fā)送第二階段查詢請(qǐng)求，該第二階段查詢請(qǐng)求用于查詢對(duì)應(yīng)于選取后的數(shù)據(jù)索引信息的數(shù)據(jù)詳細(xì)信息。通過(guò)數(shù)據(jù)索引信息篩選，能夠減少信息交互量，提高有效信息獲取效率。
[0045]仍以一個(gè)第二集群206為例，該第二集群206中的第一子集群還用于接收并向本第二集群206的第二子集群發(fā)送第二階段查詢請(qǐng)求；本第二集群206的第二子集群還用于根據(jù)第二階段查詢請(qǐng)求，獲取本第二集群206的數(shù)據(jù)詳細(xì)信息并返回給本第二集群206的第一子集群；本第二集群206的第一子集群還用于對(duì)返回的數(shù)據(jù)詳細(xì)信息進(jìn)行同構(gòu)數(shù)據(jù)合并后，返回給第一集群204。第一集群204對(duì)多個(gè)第二集群206返回的不同語(yǔ)種的異構(gòu)數(shù)據(jù)詳細(xì)信息進(jìn)行處理，如將異構(gòu)數(shù)據(jù)按指定的格式進(jìn)行兼容性拼裝處理(對(duì)異構(gòu)數(shù)據(jù)進(jìn)行的并集處理)，然后生成最終的查詢結(jié)果，發(fā)送給搜索前端202進(jìn)行展示。
[0046]搜索前端202接收第一集群204返回的最終的查詢結(jié)果，也即，第一集群204處理后的不同目標(biāo)語(yǔ)種的查詢結(jié)果后，一種方式是直接展示給客戶端的用戶，但該種方式有可能因用戶不懂多種語(yǔ)言而造成閱讀困難，無(wú)法有效獲取信息。因此，優(yōu)選地，本實(shí)施例的信息查詢系統(tǒng)設(shè)置了第三集群208，第三集群208連接于搜索前端202，用于從搜索前端202獲取處理后的不同目標(biāo)語(yǔ)種的查詢結(jié)果，將不同目標(biāo)語(yǔ)種的查詢結(jié)果翻譯為源語(yǔ)種的查詢結(jié)果并返回給搜索前端202 ;搜索前端202還用于接收第三集群208返回的源語(yǔ)種的查詢結(jié)果并進(jìn)行展示。至此，客戶端用戶可以簡(jiǎn)單方便地獲取多種語(yǔ)種情形下的信息，提升用戶使用體驗(yàn)。
[0047]更進(jìn)一步，優(yōu)選地，本實(shí)施例的信息查詢系統(tǒng)還設(shè)置了第四集群210，以對(duì)信息查詢系統(tǒng)的集群進(jìn)行負(fù)載均衡，第四集群210與第一集群204和多個(gè)第二集群206相連，用于對(duì)第一集群204中的多個(gè)服務(wù)器進(jìn)行負(fù)載均衡；以及，對(duì)多個(gè)第二集群206中的多個(gè)第一子集群和/或多個(gè)第二子集群中的多個(gè)服務(wù)器進(jìn)行負(fù)載均衡。但不限于此，在實(shí)際使用中還可以通過(guò)其它方式實(shí)現(xiàn)集群中服務(wù)器的負(fù)載均衡，如，設(shè)置負(fù)載均衡設(shè)備，使該負(fù)載均衡設(shè)備連接于搜索前端202和第一集群204之間，當(dāng)?shù)谝患?04由多個(gè)服務(wù)器實(shí)現(xiàn)時(shí)，負(fù)載均衡設(shè)備對(duì)第一集群204中的多個(gè)服務(wù)器進(jìn)行負(fù)載均衡；而第四集群210僅與多個(gè)第二集群206相連，對(duì)多個(gè)第二集群206中的多個(gè)第一子集群和/或多個(gè)第二子集群進(jìn)行負(fù)載均衡。
[0048]此外，第四集群210還用于維護(hù)第一集群204和多個(gè)第二集群206的集群機(jī)器角色和層次關(guān)系。
[0049]通過(guò)本實(shí)施例，提供了一種面向多語(yǔ)言的信息查詢系統(tǒng)，用于打造一套靈活可配置、簡(jiǎn)單易擴(kuò)展、滿足不同語(yǔ)言產(chǎn)品的混合搜索需求的平臺(tái)。有效解決了現(xiàn)有分布式搜索框架無(wú)法處理不同種語(yǔ)言的檢索，無(wú)法滿足面向多語(yǔ)言的混合搜索需求的問(wèn)題，達(dá)到了多語(yǔ)言信息檢索，提供用戶更多信息和提升用戶使用體驗(yàn)的效果。
[0050]實(shí)施例三
[0051]參照?qǐng)D4，示出了根據(jù)本申請(qǐng)實(shí)施例三的一種信息查詢系統(tǒng)的結(jié)構(gòu)示意圖。
[0052]本實(shí)施例中，設(shè)定第一集群為blender (混合)集群，第二集群包括第一子集群merger集群和第二子集群searcher集群,第三集群為translator (翻譯)集群、第四集群為clustermap集群，以面向英文和西班牙文的電子商務(wù)信息查詢系統(tǒng)為例，對(duì)本申請(qǐng)的信息查詢方案進(jìn)行說(shuō)明。
[0053]本實(shí)施例的信息查詢系統(tǒng)包括:searchweb前端302、blender集群304、英文的merger集群306和西班牙文的merger集群306、英文的searcher集群308和西班牙文的searcher 集群 308、translator 集群 310、clustermap 集群 312。其中，blender 集群 304 設(shè)置為I行X Z行,共Z個(gè)blender服務(wù)器；merger集群306設(shè)置為I行X Y列,共Y個(gè)merger服務(wù)器；searcher集群308設(shè)置為M行XN列，共MXN個(gè)searcher服務(wù)器；translator集群310可以設(shè)置多個(gè)translator服務(wù)器；clustermap集群312也可以設(shè)置多個(gè)clustermap服務(wù)器。
[0054]searchweb 前端 302 分別與 blender 集群 304 和 translator 集群 310 相連，blender集群304還連接于英文的merger集群306和西班牙文的merger集群306,英文的merger集群306連接于英文的searcher集群308,西班牙文的merger集群306連接于西班牙文的searcher集群308, clustermap集群312與blender集群304、英文的merger集群306和西班牙文的merger集群306、英文的searcher集群308和西班牙文的searcher集群308相連。
[0055]I行XZ列的blender集群304首先對(duì)用戶的信息查詢請(qǐng)求在多種語(yǔ)言之間進(jìn)行翻譯重寫(xiě)和轉(zhuǎn)發(fā)，然后對(duì)來(lái)自不同集群的異構(gòu)查詢結(jié)果數(shù)據(jù)進(jìn)行統(tǒng)計(jì)和混合排序等處理，每一次的查詢請(qǐng)求只會(huì)落到blender集群304的某一列上，具體哪列由F5負(fù)載均衡設(shè)備(設(shè)置于searchweb前端302和blender集群304之間，圖4中未不出)決定。TransIator集群310負(fù)責(zé)將其他語(yǔ)言的產(chǎn)品信息翻譯成與用戶查詢?nèi)肟谡Z(yǔ)言(即源語(yǔ)種)相同的產(chǎn)品信息，以便讓searchweb前端302使用統(tǒng)一的語(yǔ)言展示產(chǎn)品信息。西班牙文的merger+searcher集群的結(jié)構(gòu)和布局與左側(cè)的英文merger+searcher集群類似,但有可能searcher和merger的行列數(shù)目不同，searcher和merger的行列數(shù)目主要由數(shù)據(jù)量和訪問(wèn)量決定。
[0056]上述信息查詢系統(tǒng)，不僅保持了英文集群和西班牙集群各自的相對(duì)獨(dú)立性，允許不經(jīng)過(guò)blender集群直接提供單一語(yǔ)種的查詢，而且提供面向英文和西班牙文產(chǎn)品的混合查詢功能。
[0057]再次參照?qǐng)D4，使用本實(shí)施例的信息查詢系統(tǒng)進(jìn)行信息查詢的處理流程包括:
[0058]步驟S102:用戶在網(wǎng)站搜索框中輸入了西班牙文的查詢關(guān)鍵詞，如“relojes debolsillo”,中文意思“懷表”，英語(yǔ) “pocket watches”。
[0059]步驟S104:searchweb前端根據(jù)搜索引擎的查詢語(yǔ)法及用戶選擇的其他搜索條件拼裝請(qǐng)求串。
[0060]如:
[0061]uq=relojes+de+bolsillo&lang=ES&sorttype=SCATTER&scoretype=MLR&subclusters=en, es&statistic=field=statfieldl, count=100, cattype=count&fiIter=county:US&s=0&n=30&outfmt=xml&retset=h，，
[0062]表示用戶搜索語(yǔ)種為西班牙(Iang=ES)的關(guān)鍵字(q=relojes+de+bolsillo),且僅搜索賣(mài)家所在的國(guó)家是美國(guó)(filter=coutry:US)的產(chǎn)品，發(fā)向搜索的集群是英文集群和西班牙文集群(subclusters=en, es),返回字段statfieldl的不同取值的計(jì)數(shù)在前 100 的信息(statistic=field=statfieldl, count=100, cattype=count),從滿足條件的產(chǎn)品集合中，經(jīng)過(guò)匹配分粗排后選出一定數(shù)量的產(chǎn)品作為候選集，再以機(jī)器學(xué)習(xí)排序(MLR)算分模型(Scoretype=MLR)重新計(jì)算分?jǐn)?shù)進(jìn)行精排(sorttype=SCATTER),返回分?jǐn)?shù)在前30名(s=0&n=30)的產(chǎn)品信息，輸出格式以xml方式(outfmt=xml)生成，輸出信息是每個(gè)產(chǎn)品的字段集合h (retset=h)0可見(jiàn)，上述請(qǐng)求中攜帶了源語(yǔ)種信息(Iang=ES)和目標(biāo)語(yǔ)種信息(subclusters=en, es)。此外，該請(qǐng)求中還攜帶了相應(yīng)的統(tǒng)計(jì)信息(statistic=field=statfield I, count=100, cattype=count),以及排序信息(sorttype=SCATTER&scoretype=MLR)。
[0063]該拼裝好的請(qǐng)求串發(fā)送給F5負(fù)載均衡設(shè)備，負(fù)載均衡設(shè)備挑選出一臺(tái)blender為這次查詢請(qǐng)求服務(wù)。blender對(duì)查詢請(qǐng)求串進(jìn)行合法性檢查(如:lang (即源語(yǔ)種)是否在支持的語(yǔ)種范圍內(nèi)，subclusters的值是否正確等)和重寫(xiě),然后分別向英文和西班牙文的merger集群的某臺(tái)merger發(fā)起第一階段查詢請(qǐng)求,具體哪臺(tái)merger由clustermap集群決定，策略可以是輪詢方式，或者根據(jù)機(jī)器負(fù)載動(dòng)態(tài)分配。
[0064]步驟S 106:blender發(fā)向英文集群某臺(tái)merger的請(qǐng)求串要對(duì)查詢?cè)~部分進(jìn)行翻譯以及一些查詢參數(shù)的變更和不相關(guān)參數(shù)的剔除， 并重新拼裝成新的請(qǐng)求串。
[0065]如:
[0066]“ q=pocket+watches&lang=EN&sorttype=SCATTER&scoretype=MLR&stati stic=field=statfieldl, count=100，cattype=count&filter=county:US&s=0&n=30&_step_=first，，
[0067]從上面的新請(qǐng)求串可以看到查詢?cè)~已經(jīng)變成英文的(pocket+watches),語(yǔ)種也變成了英文(Iang=EN),并用參數(shù)指明是第一階段查詢請(qǐng)求(_step_=first),第一階段的查詢和輸出格式及輸出字段集合沒(méi)有關(guān)系，剔除(outfmt=xml&retset=h)參數(shù)。blender中的翻譯模塊以動(dòng)態(tài)庫(kù)的形式加載在blender服務(wù)中以提高整體的響應(yīng)速度。
[0068]步驟S108:merger接收到來(lái)自blender的第一階段查詢請(qǐng)求后，向某行的每臺(tái)searcher發(fā)起第一階段查詢請(qǐng)求,請(qǐng)求串和merger接收到的保持一致。
[0069]步驟SllO:收到第一階段查詢請(qǐng)求的一行searcher對(duì)查詢?cè)~“pocket+watches”分詞為“pocket”和“watch”；然后對(duì)倒排索引進(jìn)行檢索，獲取產(chǎn)品id集合；接著進(jìn)行匹配算分(使用向量空間模型，不同字段賦予不同的權(quán)重分?jǐn)?shù)，再根據(jù)相鄰與否進(jìn)行分?jǐn)?shù)加權(quán))；再通過(guò)正排索引進(jìn)行過(guò)濾和統(tǒng)計(jì)，經(jīng)過(guò)本地的heapsort粗排(粗排依據(jù)的分?jǐn)?shù)是前面計(jì)算出來(lái)的匹配分)和SCATTER精排(精排依據(jù)的分?jǐn)?shù)是經(jīng)過(guò)MLR計(jì)算出來(lái)的，綜合考慮產(chǎn)品質(zhì)量、賣(mài)家信譽(yù)、作弊程度及語(yǔ)種差異等因素)得到排名前30的結(jié)果。此時(shí)的結(jié)果集主要是產(chǎn)品id和分?jǐn)?shù)，并記錄下了哪些產(chǎn)品來(lái)自哪臺(tái)searcher等信息，此時(shí)沒(méi)有產(chǎn)品詳細(xì)信息(也即數(shù)據(jù)詳細(xì)信息)，這些信息經(jīng)過(guò)序列化后返回給merger。
[0070]步驟S112:merger收到一行searcher的返回結(jié)果反序列化后,進(jìn)行同構(gòu)結(jié)果的統(tǒng)計(jì)和歸并排序，排序流程和search上類似，只是粗排和精排依據(jù)的分?jǐn)?shù)都是MLR計(jì)算出來(lái)的分?jǐn)?shù)，然后將結(jié)果序列化后返回給blender。
[0071]步驟SI 14:blender收到來(lái)自不同集群(本實(shí)施例中為英文集群和西班牙文集群)的返回結(jié)果，進(jìn)行異構(gòu)結(jié)果的統(tǒng)計(jì)和歸并排序。
[0072]異構(gòu)結(jié)果的統(tǒng)計(jì)使用字段名稱映射關(guān)系表來(lái)處理，對(duì)于無(wú)映射關(guān)系的單獨(dú)統(tǒng)計(jì)；排序流程和merger上類似，粗排和精排依據(jù)的分?jǐn)?shù)都是MLR計(jì)算出來(lái)的分?jǐn)?shù)。根據(jù)請(qǐng)求的區(qū)間(s=0&n=30)選取最終的產(chǎn)品id集合，然后對(duì)不同集群發(fā)起第二階段查詢請(qǐng)求獲取產(chǎn)品詳細(xì)?目息，如:
[0073]“_step_=second&content=tcp:searcherIPl:portl, _docid_=10299, 8812, 12970，11040，7468，10454，~tcp:searcherIP2:port2, _docid_=10298, 88112，129790，110420,74618,104534, ~&retset=h”[0074]上述第二階段查詢請(qǐng)求表示第二階段向地址是(IP1, portl)的searcher以tcp的方式請(qǐng)求產(chǎn)品id為1299,8812,12970,11040, , 7468,10454的產(chǎn)品信息，向地址是(IP2, port2)的 searcher 以 tcp 的方式請(qǐng)求產(chǎn)品 id 為 10298，88112，129790，110420，74618,104534的產(chǎn)品信息，返回的字段集合是h。
[0075]步驟SI 16:merger接收到來(lái)自blender的第二階段查詢請(qǐng)求后，向指定行searcher發(fā)起第二階段查詢請(qǐng)求。
[0076]步驟S118:收到第二階段請(qǐng)求的同一行searcher根據(jù)產(chǎn)品id獲取產(chǎn)品字段集合是h的詳細(xì)信息,然后返回給merger。
[0077]步驟S120:merger收到一行searcher的產(chǎn)品詳細(xì)信息進(jìn)行合并后，繼而返回給blender。
[0078]步驟S122:發(fā)向西班牙文集群某臺(tái)merger的請(qǐng)求串除了剔除一些不用的參數(shù)外，基本不用處理，生成新的第一階段查詢請(qǐng)求串。
[0079]步驟S124 - S136的過(guò)程和步驟S108-S120類似，可仿照步驟S108-S120進(jìn)行，在此不再贅述。需要說(shuō)明的是，上述對(duì)英文集群的查詢過(guò)程和對(duì)西班牙文集群的查詢過(guò)程可以異步并行執(zhí)行。
[0080]步驟S138:blender收到來(lái)自不同集群返回的產(chǎn)品詳細(xì)信息，按照請(qǐng)求的返回格式和字段集合(outfmt=xml&retset=h)生成最終查詢結(jié)果返回給searchweb前端,字段集合里面有一個(gè)特殊字段language標(biāo)記了產(chǎn)品信息的語(yǔ)種信息。
[0081 ] 步驟S140:searchweb前端收到blender返回的最終查詢結(jié)果,根據(jù)產(chǎn)品信息標(biāo)記的語(yǔ)種信息，向Translator發(fā)起翻譯請(qǐng)求。
[0082]步驟S142 translator收到翻譯請(qǐng)求,將產(chǎn)品信息翻譯為與用戶輸入的查詢?cè)~的語(yǔ)種相同的語(yǔ)種(本實(shí)施例中，需要將英文翻譯為西班牙文)，翻譯過(guò)程可以是線下翻譯，線上提供KV (Key Value)引擎服務(wù)。
[0083]步驟S144:searchweb前端對(duì)統(tǒng)一語(yǔ)種的產(chǎn)品信息進(jìn)行解析和展示,呈現(xiàn)給用戶。
[0084]至此，實(shí)現(xiàn)了一個(gè)語(yǔ)種的查詢?cè)~的多語(yǔ)種查詢處理流程。
[0085]此外，因集群使用數(shù)據(jù)的海量，需要對(duì)數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行索引以方便查找，如對(duì)圖4中的英文產(chǎn)品庫(kù)和西班牙文產(chǎn)品庫(kù)中的數(shù)據(jù)進(jìn)行索引，包括全量索引和增量索引。其中，全量索引是對(duì)某個(gè)時(shí)間快照下的所有產(chǎn)品建立搜索引擎的索引的過(guò)程；增量索引是對(duì)變更產(chǎn)品及時(shí)更新到搜索引擎的索引的過(guò)程。
[0086]除了切換新老索引，全量索引基本上是一個(gè)線下過(guò)程，如圖5所示，F(xiàn)ull dump (全量轉(zhuǎn)出)是將某個(gè)時(shí)間快照下的產(chǎn)品數(shù)據(jù)從database (數(shù)據(jù)庫(kù))里面拉出來(lái)的，形成dumpfiles (dump文件)的過(guò)程；I join (連接)是將dump files (dump文件)通過(guò)線下進(jìn)行類似數(shù)據(jù)庫(kù)的join操作和其他業(yè)務(wù)邏輯處理的過(guò)程，這樣就能生成一張產(chǎn)品維度的寬表，并且按列劃分(和searcher集群的列數(shù)對(duì)應(yīng))，以類似xml文件的形式存儲(chǔ),生成xml file (xml文件)；Ibuild (構(gòu)造)是索引構(gòu)建過(guò)程，根據(jù)索引配置對(duì)產(chǎn)品信息進(jìn)行預(yù)處理、分詞建立倒排、正排等索引，同樣是生成和searcher集群列數(shù)相同份數(shù)的index files (索引文件)；Switch是新老索引的切換過(guò)程，涉及索引的分發(fā)、老索引的備份、新索引的加載和預(yù)熱等，主要是要保證切換的平滑，不影響線上正常服務(wù)。
[0087]增量索引過(guò)程和全量索引過(guò)程基本相同，每個(gè)步驟之間雖然前后有依賴關(guān)系，但是可以并行流水，提高并發(fā)性。如圖6所示，Update dump (更新轉(zhuǎn)出)是將某個(gè)很短時(shí)間范圍內(nèi)(如分鐘級(jí)別)的變更產(chǎn)品數(shù)據(jù)從database (數(shù)據(jù)庫(kù))里面拉出來(lái)，生成增量的dump數(shù)據(jù)dump files (dump文件);Ijoin (連接)的過(guò)程和全量是類似的,不過(guò)會(huì)額外生成是刪除操作的產(chǎn)品id列表，Ijoin過(guò)程最終生成xml file (xml文件)；Isupdate是一個(gè)deamon后臺(tái)服務(wù)，部署在每臺(tái)searcher機(jī)器上，它會(huì)定期檢查是否有新的增量xml文件生成，如果有，進(jìn)行索引的追加和合并，對(duì)于產(chǎn)品刪除則置索引里面的對(duì)應(yīng)產(chǎn)品為無(wú)效，最終生成index files (索引文件)。
[0088]通過(guò)本實(shí)施例，提供了一種面向多語(yǔ)言的電子商務(wù)搜索框架(電子商務(wù)信息查詢系統(tǒng))，靈活可配置，簡(jiǎn)單易擴(kuò)展，可以解決不同語(yǔ)言的產(chǎn)品的混合搜索需求；不同語(yǔ)言的產(chǎn)品分別部署在邏輯上不同的集群上，不同語(yǔ)言的產(chǎn)品的全量索引和增量索引流程相互獨(dú)立，互不影響；框架內(nèi)的模塊或模型，如機(jī)器翻譯、算分模型、排序模型都是可替換的，只要接口保持兼容即可，如，merger+searcher集群實(shí)現(xiàn)部分可使用開(kāi)源搜索引擎Iucene近似代替，算分模塊可采用如語(yǔ)言模型、向量空間模型(VSM)等模型進(jìn)行替代，翻譯部分也可用其他翻譯方法，比如基于語(yǔ)料、基于規(guī)則、基于統(tǒng)計(jì)或混合的翻譯方法。
[0089]需要說(shuō)明的是，本實(shí)施例提供的面向多語(yǔ)言的電子商務(wù)搜索框架僅以英文和西班牙文為例，但本領(lǐng)域技術(shù)人員應(yīng)當(dāng)明了，該搜索框架可以靈活擴(kuò)展到多種語(yǔ)言(如西班牙語(yǔ)、日語(yǔ)、俄語(yǔ)、法語(yǔ)、德語(yǔ)、葡萄牙語(yǔ)、意大利語(yǔ)、阿拉伯語(yǔ)、韓語(yǔ)等)，以便達(dá)到不同語(yǔ)言產(chǎn)品的混合搜索和排序的目的，實(shí)現(xiàn)多語(yǔ)言混合搜索。
[0090]實(shí)施例四
[0091]參照?qǐng)D7，示出了根據(jù)本申請(qǐng)實(shí)施例四的一種信息查詢方法的步驟流程圖。
[0092]本實(shí)施例的信息查詢方法包括以下步驟:
[0093]步驟S202:第一集群將源語(yǔ)種的查詢請(qǐng)求翻譯重寫(xiě)為多種目標(biāo)語(yǔ)種的查詢請(qǐng)求，并分別發(fā)送給多個(gè)不同語(yǔ)種的第二集群中的相應(yīng)集群。
[0094]優(yōu)選地，第一集群在將源語(yǔ)種的查詢請(qǐng)求翻譯重寫(xiě)為多種目標(biāo)語(yǔ)種的查詢請(qǐng)求之前，獲取源語(yǔ)種的信息，并判斷第一集群是否支持源語(yǔ)種，若支持，則將源語(yǔ)種的查詢請(qǐng)求重寫(xiě)為多種目標(biāo)語(yǔ)種的階段查詢請(qǐng)求。
[0095]步驟S204:多個(gè)第二集群中的每個(gè)集群接收與本集群語(yǔ)種相對(duì)應(yīng)的目標(biāo)語(yǔ)種的查詢請(qǐng)求，根據(jù)接收的目標(biāo)語(yǔ)種的查詢請(qǐng)求進(jìn)行信息查詢，并向第一集群返回本集群對(duì)應(yīng)的目標(biāo)語(yǔ)種的查詢結(jié)果。
[0096]優(yōu)選地，在上述信息查詢過(guò)程中，第一集群在將源語(yǔ)種的查詢請(qǐng)求翻譯重寫(xiě)為多種目標(biāo)語(yǔ)種的階段查詢請(qǐng)求時(shí)，將源語(yǔ)種的查詢請(qǐng)求中的查詢?cè)~翻譯為第二集群中的每個(gè)集群所支持的語(yǔ)種的查詢?cè)~，分別重新拼裝為相應(yīng)的多個(gè)第一階段查詢請(qǐng)求，其中，第一階段查詢請(qǐng)求用于查詢數(shù)據(jù)索引信息；每個(gè)第二集群包括第一子集群和第二子集群，第一子集群接收第一集群發(fā)送給本第二集群的第一階段查詢請(qǐng)求，并向本第二集群中的第二子集群發(fā)送；第二子集群根據(jù)第一子集群發(fā)送的第一階段查詢請(qǐng)求，在本第二子集群內(nèi)查詢數(shù)據(jù)索引信息，并返回給第一子集群；第一子集群對(duì)數(shù)據(jù)索引信息進(jìn)行同構(gòu)數(shù)據(jù)的統(tǒng)計(jì)排序和選取后，返回給第一集群；第一集群對(duì)多個(gè)第二集群中的第一子集群返回的不同語(yǔ)種的數(shù)據(jù)索引信息進(jìn)行異構(gòu)數(shù)據(jù)的統(tǒng)計(jì)排序和選取后，向多個(gè)第二集群中的第一子集群發(fā)送第二階段查詢請(qǐng)求，其中，第二階段查詢請(qǐng)求用于查詢對(duì)應(yīng)于統(tǒng)計(jì)排序和選取后的數(shù)據(jù)索引信息的數(shù)據(jù)詳細(xì)信息；多個(gè)第二集群中的每個(gè)第一子集群接收并向本第二集群的第二子集群發(fā)送第二階段查詢請(qǐng)求；本第二集群的第二子集群根據(jù)第二階段查詢請(qǐng)求，獲取本第二集群的數(shù)據(jù)詳細(xì)信息并返回給本第二集群的第一子集群；第一子集群對(duì)返回的數(shù)據(jù)詳細(xì)信息進(jìn)行同構(gòu)數(shù)據(jù)合并后，返回給第一集群。
[0097]步驟S206:第一集群對(duì)第二集群返回的不同目標(biāo)語(yǔ)種的查詢結(jié)果進(jìn)行處理后，發(fā)送給搜索前端進(jìn)行展示。
[0098]優(yōu)選地，第一集群通過(guò)字段名稱映射關(guān)系表對(duì)不同目標(biāo)語(yǔ)種的查詢結(jié)果進(jìn)行統(tǒng)計(jì)排序和合并，根據(jù)源語(yǔ)種的查詢請(qǐng)求生成最終查詢結(jié)果并發(fā)送給搜索前端進(jìn)行展示；其中，字段名稱映射關(guān)系表用于指示不同目標(biāo)語(yǔ)種的查詢結(jié)果中的字段名的對(duì)應(yīng)關(guān)系；最終查詢結(jié)果中包含有不同目標(biāo)語(yǔ)種的查詢結(jié)果的語(yǔ)種信息。
[0099]優(yōu)選地，搜索前端進(jìn)行展示時(shí)，搜索前端將處理后的不同目標(biāo)語(yǔ)種的查詢結(jié)果發(fā)送給第三集群；第三集群從搜索前端獲取處理后的不同目標(biāo)語(yǔ)種的查詢結(jié)果，將不同目標(biāo)語(yǔ)種的查詢結(jié)果翻譯為源語(yǔ)種的查詢結(jié)果并返回給搜索前端；搜索前端接收源語(yǔ)種的查詢結(jié)果并進(jìn)行展示。
[0100]優(yōu)選地，搜索前端還接收輸入的源語(yǔ)種的查詢?cè)~，生成源語(yǔ)種的查詢請(qǐng)求并發(fā)送給第一集群，其中，源語(yǔ)種的查詢請(qǐng)求中包含有源語(yǔ)種的信息和目標(biāo)語(yǔ)種的信息。
[0101]優(yōu)選地，本實(shí)施例的信息查詢方法還包括:第四集群對(duì)第一集群中的多個(gè)服務(wù)器進(jìn)行負(fù)載均衡；以及，對(duì)第二集群中的第一子集群和/或第二子集群進(jìn)行負(fù)載均衡。此外，第四集群還維護(hù)第一集群和第二集群的集群機(jī)器角色和層次關(guān)系。
[0102]本實(shí)施例中，第一集群、第二集群、和第三集群均通過(guò)一個(gè)或多個(gè)服務(wù)器實(shí)現(xiàn)。
[0103]本實(shí)施例的信息查詢方法通過(guò)前述多個(gè)實(shí)施例中的信息查詢系統(tǒng)實(shí)現(xiàn)，描述較為簡(jiǎn)單，其有效效果可參照前述相應(yīng)的信息查詢系統(tǒng)實(shí)施例，在此不再贅述。
[0104]本說(shuō)明書(shū)中的各個(gè)實(shí)施例均采用遞進(jìn)的方式描述，每個(gè)實(shí)施例重點(diǎn)說(shuō)明的都是與其他實(shí)施例的不同之處，各個(gè)實(shí)施例之間相同相似的部分互相參見(jiàn)即可。對(duì)于方法實(shí)施例而言，描述的比較簡(jiǎn)單，相關(guān)之處參見(jiàn)系統(tǒng)實(shí)施例部分的說(shuō)明即可。
[0105]以上對(duì)本申請(qǐng)所提供的一種信息查詢系統(tǒng)及方法進(jìn)行了詳細(xì)介紹，本文中應(yīng)用了具體個(gè)例對(duì)本申請(qǐng)的原理及實(shí)施方式進(jìn)行了闡述，以上實(shí)施例的說(shuō)明只是用于幫助理解本申請(qǐng)的方法及其核心思想；同時(shí)，對(duì)于本領(lǐng)域的一般技術(shù)人員，依據(jù)本申請(qǐng)的思想，在【具體實(shí)施方式】及應(yīng)用范圍上均會(huì)有改變之處，綜上所述，本說(shuō)明書(shū)內(nèi)容不應(yīng)理解為對(duì)本申請(qǐng)的限制。
【權(quán)利要求】
1.一種信息查詢系統(tǒng)，其特征在于，包括:第一集群和多個(gè)不同語(yǔ)種的第二集群； 其中， 所述第一集群，用于將源語(yǔ)種的查詢請(qǐng)求翻譯重寫(xiě)為多種目標(biāo)語(yǔ)種的查詢請(qǐng)求，并分別發(fā)送給相應(yīng)語(yǔ)種的所述第二集群； 所述第二集群中的每個(gè)集群，用于接收與本集群語(yǔ)種相對(duì)應(yīng)的所述目標(biāo)語(yǔ)種的查詢請(qǐng)求，根據(jù)接收的所述目標(biāo)語(yǔ)種的查詢請(qǐng)求進(jìn)行信息查詢，并向所述第一集群返回本集群對(duì)應(yīng)的目標(biāo)語(yǔ)種的查詢結(jié)果； 所述第一集群，還用于對(duì)所述第二集群返回的不同目標(biāo)語(yǔ)種的查詢結(jié)果進(jìn)行處理后，發(fā)送給搜索前端進(jìn)行展示。
2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，還包括:第三集群和所述搜索前端； 其中， 所述搜索前端，用于將所述處理后的所述不同目標(biāo)語(yǔ)種的查詢結(jié)果發(fā)送給所述第三集群; 所述第三集群，用于從所述搜索前端獲取處理后的所述不同目標(biāo)語(yǔ)種的查詢結(jié)果，將所述不同目標(biāo)語(yǔ)種的查詢結(jié)果翻譯為所述源語(yǔ)種的查詢結(jié)果并返回給所述搜索前端；所述搜索前端，還用于接收所述源語(yǔ)種的查詢結(jié)果并進(jìn)行展示。
3.根據(jù)權(quán)利要求1或2所述的系統(tǒng)，其特征在于，所述第一集群中設(shè)置有字段名稱映射關(guān)系表，用于指示所述不同目標(biāo)語(yǔ)種的查詢結(jié)果中的字段名的對(duì)應(yīng)關(guān)系； 所述第一集群在對(duì)所述第二集群返回的不同目標(biāo)語(yǔ)種的查詢結(jié)果進(jìn)行處理時(shí)，根據(jù)所述字段名映射關(guān)系表，對(duì)所述不同目標(biāo)語(yǔ)種的查詢結(jié)果進(jìn)行統(tǒng)計(jì)排序和合并，根據(jù)所述源語(yǔ)種的查詢請(qǐng)求生成最終查詢結(jié)果，其中，所述最終查詢結(jié)果中包含有所述不同目標(biāo)語(yǔ)種的查詢結(jié)果的語(yǔ)種信息。
4.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述第一集群，還用于在將源語(yǔ)種的查詢請(qǐng)求翻譯重寫(xiě)為多種目標(biāo)語(yǔ)種的階段查詢請(qǐng)求之前，獲取所述源語(yǔ)種的信息，并判斷所述第一集群是否支持所述源語(yǔ)種，若支持，則將所述源語(yǔ)種的查詢請(qǐng)求翻譯重寫(xiě)為多種目標(biāo)語(yǔ)種的階段查詢請(qǐng)求。
5.根據(jù)權(quán)利要求4所述的系統(tǒng)，其特征在于，所述第一集群在將所述源語(yǔ)種的查詢請(qǐng)求翻譯重寫(xiě)為多種目標(biāo)語(yǔ)種的階段查詢請(qǐng)求時(shí)，將所述源語(yǔ)種的查詢請(qǐng)求中的查詢?cè)~翻譯為所述第二集群中的每個(gè)集群所支持的語(yǔ)種的查詢?cè)~，分別重新拼裝為相應(yīng)的多個(gè)第一階段查詢請(qǐng)求，其中，所述第一階段查詢請(qǐng)求用于查詢數(shù)據(jù)索引信息。
6.根據(jù)權(quán)利要求5所述的系統(tǒng)，其特征在于，每個(gè)所述第二集群包括第一子集群和第二子集群； 其中， 所述第一子集群，用于接收發(fā)送給本第二集群的第一階段查詢請(qǐng)求，并向本第二集群中的第二子集群發(fā)送； 所述第二子集群，用于根據(jù)所述第一子集群發(fā)送的所述第一階段查詢請(qǐng)求，在本第二子集群內(nèi)查詢選取所述數(shù)據(jù)索引信息，并返回給所述第一子集群； 所述第一子集群，還用于對(duì)所述數(shù)據(jù)索引信息進(jìn)行同構(gòu)數(shù)據(jù)的統(tǒng)計(jì)排序和選取后，返回給所述第一集群。
7.根據(jù)權(quán)利要求6所述的系統(tǒng)，其特征在于，所述第一集群，還用于對(duì)多個(gè)所述第二集群中的第一子集群返回的不同語(yǔ)種的所述數(shù)據(jù)索引信息進(jìn)行異構(gòu)數(shù)據(jù)的統(tǒng)計(jì)排序和選取后，向所述多個(gè)第二集群中的第一子集群發(fā)送第二階段查詢請(qǐng)求，其中，所述第二階段查詢請(qǐng)求用于查詢對(duì)應(yīng)于統(tǒng)計(jì)排序和選取后的所述數(shù)據(jù)索引信息的數(shù)據(jù)詳細(xì)信息。
8.根據(jù)權(quán)利要求7所述的系統(tǒng)，其特征在于，所述多個(gè)第二集群中的每個(gè)所述第一子集群還用于接收并向本第二集群的第二子集群發(fā)送所述第二階段查詢請(qǐng)求；本第二集群的第二子集群還用于根據(jù)所述第二階段查詢請(qǐng)求，獲取本第二集群的數(shù)據(jù)詳細(xì)信息并返回給本第二集群的第一子集群；所述第一子集群還用于對(duì)返回的所述數(shù)據(jù)詳細(xì)信息進(jìn)行同構(gòu)數(shù)據(jù)合并后，返回給所述第一集群。
9.根據(jù)權(quán)利 要求1所述的系統(tǒng)，其特征在于，所述搜索前端，還用于接收輸入的所述源語(yǔ)種的查詢?cè)~，生成所述源語(yǔ)種的查詢請(qǐng)求并發(fā)送給所述第一集群，其中，所述源語(yǔ)種的查詢請(qǐng)求中包含有所述源語(yǔ)種的信息和所述目標(biāo)語(yǔ)種的信息。
10.根據(jù)權(quán)利要求2所述的系統(tǒng)，其特征在于，還包括:第四集群，用于維護(hù)所述第一集群和所述第二集群的集群機(jī)器角色和層次關(guān)系。
11.根據(jù)權(quán)利要求10所述的系統(tǒng)，其特征在于， 所述第一集群、所述第二集群、和所述第三集群均通過(guò)多個(gè)服務(wù)器實(shí)現(xiàn)； 所述第四集群，還用于對(duì)所述第一集群中的多個(gè)服務(wù)器進(jìn)行負(fù)載均衡；以及，對(duì)所述第二集群中的第一子集群和/或第二子集群進(jìn)行負(fù)載均衡。
12.一種信息查詢方法，其特征在于，包括: 第一集群將源語(yǔ)種的查詢請(qǐng)求翻譯重寫(xiě)為多種目標(biāo)語(yǔ)種的查詢請(qǐng)求，并分別發(fā)送給多個(gè)不同語(yǔ)種的第二集群中的相應(yīng)集群； 所述多個(gè)第二集群中的每個(gè)集群接收與本集群語(yǔ)種相對(duì)應(yīng)的所述目標(biāo)語(yǔ)種的查詢請(qǐng)求，根據(jù)接收的所述目標(biāo)語(yǔ)種的查詢請(qǐng)求進(jìn)行信息查詢，并向所述第一集群返回本集群對(duì)應(yīng)的目標(biāo)語(yǔ)種的查詢結(jié)果； 所述第一集群對(duì)所述第二集群返回的不同目標(biāo)語(yǔ)種的查詢結(jié)果進(jìn)行處理后，發(fā)送給搜索前端進(jìn)行展示。
13.根據(jù)權(quán)利要求12所述的方法，其特征在于，還包括: 所述搜索前端將所述處理后的所述不同目標(biāo)語(yǔ)種的查詢結(jié)果發(fā)送給第三集群； 所述第三集群從所述搜索前端獲取處理后的所述不同目標(biāo)語(yǔ)種的查詢結(jié)果，將所述不同目標(biāo)語(yǔ)種的查詢結(jié)果翻譯為所述源語(yǔ)種的查詢結(jié)果并返回給所述搜索前端； 所述搜索前端接收所述源語(yǔ)種的查詢結(jié)果并進(jìn)行展示。
14.根據(jù)權(quán)利要求12或13所述的方法，其特征在于，所述第一集群對(duì)所述第二集群返回的不同目標(biāo)語(yǔ)種的查詢結(jié)果進(jìn)行處理后，發(fā)送給搜索前端進(jìn)行展示的步驟包括: 所述第一集群通過(guò)字段名稱映射關(guān)系表對(duì)所述不同目標(biāo)語(yǔ)種的查詢結(jié)果進(jìn)行統(tǒng)計(jì)排序和合并，根據(jù)所述源語(yǔ)種的查詢請(qǐng)求生成最終查詢結(jié)果并發(fā)送給所述搜索前端進(jìn)行展示； 其中，所述字段名稱映射關(guān)系表用于指示所述不同目標(biāo)語(yǔ)種的查詢結(jié)果中的字段名的對(duì)應(yīng)關(guān)系；所述最終查詢結(jié)果中包含有所述不同目標(biāo)語(yǔ)種的查詢結(jié)果的語(yǔ)種信息。
【文檔編號(hào)】G06F17/30GK103729386SQ201210393631
【公開(kāi)日】2014年4月16日 申請(qǐng)日期:2012年10月16日 優(yōu)先權(quán)日:2012年10月16日
【發(fā)明者】葉良, 鄒華鋒, 鄭文彬 申請(qǐng)人:阿里巴巴集團(tuán)控股有限公司