實(shí)現(xiàn)空間大數(shù)據(jù)快速處理及檢索的方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及空間大數(shù)據(jù)處理領(lǐng)域，特別是一種實(shí)現(xiàn)空間大數(shù)據(jù)快速處理及檢索上圖的方法。
【背景技術(shù)】
[0002]在現(xiàn)今信息時(shí)代，處于信息化智能化領(lǐng)域，我們發(fā)現(xiàn)每天生活中接觸的信息量是極其龐大的，包含空間定位信息的地理空間數(shù)據(jù)也應(yīng)用在非常多的領(lǐng)域，空間數(shù)據(jù)朝著不斷膨脹與龐大化的方向發(fā)展著。隨著地理信息系統(tǒng)(GIS)的發(fā)展，社會(huì)信息化需求的日益興旺，地理信息系統(tǒng)軟件必將處理越來(lái)越大范圍內(nèi)的大規(guī)模數(shù)據(jù)，海量空間數(shù)據(jù)高效的存儲(chǔ)、檢索、與空間分析操作一直都是GIS行業(yè)研究的熱點(diǎn)與難點(diǎn)問(wèn)題。為進(jìn)一步提升海量空間數(shù)據(jù)的空間分析能力，為其提供理論儲(chǔ)備和核心技術(shù)解決方案，本發(fā)明旨在從空間計(jì)算模式上，針對(duì)大規(guī)?？臻g數(shù)據(jù)，提出一套空間分析計(jì)算與存儲(chǔ)、檢索效率的解決方案。對(duì)空間數(shù)據(jù)物理存儲(chǔ)、索引進(jìn)行設(shè)計(jì)優(yōu)化。解決大規(guī)模空間數(shù)據(jù)的空間分析效率問(wèn)題。
[0003]空間分析是空間數(shù)據(jù)應(yīng)用的靈魂，它提供了一系列數(shù)據(jù)操作功能，借助于這些功能，用戶能夠從原始數(shù)據(jù)中檢索出某些實(shí)體數(shù)據(jù)，還可以進(jìn)行空間量算，疊加分析，以及對(duì)各類實(shí)體的屬性數(shù)據(jù)進(jìn)行統(tǒng)計(jì)，網(wǎng)絡(luò)分析等。
[0004]針對(duì)上述問(wèn)題，本發(fā)明從以下幾方面進(jìn)行了研究:
[0005](1)對(duì)線、面空間數(shù)據(jù)，根據(jù)其形態(tài)特征，對(duì)數(shù)據(jù)進(jìn)行合法性和優(yōu)化性處理。
[0006](2)針對(duì)裁剪、疊加、緩沖區(qū)等空間分析操作在數(shù)據(jù)規(guī)模過(guò)大時(shí)某些低效率情況，分析歸納出不同數(shù)據(jù)形態(tài)的空間分析操作優(yōu)化方案。
[0007](3)研究空間數(shù)據(jù)的存儲(chǔ)管理，從索引緩存、數(shù)據(jù)索引進(jìn)行優(yōu)化，提出優(yōu)化方案并進(jìn)行實(shí)現(xiàn)。通過(guò)研究索引緩存技術(shù)，以較低的代價(jià)擴(kuò)大索引信息的數(shù)量，改善數(shù)據(jù)搜索效率。

【發(fā)明內(nèi)容】

[0008]本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種具有良好的實(shí)用性、能夠?qū)崿F(xiàn)空間大數(shù)據(jù)快速處理及檢索的方法。
[0009]本發(fā)明解決上述技術(shù)問(wèn)題所采用的技術(shù)方案如下:
[0010]實(shí)現(xiàn)空間大數(shù)據(jù)快速處理及檢索的方法，包括以下步驟:
[0011]S1.建立索引表、空間地圖；
[0012]S2.從公安內(nèi)部數(shù)據(jù)庫(kù)中，分別將與索引表字段相同的元素導(dǎo)入到索引表中該字段下；
[0013]S3.通過(guò)S0LR索引集群，根據(jù)查詢條件進(jìn)行檢索:
[0014]S31.對(duì)查詢條件進(jìn)行分詞，以確定查詢條件的數(shù)據(jù)形態(tài)；
[0015]S32.若查詢條件為點(diǎn)形態(tài)的數(shù)據(jù)，則包括以下步驟:
[0016]S321.在空間地圖上找到查詢條件指向的坐標(biāo)，并確定檢索范圍；
[0017]S322.以坐標(biāo)為圓心，以檢索范圍為半徑畫圓，并對(duì)圓形范圍內(nèi)的攝像頭進(jìn)行遍歷；
[0018]S323.獲取落在圓形范圍內(nèi)的攝像頭的經(jīng)度、瑋度信息；
[0019]S33.若查詢條件為線和/或面形態(tài)的數(shù)據(jù)，則包括以下步驟:
[0020]S331.在空間地圖上找到查詢條件指向的位置范圍，并確定檢索范圍；
[0021]S332.分別以位置范圍內(nèi)每一個(gè)坐標(biāo)點(diǎn)為圓心，以檢索范圍為半徑畫圓，并對(duì)圓形范圍內(nèi)的攝像頭進(jìn)行遍歷；
[0022]S333.若坐標(biāo)點(diǎn)落在攝像頭的范圍內(nèi)，則選擇該攝像頭；
[0023]S334.刪除與已選擇的攝像頭重復(fù)的攝像頭，獲取攝像頭的經(jīng)度、瑋度信息；
[0024]S4.基于S3的檢索結(jié)果，將獲得的經(jīng)度、瑋度信息在空間地圖上顯示。
[0025]本發(fā)明通過(guò)大數(shù)據(jù)處理框架，實(shí)現(xiàn)并行計(jì)算，快速創(chuàng)建索引；通過(guò)S0LR集群及緩存技術(shù)等，能夠?qū)崿F(xiàn)高效的讀寫。經(jīng)測(cè)試，本發(fā)明在模糊檢索和數(shù)據(jù)分析上能達(dá)到秒級(jí)的響應(yīng)，大大提高千萬(wàn)級(jí)的空間數(shù)據(jù)的實(shí)時(shí)處理速度。
[0026]作為優(yōu)選，空間地圖的經(jīng)度和瑋度的精度分別為0.1度。其優(yōu)點(diǎn)在于，精度足夠用來(lái)定位，同時(shí)不會(huì)導(dǎo)致數(shù)據(jù)容量過(guò)大。
[0027]作為優(yōu)選，檢索范圍為10米至1000米。其優(yōu)點(diǎn)在于，若范圍太大，則檢索精度會(huì)降低；若范圍太小，則檢索效率會(huì)降低。
[0028]作為優(yōu)選，S31中，分詞的方法包括以下步驟:
[0029]S311.建立詞庫(kù)，作為對(duì)查詢條件進(jìn)行分詞的依據(jù)；
[0030]S312.對(duì)查詢條件按詞進(jìn)行拆分；
[0031]S313.將拆分后的詞與詞庫(kù)中的詞進(jìn)行匹配，能夠匹配的為分詞結(jié)果，不能匹配的則舍棄。其優(yōu)點(diǎn)在于，降低了對(duì)查詢條件的格式要求，方便了用戶使用，同時(shí)降低了查詢難度，加快了查詢速度。
[0032]作為優(yōu)選，S2與S3之間還包括:S21.周期性對(duì)數(shù)據(jù)進(jìn)行備份。其優(yōu)點(diǎn)在于，由于數(shù)據(jù)量大，一旦丟失很難恢復(fù)，周期性進(jìn)行備份，可以降低數(shù)據(jù)丟失的風(fēng)險(xiǎn)，保證了大數(shù)據(jù)處理的可靠性，提高數(shù)據(jù)的完整性和安全性。
[0033]作為優(yōu)選，數(shù)據(jù)備份為物理備份或者云備份。其優(yōu)點(diǎn)在于，物理備份具有更高的安全性；而云備份則具有更大的容量、更高的便捷性。
[0034]作為優(yōu)選，采用SPARK計(jì)算分析處理，批量將數(shù)據(jù)讀入、計(jì)算、寫入索引表；空間數(shù)據(jù)來(lái)源為通過(guò)GIS工具處理或存儲(chǔ)在關(guān)系型數(shù)據(jù)庫(kù)中的數(shù)據(jù)。其優(yōu)點(diǎn)在于，能夠通過(guò)數(shù)據(jù)的批量處理，具有良好的并行運(yùn)算能力，加快數(shù)據(jù)的處理速度，提高數(shù)據(jù)處理效率。
[0035]作為優(yōu)選，S3中，查詢條件為自然語(yǔ)言形態(tài)。其優(yōu)點(diǎn)在于，降低了對(duì)查詢條件的格式要求，具有更高的實(shí)用性和智能性。
[0036]作為優(yōu)選，索引表為二維表。其優(yōu)點(diǎn)在于，導(dǎo)入數(shù)據(jù)方便，具有良好的數(shù)據(jù)處理功會(huì)泛。
[0037]本發(fā)明同現(xiàn)有技術(shù)相比具有以下優(yōu)點(diǎn)及效果:
[0038]1、通過(guò)完備的備份機(jī)制，本發(fā)明能夠保證數(shù)據(jù)的完整性和安全性。
[0039]2、在本發(fā)明中，針對(duì)點(diǎn)、線、面空間數(shù)據(jù)的分析計(jì)算，采用SPARK計(jì)算集群，實(shí)現(xiàn)在線實(shí)時(shí)計(jì)算及離線計(jì)算，提供空間數(shù)據(jù)的實(shí)時(shí)請(qǐng)求服務(wù)。
[0040]3、本發(fā)明能夠?qū)崿F(xiàn)空間數(shù)據(jù)的全文、智能、快速檢索。
[0041]4、本發(fā)明通過(guò)S0LR索引集群實(shí)現(xiàn)空間數(shù)據(jù)的存儲(chǔ)，基于分詞技術(shù)可快速、智能化的進(jìn)行全文搜索。
[0042]5、本發(fā)明結(jié)合SPARK技術(shù)、S0LR集群及緩存技術(shù)、最短路徑計(jì)算等，具有良好的并行運(yùn)算能力，大大提高千萬(wàn)級(jí)的空間數(shù)據(jù)的實(shí)時(shí)處理速度，在公安行業(yè)中具有非常大的實(shí)用價(jià)值。
【附圖說(shuō)明】
[0043]為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0044]圖1為本發(fā)明的流程示意圖。
[0045]圖2為本發(fā)明的索引創(chuàng)建路程示意圖。
[0046]圖3為本發(fā)明的數(shù)據(jù)分析、檢索流程示意圖。
【具體實(shí)施方式】
[0047]下面結(jié)合實(shí)施例對(duì)本發(fā)明做進(jìn)一步的詳細(xì)說(shuō)明，以下實(shí)施例是對(duì)本發(fā)明的解釋而本發(fā)明并不局限于以下實(shí)施例。
[0048]實(shí)施例1:
[0049]如圖1所示，本發(fā)明包括以下步驟:
[0050]S1.建立索引表、空間地圖；
[0051]S2.從公安內(nèi)部數(shù)據(jù)庫(kù)中，分別將與索引表字段相同的元素導(dǎo)入到索引表中該字段下；
[0052]S21.周期性對(duì)數(shù)據(jù)進(jìn)行備份；
[0053]S3.通過(guò)S0LR索引集群，根據(jù)查詢條件進(jìn)行檢索:
[0054]S31.對(duì)查詢條件進(jìn)行分詞，以確定查詢條件的數(shù)據(jù)形態(tài)；
[0055]S311.建立詞庫(kù)，作為對(duì)查詢條件進(jìn)行分詞的依據(jù)；
[0056]S312.對(duì)查詢條件按詞進(jìn)行拆分；
[0057]S313.將拆分后的詞與詞庫(kù)中的詞進(jìn)行匹配，能夠匹配的為分詞結(jié)果，不能匹配的則舍棄；
[0058]S32.若查詢條件為點(diǎn)形態(tài)的數(shù)據(jù)，則包括以下步驟:
[0059]S321.在空間地圖上找到查詢條件指向的坐標(biāo)，并確定檢索范圍；
[0060]S322.以坐標(biāo)為圓心，以檢索范圍為半徑畫圓，并對(duì)圓形范圍內(nèi)的攝像頭進(jìn)行遍歷；
[0061]S323.獲取落在圓形范圍內(nèi)的攝像頭的經(jīng)度、瑋度信息；
[0062]S33.若查詢條件為線和/或面形態(tài)的數(shù)據(jù)，則包括以下步驟:
[0063]S331.在空間地圖上找到查詢條件指向的位置范圍，并確定檢索范圍；
[0064]S332.分別以位置范圍內(nèi)每一個(gè)坐標(biāo)點(diǎn)為圓心，以檢索范圍為半徑畫圓，并對(duì)圓形范圍內(nèi)的攝像頭進(jìn)行遍歷；
[0065]S333.若坐標(biāo)點(diǎn)落在攝像頭的范圍內(nèi)，則選擇該攝像頭；
[0066]S334.刪除與已選擇的攝像頭重復(fù)的攝像頭，獲取攝