本發(fā)明涉及船舶軌跡重建,特別是涉及一種基于ais數(shù)據(jù)質(zhì)量?jī)?yōu)化的船舶軌跡重建方法。
背景技術(shù):
1、全球每天有超過(guò)60000艘船舶在海洋上航行,這些船舶的運(yùn)行產(chǎn)生了大量的交通數(shù)據(jù),船舶自動(dòng)識(shí)別系統(tǒng)(automatic?identification?system,ais),是一種先進(jìn)的數(shù)字導(dǎo)航設(shè)備,使得這些數(shù)據(jù)的實(shí)時(shí)采集成為可能,其中廣播的每一幀ais報(bào)文通常由動(dòng)態(tài)信息(例如船載臺(tái)向岸基臺(tái)自動(dòng)播發(fā)的本船的經(jīng)緯度坐標(biāo)、航速、航向等)及靜態(tài)信息(船名、船的大小、目的港等)構(gòu)成的。
2、申請(qǐng)公布號(hào)為cn116758403a的中國(guó)專利公開(kāi)了一種基于生成對(duì)抗神經(jīng)網(wǎng)絡(luò)的航運(yùn)ais數(shù)據(jù)修復(fù)方法,該方法通過(guò)構(gòu)建并訓(xùn)練生成對(duì)抗神經(jīng)網(wǎng)絡(luò)模型,實(shí)現(xiàn)對(duì)帶有異常值和缺失值的船舶數(shù)據(jù)進(jìn)行準(zhǔn)確修復(fù)。
3、然而ais軌跡數(shù)據(jù)在許多情況下是不準(zhǔn)確和不可靠的,根據(jù)調(diào)查,在特定時(shí)間間隔內(nèi),航行船舶的定位噪聲為5.6%,停泊船舶為0.31%;靜態(tài)ais數(shù)據(jù)的缺失值可達(dá)86%,航行相關(guān)的ais數(shù)據(jù)缺失值可達(dá)48%;且ais變量容易受到多種來(lái)源的故障影響,如惡劣天氣和人為錯(cuò)誤,導(dǎo)致數(shù)據(jù)噪聲和缺失,并可能引發(fā)海事數(shù)據(jù)挖掘的錯(cuò)誤結(jié)論,因此,改善ais數(shù)據(jù)質(zhì)量成為海事領(lǐng)域亟需解決的關(guān)鍵技術(shù)難題。
4、改善ais數(shù)據(jù)質(zhì)量是眾多研究者的目標(biāo),在軌跡去噪方面,盡管已有研究應(yīng)用異常檢測(cè)技術(shù)來(lái)清洗數(shù)據(jù)集,但現(xiàn)有方法在處理動(dòng)態(tài)數(shù)據(jù)異常方面仍存在局限,特別是在定位錯(cuò)誤和信號(hào)傳輸問(wèn)題導(dǎo)致的異常值處理上;至于軌跡插值,盡管拉格朗日插值和三次樣條插值等方法在幾何特征擬合方面表現(xiàn)出色,但它們?cè)谔幚韆is數(shù)據(jù)時(shí)存在的精度差異問(wèn)題仍未得到妥善解決;此外,盡管深度學(xué)習(xí)方法,如u-net和雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(bidirectional?long?short?term?memory?network,bilstm),在軌跡插值和預(yù)測(cè)方面展現(xiàn)出巨大潛力,但其應(yīng)用通常受限于數(shù)據(jù)集的規(guī)模和質(zhì)量,同時(shí)對(duì)計(jì)算資源有著較高要求;因此,盡管這些方法在船舶軌跡重建領(lǐng)域已取得一定進(jìn)展,但在處理龐大的數(shù)據(jù)集時(shí),仍需開(kāi)發(fā)一種高效且準(zhǔn)確的處理方法。
技術(shù)實(shí)現(xiàn)思路
1、為了解決以上技術(shù)問(wèn)題,本發(fā)明提供一種基于ais數(shù)據(jù)質(zhì)量?jī)?yōu)化的船舶軌跡重建方法,包括以下步驟:
2、s1、采用箱線圖法為每條船舶設(shè)定速度閾值和轉(zhuǎn)向率閾值;
3、s2、采用分割-連接-過(guò)濾策略進(jìn)行軌跡分割并對(duì)軌跡數(shù)據(jù)中的異常軌跡點(diǎn)進(jìn)行刪除;
4、s3、對(duì)缺失軌跡進(jìn)行插值處理,針對(duì)不同長(zhǎng)度的軌跡缺失,采取不同的插值策略。
5、本發(fā)明進(jìn)一步限定的技術(shù)方案是:
6、進(jìn)一步的,步驟s1中,選取歷史ais數(shù)據(jù)集,從中篩選出同一mmsi的所有船舶軌跡點(diǎn),并按照時(shí)間升序排序,計(jì)算出相鄰兩個(gè)軌跡點(diǎn)之間的平均速度和轉(zhuǎn)向率;使用箱線圖法在速度和轉(zhuǎn)向率兩個(gè)特征上設(shè)置動(dòng)態(tài)閾值,公式為:
7、
8、其中,t表示最大閾值,q1和q3分別為一組變量的25%分位數(shù)和75%分位數(shù),iqr表示四分位距。
9、如前所述的一種基于ais數(shù)據(jù)質(zhì)量?jī)?yōu)化的船舶軌跡重建方法,步驟s2具體包括以下分步驟:
10、s2.1、子軌跡分割:根據(jù)步驟s1中設(shè)置的閾值對(duì)原始軌跡進(jìn)行斷點(diǎn)分割,在大于閾值的兩軌跡點(diǎn)間設(shè)置斷點(diǎn),將原始軌跡分割成若干不同大小的子軌跡段;
11、s2.2、子軌跡連接:檢查是否存在潛在連接關(guān)系,從而進(jìn)行軌跡的整合;逐一判斷每一條子軌跡的終點(diǎn)與其后續(xù)子軌跡的起點(diǎn)是否可以連接,具體判斷標(biāo)準(zhǔn)為計(jì)算兩點(diǎn)間的平均速度是否小于步驟s1中的速度閾值,若小于則認(rèn)為此兩條子軌跡可以連接,并將相應(yīng)的子軌跡合并成一條,最終得到合并后的子軌跡集合;
12、s2.3、子軌跡過(guò)濾:對(duì)歷史ais數(shù)據(jù)集中不完整的子軌跡進(jìn)行篩選和刪除,依次檢查每條子軌跡的數(shù)據(jù)點(diǎn)數(shù)量,若少于30個(gè),則該子軌跡被認(rèn)定為異常并予以刪除。
13、如前所述的一種基于ais數(shù)據(jù)質(zhì)量?jī)?yōu)化的船舶軌跡重建方法,步驟s3中,將兩個(gè)軌跡點(diǎn)間距離大于2km且小于等于10km的軌跡視為短距離缺失軌跡,將兩個(gè)軌跡點(diǎn)間距離大于10km的軌跡視為長(zhǎng)距離缺失軌跡;對(duì)于短距離缺失,采用運(yùn)動(dòng)-平差插值模型,通過(guò)勻加速直線運(yùn)動(dòng)假設(shè)進(jìn)行軌跡重建;對(duì)于長(zhǎng)距離缺失,采用遷移相似歷史軌跡的策略,對(duì)歷史數(shù)據(jù)中相似的軌跡段進(jìn)行篩選。
14、如前所述的一種基于ais數(shù)據(jù)質(zhì)量?jī)?yōu)化的船舶軌跡重建方法,步驟s3中,依據(jù)兩點(diǎn)間的距離差來(lái)確定所需插值的點(diǎn)數(shù),并進(jìn)行等時(shí)間間隔插值,使用下式計(jì)算插值點(diǎn)的時(shí)間戳:
15、
16、其中,集合{tu}表示插值點(diǎn)的時(shí)間戳集合,ts和te分別表示缺失段起點(diǎn)和終點(diǎn)的時(shí)間戳,te表示兩插值點(diǎn)的時(shí)間間隔,n表示插值點(diǎn)數(shù)量,s表示缺失段起點(diǎn)和終點(diǎn)的直線距離,st表示預(yù)設(shè)的距離間隔閾值。
17、如前所述的一種基于ais數(shù)據(jù)質(zhì)量?jī)?yōu)化的船舶軌跡重建方法,步驟s3中,對(duì)于短距離缺失,將船舶運(yùn)動(dòng)分解為經(jīng)度方向和緯度方向,任一方向的操作相同,在任一方向上,假設(shè)缺失段內(nèi)船舶的加速度保持恒定,使用運(yùn)動(dòng)學(xué)原理模擬船舶軌跡,公式為:
18、
19、其中,l(ti)表示該方向上模擬運(yùn)動(dòng)的坐標(biāo),ds表示該方向上缺失段起點(diǎn)的坐標(biāo),ti表示插值點(diǎn)到缺失段起點(diǎn)的時(shí)間間隔,a表示缺失段的加速度,vs和ve分別表示缺失段起點(diǎn)和終點(diǎn)的速度,ti表示插值點(diǎn)是時(shí)間戳,ts和te分別表示缺失段起點(diǎn)和終點(diǎn)的時(shí)間戳。
20、如前所述的一種基于ais數(shù)據(jù)質(zhì)量?jī)?yōu)化的船舶軌跡重建方法,步驟s3中,使用平差原理對(duì)插值結(jié)果進(jìn)行改正,計(jì)算運(yùn)動(dòng)學(xué)模擬終點(diǎn)與實(shí)際缺失段終點(diǎn)之間的累積誤差,利用速度信息為插值點(diǎn)分配權(quán)重,并對(duì)累積誤差進(jìn)行分配;采用速度大小作為權(quán)重,以計(jì)算每個(gè)插值點(diǎn)的改正值,如下式:
21、
22、其中,u(ti)表示各插值點(diǎn)的改正值,b為常數(shù)項(xiàng);表示該方向上的累計(jì)誤差,de表示該方向上缺失段終點(diǎn)的坐標(biāo),l(te)表示該方向上運(yùn)動(dòng)學(xué)模型的終點(diǎn)的坐標(biāo);因此最后的差值模型為:
23、
24、其中,s(ti)表示第i個(gè)插值點(diǎn)的坐標(biāo),l(ti)表示第i個(gè)插值點(diǎn)運(yùn)動(dòng)學(xué)模擬的坐標(biāo),u(ti)表示第i個(gè)插值點(diǎn)的改正值。
25、如前所述的一種基于ais數(shù)據(jù)質(zhì)量?jī)?yōu)化的船舶軌跡重建方法,步驟s3中,對(duì)于長(zhǎng)距離缺失,使用以下規(guī)則篩選候選軌跡:
26、位置篩選:基于缺失段兩端點(diǎn)pstart和pend,在每個(gè)端點(diǎn)周圍0.5公里范圍內(nèi)設(shè)置矩形區(qū)域,篩選出區(qū)域內(nèi)的軌跡點(diǎn)表,并將兩表通過(guò)mmsi進(jìn)行外連接,得到所有候選軌跡段ctracks,如下式所示:
27、
28、其中,ctracks表示符合條件的船舶軌跡對(duì)集合;ps和pe分別表示缺失段的起始軌跡點(diǎn)和結(jié)束軌跡點(diǎn);rect(p,0.5)定義了以點(diǎn)p為中心,半徑為0.5km的區(qū)域;ps.mmsi和pe.mmsi分別表示起始點(diǎn)和結(jié)束點(diǎn)的mmsi號(hào);
29、時(shí)間篩選:利用缺失段的時(shí)間差作為期望值,排除時(shí)間差與期望值相差超過(guò)60秒的候選軌跡段,如下式所示:
30、
31、其中,表示候選軌跡段的時(shí)間差;
32、點(diǎn)數(shù)篩選:設(shè)置基于時(shí)間差的點(diǎn)數(shù)期望值n,排除點(diǎn)數(shù)與期望值差距超過(guò)5個(gè)點(diǎn)的軌跡段,如下式所示:
33、
34、其中,nc表示候選軌跡段的軌跡點(diǎn)數(shù)。
35、如前所述的一種基于ais數(shù)據(jù)質(zhì)量?jī)?yōu)化的船舶軌跡重建方法,步驟s3中,對(duì)于長(zhǎng)距離缺失,選取目標(biāo)軌跡的左端點(diǎn)及其前四個(gè)連續(xù)軌跡點(diǎn),以及右端點(diǎn)及其后四個(gè)連續(xù)軌跡點(diǎn),構(gòu)建目標(biāo)軌跡段tg;對(duì)于每一段候選軌跡,采用相同的方法選取其起始點(diǎn)和結(jié)束點(diǎn)及其相鄰的四個(gè)點(diǎn),形成候選軌跡段tc;每個(gè)軌跡段由八個(gè)軌跡點(diǎn)組成;
36、然后使用成對(duì)和距離方法計(jì)算這兩個(gè)軌跡間的相似性:
37、
38、其中,d(pg,ipc,i)表示目標(biāo)軌跡段中的第i個(gè)點(diǎn)pg,i和候選軌跡段中的第i個(gè)點(diǎn)pc,i之間的歐式距離。
39、如前所述的一種基于ais數(shù)據(jù)質(zhì)量?jī)?yōu)化的船舶軌跡重建方法,步驟s3中,對(duì)于長(zhǎng)距離缺失,首先根據(jù)軌跡點(diǎn)的時(shí)間戳計(jì)算出各軌跡點(diǎn)到起始點(diǎn)的時(shí)間和x方向走過(guò)的路程,以及y方向走過(guò)的路程;利用三次樣條函數(shù)擬合出函數(shù)關(guān)系進(jìn)行軌跡遷移,公式為:
40、
41、其中,x(t)和y(t)分別表示插值點(diǎn)在t時(shí)刻的橫坐標(biāo)和縱坐標(biāo);a3,a2,a1,a0為橫坐標(biāo)多項(xiàng)式的系數(shù);b3,b2,b1,b0為縱坐標(biāo)多項(xiàng)式的系數(shù);
42、然后計(jì)算出遷移軌跡的時(shí)間差與目標(biāo)軌跡缺失段的時(shí)間差進(jìn)行比例,將插值點(diǎn)的時(shí)間戳映射為走過(guò)的時(shí)間,如下式:
43、
44、其中,表示時(shí)間差比例系數(shù),tu表示插值點(diǎn)時(shí)間戳,tstart表示缺失段起點(diǎn)時(shí)間戳。
45、本發(fā)明的有益效果是:
46、(1)本發(fā)明中,使用箱線圖法設(shè)置閾值,結(jié)合船舶速度和航向變化的動(dòng)態(tài)閾值方法,更加合理且靈活,能有效避免因單一速度閾值帶來(lái)的誤差,顯著提高了異常軌跡的識(shí)別準(zhǔn)確性;
47、(2)本發(fā)明中,采用“分割-連接-過(guò)濾”策略,能夠應(yīng)對(duì)由于數(shù)據(jù)質(zhì)量或船舶類型多樣性導(dǎo)致的異常值檢測(cè)困難,通過(guò)精確的子軌跡切分和整合,有效解決了多船共用mmsi號(hào)的問(wèn)題,大大減少了錯(cuò)誤數(shù)據(jù)的影響;
48、(3)本發(fā)明中,結(jié)合運(yùn)動(dòng)學(xué)和平差模型的插值方法處理短距離軌跡缺失,該方法通過(guò)合理的誤差分配機(jī)制,顯著降低了模擬路徑與實(shí)際路徑之間的差異,在精度上明顯優(yōu)于傳統(tǒng)方法;
49、(4)本發(fā)明中,采用了相似軌跡遷移的策略處理長(zhǎng)距離軌跡缺失,通過(guò)對(duì)歷史軌跡的篩選和相似度評(píng)估,確保了插值結(jié)果的合理性和準(zhǔn)確性,特別是在噪聲水平較高的情況下,該方法展現(xiàn)出了更好的魯棒性。