本發(fā)明屬于計(jì)算機(jī)視覺及人工智能，涉及語義實(shí)例聯(lián)合與動(dòng)態(tài)漂移特征聚類的單棵樹木提取方法。

背景技術(shù)：

1、在城市化進(jìn)程不斷加速和數(shù)字化技術(shù)迅猛發(fā)展的當(dāng)下，樹木作為室外環(huán)境的核心組成部分，其檢測與提取在自動(dòng)駕駛、三維環(huán)境感知等領(lǐng)域的重要性愈發(fā)凸顯。這不僅關(guān)乎技術(shù)挑戰(zhàn)，更承載著實(shí)現(xiàn)工業(yè)綠色低碳轉(zhuǎn)型、推動(dòng)城市數(shù)字化轉(zhuǎn)型與智能化發(fā)展的重大使命。特別是在新能源汽車自動(dòng)駕駛和室外場景理解中，行道樹的準(zhǔn)確檢測與提取顯得尤為關(guān)鍵。然而，室外環(huán)境中樹木的檢測與提取面臨著諸多挑戰(zhàn)，如物體種類繁多、物體間緊密相連以及相互遮擋等，這些都極大地增加了提取的難度。現(xiàn)有的基于三維激光點(diǎn)云的樹木檢測與提取方法大多忽視了樹木點(diǎn)云間語義與實(shí)例分割任務(wù)的內(nèi)在聯(lián)系，以及全局與局部區(qū)域下點(diǎn)與通道之間的相關(guān)性，這導(dǎo)致直接應(yīng)用深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行單棵樹木提取的精度較低。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是提供語義實(shí)例聯(lián)合與動(dòng)態(tài)漂移特征聚類的單棵樹木提取方法，解決了在大場景下的效率不高并且直接將實(shí)例分割網(wǎng)絡(luò)應(yīng)用到單棵樹木提取時(shí)準(zhǔn)確率較低的問題。

2、本發(fā)明所采用的技術(shù)方案是，語義實(shí)例聯(lián)合與動(dòng)態(tài)漂移特征聚類的單棵樹木提取方法，具體按照以下步驟實(shí)施：

3、步驟1，通過主干網(wǎng)絡(luò)的編碼器-解碼器提取到不同層間的點(diǎn)特征，將這些不同層間的特征進(jìn)行融合，為后續(xù)檢測以及分割提供判別特征；

4、步驟2，利用局部點(diǎn)相關(guān)模塊以及全局點(diǎn)相關(guān)模塊，并利用通道間的相關(guān)性，提取細(xì)粒度語義特征與實(shí)例特征；

5、步驟3，將步驟2中得到的實(shí)例特征輸入到動(dòng)態(tài)漂移特征聚類模塊進(jìn)行計(jì)算漂移矩陣，將實(shí)例特征收斂到不同實(shí)例的中心，并根據(jù)下采樣后的聚類標(biāo)簽實(shí)現(xiàn)單棵樹木的提取。

6、本發(fā)明的特點(diǎn)還在于，

7、步驟1具體為：

8、步驟1.1，輸入點(diǎn)云數(shù)據(jù)，通過pointconv網(wǎng)絡(luò)的sa層對(duì)其進(jìn)行下采樣以及通過pointconv中的encoder層對(duì)局部特征進(jìn)行提取以及升維；

9、步驟1.2，將步驟1.1得到的多組局部特征輸入到fp層進(jìn)行上采樣以及特征傳播，并利用pointconv中的decoder層對(duì)其進(jìn)行特征降維；

10、步驟1.3，將最后三層特征上采樣至相同尺寸，并通過串聯(lián)和逐元素相加融合相同尺寸特征。

11、步驟1.3具體為：

12、步驟1.3.1，fp1層輸出的na×128特征矩陣以及decoder3中輸出的na×128特征矩陣進(jìn)行拼接得到ff1層輸出的na×256的特征矩陣。

13、步驟1.3.2，將ff1層的輸出矩陣與decoder2的輸出矩陣進(jìn)行逐元素相加操作進(jìn)行特征融合得到ff2層的na×256的特征矩陣，并對(duì)ff2層的輸出進(jìn)行一維卷積得到na×128的特征向量

14、步驟2具體為：

15、步驟2.1，將步驟1.3.2得到的特征向量轉(zhuǎn)化為空間相關(guān)特征矩陣

16、步驟2.2，將步驟2.1中得到的空間相關(guān)特征矩陣轉(zhuǎn)化為通道相關(guān)特征

17、步驟2.3，將實(shí)例分割分支的特征通過局部點(diǎn)相關(guān)模塊與語義特征矩陣進(jìn)行融合，得到實(shí)例嵌入矩陣

18、步驟2.4，將實(shí)例特征矩陣通過全局點(diǎn)相關(guān)模塊，并將其與語義分割分支的特征融合得到語義嵌入矩陣

19、步驟2.5，設(shè)計(jì)損失函數(shù)，損失函數(shù)包括語義分割分支損失函數(shù)lsem與實(shí)例分割分支損失函數(shù)lins，lsem根據(jù)交叉熵進(jìn)行計(jì)算。

20、步驟2.1具體為：

21、步驟2.1.1，將特征向量首先通過兩個(gè)特征轉(zhuǎn)換函數(shù)fmap?1、gmap?1將f映射到兩個(gè)低維表示空間，分別為

22、步驟2.1.2，將fsa的轉(zhuǎn)置與fsb進(jìn)行矩陣相乘操作得到空間相關(guān)權(quán)重矩陣

23、步驟2.1.3，通過softmax對(duì)空間相關(guān)權(quán)重矩陣ws進(jìn)行正則化，并將正則化后的ws與給定的特征向量f相乘得到空間相關(guān)特征矩陣

24、步驟2.2具體為：

25、步驟2.2.1，將空間特征fsa以及fsb利用兩個(gè)特征轉(zhuǎn)換方程fmap?2、gmap?2轉(zhuǎn)換為通道特征以及并將fcb的轉(zhuǎn)置與通道特征fca進(jìn)行矩陣相乘得到通道相關(guān)權(quán)重矩陣

26、步驟2.2.2，通過一維卷積生成通道特征并將通道特征fc與通過softmax正則化后的通道相關(guān)權(quán)重wc進(jìn)行矩陣相乘操作得到最終的通道相關(guān)特征

27、步驟2.3具體為：

28、步驟2.3.1，語義特征矩陣fss通過一維卷積轉(zhuǎn)換為實(shí)例特征空間矩陣，并將其實(shí)例特征空間矩陣通過局部點(diǎn)相關(guān)模塊生成局部點(diǎn)相關(guān)特征矩陣fssl；

29、步驟2.3.2，局部點(diǎn)相關(guān)特征fssl與實(shí)例特征矩陣fis逐元素相加得到具有語義感知的實(shí)例特征矩陣fiss；

30、步驟2.3.3，拼接fiss和fis以增強(qiáng)細(xì)節(jié)局部特征生成fissl，并進(jìn)行跨維度平均操作以及通過sigmoid激活函數(shù)以生成最終的實(shí)例分割權(quán)重矩陣wis；

31、步驟2.3.4，將wis與fissl矩陣相乘得到fissr，并通過兩層一維卷積得到最終的實(shí)例嵌入特征

32、步驟2.4具體為：

33、步驟2.4.1，將步驟2.3.4得到的實(shí)例特征矩陣fissr經(jīng)過一維卷積、跨維度平均以及平鋪操作得到需要融合到語義分支的實(shí)例特征矩陣fisst；

34、步驟2.4.2，將其通過全局點(diǎn)相關(guān)模塊生成全局點(diǎn)相關(guān)特征矩陣fisg，并與語義特征矩陣fss逐元素相加得到具有實(shí)例感知的語義特征矩陣fssi；

35、步驟2.4.3，通過拼接fssi以及fss以增強(qiáng)語義分割分支下的全局點(diǎn)相關(guān)特征矩陣fssig，將該矩陣經(jīng)過跨緯度平均、sigmoid激活函數(shù)生成語義分割矩陣wss；

36、步驟2.4.4，將全局點(diǎn)相關(guān)特征矩陣fssig相乘得到fssir，并通過兩層一維卷積得到語義嵌入特征

37、步驟2.5具體為：

38、步驟2.5.1，實(shí)例分割分支損失函數(shù)lins＝lpull+lpush，其中l(wèi)pull使預(yù)測實(shí)例嵌入特征接近真值實(shí)例嵌入的平均，lpus?h使不同實(shí)例之間的嵌入相互分離，lpull由式(4)表示：

39、

40、步驟2.5.2，lpus?h使不同實(shí)例之間的嵌入相互分離，由式(5)表示：

41、

42、式(4)-(5)中，m為實(shí)例的個(gè)數(shù)；nm為第m個(gè)實(shí)例的點(diǎn)數(shù)；en為單個(gè)實(shí)例中點(diǎn)的嵌入特征向量；μm為單個(gè)實(shí)例中點(diǎn)的嵌入特征向量的平均特征向量；||·||1為l1范數(shù)；[x]+＝max(0，x)，表示若x≥0則[x]+＝x，若x<0，[x]+＝0；δv、δd為lpull與lpus?h的容忍度。

43、步驟3具體為：

44、步驟3.1，將待聚類點(diǎn)以及帶聚類點(diǎn)的實(shí)例特征輸入到動(dòng)態(tài)漂移特征模塊，根據(jù)計(jì)算到的漂移矩陣收斂待聚類點(diǎn)。

45、步驟3.2，設(shè)計(jì)動(dòng)態(tài)漂移特征聚類模塊的損失函數(shù)lds。

46、步驟3.1具體為：

47、步驟3.1.1，對(duì)于有m個(gè)待聚類點(diǎn)的集合x＝{xi|1≤i≤m}，且待聚類點(diǎn)集合x的漂移矩陣為特征漂移操作由式(1)表示：

48、x＝x+εs??(1)

49、步驟3.1.2，漂移矩陣s通過扁平核函數(shù)f(x)進(jìn)行計(jì)算，扁平核函數(shù)f(x)＝d-1kx，其中k＝(xxt≤δ)代表核矩陣，對(duì)角矩陣d＝diag(k1)代表待聚類點(diǎn)在δ帶寬范圍內(nèi)，s的計(jì)算表示為公式(2)：

50、s＝f(x)-x??(2)

51、步驟3.1.3，為了使核函數(shù)f(x)適應(yīng)不同實(shí)例的大小，必須動(dòng)態(tài)推斷每個(gè)待聚類點(diǎn)的最優(yōu)帶寬，選取l個(gè)候選帶寬bw＝{δ1，…，δl}；

52、步驟3.1.4，每一個(gè)待聚類點(diǎn)xi都根據(jù)相對(duì)應(yīng)的核函數(shù)f(xi)計(jì)算漂移向量si，然后將實(shí)例嵌入特征向量eis通過mlp以及softmax學(xué)習(xí)候選帶寬集合的帶寬權(quán)重矩陣w∈rm×l，待聚類點(diǎn)xi將動(dòng)態(tài)確定最終的漂移矩陣，最終的核函數(shù)更新為式(3)：

53、

54、步驟3.1.5，經(jīng)過i次迭代，所有的待聚類點(diǎn)會(huì)收斂到各自的簇中心，后續(xù)再執(zhí)行一次簡單的啟發(fā)式聚類算法對(duì)最終已收斂的聚類點(diǎn)進(jìn)行聚類，以獲得每個(gè)聚類點(diǎn)的實(shí)例標(biāo)簽。

55、步驟3.2具體為：

56、步驟3.2.1，聚類中心沒有真值，故設(shè)置單棵樹木實(shí)例真值的質(zhì)心為聚類中心的真值，動(dòng)態(tài)漂移第i次迭代的損失函數(shù)用聚類后的中心與cgt的曼哈頓距離表示，如式(6)所示：

57、

58、式(6)中，m′表示單棵樹木實(shí)例真值的質(zhì)心個(gè)數(shù)；

59、步驟3.2.2，將i次的損失相加即得到最終的損失函數(shù)lds：

60、

61、本發(fā)明的有益效果是：

62、本發(fā)明提出了語義實(shí)例聯(lián)合與動(dòng)態(tài)漂移特征聚類的單棵樹木提取方法，充分考慮到局部以及全局上下文信息，從而增強(qiáng)識(shí)別細(xì)粒度特征的能力，提高了單棵樹木檢測的準(zhǔn)確率，并且該方法將深度學(xué)習(xí)有效利用到從室外場景中高效、準(zhǔn)確、自動(dòng)化提取所有單棵樹木(包含具有明顯樹干的高、矮樹木以及灌木)，解決了傳統(tǒng)方法固有的在大場景下提取單棵樹木效率不高，以及實(shí)例分割網(wǎng)絡(luò)直接應(yīng)用到單棵樹木提取時(shí)精度過低的問題；對(duì)實(shí)際應(yīng)用場景感知能力的提升具有深遠(yuǎn)影響；不僅有助于推動(dòng)自動(dòng)駕駛技術(shù)的進(jìn)一步發(fā)展，也為城市數(shù)字化、智能化管理提供了有力支撐。