本發(fā)明涉及醫(yī)學(xué)點(diǎn)云數(shù)據(jù)處理與應(yīng)用，特別涉及一種基于邊界點(diǎn)監(jiān)督的醫(yī)學(xué)點(diǎn)云分割系統(tǒng)及方法。

背景技術(shù)：

1、針對(duì)分割算法無(wú)法預(yù)測(cè)大角度旋轉(zhuǎn)點(diǎn)云的問(wèn)題。對(duì)于旋轉(zhuǎn)角度較大的點(diǎn)云，使得點(diǎn)云的深層語(yǔ)義信息的提取變得不準(zhǔn)確，具體講，是大角度的三維旋轉(zhuǎn)中更難提取特征點(diǎn)語(yǔ)義特征。工程中不同批次和廠家的點(diǎn)云樣本，在三個(gè)軸上，都存在隨機(jī)大角度差異，這個(gè)三軸的角度差異就導(dǎo)致無(wú)法準(zhǔn)確預(yù)測(cè)。直接原因是現(xiàn)有的分割算法感受野存在一定局限。無(wú)法發(fā)明一個(gè)全局統(tǒng)一感受野。

2、針對(duì)三維點(diǎn)云分割結(jié)果中邊界點(diǎn)差的問(wèn)題，現(xiàn)有常用的cbl基于輪廓的損失函數(shù)對(duì)噪聲和細(xì)微的形狀變化非常敏感?，F(xiàn)有技術(shù)的缺點(diǎn)是對(duì)噪聲下的魯棒性較差。如果圖像或數(shù)據(jù)中存在噪聲或細(xì)微的變化，可能會(huì)導(dǎo)致不穩(wěn)定的結(jié)果。

3、針對(duì)嚴(yán)重的類別數(shù)目不平衡問(wèn)題導(dǎo)致點(diǎn)云分割效果差，現(xiàn)有技術(shù)是過(guò)采樣(oversampling)對(duì)少數(shù)類樣本進(jìn)行復(fù)制或合成，增加其數(shù)量?，F(xiàn)有技術(shù)的缺點(diǎn)是可能導(dǎo)致過(guò)擬合或丟失多數(shù)類的重要信息。欠采樣(undersampling)減少多數(shù)類樣本的數(shù)量，使各類樣本數(shù)量趨于平衡。但是有不足過(guò)采樣可能導(dǎo)致過(guò)擬合，因?yàn)槟Ｐ蜁?huì)多次看到相同的少數(shù)類樣本；欠采樣可能會(huì)丟失多數(shù)類的重要信息，導(dǎo)致模型性能下降。在口腔醫(yī)學(xué)點(diǎn)云分割中任務(wù)中通常存在嚴(yán)重的類別數(shù)目不平衡問(wèn)題，目標(biāo)前景區(qū)域的大小常常比背景區(qū)域小幾個(gè)數(shù)量級(jí)，比如大連結(jié)體前景區(qū)域比有小區(qū)背景區(qū)域小20倍以上。分割通常采用的交叉熵?fù)p失函數(shù)，在高度不平衡的問(wèn)題上存在著眾所周知的缺點(diǎn)即它假設(shè)所有樣本和類別的重要性相同，這通常會(huì)導(dǎo)致訓(xùn)練的不穩(wěn)定，并導(dǎo)致決策邊界偏向于數(shù)量多的類別。對(duì)于類別數(shù)目不平衡問(wèn)題，一種常見(jiàn)的策略是對(duì)數(shù)目多的類別進(jìn)行降采樣來(lái)重新平衡類別的先驗(yàn)分布，但是這種策略限制了訓(xùn)練圖像的使用。另一種策略是加權(quán)，即對(duì)數(shù)量少的類別賦予更大的權(quán)重，對(duì)數(shù)量多的類別賦予更小的權(quán)重，雖然這種方法對(duì)一些不平衡的問(wèn)題是有效的，但處理極度不平衡的數(shù)據(jù)時(shí)還是有困難。在少數(shù)幾個(gè)像素上計(jì)算的交叉熵梯度通常包含了噪聲，賦予少數(shù)類別更大的權(quán)重進(jìn)一步加大了噪聲從而導(dǎo)致訓(xùn)練的不穩(wěn)定。分割中另一種常見(jiàn)的損失函數(shù)dice?loss，在不平衡的醫(yī)學(xué)點(diǎn)云分割問(wèn)題中通常比ce?loss的效果好。但遇到非常小的區(qū)域時(shí)可能會(huì)遇到困難，錯(cuò)誤分類的像素可能會(huì)導(dǎo)致loss的劇烈降低，從而導(dǎo)致優(yōu)化的不穩(wěn)定。此外，dice?loss對(duì)應(yīng)精度和召回的調(diào)和平均，當(dāng)true?positive不變時(shí)，falsepostive和false?negative重要性相同，因此dice?loss主要適用于這兩種類型的誤差數(shù)量差不多的情況。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是為了解決上述現(xiàn)有技術(shù)的三個(gè)問(wèn)題，提出一種基于邊界點(diǎn)監(jiān)督的醫(yī)學(xué)點(diǎn)云分割系統(tǒng)及方法，能夠準(zhǔn)確高效地將口腔醫(yī)學(xué)點(diǎn)云分割出來(lái)。

2、為實(shí)現(xiàn)上述目的，所采取的技術(shù)方案是：

3、一種基于邊界點(diǎn)監(jiān)督的醫(yī)學(xué)點(diǎn)云分割系統(tǒng)，包含：

4、朝向和位置糾正模塊，統(tǒng)一原始點(diǎn)云的位置和朝向，使得不同牙模點(diǎn)云的朝向統(tǒng)一；

5、搜索邊界點(diǎn)模塊，融合k近鄰算法和最遠(yuǎn)點(diǎn)采樣算法，識(shí)別數(shù)據(jù)集中的邊界點(diǎn)，邊界點(diǎn)再經(jīng)過(guò)pointnet++下采樣和上采樣；

6、基于樣本均衡的損失函數(shù)，對(duì)邊界點(diǎn)進(jìn)行損失計(jì)算。

7、根據(jù)本發(fā)明基于邊界點(diǎn)監(jiān)督的醫(yī)學(xué)點(diǎn)云分割系統(tǒng)，進(jìn)一步地，朝向和位置糾正模塊的工作過(guò)程如下：

8、將原始點(diǎn)云移動(dòng)到以點(diǎn)云幾何中心為原點(diǎn)的坐標(biāo)系，平移后的點(diǎn)集為data；

9、計(jì)算z方向、x方向和y方向基向量，通過(guò)點(diǎn)云投影到三坐標(biāo)平面，面積最大的平面的法向量是局部坐標(biāo)系z(mì)方向的基向量_ref_normal；

10、由投影矩陣計(jì)算xoy的投影點(diǎn)集_plane_vertices；

11、通過(guò)求解投影點(diǎn)集_plane_vertices的協(xié)方差矩陣，找到點(diǎn)主方向和旋轉(zhuǎn)到主方向的旋轉(zhuǎn)矩陣rotation；

12、計(jì)算x方向和y方向新的方向向量_dir0和_dir1；

13、通過(guò)法向量_ref_normal以及x方向、y方向新的方向向量_dir0和_dir1得到三維旋轉(zhuǎn)矩陣matrix_world，該旋轉(zhuǎn)矩陣與點(diǎn)集點(diǎn)乘得到三坐標(biāo)對(duì)齊的點(diǎn)集。

14、根據(jù)本發(fā)明基于邊界點(diǎn)監(jiān)督的醫(yī)學(xué)點(diǎn)云分割系統(tǒng)，進(jìn)一步地，將原始點(diǎn)云移動(dòng)到以點(diǎn)云幾何中心為原點(diǎn)的坐標(biāo)系包含：

15、輸入一張n*6的點(diǎn)云x，計(jì)算點(diǎn)云幾何中心[meany,meanx,meanz]，得到4*4平移矩陣平移后的點(diǎn)集表示為：data＝trans·(x^t)，其中x是點(diǎn)云取n行*3列后補(bǔ)齊一列1得到4*n，t是矩陣轉(zhuǎn)置操作。

16、根據(jù)本發(fā)明基于邊界點(diǎn)監(jiān)督的醫(yī)學(xué)點(diǎn)云分割系統(tǒng)，進(jìn)一步地，計(jì)算x方向和y方向基向量包含：

17、x方向基向量_plane_x_axis是由z方向的基向量_ref_normal與向量[0，0，1]的垂直關(guān)系計(jì)算出的；

18、y方向基向量_plane_y_axis是由z方向的基向量_ref_normal與原始x方向基向量_plane_x_axis的垂直關(guān)系計(jì)算出的。

19、根據(jù)本發(fā)明基于邊界點(diǎn)監(jiān)督的醫(yī)學(xué)點(diǎn)云分割系統(tǒng)，進(jìn)一步地，xoy的投影點(diǎn)集_plane_vertices是通過(guò)原始x方向基向量_plane_x_axis和原始y方向基向量_plane_y_axis組成的投影矩陣與平移后的點(diǎn)集data點(diǎn)乘得到的。

20、根據(jù)本發(fā)明基于邊界點(diǎn)監(jiān)督的醫(yī)學(xué)點(diǎn)云分割系統(tǒng)，進(jìn)一步地，計(jì)算x方向和y方向新的方向向量_dir0和_dir1包含：

21、計(jì)算x方向新的方向向量：通過(guò)旋轉(zhuǎn)矩陣rotation對(duì)原始基向量的線性組合得到新的x方向向量_dir0，計(jì)算公式為：其中rotation[1,:]是rotation取第1行；

22、計(jì)算y方向新的方向向量：通過(guò)法向量_ref_normal和原始x方向基向量_plane_x_axis的叉乘得到新的y方向向量_dir1，計(jì)算公式為：_dir1＝_ref_normal×_plane_x_axis。

23、根據(jù)本發(fā)明基于邊界點(diǎn)監(jiān)督的醫(yī)學(xué)點(diǎn)云分割系統(tǒng)，進(jìn)一步地，搜索邊界點(diǎn)模塊首先使用k近鄰算法對(duì)輸入點(diǎn)云進(jìn)行初步邊界點(diǎn)識(shí)別，找到潛在的邊界點(diǎn)；接著利用最遠(yuǎn)點(diǎn)采樣算法fps對(duì)初步識(shí)別的邊界點(diǎn)進(jìn)行篩選，fps通過(guò)選擇距離最遠(yuǎn)的點(diǎn)，以覆蓋數(shù)據(jù)的邊界區(qū)域。

24、根據(jù)本發(fā)明基于邊界點(diǎn)監(jiān)督的醫(yī)學(xué)點(diǎn)云分割系統(tǒng)，進(jìn)一步地，如果指定的邊界點(diǎn)數(shù)目大于實(shí)際邊界點(diǎn)數(shù)目，自動(dòng)補(bǔ)齊到指定數(shù)目；如果指定的邊界點(diǎn)數(shù)目小于實(shí)際邊界點(diǎn)數(shù)目，則會(huì)選取距離最遠(yuǎn)的邊界點(diǎn)。

25、根據(jù)本發(fā)明基于邊界點(diǎn)監(jiān)督的醫(yī)學(xué)點(diǎn)云分割系統(tǒng)，進(jìn)一步地，基于樣本均衡的損失函數(shù)的表達(dá)式如下：

26、lb＝∫ωφg(q)sθ(q)dq

27、其中，ω是三維空間域，g是前景區(qū)域，q是點(diǎn)集中任意點(diǎn)，若q屬于g，φg(q)＝-dg(q)，否則φg(q)＝dg(q)，dg(q)表示任意點(diǎn)q屬于ω與輪廓上最近點(diǎn)之間的距離，sθ表示模型輸出對(duì)應(yīng)前景區(qū)域；

28、點(diǎn)云分割網(wǎng)絡(luò)總的損失函數(shù)表達(dá)式如下：

29、ltotal＝lr(θ)+αlb(θ)

30、其中，α為加權(quán)因子，lr(θ)為區(qū)域損失函數(shù)。

31、進(jìn)一步地，本發(fā)明還提供一種基于邊界點(diǎn)監(jiān)督的醫(yī)學(xué)點(diǎn)云分割方法，包含：

32、原始點(diǎn)云通過(guò)朝向和位置糾正模塊處理后，統(tǒng)一了原始點(diǎn)云的位置和朝向；

33、處理后的點(diǎn)云經(jīng)過(guò)搜索邊界點(diǎn)模塊找出目標(biāo)的邊界點(diǎn)，邊界點(diǎn)再經(jīng)過(guò)pointnet++下采樣和上采樣；

34、最后通過(guò)基于樣本均衡的損失函數(shù)對(duì)邊界點(diǎn)進(jìn)行損失計(jì)算。

35、采用上述技術(shù)方案，所取得的有益效果是：

36、1、針對(duì)現(xiàn)有分割算法無(wú)法預(yù)測(cè)大角度旋轉(zhuǎn)點(diǎn)云的問(wèn)題，本發(fā)明提出朝向和位置糾正模塊(correct?orientation?and?position,cop)，該模塊統(tǒng)一了點(diǎn)云的位置和朝向，是一種擺正點(diǎn)云的點(diǎn)云預(yù)處理算法，使得在深度學(xué)習(xí)時(shí)候更有利于語(yǔ)義特征的學(xué)習(xí)，解決大角度旋轉(zhuǎn)物體的點(diǎn)云朝向差異導(dǎo)致的失效問(wèn)題。例如上頜都是朝向z軸，同樣的特征更容易學(xué)習(xí)。由于存在不同的大角度旋轉(zhuǎn)，訓(xùn)練的模型不能泛化不同廠家的牙模點(diǎn)云。使用z軸的三坐標(biāo)對(duì)齊，可以把不同的大角度旋轉(zhuǎn)都統(tǒng)一，這樣消除了不同廠家點(diǎn)云由于旋轉(zhuǎn)角度泛化性差的問(wèn)題。

37、2、目前的口腔醫(yī)學(xué)三維點(diǎn)云分割方法對(duì)場(chǎng)景邊界的分割效果較差，導(dǎo)致整體分割性能下降，針對(duì)三維點(diǎn)云邊界分割性能不理想的問(wèn)題，本發(fā)明提出搜索邊界點(diǎn)模塊(boundary?point?search,bps)，該模塊融合了k近鄰算法和最遠(yuǎn)點(diǎn)采樣算法，可以找出合適的目標(biāo)邊界點(diǎn)，且邊界點(diǎn)分布均勻。

38、3、針對(duì)嚴(yán)重的類別數(shù)目不平衡問(wèn)題導(dǎo)致點(diǎn)云分割效果差，本發(fā)明提出基于樣本均衡的損失函數(shù)(label?equilibrium?loss,le-loss)，在輪廓空間而不是區(qū)域空間上采用距離度量的形式，邊界損失計(jì)算的不是區(qū)域上積分，而是區(qū)域之間邊界上積分，因此可以緩解樣本不平衡分割問(wèn)題。