本發(fā)明屬于醫(yī)療檢測設備領域，具體涉及一種基于手部正位x-ray圖像的骨齡骨密度在線檢測方法，及其對應的骨齡骨密度的在線檢測系統(tǒng)和設備。

背景技術：

1、骨齡和骨密度是反應用戶骨骼發(fā)育狀況的重要指標，對于盡早發(fā)現(xiàn)青少兒兒童的發(fā)育遲緩問題，并給出相應的解決方案具有指導作用。現(xiàn)有檢測骨齡和骨密度方法主要包括兩種，一種是由經(jīng)驗豐富的骨科醫(yī)生根據(jù)用戶的x-ray圖像進行人工分析，另外一種是基于機器學習的人工智能算法識別。

2、以上兩種檢測方案中，前者的檢測精度較高，但是受限于具有經(jīng)驗的醫(yī)務人員數(shù)量和精力，這種檢測方案的效率相對較低。后者雖然可以實現(xiàn)大規(guī)模的快速檢測，但是仍存在如下問題：(1)算法訓練階段采用了特定區(qū)域樣本的標注數(shù)據(jù)，不適用于中國兒童的骨齡測評，在部分地域存在測評結果誤差較大的情況。(2)現(xiàn)有骨齡檢測算法和骨密度檢測算法大多基于手掌的醫(yī)學影像直接進行特征提取和識別，并輸出對應的檢測結果。評估結果的可解釋性較差，無法進行核驗。(3)現(xiàn)有各類骨齡檢測算法和骨密度檢測算法對樣本數(shù)據(jù)要求嚴格，算法的魯棒性不足，檢測精度容易收到影像質量的影響，在存在干擾信息的情況，檢測結果的精度會顯著下降。(4)現(xiàn)有方案中骨齡和骨密度兩個指標通常是分開測量的，無法通過同一張醫(yī)學圖像進行一次性檢測，因而會提高用戶的檢測成本。

技術實現(xiàn)思路

1、為了解決現(xiàn)有骨齡骨密度的檢測方案在檢測精度、檢測效率和檢測成本等方面無法滿足需求的問題，本發(fā)明提供一種基于手部正位x-ray圖像的骨齡骨密度在線檢測方法，及其對應的骨齡骨密度的在線檢測系統(tǒng)和設備。

2、本發(fā)明采用以下技術方案實現(xiàn)：

3、一種基于手部正位x-ray圖像的骨齡骨密度在線檢測方法，其包括如下步驟：

4、s1：獲取當前用戶的性別信息及對應的手部正位x-ray圖像。

5、s2：預先利用精簡的u-net網(wǎng)絡搭建并訓練出一個用于對手掌及小臂部分進行識別和分割的手部識別模型；并利用手部識別模型根據(jù)手部正位x-ray圖像生成去除背景的手部圖像。

6、s3：預先利用四層的全節(jié)點unet++網(wǎng)絡搭建并訓練出一個用于對手部29類骨骼進行識別的手骨識別模型；并利用手骨識別模型對手部圖像中的各類骨骼進行識別和定位。

7、s4：根據(jù)上步驟的識別和定位結果，通過opencv中的輪廓尋找算法生成其中包含的13類特征骨的最小外接矩形區(qū)域，并進行圖像分割，得到對應的13張?zhí)卣鞴菆D像pci，i＝1……13。

8、s5：預先利用三層的全節(jié)點unet++網(wǎng)絡搭建并訓練出一個用于對特征骨的骨骺等級進行分類的骨骺分類模型；并利用骨骺分類模型生成每張?zhí)卣鞴菆D像pci對應的骨骺等級ranki。

9、s6：結合當前用戶的性別和13處骨骺等級查詢一個預先構建的“骨骺等級得分表”，得到每一處骨骼等級對應的得分值scorei，然后利用下式計算出對應sms評分值：

10、

11、s7：將sms評分值輸入到一個預先擬合出的50百分位骨成熟度標準函數(shù)中，輸出對應的骨齡值。

12、s8：選擇步驟s4的13張?zhí)卣鞴菆D像中的第二掌骨圖像；分析第二掌骨圖像并生成骨密度值，過程如下：

13、s81：利用彈性能量算法對第二掌骨圖像進行輪廓修正。

14、s82：對上步驟修正后的圖像進行旋轉校正。

15、s83：根據(jù)預設的灰度閾值區(qū)分第二掌骨圖像中的皮質骨和松質骨對應的區(qū)域。

16、s84：統(tǒng)計皮質骨和松質骨的平均厚度d皮和d松。

17、s85：計算當前用戶第二掌骨的掌骨指數(shù)mci：mci＝d皮/(d松+d皮)；。

18、s86：基于掌骨指數(shù)與骨密度的映射關系，根據(jù)掌骨指數(shù)計算出對應的骨密度值。。

19、作為本發(fā)明進一步地改進，手部識別模型為一個采用unet網(wǎng)絡為骨干網(wǎng)絡的全卷積神經(jīng)網(wǎng)絡。骨干網(wǎng)絡包括4個下采樣層和4個上采樣層。每個下采樣層使用一個核為3的全卷積relu激活子層、批歸一化子層、最大池化子層。每個上采樣層使用一個融合層、全卷積relu激活子層、上采樣子層。然后通過核為1的2通道特征全卷積層，再通過softmax輸出2分類特征圖像。全卷積神經(jīng)網(wǎng)絡的最后一層輸出將與預先標記的監(jiān)督數(shù)據(jù)tn進行交叉熵誤差運算，然后進行網(wǎng)絡的反向傳播對各層參數(shù)進行學習修正。手部識別模型的網(wǎng)絡可以學習得到背景和手部輪廓邊緣的二分類圖像特征。

20、作為本發(fā)明進一步地改進，手骨識別模型為一個采用unet++網(wǎng)絡為骨干網(wǎng)絡的全卷積神經(jīng)網(wǎng)絡；骨干網(wǎng)絡包括4個下采樣層和多個上采樣層。每個下采樣層使用一個核為3的全卷積relu激活子層、批歸一化子層、最大池化子層。每個上采樣層使用一個融合層、全卷積relu激活子層、上采樣子層。然后通過核為1的10通道特征全卷積層，再通過softmax輸出29分類特征圖像。全卷積神經(jīng)網(wǎng)絡的最后一層輸出將與預先標記的監(jiān)督數(shù)據(jù)tn進行交叉熵誤差運算，然后進行網(wǎng)絡的反向傳播對各層參數(shù)進行學習修正。手部識別模型的網(wǎng)絡可以學習得到29種不同特征骨的29分類圖像特征。

21、作為本發(fā)明進一步地改進，步驟s5中，骨骺分類模型采用精簡后的3層unet++網(wǎng)絡；其骨干網(wǎng)絡分兩路進行反向傳播。一路采用與手骨識別模型相同的全卷積神經(jīng)網(wǎng)絡將特征層輸出和標簽進行交叉熵誤差運算學習監(jiān)督，而后對輸出圖像進行flatten降維操作，通過dense1024全連接層和dense256全連接層提取特征信息，再與另一路特征信息融合。另一路對每一最終層x30、x21、x12、x03進行特征提取并通過dense256全連接層處理后，通過concatenate層進行特征融合；再通過desne256全連接層和前一路特征信息融合。最終通過dense15輸出為15骨骺等級分類；并和標簽進行交叉熵運算反向傳播完成學習訓練。

22、作為本發(fā)明進一步地改進，步驟s3中的手骨識別模型識別出的29類骨骼包括：尺骨、橈骨、鉤骨、頭狀骨、三角骨、月骨、大多角骨、小多角骨、舟骨、豌豆骨、掌骨ⅰ～ⅴ、近節(jié)指骨ⅰ～ⅴ、遠節(jié)指骨ⅰ～ⅴ，中節(jié)指骨ⅱ～ⅴ；

23、步驟s4中，分割出的13類特征骨包括：橈骨、尺骨、掌骨ⅰ、掌骨ⅲ、掌骨ⅴ，近節(jié)指骨ⅰ、近節(jié)指骨ⅲ、近節(jié)指骨ⅴ、中節(jié)指骨ⅲ、中節(jié)指骨ⅴ、遠節(jié)指骨ⅰ、遠節(jié)指骨ⅲ、遠節(jié)指骨ⅴ。

24、作為本發(fā)明進一步地改進，步驟s6中，“骨骺等級得分表”是一個參考《中國青少年兒童手腕骨成熟度及評價方法》ty/t?3001-2006中的《rus-chn法骨發(fā)育等級分值表》建立的第一數(shù)據(jù)對照表。

25、第一數(shù)據(jù)對照表中建立有13種特征骨各自的骨骺等級對應的得分值；第一數(shù)據(jù)對照表根據(jù)性別分為兩種；即“第一數(shù)據(jù)對照表(男)”和“第一數(shù)據(jù)對照表(女)”，二者分別適用于對男性和女性進行骨骺等級評分。

26、作為本發(fā)明進一步地改進，步驟s7中，50百分位骨成熟度標準函數(shù)是一個根據(jù)《中國青少年兒童手腕骨成熟度及評價方法》ty/t?3001-2006中的《rus-chn骨成熟度百分位數(shù)標準曲線》的50百分位曲線擬合出的函數(shù)，其自變量為sms評分值，因變量為對應的骨齡檢測結果。

27、其中，50百分位骨成熟度標準函數(shù)根據(jù)性別也分為兩種，即“50百分位骨成熟度標準函數(shù)(男)”和“50百分位骨成熟度標準函數(shù)(女)”。二者分別適用于對男性和女性進行骨齡預測。

28、作為本發(fā)明進一步地改進，步驟s81中，彈性能量算法中采用的能量函數(shù)etotal如下：

29、

30、上式中，表示由一組坐標點首尾以曲線相連的輪廓線；δ為求取導數(shù)的符號；d為微分符號；s表示以傅里葉變換形式描述邊界的自變量，s∈[0,1]；為的一階導數(shù)的模，表示彈性能量；為的二階導數(shù)的模，博士彎曲能量；α表示彈性能量的加權系數(shù)；β表示彎曲能量的加權系數(shù)；為一個計算變形曲線原曲線吻合度的函數(shù)，函數(shù)值表示外部能量。

31、通過迭代使得能量函數(shù)的值最小化，得到對應的輪廓修正后的第二掌骨圖像。

32、本發(fā)明還包括一種骨齡骨密度的在線檢測系統(tǒng)其采用如恰述的基于手部正位x-ray圖像的骨齡骨密度在線檢測方法，根據(jù)輸入的任意用戶的手部正位x-ray圖像以及性別信息，輸出當前用戶的骨齡和骨密度的檢測結果。

33、骨齡骨密度的在線檢測系統(tǒng)包括：數(shù)據(jù)輸入模塊、圖像預處理模塊、手骨分類模塊、特征骨提取模塊、骨骺等級識別模塊、sms評分生成模塊、骨齡輸出模塊、輪廓修正模塊、掌骨指數(shù)生成模塊，以及骨密度輸出模塊。

34、其中，數(shù)據(jù)輸入模塊用于獲取待檢測用戶的性別信息以及手部正位x-ray圖像。

35、圖像預處理模塊采用基于精簡的u-net網(wǎng)絡預先創(chuàng)建的手部識別模型對手部正位x-ray圖像進行特征識別，識別出其中的手部骨骼及軟組織部分，并生成去除背景后的手部圖像。

36、手骨分類模塊采用基于四層的全節(jié)點unet++網(wǎng)絡創(chuàng)建的手骨識別模型對圖像預處理模塊輸出的手部圖像進行骨骼識別和分類，進而得到手部29類骨骼對應的特征圖像。

37、特征骨提取模塊先通過opencv中的輪廓尋找算法獲取13種特征骨外輪廓的最小外接矩形。生成外接矩形內部區(qū)域對應的模板圖像；然后利用模板圖像和原始的手部正位x-ray圖像進掩模運算，得到13張?zhí)卣鞴菆D像。

38、骨骺等級識別模塊用于采用基于三層的全節(jié)點unet++網(wǎng)絡創(chuàng)建的骨骺分類模型對輸入的特征骨圖像進行分類，得到對應的骨骺等級的分類結果。該網(wǎng)絡訓練時使用高斯噪聲、椒鹽噪聲以及對數(shù)壓縮方法進行數(shù)據(jù)增強，解決了輸出結構容易受噪音干擾的問題。

39、sms評分生成模塊用于根據(jù)性別選擇對應的骨骺等級得分表，然后根據(jù)輸入的13張?zhí)卣鞴菆D像的骨骺等級查詢骨骼等級得分表并進行賦分，最后對賦分結果進行加和，得到當前用戶的sms評分值。

40、骨齡輸出模塊用于將當前用戶的sms評分值輸入到一個預先擬合出的50百分位骨成熟度標準函數(shù)中，輸出對應的骨齡值。

41、輪廓修正模塊用于獲取13張?zhí)卣鞴菆D像中的第二掌骨圖像，并采用彈性能量算法對其進行輪廓修正，并將修正后的圖像進行旋轉校正。

42、掌骨指數(shù)生成模塊利用采樣閾值法對校正后的第二掌骨圖像進行處理，識別出其中的皮質骨和松質骨，然后計算出質骨和松質骨的平均厚度之比，即為所需的第二掌骨的掌骨指數(shù)。

43、骨密度輸出模塊基于掌骨指數(shù)與骨密度的映射關系，根據(jù)掌骨指數(shù)計算出對應的骨密度值。

44、本發(fā)明還包括一種骨齡骨密度的在線檢測設備，其包括存儲器、處理器以及存儲在存儲器上并可在處理器上運行的計算機程序。處理器執(zhí)行計算機程序時，創(chuàng)建出如前述的骨齡骨密度的在線檢測系統(tǒng)，進而根據(jù)輸入檢測用戶的性別信息和手部正位x-ray圖像，自動生成當前用戶的骨齡和骨密度的檢測結果。

45、本發(fā)明提供的技術方案，具有如下有益效果：

46、本發(fā)明通過創(chuàng)建的網(wǎng)絡對用戶手部正位圖像中的骨骼進行分類檢測，并提取出13類特征骨骼的圖像，并利用特征骨骼的圖像進行骨齡和骨密度的檢測，本發(fā)明提供的方法是一種純數(shù)字化的方案，醫(yī)學圖像識別、骨骼分類、骨骺等級、骨骺等級評分和骨齡值預測，以及掌骨指數(shù)極端和骨密度值預測等過程全部可以實現(xiàn)自動化的在線處理。用戶只需要提供一張手部正位x光圖像和性別信息，就可以同時得到骨齡和骨密度的檢測結果，這大大提高醫(yī)療機構的檢測效率，也降低了用戶的檢測成本。

47、此外，本發(fā)明提供的檢測方案中，使用的網(wǎng)絡模型和各類由統(tǒng)計數(shù)據(jù)生成的對照表均為通過中國兒童的樣本數(shù)據(jù)生成，因而檢測精度更高、可靠性更強。