本發(fā)明涉及計算機視覺，更具體地，涉及一種體表三維點云目標區(qū)域提取方法及系統(tǒng)。

背景技術(shù)：

1、腫瘤放射治療是利用放射線治療腫瘤的一種局部治療方法，在放射治療時需保證射線照射位置的準確性，以免傷及其他組織和器官。在放射治療時，常采用一種低溫熱塑膜片來固定患者體位，并根據(jù)臨床需要對低溫熱塑膜片開窗。為了提高患者擺位的準確性，還需要采用體表光學圖像引導系統(tǒng)對患者進行三維體表掃描，獲取到患者體表三維點云，并對膜片開窗的區(qū)域進行體表配準，以確認擺位的準確性和提高治療的安全性。

2、目前有提出通過獲取物體在二維圖像中的位置，并生成二維邊界框，通過預(yù)測三維點云數(shù)據(jù)中的三維邊界框，并識別三維點云數(shù)據(jù)的物理中心，最后基于物理中心、三維邊界框?qū)μ摂M三維模型進行周界檢測識別，實現(xiàn)患者體表三維點云中膜片開窗區(qū)域的識別。然而，由于獲取到的患者體表三維點云中缺乏紋理信息，無法根據(jù)膜片顏色在患者體表三維點云識別膜片開窗的對應(yīng)區(qū)域，同時由于膜片與患者體表貼合度較高，無法根據(jù)開窗形狀在患者體表三維點云識別膜片開窗的對應(yīng)區(qū)域。此外，在放射治療過程中隨著治療機架的旋轉(zhuǎn)，還存在開窗區(qū)域掃描被遮擋的問題，因此難以準確識別患者體表三維點云中膜片開窗的目標區(qū)域。

技術(shù)實現(xiàn)思路

1、本發(fā)明為克服上述現(xiàn)有技術(shù)所述難以準確識別患者體表三維點云中膜片開窗的目標區(qū)域的缺陷，提供及一種體表三維點云目標區(qū)域提取方法及系統(tǒng)。

2、為解決上述技術(shù)問題，本發(fā)明的技術(shù)方案如下：

3、一種體表三維點云目標區(qū)域提取方法，包括以下步驟：

4、對配置有開窗膜片的目標患者體表進行三維掃描和拍攝，得到目標患者體表的三維點云數(shù)據(jù)和二維圖像；

5、基于所述三維點云數(shù)據(jù)與所述二維圖像構(gòu)建映射關(guān)系；

6、將所述二維圖像輸入圖像分割模型中，得到二維圖像中關(guān)于膜片開窗區(qū)域外輪廓的roi識別結(jié)果；

7、遍歷所述三維點云數(shù)據(jù)中的三維點，基于所述映射關(guān)系將三維點映射到一二維圖像的二維點上，并判斷所述二維點是否位于其所在二維圖像中的roi識別結(jié)果內(nèi)，若是，則將該三維點加入目標區(qū)域集合，否則對下一三維點進行判斷；

8、完成遍歷后，將所述目標區(qū)域集合作為目標區(qū)域提取結(jié)果輸出。

9、進一步地，本發(fā)明還提出了一種體表三維點云目標區(qū)域提取系統(tǒng)，應(yīng)用本發(fā)明提出的體表三維點云目標區(qū)域提取方法。其中，所述系統(tǒng)包括：

10、采集模塊，用于對配置有開窗膜片的目標患者體表進行掃描和拍攝，得到目標患者體表的三維點云數(shù)據(jù)和二維圖像；

11、映射模塊，用于基于所述三維點云數(shù)據(jù)與所述二維圖像構(gòu)建映射關(guān)系；

12、roi識別模塊，其上搭載有圖像分割模型，用于將所述二維圖像輸入圖像分割模型中，輸出二維圖像中關(guān)于膜片開窗區(qū)域外輪廓的roi識別結(jié)果；

13、目標區(qū)域提取模塊，用于遍歷所述三維點云數(shù)據(jù)中的三維點，并基于所述映射關(guān)系將三維點映射到一二維圖像的二維點上，并判斷所述二維點是否位于二維圖像所在視角的roi識別結(jié)果內(nèi)，若是，則將該三維點加入目標區(qū)域集合，否則對下一三維點進行判斷；完成遍歷后，將所述目標區(qū)域集合作為目標區(qū)域提取結(jié)果輸出。

14、進一步地，本發(fā)明還提出了一種設(shè)備，包括存儲器和處理器，所述存儲器中存儲有計算機可讀指令，其中，所述計算機可讀指令被所述處理器執(zhí)行時，使得所述處理器執(zhí)行如本發(fā)明提出的體表三維點云目標區(qū)域提取方法的步驟。

15、進一步地，本發(fā)明還提出了一種存儲介質(zhì)，其上存儲有計算機可讀指令，其中，所述計算機可讀指令被處理器執(zhí)行時實現(xiàn)如本發(fā)明提出的體表三維點云目標區(qū)域提取方法的步驟。

16、與現(xiàn)有技術(shù)相比，本發(fā)明技術(shù)方案的有益效果是：

17、本發(fā)明通過對配置有開窗膜片的目標患者體表進行三維掃描及二維圖像拍攝，利用經(jīng)過訓練的圖像分割模型精確提取膜片開窗區(qū)域外輪廓的roi識別結(jié)果，最后通過將三維點云映射在二維圖像中，篩選位于roi目標區(qū)域內(nèi)的三維點云，有效且準確地完成體表三維點云目標區(qū)域提??；

18、本發(fā)明利用圖像分割模型進行關(guān)于膜片開窗區(qū)域外輪廓的roi識別，能夠適應(yīng)不同患者、不同治療部位、不同膜片開窗大小和位置，以及不同環(huán)境光影響下的二維圖像roi識別，能夠精確提取關(guān)于膜片開窗的roi區(qū)域，進而有效提高患者體表三維點云目標區(qū)域提取準確性。

技術(shù)特征：

1.一種體表三維點云目標區(qū)域提取方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的體表三維點云目標區(qū)域提取方法，其特征在于，所述判斷其是否位于任一二維圖像中的roi識別結(jié)果內(nèi)，包括以下步驟：

3.根據(jù)權(quán)利要求1所述的體表三維點云目標區(qū)域提取方法，其特征在于，所述方法還包括以下步驟：

4.根據(jù)權(quán)利要求3所述的體表三維點云目標區(qū)域提取方法，其特征在于，所述圖像分割模型包括yolov5網(wǎng)絡(luò)模型。

5.根據(jù)權(quán)利要求1所述的體表三維點云目標區(qū)域提取方法，其特征在于，所述基于所述三維點云數(shù)據(jù)與所述二維圖像構(gòu)建映射關(guān)系，包括以下步驟：

6.根據(jù)權(quán)利要求1~5任一項所述的體表三維點云目標區(qū)域提取方法，其特征在于，所述對配置有開窗膜片的目標患者體表進行三維掃描和拍攝，包括以下步驟：

7.根據(jù)權(quán)利要求6所述的體表三維點云目標區(qū)域提取方法，其特征在于，所述掃描設(shè)備包括三維掃描設(shè)備和二維掃描設(shè)備，或，雙目結(jié)構(gòu)光相機。

8.一種體表三維點云目標區(qū)域提取系統(tǒng)，其特征在于，

9.根據(jù)權(quán)利要求8所述的體表三維點云目標區(qū)域提取系統(tǒng)，其特征在于，所述目標區(qū)域提取模塊在判斷所述二維點是否位于二維圖像所在視角的roi識別結(jié)果內(nèi)時，執(zhí)行以下步驟：

10.根據(jù)權(quán)利要求8所述的體表三維點云目標區(qū)域提取系統(tǒng)，其特征在于，所述采集模塊還用于采集不同患者在進行不同部位治療過程的二維圖像，并對二維圖像中膜片開窗區(qū)域的外輪廓進行標注，得到訓練數(shù)據(jù)；

11.根據(jù)權(quán)利要求10所述的體表三維點云目標區(qū)域提取系統(tǒng)，其特征在于，所述圖像分割模型包括yolov5網(wǎng)絡(luò)模型。

12.根據(jù)權(quán)利要求8所述的體表三維點云目標區(qū)域提取系統(tǒng)，其特征在于，所述映射模塊在基于所述三維點云數(shù)據(jù)與所述二維圖像構(gòu)建映射關(guān)系時，執(zhí)行以下步驟：

13.根據(jù)權(quán)利要求8~12任一項所述的體表三維點云目標區(qū)域提取系統(tǒng)，其特征在于，所述采集模塊在對配置有開窗膜片的目標患者體表進行掃描和拍攝時，執(zhí)行以下步驟：

14.根據(jù)權(quán)利要求13所述的體表三維點云目標區(qū)域提取系統(tǒng)，其特征在于，所述掃描設(shè)備包括三維掃描設(shè)備和二維掃描設(shè)備，或，雙目結(jié)構(gòu)光相機。

15.一種設(shè)備，包括存儲器和處理器，所述存儲器中存儲有計算機可讀指令，其特征在于，所述計算機可讀指令被所述處理器執(zhí)行時，使得所述處理器執(zhí)行如權(quán)利要求1~7任一項所述的體表三維點云目標區(qū)域提取方法的步驟。

16.一種存儲介質(zhì)，其上存儲有計算機可讀指令，其特征在于，所述計算機可讀指令被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1~7任一項所述的體表三維點云目標區(qū)域提取方法的步驟。

技術(shù)總結(jié)
本發(fā)明涉及計算機視覺技術(shù)領(lǐng)域，提出一種體表三維點云目標區(qū)域提取方法及系統(tǒng)，其中，所述方法包括以下步驟：對配置有開窗膜片的目標患者體表進行三維掃描和拍攝，得到目標患者體表的三維點云數(shù)據(jù)和二維圖像；基于所述三維點云數(shù)據(jù)與所述二維圖像構(gòu)建映射關(guān)系；將所述二維圖像輸入圖像分割模型中，得到二維圖像中關(guān)于膜片開窗區(qū)域外輪廓的ROI識別結(jié)果；遍歷所述三維點云數(shù)據(jù)中的三維點，基于映射關(guān)系將三維點映射到一二維圖像的二維點上，并判斷其是否位于二維圖像所在視角的ROI識別結(jié)果內(nèi)，若是，則將該三維點加入目標區(qū)域集合，否則對下一三維點進行判斷；完成遍歷后，將所述目標區(qū)域集合作為目標區(qū)域提取結(jié)果輸出。

技術(shù)研發(fā)人員：龔強,陳銘昌,藍培欽,李恒
受保護的技術(shù)使用者：廣州科萊瑞迪醫(yī)療器材股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19