本申請(qǐng)涉及醫(yī)學(xué)數(shù)據(jù)處理，尤其涉及一種生物體三維虛擬模型的顯示裝置及系統(tǒng)、以及混合現(xiàn)實(shí)設(shè)備。

背景技術(shù)：

1、混合現(xiàn)實(shí)（mr）技術(shù)就是將計(jì)算機(jī)生成的圖像與真實(shí)的世界相疊加，將虛擬空間的圖像顯示在現(xiàn)實(shí)空間中，使人眼可以在現(xiàn)實(shí)世界中看到虛擬的物體。最為大眾熟知的即光學(xué)透視頭戴式顯示器hololens，它通過(guò)即時(shí)定位與地圖構(gòu)建技術(shù)進(jìn)行空間實(shí)時(shí)定位，并提供語(yǔ)音、手勢(shì)等多種交互功能，使用者可以擁有沉浸感體驗(yàn)。

2、隨著混合現(xiàn)實(shí)（mr）技術(shù)的發(fā)展，曾有研究者嘗試應(yīng)用于手術(shù)導(dǎo)航和遠(yuǎn)程手術(shù)，目前通常利用患者的術(shù)前的計(jì)算機(jī)斷層掃描數(shù)據(jù)（ct數(shù)據(jù)）等掃描數(shù)據(jù)來(lái)生成患者體內(nèi)結(jié)構(gòu)的三維虛擬模型，并在手術(shù)中確定三維虛擬模型對(duì)應(yīng)的實(shí)體（例如臟器或骨骼等）的位姿，以通過(guò)醫(yī)生佩戴的混合現(xiàn)實(shí)（mr）設(shè)備將三維虛擬模型和手術(shù)場(chǎng)景中真實(shí)的實(shí)體共同融合顯示在醫(yī)生眼前，從而使醫(yī)生擁有了一雙“透視眼”。目前，通常需要在三維虛擬模型對(duì)應(yīng)的實(shí)體（例如實(shí)體骨骼）上手動(dòng)固定可被光學(xué)追蹤設(shè)備定位的紅外反光球，以確定實(shí)體的位姿，進(jìn)而實(shí)現(xiàn)三維虛擬模型和實(shí)體的融合顯示。

3、但是，經(jīng)醫(yī)生長(zhǎng)期臨床實(shí)踐發(fā)現(xiàn)，該方案使用過(guò)程中均不能夠?qū)崿F(xiàn)虛擬影像和患者病灶區(qū)域的精準(zhǔn)融合顯示，依賴人工手動(dòng)調(diào)整虛擬影像的位姿完成對(duì)齊，且高度依賴網(wǎng)絡(luò)信號(hào)質(zhì)量、耗時(shí)長(zhǎng)，最重要的是無(wú)法保證顯示精準(zhǔn)和實(shí)時(shí)變化，特別是，如果直接將紅外反光球固定在實(shí)體上，需要有創(chuàng)操作（例如切開皮膚暴露骨骼或者臟器），而骨科手術(shù)復(fù)雜而精細(xì)，醫(yī)生須精確的識(shí)別和定位關(guān)節(jié)、骨骼、韌帶、肌肉和神經(jīng)等組織結(jié)構(gòu)，同時(shí)還要考慮手術(shù)時(shí)間、出血量、創(chuàng)傷面積、患者疼痛等因素，基于手術(shù)視野狹小、操作空間有限的現(xiàn)實(shí)問(wèn)題，有創(chuàng)操作對(duì)醫(yī)生的技術(shù)要求極高，并且手動(dòng)配置紅外反光球取決于操作者（醫(yī)生或護(hù)士）的主觀視覺感受，不僅耗時(shí)長(zhǎng)，往往還無(wú)法實(shí)現(xiàn)三維虛擬模型與實(shí)體的精準(zhǔn)配齊。

技術(shù)實(shí)現(xiàn)思路

1、鑒于以上所述相關(guān)技術(shù)的缺點(diǎn)，本申請(qǐng)的目的在于提供一種生物體三維虛擬模型的顯示裝置及系統(tǒng)、以及混合現(xiàn)實(shí)設(shè)備，用以克服上述相關(guān)技術(shù)中存在的基于紅外反光球顯示三維虛擬模型而導(dǎo)致的有創(chuàng)操作以及無(wú)法實(shí)現(xiàn)三維虛擬模型與實(shí)體的精準(zhǔn)配齊等技術(shù)問(wèn)題。

2、為實(shí)現(xiàn)上述目的及其他相關(guān)目的，本申請(qǐng)第一方面提供一種生物體三維虛擬模型的顯示裝置，包括：構(gòu)建模塊，用于依據(jù)術(shù)中采集的生物體的二維掃描數(shù)據(jù)及生物體的圖像數(shù)據(jù)，構(gòu)建包含所述生物體的體表特征及體內(nèi)特征的第一虛擬模型；其中，所述二維掃描數(shù)據(jù)中包括所述生物體的目標(biāo)區(qū)域的體表標(biāo)識(shí)以及體內(nèi)組織的掃描數(shù)據(jù)，所述生物體的圖像數(shù)據(jù)中包括生物體的目標(biāo)區(qū)域的體表及體表標(biāo)識(shí)的圖像數(shù)據(jù)；校準(zhǔn)模塊，用于依據(jù)所述生物體的第二虛擬模型對(duì)所述第一虛擬模型進(jìn)行校準(zhǔn)以得校準(zhǔn)后的第一虛擬模型；其中，所述第二虛擬模型是依據(jù)所述生物體在術(shù)前的ct數(shù)據(jù)預(yù)先構(gòu)建的，且所述第二虛擬模型中包括所述生物體的體內(nèi)特征；顯示模塊，用于利用所述體表標(biāo)識(shí)的圖像數(shù)據(jù)，確定所述校準(zhǔn)后的第一虛擬模型在真實(shí)場(chǎng)景內(nèi)的位姿，以將所述校準(zhǔn)后的第一虛擬模型和真實(shí)場(chǎng)景通過(guò)混合現(xiàn)實(shí)設(shè)備進(jìn)行顯示。

3、本申請(qǐng)第二方面提供一種生物體三維虛擬模型的顯示系統(tǒng)，包括：計(jì)算機(jī)設(shè)備，用于依據(jù)術(shù)中采集的生物體的二維掃描數(shù)據(jù)及生物體的圖像數(shù)據(jù)，構(gòu)建包含所述生物體的體表特征及體內(nèi)特征的第一虛擬模型；以及依據(jù)所述生物體的第二虛擬模型對(duì)所述第一虛擬模型進(jìn)行校準(zhǔn)以得校準(zhǔn)后的第一虛擬模型；其中，所述二維掃描數(shù)據(jù)中包括所述生物體的目標(biāo)區(qū)域的體表標(biāo)識(shí)以及體內(nèi)組織的掃描數(shù)據(jù)，所述生物體的圖像數(shù)據(jù)中包括生物體的目標(biāo)區(qū)域的體表及體表標(biāo)識(shí)的圖像數(shù)據(jù)，所述第二虛擬模型是依據(jù)所述生物體在術(shù)前的ct數(shù)據(jù)預(yù)先構(gòu)建的且所述第二虛擬模型中包括所述生物體的體內(nèi)特征；混合現(xiàn)實(shí)設(shè)備，與所述計(jì)算機(jī)設(shè)備連接，用于利用所述體表標(biāo)識(shí)的圖像數(shù)據(jù)，確定所述校準(zhǔn)后的第一虛擬模型在真實(shí)場(chǎng)景內(nèi)的位姿，以將所述校準(zhǔn)后的第一虛擬模型和真實(shí)場(chǎng)景通過(guò)混合現(xiàn)實(shí)設(shè)備進(jìn)行顯示。

4、本申請(qǐng)第三方面提供一種混合現(xiàn)實(shí)設(shè)備，包括：傳感裝置，用于采集生物體的圖像數(shù)據(jù)；存儲(chǔ)裝置，用于存儲(chǔ)至少一個(gè)程序；顯示裝置，用于將虛擬模型與真實(shí)場(chǎng)景融合顯示；處理裝置，與所述傳感裝置、存儲(chǔ)裝置及顯示裝置相連，用于自所述存儲(chǔ)裝置中調(diào)用所述至少一個(gè)程序并執(zhí)行時(shí)實(shí)現(xiàn)：依據(jù)術(shù)中采集的生物體的二維掃描數(shù)據(jù)及生物體的圖像數(shù)據(jù)，構(gòu)建包含所述生物體的體表特征及體內(nèi)特征的第一虛擬模型；其中，所述二維掃描數(shù)據(jù)中包括所述生物體的目標(biāo)區(qū)域的體表標(biāo)識(shí)以及體內(nèi)組織的掃描數(shù)據(jù)，所述生物體的圖像數(shù)據(jù)中包括生物體的目標(biāo)區(qū)域的體表及體表標(biāo)識(shí)的圖像數(shù)據(jù)；依據(jù)所述生物體的第二虛擬模型對(duì)所述第一虛擬模型進(jìn)行校準(zhǔn)以得校準(zhǔn)后的第一虛擬模型；其中，所述第二虛擬模型是依據(jù)所述生物體在術(shù)前的ct數(shù)據(jù)預(yù)先構(gòu)建的且所述第二虛擬模型中包括所述生物體的體內(nèi)特征；利用所述體表標(biāo)識(shí)的圖像數(shù)據(jù)，確定所述校準(zhǔn)后的第一虛擬模型在真實(shí)場(chǎng)景內(nèi)的位姿，以將所述校準(zhǔn)后的第一虛擬模型和真實(shí)場(chǎng)景通過(guò)混合現(xiàn)實(shí)設(shè)備進(jìn)行顯示。

5、綜上所述，本申請(qǐng)?zhí)峁┑纳矬w三維虛擬模型的顯示裝置及系統(tǒng)、以及混合現(xiàn)實(shí)設(shè)備，通過(guò)術(shù)中采集的生物體的二維掃描數(shù)據(jù)及生物體的圖像數(shù)據(jù)來(lái)構(gòu)建第一虛擬模型，保證了第一虛擬模型的體表特征和體內(nèi)特征與術(shù)中生物體的目標(biāo)區(qū)域的真實(shí)狀態(tài)/真實(shí)姿勢(shì)相符，并且利用術(shù)前構(gòu)建的第二虛擬模型對(duì)第一虛擬模型進(jìn)行校準(zhǔn)后使得校準(zhǔn)后的第一虛擬模型中體內(nèi)特征的尺寸與生物體真實(shí)的體內(nèi)特征的尺寸相符合，進(jìn)一步，利用配置于體表的體表標(biāo)識(shí)可以無(wú)需有創(chuàng)操作就可將校準(zhǔn)后的第一虛擬模型和真實(shí)場(chǎng)景進(jìn)行融合顯示，以實(shí)現(xiàn)三維虛擬模型與實(shí)體的精準(zhǔn)配齊，進(jìn)而便于臨床手術(shù)的應(yīng)用。

技術(shù)特征：

1.一種生物體三維虛擬模型的顯示裝置，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的生物體三維虛擬模型的顯示裝置，其特征在于，所述生物體的二維掃描數(shù)據(jù)是在術(shù)中通過(guò)透射掃描設(shè)備透視生物體的目標(biāo)區(qū)域采集的，其中，在所述目標(biāo)區(qū)域的體表上配置有體表標(biāo)識(shí)。

3.根據(jù)權(quán)利要求2所述的生物體三維虛擬模型的顯示裝置，其特征在于，所述生物體的二維掃描數(shù)據(jù)包括生物體的目標(biāo)區(qū)域的正位x光數(shù)據(jù)和側(cè)位x光數(shù)據(jù)。

4.根據(jù)權(quán)利要求1所述的生物體三維虛擬模型的顯示裝置，其特征在于，所述體表標(biāo)識(shí)包括可被透射掃描設(shè)備檢測(cè)的實(shí)體物或圖案標(biāo)記。

5.根據(jù)權(quán)利要求1所述的生物體三維虛擬模型的顯示裝置，其特征在于，所述生物體的圖像數(shù)據(jù)是所述混合現(xiàn)實(shí)設(shè)備在術(shù)中實(shí)時(shí)采集的。

6.根據(jù)權(quán)利要求1所述的生物體三維虛擬模型的顯示裝置，其特征在于，依據(jù)術(shù)中采集的生物體的二維掃描數(shù)據(jù)及生物體的圖像數(shù)據(jù)，構(gòu)建包含所述生物體的體表特征及體內(nèi)特征的第一虛擬模型的方式包括：將生物體的二維掃描數(shù)據(jù)和采集的生物體的圖像數(shù)據(jù)輸入預(yù)先訓(xùn)練好的模型構(gòu)建網(wǎng)絡(luò)，以構(gòu)建所述第一虛擬模型。

7.根據(jù)權(quán)利要求1所述的生物體三維虛擬模型的顯示裝置，其特征在于，依據(jù)所述生物體的第二虛擬模型對(duì)所述第一虛擬模型進(jìn)行校準(zhǔn)以得到校準(zhǔn)后的第一虛擬模型的方式包括：將所述生物體的第二虛擬模型和所述第一虛擬模型輸入預(yù)先訓(xùn)練好的配準(zhǔn)網(wǎng)絡(luò)，以得到所述配準(zhǔn)網(wǎng)絡(luò)輸出的校準(zhǔn)后的第一虛擬模型。

8.根據(jù)權(quán)利要求1所述的生物體三維虛擬模型的顯示裝置，其特征在于，依據(jù)所述生物體的第二虛擬模型對(duì)所述第一虛擬模型進(jìn)行校準(zhǔn)以得到校準(zhǔn)后的第一虛擬模型的方式包括：依據(jù)所述第二虛擬模型中的體內(nèi)特征的特征點(diǎn)的坐標(biāo)數(shù)據(jù)對(duì)所述第一虛擬模型進(jìn)行校準(zhǔn)，以得到校準(zhǔn)后的第一虛擬模型。

9.根據(jù)權(quán)利要求1所述的生物體三維虛擬模型的顯示裝置，其特征在于，利用所述體表標(biāo)識(shí)的圖像數(shù)據(jù)，確定所述校準(zhǔn)后的第一虛擬模型在真實(shí)場(chǎng)景內(nèi)的位姿，以將所述校準(zhǔn)后的第一虛擬模型和真實(shí)場(chǎng)景通過(guò)混合現(xiàn)實(shí)設(shè)備進(jìn)行顯示的方式包括：

10.根據(jù)權(quán)利要求1所述的生物體三維虛擬模型的顯示裝置，其特征在于，所述顯示裝置還包括共享模塊，用于將所述混合現(xiàn)實(shí)設(shè)備的顯示數(shù)據(jù)發(fā)送至與所述混合現(xiàn)實(shí)設(shè)備連接的共享設(shè)備以供所述共享設(shè)備進(jìn)行顯示。

11.根據(jù)權(quán)利要求1所述的生物體三維虛擬模型的顯示裝置，其特征在于，所述顯示裝置還包括更新模塊，用于更新所述生物體的圖像數(shù)據(jù)，以供所述構(gòu)建模塊更新第一虛擬模型。

12.根據(jù)權(quán)利要求11所述的生物體三維虛擬模型的顯示裝置，其特征在于，所述更新模塊在判斷生物體的圖像數(shù)據(jù)發(fā)生改變時(shí)更新所述生物體的圖像數(shù)據(jù)。

13.根據(jù)權(quán)利要求6所述的生物體三維虛擬模型的顯示裝置，其特征在于，所述顯示裝置還包括第一訓(xùn)練模塊，用于利用第一樣本數(shù)據(jù)對(duì)所述模型構(gòu)建網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)進(jìn)行訓(xùn)練直至所述模型構(gòu)建網(wǎng)絡(luò)的損失函數(shù)收斂至預(yù)設(shè)閾值以得到所述訓(xùn)練好的模型構(gòu)建網(wǎng)絡(luò)；其中，所述第一樣本數(shù)據(jù)包括利用生物體的體表及體內(nèi)的ct數(shù)據(jù)預(yù)先構(gòu)建的第三虛擬模型、及對(duì)應(yīng)的生物體的二維掃描數(shù)據(jù)和圖像數(shù)據(jù)。

14.根據(jù)權(quán)利要求7所述的生物體三維虛擬模型的顯示裝置，其特征在于，所述顯示裝置還包括第二訓(xùn)練模塊，用于利用第二樣本數(shù)據(jù)對(duì)所述配準(zhǔn)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)進(jìn)行訓(xùn)練直至所述配準(zhǔn)網(wǎng)絡(luò)的損失函數(shù)收斂至預(yù)設(shè)閾值以得到所述訓(xùn)練好的配準(zhǔn)網(wǎng)絡(luò)；其中，所述第二樣本數(shù)據(jù)包括所述生物體的第二虛擬模型、及對(duì)應(yīng)的第一虛擬模型。

15.一種生物體三維虛擬模型的顯示系統(tǒng)，其特征在于，包括：

16.一種混合現(xiàn)實(shí)設(shè)備，其特征在于，包括：

技術(shù)總結(jié)
本申請(qǐng)公開一種生物體三維虛擬模型的顯示裝置及系統(tǒng)、以及混合現(xiàn)實(shí)設(shè)備，所述顯示裝置包括：構(gòu)建模塊，用于依據(jù)術(shù)中采集的生物體的二維掃描數(shù)據(jù)及生物體的圖像數(shù)據(jù)，構(gòu)建包含所述生物體的體表特征及體內(nèi)特征的第一虛擬模型；校準(zhǔn)模塊，用于依據(jù)所述生物體的第二虛擬模型對(duì)所述第一虛擬模型進(jìn)行校準(zhǔn)以得校準(zhǔn)后的第一虛擬模型；顯示模塊，用于利用所述體表標(biāo)識(shí)的圖像數(shù)據(jù)，確定所述校準(zhǔn)后的第一虛擬模型在真實(shí)場(chǎng)景內(nèi)的位姿，以將所述校準(zhǔn)后的第一虛擬模型和真實(shí)場(chǎng)景通過(guò)混合現(xiàn)實(shí)設(shè)備進(jìn)行顯示。

技術(shù)研發(fā)人員：王成功,李淅,尹震
受保護(hù)的技術(shù)使用者：中南大學(xué)湘雅醫(yī)院
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/26