本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及一種基于實(shí)時(shí)反饋的增強(qiáng)現(xiàn)實(shí)人體定位導(dǎo)航方法及裝置。

背景技術(shù)：

目前臨床工作中大量的操作是建立在準(zhǔn)確的解剖定位的基礎(chǔ)上，如各種穿刺操作，直到現(xiàn)在很多解剖結(jié)構(gòu)定位仍是由醫(yī)生徒手完成。因而造成定位不準(zhǔn)確，造成一定的手術(shù)風(fēng)險(xiǎn)。

為解決上述問題，目前臨床上也已經(jīng)在逐漸應(yīng)用三維可視化軟件，如3DSlicer、ImageJ等，或者導(dǎo)航系統(tǒng)專門配置的一些三維重建軟件，使用這些軟件對(duì)患者的身體部位進(jìn)行三維重建，可以用于術(shù)前觀察，以便醫(yī)生可以判斷患者身體部位的狀況。

上述方法雖然在一定程度上提高了醫(yī)生進(jìn)行手術(shù)的效率及準(zhǔn)確率，但是仍然存在著以下問題：1)這些軟件生成的三維重建圖像只能用于術(shù)前的觀察，并不能夠在三維重建圖像和真實(shí)人體間建立直接聯(lián)系；2)生成最終的三維重建圖像沒有根據(jù)操作環(huán)境進(jìn)行相應(yīng)調(diào)整，生成的定位數(shù)據(jù)沒有和醫(yī)生或現(xiàn)場的交互輸入/反饋進(jìn)行動(dòng)態(tài)調(diào)節(jié)。

綜上所述，現(xiàn)有技術(shù)中的醫(yī)學(xué)三維重建圖像沒有與真實(shí)人體建立直接聯(lián)系，因而導(dǎo)致無法在手術(shù)現(xiàn)場根據(jù)真實(shí)人體進(jìn)行實(shí)時(shí)調(diào)整。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明提供一種基于實(shí)時(shí)反饋的增強(qiáng)現(xiàn)實(shí)人體定位導(dǎo)航方法及裝置，用以解決現(xiàn)有技術(shù)中存在的醫(yī)學(xué)三維重建圖像沒有與真實(shí)人體建立直接聯(lián)系，因而導(dǎo)致無法在手術(shù)現(xiàn)場根據(jù)真實(shí)人體進(jìn)行實(shí)時(shí)調(diào)整的技術(shù)問題。

一方面，本發(fā)明實(shí)施例提供一種基于實(shí)時(shí)反饋的增強(qiáng)現(xiàn)實(shí)人體定位導(dǎo)航方法，包括：

根據(jù)AR設(shè)備采集到的目標(biāo)對(duì)象的信息生成的特征點(diǎn)信息和所述目標(biāo)對(duì)象的第一三維重建圖像，生成圖像變換參數(shù)，所述第一三維重建圖像為根據(jù)所述目標(biāo)對(duì)象的醫(yī)學(xué)圖像數(shù)據(jù)生成的；

根據(jù)所述圖像變換參數(shù)，調(diào)整所述第一三維重建圖像，得到第二三維重建圖像，在所述AR設(shè)備上顯示的所述第二三維重建圖像中的特征點(diǎn)與所述目標(biāo)對(duì)象的特征點(diǎn)吻合。

本發(fā)明實(shí)施例提供的方法，首先根據(jù)AR設(shè)備采集到的目標(biāo)對(duì)象的信息生成的特征點(diǎn)信息和目標(biāo)對(duì)象的第一三維重建圖像，生成圖像變換參數(shù)，然后根據(jù)圖像變換參數(shù)調(diào)整所述第一三維重建圖像，得到第二三維重建圖像，并且所述第二三維重建圖像中的特征點(diǎn)與所述目標(biāo)對(duì)象的特征點(diǎn)吻合，所述第二三維重建圖像用于在AR設(shè)備顯示。該方法可以實(shí)現(xiàn)在AR設(shè)備顯示三維重建圖像，并且顯示的三維重建圖像是根據(jù)采集到的目標(biāo)對(duì)象的信息生成的特征點(diǎn)信息而進(jìn)行實(shí)時(shí)調(diào)整，使得醫(yī)生在觀看AR設(shè)備時(shí)，看到的AR設(shè)備上的三維重建圖像與AR設(shè)備上的攝像頭拍攝到的目標(biāo)對(duì)象之間是吻合的，并且即使AR設(shè)備的位置有所移動(dòng)，AR設(shè)備上的三維重建圖像也可以實(shí)時(shí)調(diào)整，從而該方法極大地方便了醫(yī)生在術(shù)中提高手術(shù)的準(zhǔn)確性和效率。

可選地，所述根據(jù)AR設(shè)備采集到的目標(biāo)對(duì)象的信息生成的特征點(diǎn)信息和所述目標(biāo)對(duì)象的第一三維重建圖像，生成圖像變換參數(shù)，包括：

根據(jù)所述特征點(diǎn)信息，確定所述目標(biāo)對(duì)象的特征模式；

根據(jù)所述目標(biāo)對(duì)象的特征模式及所述目標(biāo)對(duì)象的第一三維重建圖像，確定所述第一三維重建圖像的旋轉(zhuǎn)角度和旋轉(zhuǎn)方向；

將所述旋轉(zhuǎn)角度和旋轉(zhuǎn)方向，作為所述圖像變換參數(shù)。

可選地，所述根據(jù)AR設(shè)備采集到的目標(biāo)對(duì)象的信息生成的特征點(diǎn)信息和所述目標(biāo)對(duì)象的第一三維重建圖像，生成圖像變換參數(shù)之前，還包括：

接收所述AR設(shè)備采集到的目標(biāo)對(duì)象的信息；

所述根據(jù)所述圖像變換參數(shù)，調(diào)整所述第一三維重建圖像，得到第二三維重建圖像之后，還包括：

將所述第二三維重建圖像發(fā)送給所述AR設(shè)備，以使在所述AR設(shè)備上顯示所述第二三維重建圖像。

可選地，根據(jù)下列方式生成所述第一三維重建圖像：

根據(jù)所述目標(biāo)對(duì)象的醫(yī)學(xué)圖像數(shù)據(jù)，生成所述目標(biāo)對(duì)象的初始三維重建圖像；

根據(jù)醫(yī)學(xué)數(shù)據(jù)庫系統(tǒng)，調(diào)整所述初始三維重建圖像，得到所述目標(biāo)對(duì)象的第一三維重建圖像。

可選地，所述AR設(shè)備通過所述AR設(shè)備上的傳感器掃描所述目標(biāo)對(duì)象來采集所述目標(biāo)對(duì)象的信息，或者

所述AR設(shè)備通過所述AR設(shè)備上的攝像頭拍攝所述目標(biāo)對(duì)象來獲取所述目標(biāo)對(duì)象的信息。

可選地，所述方法還包括：

根據(jù)接收到的用戶指令信息，生成圖像調(diào)整參數(shù)；

根據(jù)所述圖像調(diào)整參數(shù)，調(diào)整所述第二三維重建圖像，得到第三三維重建圖像；

在所述AR設(shè)備上顯示所述第三三維重建圖像。

可選地，所述根據(jù)醫(yī)學(xué)數(shù)據(jù)庫系統(tǒng)，調(diào)整所述初始三維重建圖像，得到所述目標(biāo)對(duì)象的第一三維重建圖像，包括：

接收用戶通過預(yù)先設(shè)定的參數(shù)調(diào)整系統(tǒng)輸入的第一參數(shù)調(diào)整指令，所述參數(shù)調(diào)整系統(tǒng)用于以可視化的方式顯示三維重建圖像信息；

根據(jù)所述第一參數(shù)調(diào)整指令及所述醫(yī)學(xué)數(shù)據(jù)庫系統(tǒng)，調(diào)整所述初始三維重建圖像，得到所述目標(biāo)對(duì)象的第一三維重建圖像。

可選地，所述根據(jù)醫(yī)學(xué)數(shù)據(jù)庫系統(tǒng)，調(diào)整所述初始三維重建圖像，得到所述目標(biāo)對(duì)象的第一三維重建圖像，包括：

根據(jù)用戶從預(yù)先建立的功能模塊庫中選擇的功能模塊及用戶對(duì)選擇的功能模塊的連接方式，確定第二參數(shù)調(diào)整指令，所述預(yù)先建立的功能模塊庫中的每個(gè)功能模塊用于表示一種圖像處理方式或多種圖像處理方式的組合，所述預(yù)先建立的功能模塊庫中的所有功能模塊可在一定的規(guī)則下進(jìn)行連接；

根據(jù)所述第二參數(shù)調(diào)整指令及所述醫(yī)學(xué)數(shù)據(jù)庫系統(tǒng)，調(diào)整所述初始三維重建圖像，得到所述目標(biāo)對(duì)象的第一三維重建圖像。

可選地，所述根據(jù)所述目標(biāo)對(duì)象的醫(yī)學(xué)圖像數(shù)據(jù)，生成所述目標(biāo)對(duì)象的初始三維重建圖像，包括：

根據(jù)所述目標(biāo)對(duì)象的醫(yī)學(xué)圖像數(shù)據(jù)、用戶從預(yù)先建立的功能模塊庫中選擇的功能模塊及用戶對(duì)選擇的功能模塊的連接方式，生成所述目標(biāo)對(duì)象的初始三維重建圖像，所述預(yù)先建立的功能模塊庫中的每個(gè)功能模塊用于表示一種圖像處理方式或多種圖像處理方式的組合，所述預(yù)先建立的功能模塊庫中的所有功能模塊可在一定的規(guī)則下進(jìn)行連接；

所述根據(jù)醫(yī)學(xué)數(shù)據(jù)庫系統(tǒng)，調(diào)整所述初始三維重建圖像，得到所述目標(biāo)對(duì)象的第一三維重建圖像，包括：

根據(jù)用戶對(duì)所述選擇的功能模塊進(jìn)行指令輸入，得到第三參數(shù)調(diào)整指令；

根據(jù)所述根據(jù)醫(yī)學(xué)數(shù)據(jù)庫系統(tǒng)及所述第三參數(shù)調(diào)整指令，調(diào)整所述初始三維重建圖像，得到所述目標(biāo)對(duì)象的第一三維重建圖像。

另一方面，本發(fā)明實(shí)施例提供一種基于實(shí)時(shí)反饋的增強(qiáng)現(xiàn)實(shí)人體定位導(dǎo)航裝置，包括：

生成單元，用于根據(jù)AR設(shè)備采集到的目標(biāo)對(duì)象的信息生成的特征點(diǎn)信息和所述目標(biāo)對(duì)象的第一三維重建圖像，生成圖像變換參數(shù)，所述第一三維重建圖像為根據(jù)所述目標(biāo)對(duì)象的醫(yī)學(xué)圖像數(shù)據(jù)生成的；

調(diào)整單元，用于根據(jù)所述圖像變換參數(shù)，調(diào)整所述第一三維重建圖像，得到第二三維重建圖像，在所述AR設(shè)備上顯示的所述第二三維重建圖像中的特征點(diǎn)與所述目標(biāo)對(duì)象的特征點(diǎn)吻合。

可選地，所述生成單元，具體用于：根據(jù)所述特征點(diǎn)信息，確定所述目標(biāo)對(duì)象的特征模式；

根據(jù)所述目標(biāo)對(duì)象的特征模式及所述目標(biāo)對(duì)象的第一三維重建圖像，確定所述第一三維重建圖像的旋轉(zhuǎn)角度和旋轉(zhuǎn)方向；

將所述旋轉(zhuǎn)角度和旋轉(zhuǎn)方向，作為所述圖像變換參數(shù)。

可選地，所述裝置還包括接收單元，用于：接收所述AR設(shè)備采集到的目標(biāo)對(duì)象的信息；

所述裝置還包括發(fā)送單元，用于：將所述第二三維重建圖像發(fā)送給所述AR設(shè)備，以使在所述AR設(shè)備上顯示所述第二三維重建圖像。

可選地，所述調(diào)整單元還用于：根據(jù)所述目標(biāo)對(duì)象的醫(yī)學(xué)圖像數(shù)據(jù)，生成所述目標(biāo)對(duì)象的初始三維重建圖像；

根據(jù)醫(yī)學(xué)數(shù)據(jù)庫系統(tǒng)，調(diào)整所述初始三維重建圖像，得到所述目標(biāo)對(duì)象的第一三維重建圖像。

可選地，所述AR設(shè)備通過所述AR設(shè)備上的傳感器掃描所述目標(biāo)對(duì)象來采集所述目標(biāo)對(duì)象的信息，或者

所述AR設(shè)備通過所述AR設(shè)備上的攝像頭拍攝所述目標(biāo)對(duì)象來獲取所述目標(biāo)對(duì)象的信息。

可選地，所述生成單元，還用于根據(jù)接收到的用戶指令信息，生成圖像調(diào)整參數(shù)；

所述調(diào)整單元，還用于根據(jù)所述圖像調(diào)整參數(shù)，調(diào)整所述第二三維重建圖像，得到第三三維重建圖像；

所述裝置還包括顯示單元，用于在所述AR設(shè)備上顯示所述第三三維重建圖像。

可選地，所述調(diào)整單元，具體用于：

接收用戶通過預(yù)先設(shè)定的參數(shù)調(diào)整系統(tǒng)輸入的第一參數(shù)調(diào)整指令，所述參數(shù)調(diào)整系統(tǒng)用于以可視化的方式顯示三維重建圖像信息；

根據(jù)所述第一參數(shù)調(diào)整指令及所述醫(yī)學(xué)數(shù)據(jù)庫系統(tǒng)，調(diào)整所述初始三維重建圖像，得到所述目標(biāo)對(duì)象的第一三維重建圖像。

可選地，所述調(diào)整單元，具體用于：

根據(jù)用戶從預(yù)先建立的功能模塊庫中選擇的功能模塊及用戶對(duì)選擇的功能模塊的連接方式，確定第二參數(shù)調(diào)整指令，所述預(yù)先建立的功能模塊庫中的每個(gè)功能模塊用于表示一種圖像處理方式或多種圖像處理方式的組合，所述預(yù)先建立的功能模塊庫中的所有功能模塊可在一定的規(guī)則下進(jìn)行連接；

根據(jù)所述第二參數(shù)調(diào)整指令及所述醫(yī)學(xué)數(shù)據(jù)庫系統(tǒng)，調(diào)整所述初始三維重建圖像，得到所述目標(biāo)對(duì)象的第一三維重建圖像。

可選地，所述調(diào)整單元，具體用于：

根據(jù)所述目標(biāo)對(duì)象的醫(yī)學(xué)圖像數(shù)據(jù)、用戶從預(yù)先建立的功能模塊庫中選擇的功能模塊及用戶對(duì)選擇的功能模塊的連接方式，生成所述目標(biāo)對(duì)象的初始三維重建圖像，所述預(yù)先建立的功能模塊庫中的每個(gè)功能模塊用于表示一種圖像處理方式或多種圖像處理方式的組合，所述預(yù)先建立的功能模塊庫中的所有功能模塊可在一定的規(guī)則下進(jìn)行連接；

根據(jù)用戶對(duì)所述選擇的功能模塊進(jìn)行指令輸入，得到第三參數(shù)調(diào)整指令；

根據(jù)所述根據(jù)醫(yī)學(xué)數(shù)據(jù)庫系統(tǒng)及所述第三參數(shù)調(diào)整指令，調(diào)整所述初始三維重建圖像，得到所述目標(biāo)對(duì)象的第一三維重建圖像。

附圖說明

為了更清楚地說明本發(fā)明實(shí)施例中的技術(shù)方案，下面將對(duì)實(shí)施例描述中所需要使用的附圖作簡要介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域的普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本發(fā)明實(shí)施例提供的基于實(shí)時(shí)反饋的增強(qiáng)現(xiàn)實(shí)人體定位導(dǎo)航方法流程圖；

圖2為本發(fā)明實(shí)施例提供的基于參數(shù)調(diào)整系統(tǒng)的參數(shù)調(diào)整方式示意圖；

圖3為本發(fā)明實(shí)施例提供的基于功能模塊庫的參數(shù)調(diào)整方式示意圖；

圖4為本發(fā)明實(shí)施例提供的使用傳感器采集信息示意圖；

圖5為本發(fā)明實(shí)施例提供的使用攝像頭采集信息示意圖；

圖6為本發(fā)明實(shí)施例提供的基于實(shí)時(shí)反饋的增強(qiáng)現(xiàn)實(shí)人體定位導(dǎo)航方法詳細(xì)流程圖；

圖7為本發(fā)明實(shí)施例提供的基于實(shí)時(shí)反饋的增強(qiáng)現(xiàn)實(shí)人體定位導(dǎo)航裝置示意圖。

具體實(shí)施方式

為了使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步地詳細(xì)描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其它實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

下面結(jié)合說明書附圖對(duì)本發(fā)明實(shí)施例作進(jìn)一步詳細(xì)描述。

如圖1所示，本發(fā)明實(shí)施例提供的基于實(shí)時(shí)反饋的增強(qiáng)現(xiàn)實(shí)人體定位導(dǎo)航方法，包括：

步驟101、根據(jù)AR設(shè)備采集到的目標(biāo)對(duì)象的信息生成的特征點(diǎn)信息和所述目標(biāo)對(duì)象的第一三維重建圖像，生成圖像變換參數(shù)，所述第一三維重建圖像為根據(jù)所述目標(biāo)對(duì)象的醫(yī)學(xué)圖像數(shù)據(jù)生成的；

步驟102、根據(jù)所述圖像變換參數(shù)，調(diào)整所述第一三維重建圖像，得到第二三維重建圖像，在所述AR設(shè)備上顯示的所述第二三維重建圖像中的特征點(diǎn)與所述目標(biāo)對(duì)象的特征點(diǎn)吻合。

在本發(fā)明實(shí)施例中，可以是基于AR(Augmented Reality，增強(qiáng)現(xiàn)實(shí))設(shè)備進(jìn)行信息的采集，但實(shí)際應(yīng)用中，還可以是基于其它的通用顯示設(shè)備進(jìn)行信息的采集，例如可以是2D(2Dimensions)或3D(3Dimensions)的方式對(duì)圖像進(jìn)行顯示的所有顯示設(shè)備，可以是VR(Virtual Reality，虛擬現(xiàn)實(shí))/3D/2D眼鏡、VR/3D/2D顯示設(shè)備或VR/2D/3D可穿戴設(shè)備等。目標(biāo)對(duì)象指的是患者本身或者是患者的某個(gè)身體部分(如頭顱、手臂、上半身部位等)，患者可以是躺在手術(shù)臺(tái)上，然后醫(yī)生可以通過AR設(shè)備，在所述AR設(shè)備上顯示有目標(biāo)對(duì)象的三維重建圖像，例如當(dāng)需要觀察患者頭顱時(shí)，則AR設(shè)備上可以顯示有患者頭顱的三維重建圖像，所述AR設(shè)備上安裝有攝像頭，可以通過攝像頭觀看到患者本身，當(dāng)然，如果AR設(shè)備是透明的且是可佩帶的(如AR設(shè)備是AR眼鏡)，則還可以直接通過佩戴AR設(shè)備，然后透過AR設(shè)備來觀察患者，醫(yī)生既可以通過AR設(shè)備看到患者本身，同時(shí)也可以看到AR設(shè)備上的三維重建圖像。醫(yī)生實(shí)施手術(shù)過程中，可以通過調(diào)整所述AR設(shè)備的位置，找到合適的位置，使得AR設(shè)備上顯示的三維重建圖像與通過AR設(shè)備拍攝到的目標(biāo)對(duì)象重合，以頭顱為例，當(dāng)醫(yī)生可以在AR設(shè)備上看見三維重建圖像，然后通過移動(dòng)AR設(shè)備的位置，找到一個(gè)合適的位置，使得AR設(shè)備上的攝像頭拍攝到患者的頭顱與AR設(shè)備上的頭顱三維重建圖像重合，從而方便醫(yī)生通過觀看AR設(shè)備上的三維重建圖像來觀察患者的頭顱內(nèi)部結(jié)構(gòu)。

本發(fā)明上述步驟101～步驟102可實(shí)現(xiàn)自動(dòng)地將AR設(shè)備上的三維重建圖像與目標(biāo)對(duì)象進(jìn)行對(duì)準(zhǔn)。即當(dāng)AR設(shè)備發(fā)生位置變動(dòng)時(shí)，AR設(shè)備上顯示的三維重建圖像可以自動(dòng)的變換角度和大小，使得AR設(shè)備上的攝像頭拍攝到的目標(biāo)對(duì)象與變換后的三維重建圖像相吻合。

在上述步驟101中，第一三維重建圖像是根據(jù)目標(biāo)對(duì)象的醫(yī)學(xué)圖像數(shù)據(jù)生成的，例如可以根據(jù)患者身上的目標(biāo)對(duì)象的醫(yī)學(xué)圖像數(shù)據(jù)(可以是CT(Computed Tomography，即電子計(jì)算機(jī)斷層掃描)、MRI(Magnetic Resonance Imaging，磁共振成像)、PET(Positron Emission Computed Tomography，正電子發(fā)射型計(jì)算機(jī)斷層顯像)等圖像數(shù)據(jù))進(jìn)行三維重建，從而得到目標(biāo)對(duì)象的三維重建圖像，然后將該三維重建圖像作為第一三維重建圖像，并且在實(shí)際應(yīng)用中為了提高三維重建圖像的準(zhǔn)確性，可選地，還可以通過以下方式來生成所述第一三維重建圖像：首先根據(jù)所述目標(biāo)對(duì)象的醫(yī)學(xué)圖像數(shù)據(jù)，生成目標(biāo)對(duì)象的初始三維重建圖像，然后根據(jù)醫(yī)學(xué)數(shù)據(jù)庫系統(tǒng)，調(diào)整所述初始三維重建圖像，從而得到所述目標(biāo)對(duì)象的第一三維重建圖像，其中，所述醫(yī)學(xué)數(shù)據(jù)庫系統(tǒng)指的是基于統(tǒng)計(jì)意義上的醫(yī)學(xué)信息數(shù)據(jù)庫，可以被當(dāng)前患者的醫(yī)學(xué)數(shù)據(jù)更新，并可以根據(jù)歷史最優(yōu)結(jié)果以及歷史平均值對(duì)三維重建數(shù)據(jù)進(jìn)行優(yōu)化，從而得到將優(yōu)化后的初始重建圖像作為所述第一三維重建圖像。

下面具體給出兩種根據(jù)醫(yī)學(xué)數(shù)據(jù)庫系統(tǒng)，調(diào)整所述初始三維重建圖像，得到所述目標(biāo)對(duì)象的第一三維重建圖像的方法：

方法一、基于預(yù)先設(shè)定的參數(shù)調(diào)整系統(tǒng)來調(diào)整所述初始三維重建圖像

步驟1、接收用戶通過預(yù)先設(shè)定的參數(shù)調(diào)整系統(tǒng)輸入的第一參數(shù)調(diào)整指令，所述參數(shù)調(diào)整系統(tǒng)用于以可視化的方式顯示三維重建圖像信息；

步驟2、根據(jù)所述第一參數(shù)調(diào)整指令及所述醫(yī)學(xué)數(shù)據(jù)庫系統(tǒng)，調(diào)整所述初始三維重建圖像，得到所述目標(biāo)對(duì)象的第一三維重建圖像。

下面舉例說明上述方法一的具體實(shí)現(xiàn)過程。參考圖2，為本發(fā)明實(shí)施例提供的基于參數(shù)調(diào)整系統(tǒng)的參數(shù)調(diào)整方式示意圖。

在圖2中，左上第一三維圖像即為初始三維重建圖像，如果想要對(duì)該三維重建圖像進(jìn)行調(diào)整，則可以通過如圖2所示的參數(shù)調(diào)整系統(tǒng)直接進(jìn)行修改，例如可以通過右邊框上的參數(shù)調(diào)整框進(jìn)行調(diào)整，再比如如果需要得到頭顱穿刺路徑，則用戶(比如醫(yī)生)可以通過在右上圖像以及下排兩個(gè)圖像上根據(jù)經(jīng)驗(yàn)標(biāo)定一些參考點(diǎn)，然后點(diǎn)擊圖2中右下角的“生成”按鈕，得到調(diào)整后的第一三維重建圖像，例如經(jīng)過調(diào)整，第一三維重建圖像上包含有穿刺路徑等增加的信息。

上述方法一種用戶(如醫(yī)生)可以根據(jù)平時(shí)的經(jīng)驗(yàn)，在圖2所示的參數(shù)調(diào)整系統(tǒng)上進(jìn)行參數(shù)的微調(diào)，從而得到想要的結(jié)果，該方式可實(shí)現(xiàn)人機(jī)交互，尤其是大大地方便了醫(yī)生在術(shù)前進(jìn)行術(shù)前觀察和術(shù)中手機(jī)操作。

上述方法一雖然已經(jīng)很方便地為醫(yī)生提供了手術(shù)指導(dǎo)，但仍然會(huì)遇到如下問題：圖2所示的參數(shù)調(diào)整系統(tǒng)是預(yù)先設(shè)計(jì)好的，一旦建立好這個(gè)系統(tǒng)，就意味著只能根據(jù)該系統(tǒng)上提供的功能進(jìn)行相應(yīng)的參數(shù)調(diào)整，這將導(dǎo)致無法滿足不同用戶的不同需求。舉例來說，醫(yī)生想在最終顯示的三維重建圖像上顯示血管圖像，但該參數(shù)調(diào)整系統(tǒng)卻事先沒有建立該功能，則醫(yī)生就無法通過圖2所述的系統(tǒng)來調(diào)整三維重建圖像得到想要的顯示效果。

為此，本發(fā)明實(shí)施例還提供另外一種調(diào)整初始三維重建圖像的方法，具體如下。

方法二、基于用戶從預(yù)先建立的功能模塊庫中選擇的功能模塊調(diào)整所述初始三維重建圖像

步驟1、根據(jù)用戶從預(yù)先建立的功能模塊庫中選擇的功能模塊及用戶對(duì)選擇的功能模塊的連接方式，確定第二參數(shù)調(diào)整指令，所述預(yù)先建立的功能模塊庫中的每個(gè)功能模塊用于表示一種圖像處理方式或多種圖像處理方式的組合，所述預(yù)先建立的功能模塊庫中的所有功能模塊可在一定的規(guī)則下進(jìn)行連接；

步驟2、根據(jù)所述第二參數(shù)調(diào)整指令及所述醫(yī)學(xué)數(shù)據(jù)庫系統(tǒng)，調(diào)整所述初始三維重建圖像，得到所述目標(biāo)對(duì)象的第一三維重建圖像。

下面舉例說明上述方法二的具體實(shí)現(xiàn)過程。參考圖3，為本發(fā)明實(shí)施例提供的基于功能模塊庫的參數(shù)調(diào)整方式示意圖。

方法二是結(jié)合了功能模塊庫來調(diào)整初始三維重建圖像，從而得到想要的第一三維重建圖像。具體地，功能模塊庫中包含了多個(gè)功能模塊，每個(gè)功能模塊用于表示一種圖像處理方式或多種圖像處理方式的組合，并且功能模塊庫中的所有功能模塊可在一定的規(guī)則下進(jìn)行連接。具體的連接方式可以包括串聯(lián)、并聯(lián)、反饋等方式，但不限于這些方式。

例如參考圖3，假設(shè)想要在初始三維重建圖像的基礎(chǔ)上進(jìn)一步地顯示腦室，則可以增加一個(gè)“顯示腦室功能模塊”；如果想要進(jìn)一步地顯示頭骨，則可以增加一個(gè)“顯示頭骨功能模塊”；如果想要進(jìn)一步地顯示皮膚，則可以增加一個(gè)“顯示皮膚功能模塊”；如果想要進(jìn)一步地指定穿刺軌跡，則可以增加一個(gè)“指定穿刺軌跡功能模塊”。并且多個(gè)功能模塊是可以進(jìn)行連接以及排列組合的(排列組合可確定執(zhí)行的先后順序)，在增加相應(yīng)功能模塊之后，還可以刪除相應(yīng)的功能模塊，非常靈活方便，并且每個(gè)功能模塊是可編輯的，具體地，例如可以通過在某個(gè)功能模塊上單擊鼠標(biāo)右鍵，彈出一個(gè)屬性編輯對(duì)話框，可通過該對(duì)話框在對(duì)功能模塊的參數(shù)進(jìn)行修改和調(diào)整，并且在調(diào)整之后，可以立刻預(yù)覽顯示效果，因而通過方法二的實(shí)現(xiàn)方式，相較于方法一，更加便捷，尤其是針對(duì)像醫(yī)生這樣的用戶，使得醫(yī)生可以更加容易理解和使用該方法。

并且實(shí)際應(yīng)用中，在用戶使用了一次功能模塊化的組合之后，還可以將該組合存儲(chǔ)到醫(yī)學(xué)數(shù)據(jù)庫中，作為一個(gè)處理模板進(jìn)行保存，以便于在以后的使用中進(jìn)行參考。

此外，本發(fā)明還提供另外一種生成初始三維重建圖像的方法，具體包括：

步驟1、根據(jù)所述目標(biāo)對(duì)象的醫(yī)學(xué)圖像數(shù)據(jù)、用戶從預(yù)先建立的功能模塊庫中選擇的功能模塊及用戶對(duì)選擇的功能模塊的連接方式，生成所述目標(biāo)對(duì)象的初始三維重建圖像，所述預(yù)先建立的功能模塊庫中的每個(gè)功能模塊用于表示一種圖像處理方式或多種圖像處理方式的組合，所述預(yù)先建立的功能模塊庫中的所有功能模塊可在一定的規(guī)則下進(jìn)行連接；

步驟2、根據(jù)用戶對(duì)所述選擇的功能模塊進(jìn)行指令輸入，得到第三參數(shù)調(diào)整指令；

步驟3、根據(jù)所述根據(jù)醫(yī)學(xué)數(shù)據(jù)庫系統(tǒng)及所述第三參數(shù)調(diào)整指令，調(diào)整所述初始三維重建圖像，得到所述目標(biāo)對(duì)象的第一三維重建圖像。

具體地，首先可以基于用戶從預(yù)先建立的功能模塊庫中選擇的功能模塊及用戶對(duì)選擇的功能模塊的連接方式，然后結(jié)合輸入的目標(biāo)對(duì)象的醫(yī)學(xué)圖像數(shù)據(jù)，得到初始三維重建圖像，并且對(duì)于初始三維重建圖像的調(diào)整，可以是根據(jù)步驟2和3來完成，即根據(jù)用戶對(duì)所述選擇的功能模塊進(jìn)行指令輸入(即可以通過在每個(gè)選擇的功能模塊上單擊右鍵，彈出參數(shù)調(diào)整對(duì)話框，然后進(jìn)行指令輸入，得到調(diào)整后的參數(shù))，得到第三參數(shù)調(diào)整指令，然后根據(jù)所述根據(jù)醫(yī)學(xué)數(shù)據(jù)庫系統(tǒng)及所述第三參數(shù)調(diào)整指令，調(diào)整所述初始三維重建圖像，得到所述目標(biāo)對(duì)象的第一三維重建圖像。

當(dāng)然，還可以是直接根據(jù)第三參數(shù)調(diào)整指令，調(diào)整所述初始三維重建圖像，得到所述目標(biāo)對(duì)象的第一三維重建圖像。

本發(fā)明實(shí)施例中，可以結(jié)合醫(yī)學(xué)圖像數(shù)據(jù)和功能模塊庫，將醫(yī)學(xué)圖像數(shù)據(jù)輸入到功能模塊庫中，然后輸出最終的三維重建圖像。

在得到第一三維重建圖像之后，為了將該第一三維重建以合適的方式在AR設(shè)備上進(jìn)行顯示，還需要對(duì)該第一三維重建圖像進(jìn)行角度和方向的調(diào)整，使得調(diào)整后的第一三維重建圖像在AR設(shè)備上顯示時(shí)可以與醫(yī)生觀察到的患者的目標(biāo)對(duì)象向吻合。

為此，在步驟101中，通過AR設(shè)備采集目標(biāo)對(duì)象的信息，其中采集的信息可以是特征點(diǎn)，亮度，對(duì)比度，景深，舉例，色調(diào)，色度，邊緣等信息。

本發(fā)明實(shí)施例中，根據(jù)采集到的目標(biāo)對(duì)象的信息生成的特征點(diǎn)信息以及目標(biāo)對(duì)象的第一三維重建圖像，生成圖像變換參數(shù)，可選地，所述AR設(shè)備可通過至少以下兩種方式來采集目標(biāo)對(duì)象的信息：

方式一、AR設(shè)備通過AR設(shè)備上的傳感器掃描所述目標(biāo)對(duì)象來采集所述目標(biāo)對(duì)象的信息

在該方式中，參照?qǐng)D4，為本發(fā)明實(shí)施例提供的使用傳感器采集信息示意圖，在AR設(shè)備上以內(nèi)置或者外置的方式安裝有傳感器401，以及在目標(biāo)對(duì)象402身上安裝有特征標(biāo)簽，特征標(biāo)簽用于被傳感器401識(shí)別，傳感器401可主動(dòng)獲取或者被動(dòng)接收目標(biāo)對(duì)象402身上的傳感信息，從而根據(jù)AR設(shè)備上的傳感器可以獲取到目標(biāo)對(duì)象的信息，該信息中包含醫(yī)生與目標(biāo)對(duì)象402當(dāng)前的位置關(guān)系信息(包含角度和方向等信息)，即可以通過傳感器獲取目標(biāo)對(duì)象的信息。

方式二、AR設(shè)備通過所述AR設(shè)備上的攝像頭拍攝所述目標(biāo)對(duì)象來獲取所述目標(biāo)對(duì)象的信息

在該方式中，參照?qǐng)D5，為本發(fā)明實(shí)施例提供的使用攝像頭采集信息示意圖，在AR設(shè)備上以內(nèi)置或者外置的方式安裝有攝像頭501，攝像頭501可對(duì)目標(biāo)對(duì)象502進(jìn)行拍照，從而可以根據(jù)拍照獲得的照片信息進(jìn)行模式識(shí)別分析，得到預(yù)先設(shè)定位置的相關(guān)信息，舉例來說，參照?qǐng)D5，目標(biāo)對(duì)象為頭顱，預(yù)設(shè)位置為眼睛和鼻子，則通過AR設(shè)備上的攝像頭進(jìn)行對(duì)目標(biāo)對(duì)象進(jìn)行拍照，從而獲得圖像，然后基于模式識(shí)別，得到圖像中的眼鏡和鼻子等特征點(diǎn)的位置信息，從而可以得知AR設(shè)備當(dāng)前與目標(biāo)對(duì)象之間的位置關(guān)系(包括角度關(guān)系和距離關(guān)系)。

不管是以上述何種方式，最終可以獲取到目標(biāo)對(duì)象的信息，在根據(jù)目標(biāo)對(duì)象的信息生成的特征點(diǎn)信息中包含了醫(yī)生與目標(biāo)對(duì)象之間的位置關(guān)系等信息，進(jìn)而可以根據(jù)AR設(shè)備采集到的目標(biāo)對(duì)象的信息生成的特征點(diǎn)信息和目標(biāo)對(duì)象的第一三維重建圖像，生成圖像變換參數(shù)，可選地，所述根據(jù)AR設(shè)備采集到的目標(biāo)對(duì)象的信息生成的特征點(diǎn)信息和所述目標(biāo)對(duì)象的第一三維重建圖像，生成圖像變換參數(shù)，包括：根據(jù)所述特征點(diǎn)信息，確定所述目標(biāo)對(duì)象的特征模式；根據(jù)所述目標(biāo)對(duì)象的特征模式及所述目標(biāo)對(duì)象的第一三維重建圖像，確定所述第一三維重建圖像的旋轉(zhuǎn)角度和旋轉(zhuǎn)方向；將所述旋轉(zhuǎn)角度和旋轉(zhuǎn)方向，作為所述圖像變換參數(shù)。

在該方法中，首先根據(jù)目標(biāo)對(duì)象的特征點(diǎn)信息，確定目標(biāo)對(duì)象的特征模式，其中，預(yù)先存儲(chǔ)了多種特征模式，每種特征模式都表示了一種醫(yī)生與目標(biāo)對(duì)象之間的位置關(guān)系，基于目標(biāo)對(duì)象的特征點(diǎn)信息，可以從預(yù)先存儲(chǔ)的多種特征模式中，匹配出一種特征模式，然后基于該特征模式以及目標(biāo)對(duì)象的第一三維重建圖像，就可以得到第一三維重建圖像所需要旋轉(zhuǎn)的角度和方向，并將所述旋轉(zhuǎn)角度和旋轉(zhuǎn)方向，作為所述圖像變換參數(shù)。

舉例來說，參照?qǐng)D4，通過傳感器401獲取到目標(biāo)對(duì)象402的特征點(diǎn)信息之后，然后基于該特征點(diǎn)信息和第一三維重建圖像403(即當(dāng)前三維重建圖像)，可以得到圖像變換參數(shù)，然后在步驟102中，根據(jù)所述圖像變換參數(shù)，調(diào)整所述第一三維重建圖像403，得到第二三維重建圖像404，其中，所述第二三維重建圖像中的特征點(diǎn)與所述目標(biāo)對(duì)象的特征點(diǎn)是吻合的。

通過上述方式，使得AR設(shè)備上最終顯示的是第二三維重建圖像404，并且所述第二三維重建圖像404與醫(yī)生通過AR設(shè)備看到的目標(biāo)對(duì)象402是吻合的。如果AR設(shè)備發(fā)生的位置移動(dòng)，因而使得醫(yī)生看到的目標(biāo)對(duì)象發(fā)生了變化(主要是與AR設(shè)備之間的角度和距離的變化)，此時(shí)則會(huì)重新使用步驟101～步驟102的方式，重新調(diào)整AR設(shè)備上的三維重建圖像，使得調(diào)整后的三維重建圖像與觀察到的目標(biāo)對(duì)象重新保持吻合。因而，本發(fā)明方法可以保證醫(yī)生在手術(shù)現(xiàn)場隨意移動(dòng)AR設(shè)備時(shí)，都可以實(shí)時(shí)地更新所述AR設(shè)備上的三維重建圖像，并保持與目標(biāo)對(duì)象重合，使得醫(yī)生可以通過觀看AR設(shè)備上的三維重建圖像來查看目標(biāo)對(duì)象的內(nèi)部結(jié)構(gòu)，提高了手術(shù)的準(zhǔn)確性和效率。

對(duì)于圖5中通過攝像頭獲取目標(biāo)對(duì)象信息的方式與上述圖4中的方式類似，即可以根據(jù)獲取到的目標(biāo)對(duì)象502的信息及第一三維重建圖像503，得到圖像變換參數(shù)，然后根據(jù)圖像變換參數(shù)對(duì)第一三維重建圖像503進(jìn)行調(diào)整，得到第二三維重建圖像504，其中第二三維重建圖像504與目標(biāo)對(duì)象502是吻合的。

需要說明的是，本發(fā)明上述步驟101～步驟102方法的具體實(shí)施，可以是由AR設(shè)備中的處理器來完成，即AR設(shè)備中集成了一個(gè)處理器；也可以是由第三方PC(personal computer，個(gè)人計(jì)算機(jī))端來實(shí)施上述步驟101～步驟102方法，即AR設(shè)備只負(fù)責(zé)通過采集目標(biāo)對(duì)象的信息，然后發(fā)送給PC，由PC對(duì)第一三維重建圖像進(jìn)行變換得到第二三維重建圖像后發(fā)送給AR設(shè)備進(jìn)行顯示。

當(dāng)由PC來執(zhí)行上述步驟101～步驟102方法時(shí)，則需要接收AR設(shè)備采集到的目標(biāo)對(duì)象的信息生成的特征點(diǎn)信息；然后根據(jù)所述圖像變換參數(shù)，調(diào)整所述第一三維重建圖像，得到第二三維重建圖像，以及還需要將所述第二三維重建圖像發(fā)送給所述AR設(shè)備，以使在所述AR設(shè)備上顯示所述第二三維重建圖像。

通過以上方法，即可實(shí)現(xiàn)不管醫(yī)生如何移動(dòng)AR設(shè)備，都可以實(shí)時(shí)調(diào)整AR設(shè)備上的三維重建圖像，使得AR設(shè)備上顯示的三維重建圖像與AR設(shè)備上拍攝到的目標(biāo)對(duì)象是重合的。

在實(shí)際應(yīng)用中，如果醫(yī)生發(fā)現(xiàn)自動(dòng)調(diào)整的三維重建圖像與目標(biāo)對(duì)象并沒有完全對(duì)準(zhǔn)，或者是醫(yī)生自己想要對(duì)三維重建圖像進(jìn)行多種方式的觀察時(shí)(比如想要放大、旋轉(zhuǎn)等)，醫(yī)生希望可以通過人為發(fā)送指令給AR設(shè)備，進(jìn)行相應(yīng)調(diào)整，因此本發(fā)明實(shí)施例還提供以下方法來調(diào)整AR設(shè)備上的三維重建圖像：

根據(jù)接收到的用戶指令信息，生成圖像調(diào)整參數(shù)；根據(jù)所述圖像調(diào)整參數(shù)，調(diào)整所述第二三維重建圖像，得到第三三維重建圖像；在所述AR設(shè)備上顯示所述第三三維重建圖像。

即當(dāng)前AR設(shè)備上顯示了已經(jīng)與目標(biāo)對(duì)象對(duì)準(zhǔn)后的第二三維重建圖像，此時(shí)醫(yī)生可以關(guān)閉自動(dòng)對(duì)準(zhǔn)功能，從而不會(huì)再進(jìn)行實(shí)時(shí)校準(zhǔn)，此時(shí)醫(yī)生可以發(fā)送指令給AR設(shè)備，例如可以是通過語音、頭部運(yùn)動(dòng)、手勢(shì)或者是手動(dòng)調(diào)整AR設(shè)備上的按鈕等方式，舉例來說，醫(yī)生通過語音“放大一倍”、“逆時(shí)針旋轉(zhuǎn)30度”告知AR設(shè)備想要進(jìn)行的操作，AR設(shè)備接收到語音指令后對(duì)第二三維重建圖像進(jìn)行相應(yīng)調(diào)整，得到第三三維重建圖像，然后在AR設(shè)備上顯示，或者是AR設(shè)備將接收到的語音指令發(fā)送給PC，由PC對(duì)對(duì)第二三維重建圖像進(jìn)行相應(yīng)調(diào)整，得到第三三維重建圖像后發(fā)送給AR設(shè)備進(jìn)行顯示。因而通過該方法可實(shí)現(xiàn)由醫(yī)生自行控制AR設(shè)備上的三維重建圖像的顯示。

本發(fā)明實(shí)施例提供的方法，首先根據(jù)AR設(shè)備采集到的目標(biāo)對(duì)象的信息生成的特征點(diǎn)信息和目標(biāo)對(duì)象的第一三維重建圖像，生成圖像變換參數(shù)，然后根據(jù)圖像變換參數(shù)調(diào)整所述第一三維重建圖像，得到第二三維重建圖像，并且所述第二三維重建圖像中的特征點(diǎn)與所述目標(biāo)對(duì)象的特征點(diǎn)吻合，所述第二三維重建圖像用于在AR設(shè)備顯示。該方法可以實(shí)現(xiàn)在AR設(shè)備顯示三維重建圖像，并且顯示的三維重建圖像是根據(jù)采集到的目標(biāo)對(duì)象的信息生成的特征點(diǎn)信息而進(jìn)行實(shí)時(shí)調(diào)整，使得醫(yī)生在觀看AR設(shè)備時(shí)，看到的AR設(shè)備上的三維重建圖像與AR設(shè)備上的攝像頭拍攝到的目標(biāo)對(duì)象之間是吻合的，并且即使AR設(shè)備的位置有所移動(dòng)，AR設(shè)備上的三維重建圖像也可以實(shí)時(shí)調(diào)整，從而該方法極大地方便了醫(yī)生在術(shù)中提高手術(shù)的準(zhǔn)確性和效率。

如圖6所示，為本發(fā)明實(shí)施例提供的基于實(shí)時(shí)反饋的增強(qiáng)現(xiàn)實(shí)人體定位導(dǎo)航方法詳細(xì)流程圖，包括：

步驟601、根據(jù)目標(biāo)對(duì)象的醫(yī)學(xué)圖像數(shù)據(jù)，生成目標(biāo)對(duì)象的初始三維重建圖像；

步驟602、根據(jù)醫(yī)學(xué)數(shù)據(jù)庫系統(tǒng)，調(diào)整初始三維重建圖像，得到目標(biāo)對(duì)象的第一三維重建圖像；

步驟603、根據(jù)AR設(shè)備采集到的目標(biāo)對(duì)象的信息生成的特征點(diǎn)信息，確定目標(biāo)對(duì)象的特征模式；

步驟604、根據(jù)目標(biāo)對(duì)象的特征模式及目標(biāo)對(duì)象的第一三維重建圖像，確定所述第一三維重建圖像的旋轉(zhuǎn)角度和旋轉(zhuǎn)方向；

步驟605、將所述旋轉(zhuǎn)角度和旋轉(zhuǎn)方向，作為所述圖像變換參數(shù)；

步驟606、根據(jù)所述圖像變換參數(shù)，調(diào)整所述第一三維重建圖像，得到第二三維重建圖像；

步驟607、將所述第二三維重建圖像發(fā)送給所述AR設(shè)備，以使在所述AR設(shè)備上顯示所述第二三維重建圖像；

步驟608、根據(jù)接收到的用戶指令信息，生成圖像調(diào)整參數(shù)；

步驟609、根據(jù)所述圖像調(diào)整參數(shù)，調(diào)整所述第二三維重建圖像，得到第三三維重建圖像；

步驟610、在所述AR設(shè)備上顯示所述第三三維重建圖像。

本發(fā)明實(shí)施例提供的方法，首先根據(jù)AR設(shè)備采集到的目標(biāo)對(duì)象的信息生成的特征點(diǎn)信息和目標(biāo)對(duì)象的第一三維重建圖像，生成圖像變換參數(shù)，然后根據(jù)圖像變換參數(shù)調(diào)整所述第一三維重建圖像，得到第二三維重建圖像，并且所述第二三維重建圖像中的特征點(diǎn)與所述目標(biāo)對(duì)象的特征點(diǎn)吻合，所述第二三維重建圖像用于在AR設(shè)備顯示。該方法可以實(shí)現(xiàn)在AR設(shè)備顯示三維重建圖像，并且顯示的三維重建圖像是根據(jù)采集到的目標(biāo)對(duì)象的信息生成的特征點(diǎn)信息而進(jìn)行實(shí)時(shí)調(diào)整，使得醫(yī)生在觀看AR設(shè)備時(shí)，看到的AR設(shè)備上的三維重建圖像與AR設(shè)備上的攝像頭拍攝到的目標(biāo)對(duì)象之間是吻合的，并且即使AR設(shè)備的位置有所移動(dòng)，AR設(shè)備上的三維重建圖像也可以實(shí)時(shí)調(diào)整，從而該方法極大地方便了醫(yī)生在術(shù)中提高手術(shù)的準(zhǔn)確性和效率。

基于相同的技術(shù)構(gòu)思，如圖7所示，本發(fā)明實(shí)施例還提供一種基于實(shí)時(shí)反饋的增強(qiáng)現(xiàn)實(shí)人體定位導(dǎo)航裝置，包括：

生成單元701，用于根據(jù)AR設(shè)備采集到的目標(biāo)對(duì)象的信息生成的特征點(diǎn)信息和所述目標(biāo)對(duì)象的第一三維重建圖像，生成圖像變換參數(shù)，所述第一三維重建圖像為根據(jù)所述目標(biāo)對(duì)象的醫(yī)學(xué)圖像數(shù)據(jù)生成的；

調(diào)整單元702，用于根據(jù)所述圖像變換參數(shù)，調(diào)整所述第一三維重建圖像，得到第二三維重建圖像，在所述AR設(shè)備上顯示的所述第二三維重建圖像中的特征點(diǎn)與所述目標(biāo)對(duì)象的特征點(diǎn)吻合。

可選地，所述生成單元701，具體用于：根據(jù)所述特征點(diǎn)信息，確定所述目標(biāo)對(duì)象的特征模式；

根據(jù)所述目標(biāo)對(duì)象的特征模式及所述目標(biāo)對(duì)象的第一三維重建圖像，確定所述第一三維重建圖像的旋轉(zhuǎn)角度和旋轉(zhuǎn)方向；

將所述旋轉(zhuǎn)角度和旋轉(zhuǎn)方向，作為所述圖像變換參數(shù)。

可選地，所述裝置還包括接收單元703，用于：接收所述AR設(shè)備采集到的目標(biāo)對(duì)象的信息；

所述裝置還包括發(fā)送單元704，用于：將所述第二三維重建圖像發(fā)送給所述AR設(shè)備，以使在所述AR設(shè)備上顯示所述第二三維重建圖像。

可選地，所述調(diào)整單元702還用于：根據(jù)所述目標(biāo)對(duì)象的醫(yī)學(xué)圖像數(shù)據(jù)，生成所述目標(biāo)對(duì)象的初始三維重建圖像；

根據(jù)醫(yī)學(xué)數(shù)據(jù)庫系統(tǒng)，調(diào)整所述初始三維重建圖像，得到所述目標(biāo)對(duì)象的第一三維重建圖像。

可選地，所述AR設(shè)備通過所述AR設(shè)備上的傳感器掃描所述目標(biāo)對(duì)象來采集所述目標(biāo)對(duì)象的信息，或者

所述AR設(shè)備通過所述AR設(shè)備上的攝像頭拍攝所述目標(biāo)對(duì)象來獲取所述目標(biāo)對(duì)象的信息。

可選地，所述生成單元701，還用于根據(jù)接收到的用戶指令信息，生成圖像調(diào)整參數(shù)；

所述調(diào)整單元702，還用于根據(jù)所述圖像調(diào)整參數(shù)，調(diào)整所述第二三維重建圖像，得到第三三維重建圖像；

所述裝置還包括顯示單元705，用于在所述AR設(shè)備上顯示所述第三三維重建圖像。

可選地，所述調(diào)整單元702，具體用于：

接收用戶通過預(yù)先設(shè)定的參數(shù)調(diào)整系統(tǒng)輸入的第一參數(shù)調(diào)整指令，所述參數(shù)調(diào)整系統(tǒng)用于以可視化的方式顯示三維重建圖像信息；

根據(jù)所述第一參數(shù)調(diào)整指令及所述醫(yī)學(xué)數(shù)據(jù)庫系統(tǒng)，調(diào)整所述初始三維重建圖像，得到所述目標(biāo)對(duì)象的第一三維重建圖像。

可選地，所述調(diào)整單元702，具體用于：

根據(jù)用戶從預(yù)先建立的功能模塊庫中選擇的功能模塊及用戶對(duì)選擇的功能模塊的連接方式，確定第二參數(shù)調(diào)整指令，所述預(yù)先建立的功能模塊庫中的每個(gè)功能模塊用于表示一種圖像處理方式或多種圖像處理方式的組合，所述預(yù)先建立的功能模塊庫中的所有功能模塊可在一定的規(guī)則下進(jìn)行連接；

根據(jù)所述第二參數(shù)調(diào)整指令及所述醫(yī)學(xué)數(shù)據(jù)庫系統(tǒng)，調(diào)整所述初始三維重建圖像，得到所述目標(biāo)對(duì)象的第一三維重建圖像。

可選地，所述調(diào)整單元702，具體用于：

根據(jù)所述目標(biāo)對(duì)象的醫(yī)學(xué)圖像數(shù)據(jù)、用戶從預(yù)先建立的功能模塊庫中選擇的功能模塊及用戶對(duì)選擇的功能模塊的連接方式，生成所述目標(biāo)對(duì)象的初始三維重建圖像，所述預(yù)先建立的功能模塊庫中的每個(gè)功能模塊用于表示一種圖像處理方式或多種圖像處理方式的組合，所述預(yù)先建立的功能模塊庫中的所有功能模塊可在一定的規(guī)則下進(jìn)行連接；

根據(jù)用戶對(duì)所述選擇的功能模塊進(jìn)行指令輸入，得到第三參數(shù)調(diào)整指令；

根據(jù)所述根據(jù)醫(yī)學(xué)數(shù)據(jù)庫系統(tǒng)及所述第三參數(shù)調(diào)整指令，調(diào)整所述初始三維重建圖像，得到所述目標(biāo)對(duì)象的第一三維重建圖像。

本發(fā)明實(shí)施例，首先根據(jù)AR設(shè)備采集到的目標(biāo)對(duì)象的信息生成的特征點(diǎn)信息和目標(biāo)對(duì)象的第一三維重建圖像，生成圖像變換參數(shù)，然后根據(jù)圖像變換參數(shù)調(diào)整所述第一三維重建圖像，得到第二三維重建圖像，并且所述第二三維重建圖像中的特征點(diǎn)與所述目標(biāo)對(duì)象的特征點(diǎn)吻合，所述第二三維重建圖像用于在AR設(shè)備顯示。本發(fā)明實(shí)施例可以實(shí)現(xiàn)在AR設(shè)備顯示三維重建圖像，并且顯示的三維重建圖像是根據(jù)采集到的目標(biāo)對(duì)象的信息生成的特征點(diǎn)信息而進(jìn)行實(shí)時(shí)調(diào)整，使得醫(yī)生在觀看AR設(shè)備時(shí)，看到的AR設(shè)備上的三維重建圖像與AR設(shè)備上的攝像頭拍攝到的目標(biāo)對(duì)象之間是吻合的，并且即使AR設(shè)備的位置有所移動(dòng)，AR設(shè)備上的三維重建圖像也可以實(shí)時(shí)調(diào)整，從而該方法極大地方便了醫(yī)生在術(shù)中提高手術(shù)的準(zhǔn)確性和效率。

本發(fā)明是參照根據(jù)本發(fā)明實(shí)施例的方法、設(shè)備(系統(tǒng))、和計(jì)算機(jī)程序產(chǎn)品的流程圖和/或方框圖來描述的。應(yīng)理解可由計(jì)算機(jī)程序指令實(shí)現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合?？商峁┻@些計(jì)算機(jī)程序指令到通用計(jì)算機(jī)、專用計(jì)算機(jī)、嵌入式處理機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器以產(chǎn)生一個(gè)機(jī)器，使得通過計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的裝置。

這些計(jì)算機(jī)程序指令也可存儲(chǔ)在能引導(dǎo)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備以特定方式工作的計(jì)算機(jī)可讀存儲(chǔ)器中，使得存儲(chǔ)在該計(jì)算機(jī)可讀存儲(chǔ)器中的指令產(chǎn)生包括指令裝置的制造品，該指令裝置實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能。

這些計(jì)算機(jī)程序指令也可裝載到計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備上，使得在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的處理，從而在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行的指令提供用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的步驟。

盡管已描述了本發(fā)明的優(yōu)選實(shí)施例，但本領(lǐng)域內(nèi)的技術(shù)人員一旦得知了基本創(chuàng)造性概念，則可對(duì)這些實(shí)施例做出另外的變更和修改。所以，所附權(quán)利要求意欲解釋為包括優(yōu)選實(shí)施例以及落入本發(fā)明范圍的所有變更和修改。

顯然，本領(lǐng)域的技術(shù)人員可以對(duì)本發(fā)明進(jìn)行各種改動(dòng)和變型而不脫離本發(fā)明的精神和范圍。這樣，倘若本發(fā)明的這些修改和變型屬于本發(fā)明權(quán)利要求及其等同技術(shù)的范圍之內(nèi)，則本發(fā)明也意圖包含這些改動(dòng)和變型在內(nèi)。