本技術(shù)涉及智慧醫(yī)療系統(tǒng)，尤其涉及一種基于增強(qiáng)現(xiàn)實(shí)技術(shù)的骨折復(fù)位路徑輔助規(guī)劃方法及系統(tǒng)。

背景技術(shù)：

1、隨著醫(yī)學(xué)影像技術(shù)的發(fā)展，骨折復(fù)位手術(shù)逐漸向微創(chuàng)化和精準(zhǔn)化方向發(fā)展，傳統(tǒng)的骨折復(fù)位手術(shù)主要依賴于醫(yī)生的經(jīng)驗(yàn)和視覺反饋，特別是對(duì)于復(fù)雜骨折，醫(yī)生需要通過反復(fù)嘗試和調(diào)整來完成復(fù)位，不僅延長(zhǎng)了手術(shù)時(shí)間，增加手術(shù)風(fēng)險(xiǎn)，而且很難保證骨折復(fù)位的精確度，容易導(dǎo)致骨折部位對(duì)位不良，從而影響骨折愈合和功能恢復(fù)。

2、此外，在目前的骨折復(fù)位影像輔助技術(shù)中，醫(yī)生主要通過二維影像(如x光)或裸眼直視下進(jìn)行操作，醫(yī)生無法直觀地感受到骨折部位的三維空間結(jié)構(gòu)，特別是在視野受限或骨折類型復(fù)雜的情況下，難以精確判斷骨塊的相對(duì)位置和最優(yōu)復(fù)位方向，而也相對(duì)增加了手術(shù)的難度和風(fēng)險(xiǎn)。

3、針對(duì)上述問題，目前業(yè)界暫未提出較佳的技術(shù)解決方案。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)實(shí)施例提供了一種基于增強(qiáng)現(xiàn)實(shí)技術(shù)的骨折復(fù)位路徑輔助規(guī)劃方法及系統(tǒng)，用于至少解決目前相關(guān)技術(shù)中依靠二維的骨折復(fù)位影像輔助技術(shù)無法提供較佳的骨折復(fù)位參考的問題。

2、第一方面，本技術(shù)實(shí)施例提供一種基于增強(qiáng)現(xiàn)實(shí)技術(shù)的骨折復(fù)位路徑輔助規(guī)劃方法，應(yīng)用于ar眼鏡，所述方法包括：獲取針對(duì)患者骨折區(qū)域的骨折影像數(shù)據(jù)，所述骨折影像數(shù)據(jù)包含ct數(shù)據(jù)和x線數(shù)據(jù)；基于所述骨折部影像數(shù)據(jù)重建骨折部三維模型；所述骨折部三維模型包含多個(gè)骨塊模塊，且各個(gè)所述骨塊模塊分別標(biāo)注有相應(yīng)的位置、邊界和顏色；將所重建的骨折部三維模型與實(shí)際手術(shù)場(chǎng)景中的患者骨折區(qū)域進(jìn)行匹配校準(zhǔn)；將經(jīng)匹配校準(zhǔn)的骨折部三維模型和相應(yīng)的骨折類型和骨折手術(shù)要求輸入至骨折復(fù)位路徑規(guī)劃模型，以確定相應(yīng)的至少一個(gè)優(yōu)化的骨折復(fù)位路徑；渲染各個(gè)所述優(yōu)化的骨折復(fù)位路徑，并根據(jù)所檢測(cè)到的交互指令確定目標(biāo)骨折復(fù)位路徑；所述骨折復(fù)位路徑規(guī)劃模型包含級(jí)聯(lián)的強(qiáng)化學(xué)習(xí)模塊和多物理場(chǎng)仿真優(yōu)化模塊；

3、所述強(qiáng)化學(xué)習(xí)模塊用于根據(jù)骨折類型、經(jīng)匹配校準(zhǔn)的骨折部三維模型及骨折手術(shù)要求，確定至少一個(gè)初始復(fù)位路徑；所述強(qiáng)化學(xué)習(xí)模塊的狀態(tài)是根據(jù)經(jīng)匹配校準(zhǔn)的骨折部三維模型的幾何特征、骨塊相對(duì)方位信息和骨折類型而定義的；所述強(qiáng)化學(xué)習(xí)模塊的動(dòng)作空間是根據(jù)骨塊移動(dòng)、骨塊旋轉(zhuǎn)和骨塊施力而定義的；所述強(qiáng)化學(xué)習(xí)模塊的獎(jiǎng)勵(lì)函數(shù)是根據(jù)所述骨折手術(shù)要求而定義的，所述骨折手術(shù)要求包含復(fù)位精度要求、路徑平滑性要求和生理約束要求；

4、將各個(gè)所述初始復(fù)位路徑輸入至多物理場(chǎng)仿真優(yōu)化模塊，以通過有限元分析對(duì)各個(gè)所述初始復(fù)位路徑進(jìn)行應(yīng)力分布仿真，并根據(jù)仿真結(jié)果對(duì)相應(yīng)的初始路徑進(jìn)行優(yōu)化調(diào)整，以確定相應(yīng)的至少一個(gè)優(yōu)化的骨折復(fù)位路徑；

5、所述強(qiáng)化學(xué)習(xí)模塊的獎(jiǎng)勵(lì)函數(shù)r通過下式表達(dá)：

6、r＝raccuracy+rsmoothness+rphysiology

7、raccuracy＝-α·||mtarget-mcurrent||

8、

9、式中，raccuracy表示復(fù)位精度獎(jiǎng)勵(lì)項(xiàng)，用于反映骨塊復(fù)位后的位置誤差；rsmoothness表示路徑平滑性獎(jiǎng)勵(lì)項(xiàng)，用于反映路徑的平滑程度；rphysiology表示生理約束獎(jiǎng)勵(lì)項(xiàng)，用于確保路徑符合生理力學(xué)要求，以避免損傷周圍組織；mtarget為目標(biāo)位置坐標(biāo)，表示骨塊在復(fù)位后應(yīng)到達(dá)的位置；mcurrent為當(dāng)前骨塊位置坐標(biāo)，表示當(dāng)前時(shí)刻骨塊所在的位置；α表示精度調(diào)節(jié)參數(shù)，用于調(diào)整復(fù)位精度對(duì)總獎(jiǎng)勵(lì)的影響；κi為路徑曲率，表示路徑上第i個(gè)路徑節(jié)點(diǎn)的曲率值；n為路徑節(jié)點(diǎn)總數(shù)；β為平滑性調(diào)節(jié)參數(shù)，用于調(diào)整路徑平滑性對(duì)總獎(jiǎng)勵(lì)的影響；σi為路徑上第i個(gè)路徑節(jié)點(diǎn)的應(yīng)力值，σlimit為生理應(yīng)力限值，表示路徑上的應(yīng)力超過該限值時(shí)會(huì)對(duì)組織造成損傷；γ為生理約束調(diào)節(jié)參數(shù)，用于調(diào)整生理約束對(duì)總獎(jiǎng)勵(lì)的影響。

10、第二方面，本技術(shù)實(shí)施例提供一種基于增強(qiáng)現(xiàn)實(shí)技術(shù)的骨折復(fù)位路徑輔助規(guī)劃系統(tǒng)，所述系統(tǒng)包括：數(shù)據(jù)獲取單元，用于獲取針對(duì)患者骨折區(qū)域的骨折影像數(shù)據(jù)，所述骨折影像數(shù)據(jù)包含ct數(shù)據(jù)和x線數(shù)據(jù)；模型重建單元，用于基于所述骨折部影像數(shù)據(jù)重建骨折部三維模型；所述骨折部三維模型包含多個(gè)骨塊模塊，且各個(gè)所述骨塊模塊分別標(biāo)注有相應(yīng)的位置、邊界和顏色；模型校準(zhǔn)單元，用于將所重建的骨折部三維模型與實(shí)際手術(shù)場(chǎng)景中的患者骨折區(qū)域進(jìn)行匹配校準(zhǔn)；路徑規(guī)劃單元，用于將經(jīng)匹配校準(zhǔn)的骨折部三維模型和相應(yīng)的骨折類型和骨折手術(shù)要求輸入至骨折復(fù)位路徑規(guī)劃模型，以確定相應(yīng)的至少一個(gè)優(yōu)化的骨折復(fù)位路徑；路徑確認(rèn)單元，用于渲染各個(gè)所述優(yōu)化的骨折復(fù)位路徑，并根據(jù)所檢測(cè)到的交互指令確定目標(biāo)骨折復(fù)位路徑；所述骨折復(fù)位路徑規(guī)劃模型包含級(jí)聯(lián)的強(qiáng)化學(xué)習(xí)模塊和多物理場(chǎng)仿真優(yōu)化模塊；

11、所述強(qiáng)化學(xué)習(xí)模塊用于根據(jù)骨折類型、經(jīng)匹配校準(zhǔn)的骨折部三維模型及骨折手術(shù)要求，確定至少一個(gè)初始復(fù)位路徑；所述強(qiáng)化學(xué)習(xí)模塊的狀態(tài)是根據(jù)經(jīng)匹配校準(zhǔn)的骨折部三維模型的幾何特征、骨塊相對(duì)方位信息和骨折類型而定義的；所述強(qiáng)化學(xué)習(xí)模塊的動(dòng)作空間是根據(jù)骨塊移動(dòng)、骨塊旋轉(zhuǎn)和骨塊施力而定義的；所述強(qiáng)化學(xué)習(xí)模塊的獎(jiǎng)勵(lì)函數(shù)是根據(jù)所述骨折手術(shù)要求而定義的，所述骨折手術(shù)要求包含復(fù)位精度要求、路徑平滑性要求和生理約束要求；

12、將各個(gè)所述初始復(fù)位路徑輸入至多物理場(chǎng)仿真優(yōu)化模塊，以通過有限元分析對(duì)各個(gè)所述初始復(fù)位路徑進(jìn)行應(yīng)力分布仿真，并根據(jù)仿真結(jié)果對(duì)相應(yīng)的初始路徑進(jìn)行優(yōu)化調(diào)整，以確定相應(yīng)的至少一個(gè)優(yōu)化的骨折復(fù)位路徑；

13、所述強(qiáng)化學(xué)習(xí)模塊的獎(jiǎng)勵(lì)函數(shù)r通過下式表達(dá)：

14、r＝raccuracy+rsmoothness+rphysiology

15、raccuracy＝-α·||mtarget-mcurrent||

16、

17、式中，raccuracy表示復(fù)位精度獎(jiǎng)勵(lì)項(xiàng)，用于反映骨塊復(fù)位后的位置誤差；rsmoothness表示路徑平滑性獎(jiǎng)勵(lì)項(xiàng)，用于反映路徑的平滑程度；rphysiology表示生理約束獎(jiǎng)勵(lì)項(xiàng)，用于確保路徑符合生理力學(xué)要求，以避免損傷周圍組織；mtarget為目標(biāo)位置坐標(biāo)，表示骨塊在復(fù)位后應(yīng)到達(dá)的位置；mcurrent為當(dāng)前骨塊位置坐標(biāo)，表示當(dāng)前時(shí)刻骨塊所在的位置；α表示精度調(diào)節(jié)參數(shù)，用于調(diào)整復(fù)位精度對(duì)總獎(jiǎng)勵(lì)的影響；κi為路徑曲率，表示路徑上第i個(gè)路徑節(jié)點(diǎn)的曲率值；n為路徑節(jié)點(diǎn)總數(shù)；β為平滑性調(diào)節(jié)參數(shù)，用于調(diào)整路徑平滑性對(duì)總獎(jiǎng)勵(lì)的影響；σi為路徑上第i個(gè)路徑節(jié)點(diǎn)的應(yīng)力值，σlimit為生理應(yīng)力限值，表示路徑上的應(yīng)力超過該限值時(shí)會(huì)對(duì)組織造成損傷；γ為生理約束調(diào)節(jié)參數(shù)，用于調(diào)整生理約束對(duì)總獎(jiǎng)勵(lì)的影響。

18、第三方面，本技術(shù)實(shí)施例提供一種電子設(shè)備，其包括：至少一個(gè)處理器，以及與所述至少一個(gè)處理器通信連接的存儲(chǔ)器，其中，所述存儲(chǔ)器存儲(chǔ)有可被所述至少一個(gè)處理器執(zhí)行的指令，所述指令被所述至少一個(gè)處理器執(zhí)行，以使所述至少一個(gè)處理器能夠執(zhí)行上述方法的步驟。

19、第四方面，本技術(shù)實(shí)施例提供一種存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)中存儲(chǔ)有一個(gè)或多個(gè)包括執(zhí)行指令的程序，所述執(zhí)行指令能夠被電子設(shè)備(包括但不限于計(jì)算機(jī)，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)讀取并執(zhí)行，以用于執(zhí)行本技術(shù)上述方法的步驟。

20、第五方面，本技術(shù)實(shí)施例還提供一種計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序產(chǎn)品包括存儲(chǔ)在存儲(chǔ)介質(zhì)上的計(jì)算機(jī)程序，所述計(jì)算機(jī)程序包括程序指令，當(dāng)所述程序指令被計(jì)算機(jī)執(zhí)行時(shí)，使所述計(jì)算機(jī)執(zhí)行上述方法的步驟。

21、通過本技術(shù)提供的一種基于增強(qiáng)現(xiàn)實(shí)技術(shù)的骨折復(fù)位路徑輔助規(guī)劃方法、系統(tǒng)、電子設(shè)備及非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，能夠至少產(chǎn)生如下的技術(shù)效果：

22、(1)基于增強(qiáng)現(xiàn)實(shí)技術(shù)的骨折復(fù)位路徑輔助規(guī)劃方法，通過獲取患者的骨折影像數(shù)據(jù)并重建三維模型，能夠提供直觀的三維視圖，能夠顯著提高復(fù)位的精度，減少?gòu)?fù)位過程中的盲目調(diào)整。通過強(qiáng)化學(xué)習(xí)模塊和多物理場(chǎng)仿真優(yōu)化模塊的結(jié)合，系統(tǒng)能夠根據(jù)骨折類型和手術(shù)要求生成模擬表現(xiàn)優(yōu)秀的復(fù)位路徑，進(jìn)一步提高復(fù)位的精確度，確保骨塊精確對(duì)位，促進(jìn)骨折愈合和功能恢復(fù)。

23、(2)利用強(qiáng)化學(xué)習(xí)算法對(duì)骨折區(qū)域進(jìn)行初步路徑規(guī)劃，將初步路徑輸入到多物理場(chǎng)仿真模型中進(jìn)行力學(xué)仿真和優(yōu)化。強(qiáng)化學(xué)習(xí)算法的自適應(yīng)性和靈活性，能夠?qū)崟r(shí)優(yōu)化路徑，但可能在實(shí)際操作中的力學(xué)可行性和安全性上有所欠缺。多物理場(chǎng)仿真模型能有效結(jié)合力學(xué)仿真和實(shí)際操作條件，提供更為精確和安全的路徑，但需要高計(jì)算成本和復(fù)雜的仿真模型。在本技術(shù)方案中，骨折復(fù)位路徑規(guī)劃模型有效融合兩者的優(yōu)勢(shì)，實(shí)現(xiàn)了路徑規(guī)劃的自適應(yīng)性和力學(xué)仿真優(yōu)化的精確性和安全性，不僅能夠提供初步的路徑規(guī)劃，還能通過力學(xué)仿真進(jìn)一步優(yōu)化路徑，確保實(shí)際操作的可行性和安全性，具有更高的實(shí)用價(jià)值。

24、(3)在本技術(shù)方案中，通過多物理場(chǎng)仿真優(yōu)化模塊進(jìn)行有限元分析，模擬復(fù)位路徑上的應(yīng)力分布，確保路徑符合生理力學(xué)要求，避免對(duì)周圍組織造成損傷，尤其適用于視野受限或骨折部位復(fù)雜的情況，能夠精確判斷骨塊的相對(duì)位置和復(fù)位方向，減少了復(fù)位過程中的不確定性和潛在風(fēng)險(xiǎn)，提升了手術(shù)的安全性。

25、(4)在本技術(shù)方案中，強(qiáng)化學(xué)習(xí)模塊的獎(jiǎng)勵(lì)函數(shù)考慮了復(fù)位精度、路徑平滑性和生理約束，能夠根據(jù)實(shí)際手術(shù)情況進(jìn)行自適應(yīng)調(diào)整。通過精度調(diào)節(jié)參數(shù)、平滑性調(diào)節(jié)參數(shù)和生理約束調(diào)節(jié)參數(shù)的靈活設(shè)置，系統(tǒng)能夠動(dòng)態(tài)調(diào)整復(fù)位路徑，適應(yīng)不同類型的骨折和手術(shù)要求，具有較強(qiáng)的適應(yīng)性和靈活性，滿足不同手術(shù)場(chǎng)景的需求。

26、(5)傳統(tǒng)的骨折復(fù)位手術(shù)依賴于醫(yī)生的經(jīng)驗(yàn)和觸覺反饋，往往需要反復(fù)嘗試和調(diào)整，耗時(shí)較長(zhǎng)。通過增強(qiáng)現(xiàn)實(shí)技術(shù)和自動(dòng)化的路徑規(guī)劃模型，該方案能夠快速生成并展示骨折復(fù)位路徑，減少了醫(yī)生的操作時(shí)間和試錯(cuò)過程，大大提高了手術(shù)效率，能顯著縮短手術(shù)時(shí)間，減輕醫(yī)生的工作負(fù)擔(dān)，同時(shí)降低患者的手術(shù)風(fēng)險(xiǎn)。

27、通過本技術(shù)方案，通過ar眼鏡將重建的三維模型和復(fù)位路徑疊加在實(shí)際手術(shù)場(chǎng)景中，醫(yī)生可以實(shí)時(shí)查看復(fù)位路徑和患者骨折區(qū)域的匹配情況，提供了直觀、實(shí)時(shí)的指導(dǎo)。在骨折復(fù)位場(chǎng)景中應(yīng)用增強(qiáng)現(xiàn)實(shí)技術(shù)，改善了醫(yī)生的操作體驗(yàn)，使手術(shù)過程更加可控和直觀，有助于提高手術(shù)的成功率和患者的康復(fù)效果。