本發(fā)明涉及內(nèi)窺鏡，具體為內(nèi)窺鏡下人工智能圖像及視頻識(shí)別系統(tǒng)。

背景技術(shù)：

1、內(nèi)窺鏡是集中了傳統(tǒng)光學(xué)、人體工程學(xué)、精密機(jī)械、現(xiàn)代電子、數(shù)學(xué)、軟件等于一體的檢測(cè)儀器。一個(gè)具有圖像傳感器、光學(xué)鏡頭、光源照明、機(jī)械裝置等，它可以經(jīng)口腔進(jìn)入胃內(nèi)或經(jīng)其他天然孔道進(jìn)入體內(nèi)。利用內(nèi)窺鏡可以看到x射線不能顯示的病變，因此它對(duì)醫(yī)生非常有用。例如，借助內(nèi)窺鏡醫(yī)生可以觀察胃內(nèi)的潰瘍或腫瘤，據(jù)此制定出最佳的治療方案，醫(yī)生也可也利用內(nèi)窺鏡輔助完成微創(chuàng)手術(shù)。正因如此內(nèi)窺鏡廣泛應(yīng)用于醫(yī)療領(lǐng)域內(nèi)。

2、內(nèi)窺鏡深入人體腔道后所展現(xiàn)的影像比較直觀，有利于醫(yī)生判斷病灶的嚴(yán)重程度，便于后期的醫(yī)生診斷，但是內(nèi)窺鏡所探測(cè)的影像需要醫(yī)生根據(jù)經(jīng)驗(yàn)來(lái)判斷病灶，這就有可能導(dǎo)致漏診或者誤診，因此我們希望設(shè)計(jì)一款可以幫助在內(nèi)窺鏡探測(cè)進(jìn)行圖像、視頻識(shí)別的輔助系統(tǒng)，來(lái)幫助醫(yī)生快速甄別探測(cè)區(qū)域的病灶程度，減少醫(yī)生工作量的同時(shí)提高診斷效率，為此我們提出了內(nèi)窺鏡下人工智能圖像及視頻識(shí)別系統(tǒng)。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于提供，以解決上述背景技術(shù)中提出的問(wèn)題。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：內(nèi)窺鏡下人工智能圖像及視頻識(shí)別系統(tǒng)，包括醫(yī)用pc端、影像庫(kù)大數(shù)據(jù)平臺(tái)和綜合平臺(tái)；

3、所述醫(yī)用pc端為連接醫(yī)院局域網(wǎng)的手術(shù)用電腦，所述醫(yī)用pc端對(duì)接有有前端設(shè)備，所述前端設(shè)備包括圖片錄入設(shè)備和視頻錄入設(shè)備；

4、所述圖片錄入設(shè)備和視頻錄入設(shè)備對(duì)接有高清手術(shù)用分體式內(nèi)窺鏡，在內(nèi)窺鏡工作時(shí)的影像為實(shí)時(shí)傳輸，而圖片錄入設(shè)備則每隔十秒鐘截取一張清晰照片，所述視頻錄入設(shè)備與內(nèi)窺鏡相連，并實(shí)時(shí)傳輸視頻影像信息；

5、所述影像庫(kù)大數(shù)據(jù)平臺(tái)對(duì)接有影像檢索單元，在所述影像檢索單元內(nèi)對(duì)于采集到的圖像、視頻識(shí)別中的每一個(gè)圖像、視頻信息素內(nèi)容，在搜索過(guò)程中，可以根據(jù)相應(yīng)搜索需求，將特征最相似的圖像、視頻排在前面，根據(jù)特征的相似度對(duì)搜索到的內(nèi)容進(jìn)行排序；

6、所述影像庫(kù)大數(shù)據(jù)平臺(tái)對(duì)接有影像數(shù)據(jù)庫(kù)，所述影像數(shù)據(jù)庫(kù)內(nèi)建立一個(gè)共用的醫(yī)學(xué)用人體解剖學(xué)清晰影像庫(kù)，包括影像資料和解剖學(xué)文字說(shuō)明，所述解剖學(xué)文字說(shuō)明建立在文本檢測(cè)單元上，所述文本檢測(cè)單元包括，且同一解剖部位包括四個(gè)角度的清晰影像照片。

7、優(yōu)選的，所述文本檢測(cè)單元包括vgg16單元、faster-r-cnn單元、雙向lstm單元和矩形框優(yōu)化單元。

8、優(yōu)選的，數(shù)據(jù)傳輸時(shí)對(duì)視頻數(shù)據(jù)進(jìn)行信道編碼，并通過(guò)混合流媒體分發(fā)系統(tǒng)多路徑同時(shí)傳輸視頻數(shù)據(jù)，并將錄入的視頻、圖片數(shù)據(jù)進(jìn)行持續(xù)存儲(chǔ)。

9、優(yōu)選的，針對(duì)所述視頻錄入設(shè)備傳輸?shù)囊曨l信息設(shè)置有影像解析單元，所述影像解析單元內(nèi)設(shè)置有子單元，通過(guò)將影像數(shù)據(jù)解碼帶入子單元后分段式解析，并尋找單位時(shí)間內(nèi)影像的共同特征。

10、優(yōu)選的，所述視頻錄入設(shè)備單位時(shí)間內(nèi)傳輸來(lái)的視頻信息被集合成一個(gè)信息數(shù)據(jù)包，并被切割成子單元進(jìn)行信息檢索，通過(guò)對(duì)子單元進(jìn)行分別檢索后，在影像數(shù)據(jù)庫(kù)內(nèi)類比出共同特征最相似的人體解剖學(xué)清晰影像資料。

11、優(yōu)選的，所述影像庫(kù)大數(shù)據(jù)平臺(tái)通過(guò)互聯(lián)網(wǎng)對(duì)接有綜合云平臺(tái)，所述綜合云平臺(tái)對(duì)接醫(yī)療信息共享系統(tǒng)，在云平臺(tái)內(nèi)通過(guò)影像檢索單元中子單元類比出的共同特征進(jìn)行篩選，并引導(dǎo)至醫(yī)用pc端進(jìn)行信息展示。

12、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：

13、基于實(shí)時(shí)傳輸場(chǎng)景的圖像、視頻內(nèi)容進(jìn)行識(shí)別和檢索，以幫助醫(yī)生快速識(shí)別組織結(jié)構(gòu)，特征識(shí)別引擎分析樣本特征，然后由特征匹配引擎進(jìn)行數(shù)據(jù)分析并得出數(shù)據(jù)源匹配吻合度的值，最后由人體解剖學(xué)規(guī)則模型根據(jù)解剖學(xué)規(guī)則定義進(jìn)行相應(yīng)處理；

14、所檢索出的影像信息經(jīng)由數(shù)據(jù)網(wǎng)絡(luò)傳輸至醫(yī)用pc端上進(jìn)行展示，當(dāng)醫(yī)生在進(jìn)行手術(shù)或檢查時(shí)可以及時(shí)了解病灶部位，通過(guò)與影像數(shù)據(jù)庫(kù)的實(shí)例做對(duì)比可以很快知道病灶的惡化程度，防止醫(yī)生出現(xiàn)漏診或者誤診的情況。

技術(shù)特征：

1.內(nèi)窺鏡下人工智能圖像及視頻識(shí)別系統(tǒng)，包括醫(yī)用pc端、影像庫(kù)大數(shù)據(jù)平臺(tái)和綜合平臺(tái)，其特征在于：

2.根據(jù)權(quán)利要求1所述的內(nèi)窺鏡下人工智能圖像及視頻識(shí)別系統(tǒng)，其特征在于：所述文本檢測(cè)單元包括vgg16單元、faster-r-cnn單元、雙向lstm單元和矩形框優(yōu)化單元。

3.根據(jù)權(quán)利要求1所述的內(nèi)窺鏡下人工智能圖像及視頻識(shí)別系統(tǒng)，其特征在于：數(shù)據(jù)傳輸時(shí)對(duì)視頻數(shù)據(jù)進(jìn)行信道編碼，并通過(guò)混合流媒體分發(fā)系統(tǒng)多路徑同時(shí)傳輸視頻數(shù)據(jù)，并將錄入的視頻、圖片數(shù)據(jù)進(jìn)行持續(xù)存儲(chǔ)。

4.根據(jù)權(quán)利要求1所述的內(nèi)窺鏡下人工智能圖像及視頻識(shí)別系統(tǒng)，其特征在于：針對(duì)所述視頻錄入設(shè)備傳輸?shù)囊曨l信息設(shè)置有影像解析單元，所述影像解析單元內(nèi)設(shè)置有子單元，通過(guò)將影像數(shù)據(jù)解碼帶入子單元后分段式解析，并尋找單位時(shí)間內(nèi)影像的共同特征。

5.根據(jù)權(quán)利要求1所述的內(nèi)窺鏡下人工智能圖像及視頻識(shí)別系統(tǒng)，其特征在于：所述視頻錄入設(shè)備單位時(shí)間內(nèi)傳輸來(lái)的視頻信息被集合成一個(gè)信息數(shù)據(jù)包，并被切割成子單元進(jìn)行信息檢索，通過(guò)對(duì)子單元進(jìn)行分別檢索后，在影像數(shù)據(jù)庫(kù)內(nèi)類比出共同特征最相似的人體解剖學(xué)清晰影像資料。

6.根據(jù)權(quán)利要求1所述的內(nèi)窺鏡下人工智能圖像及視頻識(shí)別系統(tǒng)，其特征在于：所述影像庫(kù)大數(shù)據(jù)平臺(tái)通過(guò)互聯(lián)網(wǎng)對(duì)接有綜合云平臺(tái)，所述綜合云平臺(tái)對(duì)接醫(yī)療信息共享系統(tǒng)，在云平臺(tái)內(nèi)通過(guò)影像檢索單元中子單元類比出的共同特征進(jìn)行篩選，并引導(dǎo)至醫(yī)用pc端進(jìn)行信息展示。

技術(shù)總結(jié)
本發(fā)明屬于內(nèi)窺鏡技術(shù)領(lǐng)域，具體為內(nèi)窺鏡下人工智能圖像及視頻識(shí)別系統(tǒng)，包括醫(yī)用PC端、影像庫(kù)大數(shù)據(jù)平臺(tái)和綜合平臺(tái)；所述醫(yī)用PC端為連接醫(yī)院局域網(wǎng)的手術(shù)用電腦，所述醫(yī)用PC端對(duì)接有有前端設(shè)備，所述前端設(shè)備包括圖片錄入設(shè)備和視頻錄入設(shè)備；所述圖片錄入設(shè)備和視頻錄入設(shè)備對(duì)接有高清手術(shù)用分體式內(nèi)窺鏡，在內(nèi)窺鏡工作時(shí)的影像為實(shí)時(shí)傳輸，而圖片錄入設(shè)備則每隔十秒鐘截取一張清晰照片，基于實(shí)時(shí)傳輸場(chǎng)景的圖像、視頻內(nèi)容進(jìn)行識(shí)別和檢索，以幫助醫(yī)生快速識(shí)別組織結(jié)構(gòu)，特征識(shí)別引擎分析樣本特征，然后由特征匹配引擎進(jìn)行數(shù)據(jù)分析并得出數(shù)據(jù)源匹配吻合度的值，最后由人體解剖學(xué)規(guī)則模型根據(jù)解剖學(xué)規(guī)則定義進(jìn)行相應(yīng)處理。

技術(shù)研發(fā)人員：韓迺騫,韓方海
受保護(hù)的技術(shù)使用者：廣州漢思醫(yī)療科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/10