本發(fā)明涉及輸液場(chǎng)景監(jiān)控，具體為一種基于ai視覺(jué)輸液場(chǎng)景監(jiān)控的識(shí)別系統(tǒng)及輸液監(jiān)控儀設(shè)備。

背景技術(shù)：

1、輸液監(jiān)控系統(tǒng)可以將病人輸液的進(jìn)度信息同步顯示在監(jiān)控屏上，實(shí)時(shí)監(jiān)測(cè)輸液的狀態(tài)，并在輸液完畢時(shí)發(fā)出提示信息，幫助醫(yī)護(hù)人員及時(shí)準(zhǔn)確、高效地完成對(duì)病人輸液監(jiān)管的任務(wù)，在申請(qǐng)?zhí)枮閏n202111551832.9發(fā)明專利中公開(kāi)了“一種基于電導(dǎo)檢測(cè)可識(shí)別基礎(chǔ)輸液的輸液監(jiān)測(cè)系統(tǒng)及方法，該系統(tǒng)包括基礎(chǔ)輸液種類識(shí)別裝置、滴速監(jiān)測(cè)裝置、交流激勵(lì)源、mcu以及與mcu無(wú)線通信的監(jiān)測(cè)服務(wù)器，所述的基礎(chǔ)輸液種類識(shí)別裝置包括設(shè)置在輸液上管路或下管路外壁上的第一傳感組件，所述的滴速監(jiān)測(cè)裝置包括設(shè)置在滴壺外壁上的第二傳感組件，所述的交流激勵(lì)源分別與第一傳感組件和第二傳感組件連接用以施加激勵(lì)電壓，所述的mcu分別與第一傳感組件和第二傳感組件連接，通過(guò)采集到的信號(hào)進(jìn)行處理實(shí)現(xiàn)基礎(chǔ)輸液種類識(shí)別和滴速監(jiān)測(cè)及輔助異常報(bào)警。與現(xiàn)有技術(shù)相比，本發(fā)明具有可識(shí)別基礎(chǔ)輸液種類，系統(tǒng)可復(fù)用、安裝簡(jiǎn)單、成本低并可實(shí)現(xiàn)遠(yuǎn)程監(jiān)護(hù)等優(yōu)點(diǎn)?！?；

2、上述現(xiàn)有技術(shù)解決了需要人工檢查輸液所用的藥品以及無(wú)法及時(shí)發(fā)現(xiàn)滴速異常等問(wèn)題，但是系統(tǒng)在運(yùn)行時(shí)，由于對(duì)不同輸液瓶的材質(zhì)未進(jìn)行劃分，導(dǎo)致輸液過(guò)程對(duì)于液體的實(shí)際重量在分析時(shí)存在較大的誤差，使得在監(jiān)護(hù)時(shí)不能夠及時(shí)發(fā)現(xiàn)輸液完畢，同時(shí)該系統(tǒng)并不會(huì)對(duì)輸液的藥品名稱以及生產(chǎn)廠家進(jìn)行查詢，使得醫(yī)護(hù)人員需要人工對(duì)這些藥品對(duì)應(yīng)的患者信息進(jìn)行查詢。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于提供一種基于ai視覺(jué)輸液場(chǎng)景監(jiān)控的識(shí)別系統(tǒng)及輸液監(jiān)控儀設(shè)備，以解決上述背景技術(shù)中提出的問(wèn)題。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：一種基于ai視覺(jué)輸液場(chǎng)景監(jiān)控的識(shí)別系統(tǒng)，包括文字識(shí)別單元、藥品審核單元和輸液監(jiān)測(cè)單元；

3、信息獲取單元，所述信息獲取單元獲取每個(gè)患者輸液清單中對(duì)應(yīng)的藥品名稱以及生產(chǎn)廠家，將其傳輸至數(shù)據(jù)庫(kù)中，將現(xiàn)有輸液瓶的材質(zhì)劃分為三種類型，分別是玻璃瓶、塑料瓶和塑料袋，提取不同生產(chǎn)廠家的藥品輸液瓶對(duì)應(yīng)的材質(zhì)后，統(tǒng)計(jì)每種材質(zhì)存在的容量，確定不同容量對(duì)應(yīng)的輸液瓶重量，以藥品名稱、輸液瓶材質(zhì)、容量、生產(chǎn)廠家以及重量的數(shù)據(jù)存儲(chǔ)形式傳輸至數(shù)據(jù)庫(kù)中；

4、圖像處理單元，所述圖像處理單元利用相機(jī)對(duì)不同材質(zhì)的輸液瓶進(jìn)行拍攝，將采集到的圖像信息作為初始圖像信息傳輸至樣本數(shù)據(jù)集中，使用隨機(jī)變量對(duì)樣本數(shù)據(jù)集中的多張初始圖像信息進(jìn)行處理，得到具備高斯噪聲的圖像信息，將其存儲(chǔ)至樣本數(shù)據(jù)集中，統(tǒng)計(jì)圖像信息中不同灰度級(jí)對(duì)應(yīng)的像素點(diǎn)數(shù)目，利用分布函數(shù)推算出參考灰度級(jí)，根據(jù)參考灰度級(jí)對(duì)圖像信息的灰度級(jí)進(jìn)行調(diào)整，處理后的圖像信息存儲(chǔ)至樣本數(shù)據(jù)集中；

5、材質(zhì)分析單元，所述材質(zhì)分析單元利用alexnet神經(jīng)網(wǎng)絡(luò)構(gòu)建出輸液瓶材質(zhì)識(shí)別模型，根據(jù)預(yù)設(shè)值在訓(xùn)練集中獲取屬于同一類型的多張圖像信息，將其作為輸入傳輸至模型時(shí)，使用dropout技術(shù)在模型的兩層全連接層中隨機(jī)選擇百分之二十的神經(jīng)網(wǎng)絡(luò)進(jìn)行刪除，通過(guò)余下的神經(jīng)網(wǎng)絡(luò)對(duì)圖像信息進(jìn)行分析后，迭代更新模型的參數(shù)，恢復(fù)刪除的神經(jīng)網(wǎng)絡(luò)，重復(fù)操作直至完成模型訓(xùn)練，利用攝像機(jī)對(duì)當(dāng)前輸液瓶進(jìn)行拍攝，將采集到圖像信息傳輸至輸液瓶材質(zhì)識(shí)別模型中進(jìn)行分析，將得到的結(jié)果進(jìn)行輸出；

6、文字檢測(cè)單元，所述文字檢測(cè)單元從數(shù)據(jù)庫(kù)中提取當(dāng)前圖像信息后，對(duì)圖像信息相應(yīng)的特征圖進(jìn)行滑窗操作，在每個(gè)窗口中心區(qū)域選取十個(gè)限位框來(lái)預(yù)測(cè)文本候選區(qū)域，將特征圖中每一行對(duì)應(yīng)的特征向量傳輸至循環(huán)神經(jīng)網(wǎng)絡(luò)中，通過(guò)循環(huán)神經(jīng)網(wǎng)絡(luò)對(duì)其進(jìn)行分析得到對(duì)應(yīng)的序列特征，使用softmax計(jì)算出特征圖對(duì)應(yīng)的先驗(yàn)框和每個(gè)限位框之間的交集面積與并集面積之比，若得到的數(shù)據(jù)大于閾值時(shí)，則對(duì)應(yīng)的限位框判定為正樣本，利用偏移量分析算法對(duì)這些限位框進(jìn)行分析，確定限位框的位置以及高度，并將相鄰距離最小的多個(gè)文本候選區(qū)域拼接生成文本行。

7、優(yōu)選的，所述圖像處理單元包括初始樣本采集模塊和第一噪聲添加模塊，所述初始樣本采集模塊利用相機(jī)對(duì)不同材質(zhì)的輸液瓶進(jìn)行拍攝，將采集到的圖像信息作為初始圖像信息按照不同材質(zhì)類型傳輸至樣本數(shù)據(jù)集中，所述第一噪聲添加模塊利用隨機(jī)數(shù)生成函數(shù)計(jì)算得到兩個(gè)數(shù)值后，通過(guò)box-muller變換公式將其轉(zhuǎn)化為高斯分布的隨機(jī)變量，使用隨機(jī)變量對(duì)樣本數(shù)據(jù)集中的多張初始圖像信息進(jìn)行處理，得到具備高斯噪聲的圖像信息，所述box-muller變換公式是將均勻分布的隨機(jī)數(shù)變換成服從正態(tài)分的隨機(jī)數(shù)的一種方式。

8、優(yōu)選的，所述圖像處理單元還包括第二噪聲添加模塊和灰度級(jí)分析模塊，所述第二噪聲添加模塊設(shè)定圖像對(duì)應(yīng)的信噪比，根據(jù)樣本數(shù)據(jù)集中的圖像信息所包含的像素總數(shù)以及信噪比進(jìn)行推算，得到設(shè)置干擾的像素?cái)?shù)后，利用得到的像素?cái)?shù)確定圖像信息中像素點(diǎn)的指定位置，將對(duì)應(yīng)位置的像素值設(shè)定為零，得到具備脈沖噪聲的圖像信息，將其存儲(chǔ)至樣本數(shù)據(jù)集中，所述灰度級(jí)分析模塊統(tǒng)計(jì)圖像信息中不同灰度級(jí)對(duì)應(yīng)的像素點(diǎn)數(shù)目，確定每種灰度級(jí)對(duì)應(yīng)的像素比例后，根據(jù)像素比例得到該圖像信息對(duì)應(yīng)的分布函數(shù)，利用分布函數(shù)推算出參考灰度級(jí)，并對(duì)圖像信息的灰度級(jí)進(jìn)行調(diào)整，得到處理后的圖像信息，將其存儲(chǔ)至樣本數(shù)據(jù)集中，所述分布函數(shù)具體為：

9、

10、其中，nk表示原圖像中不同灰度級(jí)的像素個(gè)數(shù)，n表示原圖像中像素總個(gè)數(shù)，k表示當(dāng)前灰度級(jí)的編號(hào)，l表示灰度級(jí)個(gè)數(shù)，sk表示分布函數(shù)，j表示參數(shù)。

11、優(yōu)選的，所述材質(zhì)分析單元包括數(shù)據(jù)集劃分模塊、模型構(gòu)建模塊、模型優(yōu)化模塊、模型訓(xùn)練模塊和材質(zhì)確定模塊，所述數(shù)據(jù)集劃分模塊將樣本數(shù)據(jù)集中每種類型的圖像信息提取百分之八十傳輸至訓(xùn)練數(shù)據(jù)集中，余下的圖像信息傳輸至測(cè)試數(shù)據(jù)集中，所述模型構(gòu)建模塊利用alexnet神經(jīng)網(wǎng)絡(luò)構(gòu)建出輸液瓶材質(zhì)識(shí)別模型，所述輸液瓶材質(zhì)識(shí)別模型包含五層卷積層和三層全連接層，所述模型優(yōu)化模塊設(shè)置每次輸入的樣本數(shù)量后，根據(jù)預(yù)設(shè)值在訓(xùn)練集中獲取屬于同一類型的多張圖像信息，將其作為輸入傳輸至模型時(shí)，使用dropout技術(shù)在兩層全連接層中隨機(jī)選擇百分之二十的神經(jīng)網(wǎng)絡(luò)進(jìn)行刪除，并對(duì)刪除的神經(jīng)網(wǎng)絡(luò)參數(shù)進(jìn)行備份，通過(guò)余下的神經(jīng)網(wǎng)絡(luò)對(duì)圖像信息進(jìn)行分析后，得到模型的預(yù)測(cè)值，所述模型訓(xùn)練模塊利用損失函數(shù)對(duì)模型生成概率與實(shí)際概率之間的差異進(jìn)行分析后，設(shè)定動(dòng)量參數(shù)，根據(jù)損失函數(shù)提供的對(duì)應(yīng)目標(biāo)概率，對(duì)網(wǎng)絡(luò)中的梯度進(jìn)行估計(jì)，迭代更新模型的參數(shù)后，恢復(fù)刪除的神經(jīng)網(wǎng)絡(luò)，重復(fù)操作直至完成模型訓(xùn)練，所述材質(zhì)確定模塊利用攝像機(jī)對(duì)當(dāng)前輸液瓶進(jìn)行拍攝，將采集到的圖像信息存儲(chǔ)至數(shù)據(jù)庫(kù)中，從數(shù)據(jù)庫(kù)中調(diào)取當(dāng)前圖像信息，將其傳輸至輸液瓶材質(zhì)識(shí)別模型中進(jìn)行分析，得到三種材質(zhì)對(duì)應(yīng)的概率，選取概率最高的材質(zhì)作為結(jié)果進(jìn)行輸出，所述alexnet神經(jīng)網(wǎng)絡(luò)是一種深度卷積神經(jīng)網(wǎng)絡(luò)，所述dropout技術(shù)主要用于避免神經(jīng)網(wǎng)絡(luò)過(guò)擬合現(xiàn)象發(fā)生。

12、優(yōu)選的，所述文字檢測(cè)單元包括限位框選取模塊和序列特征生成模塊，所述限位框選取模塊從數(shù)據(jù)庫(kù)中提取當(dāng)前圖像信息后，使用vgg16卷積神經(jīng)網(wǎng)絡(luò)對(duì)當(dāng)前圖像信息進(jìn)行分析，得到對(duì)應(yīng)圖像信息的特征圖，在特征圖中進(jìn)行滑窗操作，先設(shè)定窗口大小為3×3，在每個(gè)窗口中心區(qū)域選取十個(gè)限位框來(lái)預(yù)測(cè)文本候選區(qū)域，所述序列特征生成模塊每個(gè)窗口中心與其周?chē)鷧^(qū)域結(jié)合生成一個(gè)特征向量，將特征圖中每一行對(duì)應(yīng)的特征向量傳輸至循環(huán)神經(jīng)網(wǎng)絡(luò)中，通過(guò)循環(huán)神經(jīng)網(wǎng)絡(luò)對(duì)其進(jìn)行分析得到對(duì)應(yīng)的序列特征，所述vgg16卷積神經(jīng)網(wǎng)絡(luò)是一種深度卷積神經(jīng)網(wǎng)絡(luò)。

13、優(yōu)選的，所述文字檢測(cè)單元還包括限位框位置確定模塊和文本區(qū)域拼接模塊，所述限位框位置確定模塊使用softmax函數(shù)將超出圖像信息邊界的限位框進(jìn)行刪除后，計(jì)算出特征圖對(duì)應(yīng)的先驗(yàn)框和每個(gè)限位框之間的交集面積與并集面積之比，若得到的數(shù)據(jù)大于閾值時(shí)，則對(duì)應(yīng)的限位框判定為正樣本，若得到的數(shù)據(jù)小于閾值但均大于其余限位框得到的數(shù)據(jù)時(shí)，也將對(duì)應(yīng)的限位框判定為正樣本，利用偏移量分析算法對(duì)其進(jìn)行分析，確定限位框的位置以及高度，所述文本區(qū)域拼接模塊根據(jù)限位框的位置以及高度分析出每個(gè)文本候選區(qū)域的具體位置后，將相鄰距離最小的多個(gè)文本候選區(qū)域進(jìn)行拼接生成文本行，利用邊緣細(xì)化算法對(duì)于每個(gè)文本行的周?chē)鷧^(qū)域進(jìn)行檢測(cè)，將剩余的鄰近文字候選區(qū)域合并至文本行中，所述偏移量分析算法具體為：

14、

15、其中，υ＝(υc,υh)表示相對(duì)預(yù)測(cè)坐標(biāo)，υ′＝(υc′,υh′)表示先驗(yàn)坐標(biāo)，表示限位框的y軸中心，ha表示限位框的高度，cy表示輸入圖像中預(yù)測(cè)的y坐標(biāo)，h表示輸入圖像中預(yù)測(cè)的高度，c′y表示先驗(yàn)框中的y坐標(biāo)，h′表示先驗(yàn)框的高度。

16、優(yōu)選的，所述文字識(shí)別單元包括文字序列生成模塊、文字信息處理模塊和文字序列存儲(chǔ)模塊，所述文字序列生成模塊提取圖像信息中所有文本候選區(qū)域，將這些文本候選區(qū)域的圖像信息設(shè)置成相同的高度后，利用卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)這些圖像信息進(jìn)行分析，得到包含序列信息的特征向量，特征圖中的每一幀順序與文本候選區(qū)域的順序均對(duì)應(yīng)，將特征向量傳輸至循環(huán)神經(jīng)網(wǎng)絡(luò)中進(jìn)行識(shí)別，得到多個(gè)連續(xù)幀對(duì)應(yīng)的文字序列，所述文字信息處理模塊利用分類器對(duì)文本序列進(jìn)行檢測(cè)，將序列中含有的空格信息轉(zhuǎn)換成間隔符后，再次遍歷文本序列，一旦發(fā)現(xiàn)序列中存在重復(fù)的文字信息時(shí)，判斷重復(fù)的文本信息之間是否存在間隔符，若重復(fù)文字信息之間存在間隔符，則保留文字信息，若重復(fù)文字信息之間不存在間隔符，則保留序列靠前的文字信息，其余信息進(jìn)行刪除，處理后的文本序列傳輸至數(shù)據(jù)庫(kù)中，所述文字序列存儲(chǔ)模塊根據(jù)識(shí)別出的文本序列確定當(dāng)前圖像對(duì)應(yīng)的藥品名稱、生產(chǎn)廠家、有效期限以及藥瓶容量，將其傳輸至數(shù)據(jù)庫(kù)中。

17、優(yōu)選的，所述藥品審核單元利用數(shù)據(jù)庫(kù)查看工具根據(jù)藥品名稱以及生產(chǎn)廠家在對(duì)應(yīng)數(shù)據(jù)庫(kù)中進(jìn)行查詢，若查詢到對(duì)應(yīng)的患者信息時(shí)，將其通過(guò)可視化界面進(jìn)行輸出，若未查詢到對(duì)應(yīng)的患者信息時(shí)，將通過(guò)可視化界面返回不允許執(zhí)行輸液的信息，并以語(yǔ)音播報(bào)的形式進(jìn)行提示，所述數(shù)據(jù)庫(kù)查看工具具體為navicat?for?mysql查詢器。

18、優(yōu)選的，所述輸液監(jiān)測(cè)單元包括有效期限分析模塊、重量監(jiān)測(cè)模塊、結(jié)束提示模塊和流速檢測(cè)模塊，所述有效期限分析模塊通過(guò)數(shù)據(jù)庫(kù)查看工具根據(jù)藥品名稱、輸液瓶材質(zhì)、容量、生產(chǎn)廠家在數(shù)據(jù)庫(kù)中進(jìn)行查詢，得到輸液瓶對(duì)應(yīng)的重量，并利用處理器分析當(dāng)前時(shí)間是否符合有效期限范圍，若符合有效期限范圍，則不執(zhí)行任何操作，反之則通過(guò)可視化界面返回不允許執(zhí)行輸液的信息，并以語(yǔ)音播報(bào)的形式進(jìn)行提示，所述重量監(jiān)測(cè)模塊利用重量傳感器在輸液瓶使用過(guò)程中對(duì)其實(shí)際重量進(jìn)行監(jiān)測(cè)，將得到的數(shù)據(jù)以及對(duì)應(yīng)時(shí)間傳輸至數(shù)據(jù)庫(kù)中，所述結(jié)束提示模塊從數(shù)據(jù)庫(kù)中獲取重量傳感器采集到的數(shù)據(jù)以及時(shí)間后，根據(jù)輸液瓶對(duì)應(yīng)的重量以及承裝液體時(shí)的完整重量分析出當(dāng)前輸液瓶剩余液體重量，若剩余液體重量小于等于五克時(shí)，將通過(guò)可視化界面返回輸液即將完成的信息，并以語(yǔ)音播報(bào)的形式進(jìn)行提示，反之則通過(guò)可視化界面返回剩余液體重量信息，所述流速檢測(cè)模塊當(dāng)用戶需要確定當(dāng)時(shí)輸液速度時(shí)，獲取當(dāng)前承裝液體時(shí)的輸液瓶重量以及前三次采集到的當(dāng)前承裝液體時(shí)的輸液瓶重量后，根據(jù)每次重量傳感器采集數(shù)據(jù)的時(shí)間間隔計(jì)算當(dāng)前輸液的平均速度以及瞬時(shí)速度，將其通過(guò)可視化界面進(jìn)行輸出。

19、一種輸液監(jiān)控儀設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)所述一種基于ai視覺(jué)輸液場(chǎng)景監(jiān)控的識(shí)別系統(tǒng)。

20、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：

21、1、本發(fā)明通過(guò)圖像處理單元將采集到的多個(gè)圖像信息作為初始圖像信息傳輸至樣本數(shù)據(jù)集中，并在初始圖像信息中添加高斯噪聲和脈沖噪聲，由于這兩種噪聲在實(shí)際拍攝所產(chǎn)生的圖像信息中最為常見(jiàn)，因此在樣本數(shù)據(jù)集中存儲(chǔ)經(jīng)過(guò)處理后的圖像信息對(duì)于模型訓(xùn)練具有極大的幫助，便于模型在迭代更新參數(shù)時(shí)能夠更加準(zhǔn)確，同時(shí)將樣本數(shù)據(jù)集中的圖像信息對(duì)應(yīng)灰度級(jí)進(jìn)行調(diào)整，使得樣本數(shù)據(jù)集中包含的圖像信息具備多樣性，保證輸液瓶材質(zhì)識(shí)別模型對(duì)于不同類型的圖像信息進(jìn)行分析時(shí)均能夠快速得到對(duì)應(yīng)的材質(zhì)信息；

22、2、本發(fā)明通過(guò)文字檢測(cè)單元和文字識(shí)別單元能夠準(zhǔn)確的分析出當(dāng)前圖像信息中輸液瓶表面的相關(guān)信息具體位置以及內(nèi)容，便于后續(xù)根據(jù)藥品名稱以及生產(chǎn)廠家查詢患者相關(guān)信息，避免藥品錯(cuò)誤使用的情況發(fā)生，同時(shí)根據(jù)識(shí)別的文本信息以及輸液瓶材質(zhì)識(shí)別模型分析得到的輸液瓶材質(zhì)信息準(zhǔn)確獲取當(dāng)前圖像中涉及到的輸液瓶重量信息，利用重力傳感器測(cè)量輸液瓶承裝全部液體的完整重量，通過(guò)這些數(shù)據(jù)便能夠精確分析出液體的實(shí)際重量，當(dāng)輸液即將完成時(shí)能夠及時(shí)提示醫(yī)護(hù)人員進(jìn)行更換，并且在輸液過(guò)程中還可以實(shí)時(shí)監(jiān)測(cè)液體的流速。