技術(shù)特征：

1.一種基于多模態(tài)學(xué)習(xí)的定制化鏡檢病例分級檢索系統(tǒng)，其特征在于：包括依次連接的圖像采集模塊、檢測診斷模塊、定制檢索模塊和與所述檢測診斷模塊、所述定制檢索模塊均可交互的數(shù)據(jù)庫模塊，所述定制檢索模塊也可與所述檢測診斷模塊進(jìn)行交互；

2.根據(jù)權(quán)利要求1所述的一種基于多模態(tài)學(xué)習(xí)的定制化鏡檢病例分級檢索系統(tǒng)，其特征在于：所述鏡檢病例圖像為數(shù)字化顯微鏡下的涂片成像，所述圖片增強(qiáng)處理包括去噪和銳化。

3.根據(jù)權(quán)利要求1所述的一種基于多模態(tài)學(xué)習(xí)的定制化鏡檢病例分級檢索系統(tǒng)，其特征在于：定制化鏡檢病例分級檢索系統(tǒng)的檢索方法包括以下步驟：

4.根據(jù)權(quán)利要求3所述的一種基于多模態(tài)學(xué)習(xí)的定制化鏡檢病例分級檢索系統(tǒng)，其特征在于：步驟s3包括以下步驟：

5.根據(jù)權(quán)利要求4所述的一種基于多模態(tài)學(xué)習(xí)的定制化鏡檢病例分級檢索系統(tǒng)，其特征在于：步驟s31包括以下步驟：

6.根據(jù)權(quán)利要求5所述的一種基于多模態(tài)學(xué)習(xí)的定制化鏡檢病例分級檢索系統(tǒng)，其特征在于：所述圖像編碼器、所述圖像-文本特征轉(zhuǎn)換單元和所述文本編碼器均為基于clip組件；

7.根據(jù)權(quán)利要求6所述的一種基于多模態(tài)學(xué)習(xí)的定制化鏡檢病例分級檢索系統(tǒng)，其特征在于：所述圖像編碼器、所述圖像-文本特征轉(zhuǎn)換單元、所述文本編碼器均為resnet50結(jié)構(gòu)的模型。

8.根據(jù)權(quán)利要求5所述的一種基于多模態(tài)學(xué)習(xí)的定制化鏡檢病例分級檢索系統(tǒng)，其特征在于：步驟s32包括以下步驟：

9.根據(jù)權(quán)利要求8所述的一種基于多模態(tài)學(xué)習(xí)的定制化鏡檢病例分級檢索系統(tǒng)，其特征在于：步驟s321、s322、s323中，當(dāng)未得到相似度超過預(yù)設(shè)閾值的歷史數(shù)據(jù)時(shí)，返回“歷史數(shù)據(jù)中無相似圖像”信息并在所述系統(tǒng)使用界面中顯示，提示用戶修改檢索要求或修改檢索相似度閾值設(shè)置。

10.根據(jù)權(quán)利要求8所述的一種基于多模態(tài)學(xué)習(xí)的定制化鏡檢病例分級檢索系統(tǒng)，其特征在于：步驟s321中，使用余弦相似度進(jìn)行相似度計(jì)算，其中和分別為歸一化后的文本和所述待檢索歷史鏡檢病例圖像數(shù)據(jù)經(jīng)clip編碼器輸出的特征表示；

技術(shù)總結(jié)
本發(fā)明提供一種基于多模態(tài)學(xué)習(xí)的定制化鏡檢病例分級檢索系統(tǒng)，利用CLIP模型處理以圖像形式輸入的檢索需求，并與以文本形式輸入的檢索需求融合后，提取其特征表示信息，再與歷史數(shù)據(jù)中圖像經(jīng)CLIP編碼后的特征表示進(jìn)行對比得到與融合后檢索需求最接近的歷史圖像；本發(fā)明針對醫(yī)學(xué)圖像具有較多細(xì)粒度差異的特點(diǎn)，對現(xiàn)有的特征匹配方式進(jìn)行了改進(jìn)，引入對歷史數(shù)據(jù)特征表示的分級檢索設(shè)計(jì)，提高了定制檢索的準(zhǔn)確度。本發(fā)明結(jié)合病人的鏡檢圖像和醫(yī)師診斷中的具體需求，檢索、呈現(xiàn)歷史相關(guān)病例圖像及診斷信息，輔助醫(yī)師做出判斷、提高診斷準(zhǔn)確性；本發(fā)明將特別有助于鏡檢中爭議病例、稀少病例等的診斷，為醫(yī)師診療提供可靠的依據(jù)和參考。

技術(shù)研發(fā)人員：李柏蕤,連荷清,李思璇
受保護(hù)的技術(shù)使用者：北京小蠅科技有限責(zé)任公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19