本發(fā)明涉及智能計算,尤其涉及一種相似圖像檢索方法及裝置。
背景技術(shù):
1、相似圖像檢索的常見做法,是將圖像編碼成浮點數(shù)向量,通過比對查詢向量和向量庫中的向量的余弦距離,進行相似度的判斷。這個過程涉及大量的計算,非常耗時。
技術(shù)實現(xiàn)思路
1、本說明書的一個或多個實施例提供了一種相似圖像檢索方法,能夠減少相似圖像檢索過程中的計算量,提高檢索速度。
2、第一方面,提供了一種相似圖像檢索方法,該方法包括:
3、獲取目標(biāo)圖像;
4、對所述目標(biāo)圖像進行語義分割,得到所述目標(biāo)圖像中的物體集合;
5、對所述目標(biāo)圖像進行全景分割,根據(jù)全景分割結(jié)果確定所述目標(biāo)圖像的全分割塊數(shù)目;
6、在圖像庫中,根據(jù)所述目標(biāo)圖像的物體集合和全分割塊數(shù)目篩選出候選圖像;所述圖像庫中的圖像與該圖像中的物體集合和該圖像經(jīng)過全景分割后的全分割塊數(shù)目關(guān)聯(lián)存儲;
7、確定所述目標(biāo)圖像與所述候選圖像之間的相似度;
8、根據(jù)所述目標(biāo)圖像與所述候選圖像之間的相似度,確定所述目標(biāo)圖像的相似圖像。
9、作為第一方面所述方法的一種可選實施方式,對所述目標(biāo)圖像進行語義分割,得到所述目標(biāo)圖像中的物體集合,具體包括:
10、將所述目標(biāo)圖像輸入預(yù)訓(xùn)練的語義分割模型,得到所述目標(biāo)圖像中的物體集合。
11、作為第一方面所述方法的一種可選實施方式,對所述目標(biāo)圖像進行全景分割,根據(jù)全景分割結(jié)果確定所述目標(biāo)圖像的全分割塊數(shù)目,具體包括:
12、將所述目標(biāo)圖像輸入預(yù)訓(xùn)練的全景分割模型,得到所述目標(biāo)圖像的全景分割結(jié)果;
13、根據(jù)所述全景分割結(jié)果,確定所述目標(biāo)圖像的全分割塊數(shù)目。
14、作為第一方面所述方法的一種可選實施方式,其中,
15、對所述目標(biāo)圖像進行語義分割,得到所述目標(biāo)圖像中的物體集合,具體包括:將所述目標(biāo)圖像輸入圖像編碼器,得到所述目標(biāo)圖像的圖像表征;將所述圖像表征輸入第一解碼器,得到所述目標(biāo)圖像中的物體集合;
16、對所述目標(biāo)圖像進行全景分割,根據(jù)全景分割結(jié)果確定所述目標(biāo)圖像的全分割塊數(shù)目,具體包括:將所述圖像表征輸入第二解碼器,得到所述目標(biāo)圖像的全景分割結(jié)果;根據(jù)所述目標(biāo)圖像的全景分割結(jié)果,確定所述目標(biāo)圖像的全分割塊數(shù)目。
17、作為第一方面所述方法的一種可選實施方式,在圖像庫中,根據(jù)所述目標(biāo)圖像的物體集合和全分割塊數(shù)目篩選出候選圖像,具體包括:
18、對于所述圖像庫中的圖像,當(dāng)所述圖像的物體集合與所述目標(biāo)圖像的物體集合的重合度大于預(yù)設(shè)的第一閾值,且所述圖像的全分割塊數(shù)目與所述目標(biāo)圖像的全分割塊數(shù)目的差值小于預(yù)設(shè)的第二閾值時,確定所述圖像為所述目標(biāo)圖像的候選圖像。
19、作為第一方面所述方法的一種可選實施方式,確定所述目標(biāo)圖像與所述候選圖像之間的相似度,具體包括:
20、對所述目標(biāo)圖像進行特征編碼,得到所述目標(biāo)圖像的浮點數(shù)向量;
21、對所述候選圖像進行特征編碼,得到所述候選圖像的浮點數(shù)向量;
22、計算所述目標(biāo)圖像的浮點數(shù)向量和所述候選圖像的浮點數(shù)向量之間的余弦距離,將所述余弦距離作為所述目標(biāo)圖像與所述候選圖像之間的相似度。
23、作為第一方面所述方法的一種可選實施方式,上述的圖像檢索方法還可以包括:
24、在對所述目標(biāo)圖像檢索完畢之后,將所述目標(biāo)圖像與所述目標(biāo)圖像的物體集合和分割塊數(shù)據(jù)關(guān)聯(lián)存儲至所述圖像庫。
25、第二方面,提供了一種相似圖像檢索裝置,包括:
26、數(shù)據(jù)獲取模塊,配置為獲取目標(biāo)圖像;
27、圖像處理模塊,配置為對所述目標(biāo)圖像進行語義分割,得到所述目標(biāo)圖像中的物體集合;以及,對所述目標(biāo)圖像進行全景分割,根據(jù)全景分割結(jié)果確定所述目標(biāo)圖像的全分割塊數(shù)目;
28、第一圖像檢索模塊,配置為在圖像庫中,根據(jù)所述目標(biāo)圖像的物體集合和全分割塊數(shù)目篩選出候選圖像;所述圖像庫中的圖像與該圖像中的物體集合和該圖像經(jīng)過全景分割后的全分割塊數(shù)目關(guān)聯(lián)存儲;
29、第二圖像檢索模塊,配置為確定所述目標(biāo)圖像與所述候選圖像之間的相似度,并根據(jù)所述目標(biāo)圖像與所述候選圖像之間的相似度,確定所述目標(biāo)圖像的相似圖像。
30、作為第二方面所述裝置的一種可選實施方式,所述圖像處理模塊具體用于將所述目標(biāo)圖像輸入預(yù)訓(xùn)練的語義分割模型,得到所述目標(biāo)圖像中的物體集合。
31、作為第二方面所述裝置的一種可選實施方式,所述圖像處理模塊具體用于將所述目標(biāo)圖像輸入預(yù)訓(xùn)練的全景分割模型,得到所述目標(biāo)圖像的全景分割結(jié)果;根據(jù)所述全景分割結(jié)果,確定所述目標(biāo)圖像的全分割塊數(shù)目。
32、作為第二方面所述裝置的一種可選實施方式,所述圖像處理模塊具體用于將所述目標(biāo)圖像輸入圖像編碼器,得到所述目標(biāo)圖像的圖像表征;將所述圖像表征輸入第一解碼器,得到所述目標(biāo)圖像中的物體集合;將所述圖像表征輸入第二解碼器,得到所述目標(biāo)圖像的全景分割結(jié)果;根據(jù)所述目標(biāo)圖像的全景分割結(jié)果,確定所述目標(biāo)圖像的全分割塊數(shù)目。
33、作為第二方面所述裝置的一種可選實施方式,所述第一圖像檢索模塊具體用于針對所述圖像庫中的圖像,當(dāng)所述圖像的物體集合與所述目標(biāo)圖像的物體集合的重合度大于預(yù)設(shè)的第一閾值,且所述圖像的全分割塊數(shù)目與所述目標(biāo)圖像的全分割塊數(shù)目的差值小于預(yù)設(shè)的第二閾值時,確定所述圖像為所述目標(biāo)圖像的候選圖像。
34、作為第二方面所述裝置的一種可選實施方式,所述第二圖像檢索模塊具體用于對所述目標(biāo)圖像進行特征編碼,得到所述目標(biāo)圖像的浮點數(shù)向量;對所述候選圖像進行特征編碼,得到所述候選圖像的浮點數(shù)向量;計算所述目標(biāo)圖像的浮點數(shù)向量和所述候選圖像的浮點數(shù)向量之間的余弦距離,將所述余弦距離作為所述目標(biāo)圖像與所述候選圖像之間的相似度。
35、作為第二方面所述裝置的一種可選實施方式,該裝置還可以包括:
36、存儲模塊,配置為當(dāng)針對所述目標(biāo)圖像的相似圖像檢索完畢之后,將所述目標(biāo)圖像與所述目標(biāo)圖像的物體集合和分割塊數(shù)據(jù)關(guān)聯(lián)存儲至所述圖像庫。
37、第三方面,提供了一種計算機可讀存儲介質(zhì),其上存儲有計算機程序,所述計算機程序被處理器執(zhí)行時實現(xiàn)上述的相似圖像檢索方法。
38、第四方面,提供了一種電子設(shè)備,包括:
39、一個或多個處理器;以及
40、與所述一個或多個處理器關(guān)聯(lián)的存儲器,所述存儲器用于存儲程序指令,所述程序指令在被所述一個或多個處理器讀取執(zhí)行時,執(zhí)行上述的相似圖像檢索方法的具體步驟。
41、本說明書一個或多個實施例所述的相似圖像檢索方法的有益效果在于,該方法應(yīng)用圖像語義分割技術(shù)和圖像全分割技術(shù),對圖像進行物體粒度和全分割粒度信息的提取,并且將提取得到的信息用于余弦距離計算的前一步的數(shù)據(jù)過濾中,從而在保障檢索精度的前提下,有效地減少了數(shù)據(jù)計算需求,提升了圖像檢索性能。
42、本說明書實施例所述的相似圖像檢索裝置同樣具有上述有益效果。