本發(fā)明涉及一種檢索方法與系統(tǒng)，具體為智能相似圖像識(shí)別和檢索方法與系統(tǒng)，屬于圖像相似檢索。

背景技術(shù)：

1、圖像相似檢索，是指通過計(jì)算機(jī)技術(shù)對(duì)圖像進(jìn)行分析和處理，從大規(guī)模的圖像數(shù)據(jù)庫中檢索出與查詢圖像相似的圖像的過程。這個(gè)過程主要依賴于圖像之間的相似度計(jì)算，通過比較圖像的特征來判斷它們之間的相似程度。

2、圖像相似檢索是一種基于圖像內(nèi)容的檢索技術(shù)，通過提取圖像特征并計(jì)算相似度來實(shí)現(xiàn)對(duì)大規(guī)模圖像數(shù)據(jù)庫的快速、準(zhǔn)確搜索。隨著深度學(xué)習(xí)等技術(shù)的不斷發(fā)展，圖像相似檢索的準(zhǔn)確性和效率將得到進(jìn)一步提升，并在更多領(lǐng)域發(fā)揮重要作用。隨著深度學(xué)習(xí)的發(fā)展，基于深度學(xué)習(xí)的自動(dòng)特征提取方法逐漸成為主流，如卷積神經(jīng)網(wǎng)絡(luò)能夠從圖像中學(xué)習(xí)到更高級(jí)、更抽象的特征表示。

3、現(xiàn)有的圖像場景相似度，基本上都是利用卷積圖像算法如cnn、efficient?net或者其它算法從整張圖像中提取一個(gè)512維的特征，與另外的圖像進(jìn)行相似度度量計(jì)算，但是這樣的方法，從整個(gè)圖片中提取一個(gè)特征，往往很難適應(yīng)圖片之間的各種變化：如光線變化、角度變化等等各種變化情況，在大角度變化下，這樣的特征只有很低的余弦相似度，為此，提出一種智能相似圖像識(shí)別和檢索方法與系統(tǒng)。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本發(fā)明提供一種智能相似圖像識(shí)別和檢索方法與系統(tǒng)，以解決或緩解現(xiàn)有技術(shù)中存在的技術(shù)問題，至少提供一種有益的選擇。

2、本發(fā)明實(shí)施例的技術(shù)方案是這樣實(shí)現(xiàn)的：一種智能相似圖像識(shí)別和檢索方法，包括以下步驟：

3、使用super?point算法從每個(gè)圖像中提取關(guān)鍵特征點(diǎn)；

4、構(gòu)建特征向量，為每個(gè)特征點(diǎn)生成256維的描述向量，用于表示特征點(diǎn)的局部特征；

5、構(gòu)建向量數(shù)據(jù)庫，將圖像的特征點(diǎn)及其描述向量存儲(chǔ)到向量數(shù)據(jù)庫中；

6、使用hnsw算法在向量數(shù)據(jù)庫中預(yù)檢索，根據(jù)特征點(diǎn)的描述向量找到候選圖像；

7、使用lightglue算法對(duì)篩選后的候選圖像進(jìn)行匹配，獲取相似場景圖像。

8、進(jìn)一步優(yōu)選的，所述super?point算法從圖像中提取512個(gè)特征點(diǎn)，每個(gè)特征點(diǎn)對(duì)應(yīng)256維特征向量，所述super?point算法從圖像中提取[512*256]個(gè)向量化特征。

9、進(jìn)一步優(yōu)選的，所述向量數(shù)據(jù)庫中設(shè)置有檢索和查詢機(jī)制，所述向量數(shù)據(jù)庫支持大規(guī)模圖像數(shù)據(jù)的檢索。

10、進(jìn)一步優(yōu)選的，所述super?point算法在提取關(guān)鍵特征點(diǎn)時(shí)，包括以下步驟，

11、將圖像輸入到super?point預(yù)訓(xùn)練的網(wǎng)絡(luò)中；

12、網(wǎng)絡(luò)中的特征點(diǎn)檢測提取模塊識(shí)別圖像中的關(guān)鍵位置；

13、對(duì)每個(gè)檢測到的特征點(diǎn)，生成256維的描述向量，描述特征點(diǎn)周圍的局部特征；

14、然后輸出特征點(diǎn)的位置信息和對(duì)應(yīng)的描述向量。

15、一種智能相似圖像識(shí)別和檢索系統(tǒng)，包括預(yù)處理模塊、特征點(diǎn)檢測提取模塊、向量數(shù)據(jù)庫、預(yù)檢索模塊、篩選模塊和匹配模塊；

16、所述預(yù)處理模塊的信號(hào)端與所述特征點(diǎn)檢測提取模塊的信號(hào)端連接，所述向量數(shù)據(jù)庫的信號(hào)端分別與所述特征點(diǎn)檢測模塊的信號(hào)端和所述預(yù)檢索模塊的信號(hào)端連接，所述篩選模塊的信號(hào)端分別與所述匹配模塊的信號(hào)端和所述預(yù)檢索模塊的信號(hào)端連接；

17、所述預(yù)處理模塊用于，對(duì)輸入圖像進(jìn)行預(yù)處理，包括尺寸調(diào)整和歸一化處理。

18、進(jìn)一步優(yōu)選的，所述特征點(diǎn)檢測提取模塊用于，從每個(gè)圖像中提取關(guān)鍵特征點(diǎn)；

19、所述向量數(shù)據(jù)庫用于，存儲(chǔ)圖像的特征點(diǎn)及其描述向量。

20、進(jìn)一步優(yōu)選的，所述預(yù)檢索模塊用于，使用hnsw算法在向量數(shù)據(jù)庫中預(yù)檢索，根據(jù)特征點(diǎn)的描述向量找到候選圖像；

21、所述篩選模塊用于，對(duì)預(yù)檢索得到的候選圖像進(jìn)行初步篩選，去除不相關(guān)的圖像。

22、進(jìn)一步優(yōu)選的，所述匹配模塊用于，對(duì)篩選后的候選圖像進(jìn)行匹配，獲取相似場景圖像。

23、本發(fā)明實(shí)施例由于采用以上技術(shù)方案，其具有以下優(yōu)點(diǎn)：本發(fā)明通過利用superpoint算法，從圖片中提取512個(gè)特征點(diǎn)，以及每個(gè)特征點(diǎn)對(duì)應(yīng)的216維特征向量，總共有[512?*?256]的向量化特征，也就是說一個(gè)圖片有512個(gè)點(diǎn)，每個(gè)點(diǎn)對(duì)應(yīng)一個(gè)256維的向量，所有的存儲(chǔ)圖像特征點(diǎn)及其描述向量存儲(chǔ)到向量數(shù)據(jù)庫中，再用hnsw算法，在向量數(shù)據(jù)庫中從點(diǎn)的維度上進(jìn)行檢索、并將每個(gè)點(diǎn)檢索出來的點(diǎn)所屬的圖片進(jìn)行投票，得到topn的圖片，再使用lightglue算法對(duì)篩選后的候選圖像進(jìn)行匹配，獲取相似場景圖像，實(shí)現(xiàn)對(duì)預(yù)檢索后的圖片進(jìn)行更高精度的匹配。

24、上述概述僅僅是為了說明書的目的，并不意圖以任何方式進(jìn)行限制。除上述描述的示意性的方面、實(shí)施方式和特征之外，通過參考附圖和以下的詳細(xì)描述，本發(fā)明進(jìn)一步的方面、實(shí)施方式和特征將會(huì)是容易明白的。

技術(shù)特征：

1.一種智能相似圖像識(shí)別和檢索方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的一種智能相似圖像識(shí)別和檢索方法，其特征在于：所述superpoint算法從圖像中提取512個(gè)特征點(diǎn)，每個(gè)特征點(diǎn)對(duì)應(yīng)256維特征向量，所述super?point算法從圖像中提取[512*256]個(gè)向量化特征。

3.根據(jù)權(quán)利要求2所述的一種智能相似圖像識(shí)別和檢索方法，其特征在于：所述向量數(shù)據(jù)庫中設(shè)置有檢索和查詢機(jī)制，所述向量數(shù)據(jù)庫支持大規(guī)模圖像數(shù)據(jù)的檢索。

4.根據(jù)權(quán)利要求1所述的一種智能相似圖像識(shí)別和檢索方法，其特征在于：所述superpoint算法在提取關(guān)鍵特征點(diǎn)時(shí)，包括以下步驟，

5.一種智能相似圖像識(shí)別和檢索系統(tǒng)，應(yīng)用于如權(quán)利要求1-4任一項(xiàng)所述的智能相似圖像識(shí)別和檢索方法，其特征在于，包括預(yù)處理模塊、特征點(diǎn)檢測提取模塊、向量數(shù)據(jù)庫、預(yù)檢索模塊、篩選模塊和匹配模塊；

6.根據(jù)權(quán)利要求5所述的一種智能相似圖像識(shí)別和檢索系統(tǒng)，其特征在于：所述特征點(diǎn)檢測提取模塊用于，從每個(gè)圖像中提取關(guān)鍵特征點(diǎn)；

7.根據(jù)權(quán)利要求6所述的一種智能相似圖像識(shí)別和檢索系統(tǒng)，其特征在于：所述預(yù)檢索模塊用于，使用hnsw算法在向量數(shù)據(jù)庫中預(yù)檢索，根據(jù)特征點(diǎn)的描述向量找到候選圖像；

8.根據(jù)權(quán)利要求7所述的一種智能相似圖像識(shí)別和檢索系統(tǒng)，其特征在于：所述匹配模塊用于，對(duì)篩選后的候選圖像進(jìn)行匹配，獲取相似場景圖像。

技術(shù)總結(jié)
本發(fā)明提供了一種智能相似圖像識(shí)別和檢索方法與系統(tǒng)，包括以下步驟：使用Super?Point算法從每個(gè)圖像中提取關(guān)鍵特征點(diǎn)；構(gòu)建特征向量，為每個(gè)特征點(diǎn)生成256維的描述向量，用于表示特征點(diǎn)的局部特征。本發(fā)明先利用Super?Point算法，從圖片中提取512個(gè)特征點(diǎn)，以及每個(gè)特征點(diǎn)對(duì)應(yīng)的216維特征向量，總共有[512*256]的向量化特征，在向量數(shù)據(jù)庫中從點(diǎn)的維度上進(jìn)行檢索、并將每個(gè)點(diǎn)檢索出來的點(diǎn)所屬的圖片進(jìn)行投票計(jì)數(shù)，取出向量數(shù)據(jù)庫中被匹配到點(diǎn)最多的圖片，得到topN的圖片，再使用LightGlue算法對(duì)篩選后的候選圖像進(jìn)行匹配，獲取相似場景圖像，實(shí)現(xiàn)對(duì)預(yù)檢索后的圖片進(jìn)行更高精度的匹配，在大規(guī)模檢索數(shù)據(jù)量下，同時(shí)得到最高的檢索效率和精度。

技術(shù)研發(fā)人員：吳永杰,龍濤,楊恒,余文炫,劉艷
受保護(hù)的技術(shù)使用者：深圳愛莫科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/5