本發(fā)明屬于計(jì)算機(jī)和互聯(lián)網(wǎng)領(lǐng)域，特別涉及一種基于大語言模型增強(qiáng)的文本-行人檢索方法。

背景技術(shù)：

1、文本-行人檢索技術(shù)廣泛應(yīng)用于人員識別方面，例如用于尋找走失兒童、協(xié)助警方尋找犯罪人員等。當(dāng)給出關(guān)于人員的具體文本描述時(shí)，文本-行人檢索模型可以根據(jù)所輸入的文本尋找出對應(yīng)的圖片，實(shí)現(xiàn)人員識別。

2、例如，在搜索場景中，用戶輸入查詢文本：一個穿著灰色短褲，灰色鞋子和腰間掛著白色錢包的女人，即可通過文本-行人檢索技術(shù)查找該文本對應(yīng)的包含該女人的圖片。該技術(shù)極大地提高了用戶尋找目標(biāo)人員的速度，協(xié)助用戶準(zhǔn)確判斷目標(biāo)人員的位置。

3、相較于直接使用圖像進(jìn)行人員識別，基于文本進(jìn)行人員檢索有著更加簡易的搜索格式，有效提升了搜索速度，也可以進(jìn)一步保護(hù)相關(guān)人員的隱私。

4、但是，現(xiàn)有相關(guān)技術(shù)的數(shù)據(jù)集規(guī)模較小，且人工標(biāo)注的文本信息風(fēng)格差異較大，使得基于文本的行人檢索技術(shù)這一從文本到圖像的跨模態(tài)學(xué)習(xí)任務(wù)從大規(guī)模的跨模態(tài)訓(xùn)練中收益甚微。

技術(shù)實(shí)現(xiàn)思路

1、為了解決文本-行人檢索領(lǐng)域數(shù)據(jù)集規(guī)模較小、標(biāo)注風(fēng)格不統(tǒng)一、質(zhì)量不高的難題，本發(fā)明提供了一種基于大語言模型增強(qiáng)的文本-行人檢索方法，顯著提升了模型的檢索性能，實(shí)現(xiàn)了更為精準(zhǔn)的匹配。

2、所述基于大語言模型增強(qiáng)的文本-行人檢索方法，具體步驟如下：

3、步驟一、針對現(xiàn)有數(shù)據(jù)集中圖像和文本的組合對，將原始文本數(shù)據(jù)劃分為測試集和訓(xùn)練集；同時(shí)調(diào)用大語言模型對文本數(shù)據(jù)進(jìn)行增強(qiáng)，生成增強(qiáng)文本；

4、步驟二、將增強(qiáng)文本數(shù)據(jù)送入過濾模型，計(jì)算增強(qiáng)文本與原始文本之間的文本相似度；

5、原始文本和增強(qiáng)文本相似度的計(jì)算公式為：

6、

7、tiori為原始文本，tiaug為增強(qiáng)文本，使用sentence?transformers模型fst(·)分別對原始文本和增強(qiáng)文本進(jìn)行編碼后得到fst(tiori)和fst(tiaug)。

8、步驟三、當(dāng)文本相似度大于設(shè)定的閾值時(shí)，保留增強(qiáng)文本；反之，舍棄增強(qiáng)文本或重新生成文本。

9、步驟四、將保留的增強(qiáng)文本數(shù)據(jù)集用于文本-行人檢索模型的訓(xùn)練或測試，并將測試后的文本-行人檢索模型用于進(jìn)行人員識別。

10、若用于模型訓(xùn)練，增強(qiáng)文本數(shù)據(jù)通過文本編碼器得到文本特征值ftext(tiaug)，與該文本對應(yīng)的圖像經(jīng)圖像編碼器得到的圖像特征值fimg(vi)進(jìn)行計(jì)算，得到文本圖像相似度矩陣s(vi,tiaug)，并通過模型的損失函數(shù)進(jìn)行訓(xùn)練；

11、具體的計(jì)算公式如下：

12、s(vi,ti)＝ftext(ti)·fimg(vi)t

13、vi為原始圖像，fimg(·)為圖像編碼器，ftext(·)為文本編碼器；

14、若用于模型測試，增強(qiáng)文本和原始文本均通過文本編碼器獲取相應(yīng)的文本特征值，分別與圖像特征值計(jì)算各自的文本圖像相似度矩陣s(vi,tiaug)和s(vi,tiori)，通過加權(quán)求和計(jì)算兩個文本圖像相似度矩陣，得到新的文本圖像相似度矩陣值s：

15、s＝λ·s(vi,tiaug)+(1-λ)·s(vi,tiori)

16、其中λ是指[0,1]之間的均勻分布的隨機(jī)數(shù)。

17、本發(fā)明的優(yōu)點(diǎn)在于：

18、1)、本發(fā)明一種基于大語言模型增強(qiáng)的文本-行人檢索方法，訓(xùn)練文本-行人檢索模型時(shí)通過引入大語言模型重寫的多樣化的文本增強(qiáng)了檢索模型的泛化能力；測試文本-行人檢索模型時(shí)綜合原始文本和增強(qiáng)文本進(jìn)行測試，增強(qiáng)了檢索模型的魯棒性；為后續(xù)的檢索匹配提供更全面和準(zhǔn)確的依據(jù)。

19、2)、本發(fā)明一種基于大語言模型增強(qiáng)的文本-行人檢索方法，通過引入大語言模型進(jìn)行文本數(shù)據(jù)增強(qiáng)，擴(kuò)充了現(xiàn)有的基于文本的行人檢索數(shù)據(jù)集；大語言模型可以抽取文本內(nèi)容的關(guān)鍵信息，保持句子結(jié)構(gòu)和語義的完整性，統(tǒng)一文本風(fēng)格。

20、3)、本發(fā)明一種基于大語言模型增強(qiáng)的文本-行人檢索方法，通過過濾模型可以有效去除文本相似度較低的增強(qiáng)文本，增加增強(qiáng)文本的多樣性及可靠性。

21、4)、本發(fā)明一種基于大語言模型增強(qiáng)的文本-行人檢索方法，通過加權(quán)平均原始文本及增強(qiáng)文本分別與圖像間的文本圖像相似度矩陣，可以有效平衡原始文本和測試文本在檢索模型的測試過程中發(fā)揮的作用。

技術(shù)特征：

1.一種基于大語言模型增強(qiáng)的文本-行人檢索方法，其特征在于，具體步驟如下：

2.如權(quán)利要求1所述的一種基于大語言模型增強(qiáng)的文本-行人檢索方法，其特征在于，所述原始文本和增強(qiáng)文本相似度的計(jì)算公式為：

技術(shù)總結(jié)
本發(fā)明公開了一種基于大語言模型增強(qiáng)的文本?行人檢索方法，屬于計(jì)算機(jī)和互聯(lián)網(wǎng)領(lǐng)域；具體為：針對現(xiàn)有數(shù)據(jù)集中圖像和文本的組合對，將原始文本數(shù)據(jù)劃分為測試集和訓(xùn)練集；同時(shí)調(diào)用大語言模型對文本數(shù)據(jù)進(jìn)行增強(qiáng)，生成增強(qiáng)文本；然后，將增強(qiáng)文本數(shù)據(jù)送入過濾模型，計(jì)算增強(qiáng)文本與原始文本之間的文本相似度；當(dāng)文本相似度大于設(shè)定的閾值時(shí)，保留增強(qiáng)文本；反之，舍棄增強(qiáng)文本或重新生成文本。最后，將保留的增強(qiáng)文本數(shù)據(jù)集用于文本?行人檢索模型的訓(xùn)練或測試，并將測試后的文本?行人檢索模型用于進(jìn)行人員識別。本發(fā)明顯著提升了模型的檢索性能，實(shí)現(xiàn)了更為精準(zhǔn)的匹配。

技術(shù)研發(fā)人員：郭彩麗,李政,司麗佳,楊洋,胡林
受保護(hù)的技術(shù)使用者：北京郵電大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/17