一種車輛檢索中的擴(kuò)展查詢方法及裝置的制造方法
【專利摘要】本發(fā)明公開(kāi)了一種車輛檢索中的擴(kuò)展查詢方法及裝置，所述方法包括：獲取待查詢圖像基于預(yù)先建立的模板庫(kù)中所有樣例圖像的第一統(tǒng)計(jì)分布特征向量，以及獲取目標(biāo)圖像庫(kù)中每一圖像基于模板庫(kù)中所有樣例圖像的第二統(tǒng)計(jì)分布特征向量；獲取所述目標(biāo)圖像庫(kù)中圖像按照第一相似度排序的初始檢索結(jié)果序列，根據(jù)第一統(tǒng)計(jì)分布特征向量和初始檢索結(jié)果序列中的每一圖像的第二統(tǒng)計(jì)分布特征向量，確定待查詢圖像與初始檢索結(jié)果序列中每一圖像的第二相似度；根據(jù)預(yù)設(shè)的第一閾值和第二閾值，從初始檢索結(jié)果序列中選取部分圖像作為擴(kuò)展查詢圖像。上述方法能夠?qū)崿F(xiàn)在車輛檢索中選出更相似的擴(kuò)展查詢圖像，以便提高車輛檢索的準(zhǔn)確率和召回率。
【專利說(shuō)明】
一種車輛檢索中的擴(kuò)展查詢方法及裝置
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及計(jì)算機(jī)技術(shù)，具體涉及一種車輛檢索中的擴(kuò)展查詢方法及裝置。
【背景技術(shù)】
[0002] 交通監(jiān)控圖像和視頻是公安業(yè)務(wù)的重要數(shù)據(jù)基礎(chǔ)，在社會(huì)治安維穩(wěn)、打擊違法犯 罪等方面有著至關(guān)重要的作用。為此，如何從大量的監(jiān)控圖像和視頻中檢索出目標(biāo)車輛成 為研究熱點(diǎn)。
[0003] 查詢擴(kuò)展技術(shù)是檢索技術(shù)中用來(lái)提高召回率和準(zhǔn)確率的常用方法。查詢擴(kuò)展技術(shù) 是將原來(lái)查詢句增加新的關(guān)鍵字來(lái)重新查詢的方法，例如搜索引擎會(huì)將使用者輸入的查詢 句先做一次檢索，根據(jù)檢索出來(lái)的文件，選取出適合的關(guān)鍵字，加到查詢句重新檢索，借此 來(lái)找出更多的相關(guān)文件。
[0004] 目前，常用的查詢擴(kuò)展方法包括兩種，第一種根據(jù)初次檢索出來(lái)的相關(guān)圖像，選出 合適的相關(guān)圖像作為擴(kuò)展查詢樣例，進(jìn)行二次檢索，但是在車輛圖像檢索、尤其在跨卡口的 車輛圖像檢索中，由于不同車型之間的相似性，以及跨卡口等原因造成的視覺(jué)模型的差異 性，常用的視覺(jué)特征描述子對(duì)車輛特征的表達(dá)能力有限，初次檢索結(jié)果中，正確相關(guān)圖像和 錯(cuò)誤相關(guān)圖像可能難以通過(guò)常用的視覺(jué)特征區(qū)分，從而導(dǎo)致難以選擇出正確的擴(kuò)展查詢樣 例；第二種通過(guò)車牌號(hào)識(shí)別，從車管所數(shù)據(jù)庫(kù)或類似數(shù)據(jù)庫(kù)中讀取該車牌號(hào)的注冊(cè)車輛車 型，然后從第三方數(shù)據(jù)庫(kù)中選擇該車型的樣例作為擴(kuò)展查詢樣例，這種方法依賴于車牌號(hào) 識(shí)別，當(dāng)車牌號(hào)識(shí)別錯(cuò)誤，或車牌遮擋、損舊時(shí)，這種方法就會(huì)失效，同時(shí)，車管所數(shù)據(jù)庫(kù)的 登記信息并不規(guī)范、完整，導(dǎo)致這種方法的可行性受到很大限制。

【發(fā)明內(nèi)容】

[0005] 針對(duì)現(xiàn)有技術(shù)中的缺陷，本發(fā)明提供了一種車輛檢索中的擴(kuò)展查詢方法及裝置， 能夠?qū)崿F(xiàn)在車輛檢索中選出更相似的擴(kuò)展查詢圖像，以便提高車輛檢索的準(zhǔn)確率。
[0006] 第一方面，本發(fā)明提供一種車輛檢索中的擴(kuò)展查詢方法，包括：
[0007] 獲取待查詢圖像基于預(yù)先建立的模板庫(kù)中所有樣例圖像的第一統(tǒng)計(jì)分布特征向 量，以及獲取目標(biāo)圖像庫(kù)中每一圖像基于所述模板庫(kù)中所有樣例圖像的第二統(tǒng)計(jì)分布特征 向量；
[0008] 獲取所述目標(biāo)圖像庫(kù)中全部或部分圖像排序的初始檢索結(jié)果序列，所述初始檢索 結(jié)果序列是按照所述待查詢圖像與所述目標(biāo)圖像庫(kù)中每一圖像的第一相似度的大小排序 的；
[0009] 根據(jù)所述第一統(tǒng)計(jì)分布特征向量和所述初始檢索結(jié)果序列中的每一圖像的第二 統(tǒng)計(jì)分布特征向量，確定所述待查詢圖像與所述初始檢索結(jié)果序列中每一圖像的第二相似 度；
[0010] 根據(jù)所述第一相似度對(duì)應(yīng)的第一閾值，所述第二相似度對(duì)應(yīng)的第二閾值，從所述 初始檢索結(jié)果序列中選取部分圖像作為擴(kuò)展查詢圖像。
[0011] 可選地，所述獲取待查詢圖像基于預(yù)先建立的模板庫(kù)中所有樣例圖像的第一統(tǒng)計(jì) 分布特征向量之前，所述方法還包括：
[0012] 對(duì)篩選后的樣例圖像進(jìn)行聚類處理，建立包括部分樣例圖像的模板庫(kù)，所述模板 庫(kù)中的樣例圖像均不重復(fù)。
[0013] 可選地，所述對(duì)篩選后的樣例圖像進(jìn)行聚類處理，建立包括樣例圖像的模板庫(kù)，包 括：
[0014] 采用預(yù)設(shè)的圖像匹配系統(tǒng)對(duì)預(yù)先收集的N張樣例圖像進(jìn)行篩選，獲得篩選后的T 張樣例圖像；
[0015] 其中，N、T均為大于1的自然數(shù)，N大于T。
[0016] 可選地，獲取待查詢圖像基于預(yù)先建立的模板庫(kù)中所有樣例圖像的第一統(tǒng)計(jì)分布 特征向量，包括：
[0017] 獲取所述待查詢圖像與所述模板庫(kù)中每張樣例圖像的視覺(jué)相似度，得到Q個(gè)二元 組，每一二元組包括：樣例圖像標(biāo)識(shí)和該樣例圖像對(duì)應(yīng)的視覺(jué)相似度；
[0018] 根據(jù)預(yù)設(shè)的視覺(jué)相似度的閾值，從Q個(gè)二元組中篩選出Q'個(gè)二元組，Q和Q'均為 大于1的自然數(shù)；
[0019] 采用構(gòu)建的第一向量和第二向量對(duì)Q'個(gè)二元組進(jìn)行統(tǒng)計(jì)，根據(jù)統(tǒng)計(jì)結(jié)果生成第一 統(tǒng)計(jì)分布特征向量；
[0020] 其中，所述第一向量為# ，···，&!，各維度初始化為〇 ;
[0021] 第二向量為f = _!<ν:，···Λ!，各維度初始化為〇 ;
[0022] 所述第一向量的維度和第二向量的維度相同，且與所述模板庫(kù)中所有樣例圖像對(duì) 應(yīng)的類別數(shù)量匹配。
[0023] 可選地，獲取目標(biāo)圖像庫(kù)中每一圖像基于所述模板庫(kù)中所有樣例圖像的第二統(tǒng)計(jì) 分布特征向量，包括：
[0024] 獲取所述目標(biāo)圖像庫(kù)中每一圖像與所述模板庫(kù)中每張樣例圖像的視覺(jué)相似度，獲 得每一圖像的Q個(gè)二元組，每一二元組包括：樣例圖像標(biāo)識(shí)和該樣例圖像對(duì)應(yīng)的視覺(jué)相似 度；
[0025] 根據(jù)預(yù)設(shè)的視覺(jué)相似度的閾值，從每一圖像對(duì)應(yīng)的所有二元組中篩選出R個(gè)二元 組，R為大于1的自然數(shù)；
[0026] 采用構(gòu)建的第一向量和第二向量對(duì)R個(gè)二元組進(jìn)行統(tǒng)計(jì)，根據(jù)統(tǒng)計(jì)結(jié)果生成該圖 像的第二統(tǒng)計(jì)分布特征向量；
[0027] 其中，所述第一向量為盧={濟(jì)，J%,*··，勤)，各維度初始化為0 ;
[0028] 第二向量為f = …，M，各維度初始化為0 ;
[0029] 所述第一向量的維度和第二向量的維度相同，且與所述模板庫(kù)中所有樣例圖像對(duì) 應(yīng)的類別數(shù)量匹配。
[0030] 可選地，所述根據(jù)統(tǒng)計(jì)結(jié)果生成第一統(tǒng)計(jì)分布特征向量，包括：
[0031] 將統(tǒng)計(jì)有Q'個(gè)二元組的第一向量的每個(gè)維度除以統(tǒng)計(jì)有Q'個(gè)二元組的第二向量 中對(duì)應(yīng)維度值的開(kāi)方，獲得第一統(tǒng)計(jì)分布特征向量；
[0032] 或者，
[0033] 根據(jù)統(tǒng)計(jì)結(jié)果生成第二統(tǒng)計(jì)分布特征向量，包括：
[0034] 將統(tǒng)計(jì)有R個(gè)二元組的第一向量的每個(gè)維度除以統(tǒng)計(jì)有R個(gè)二元組的第二向量中 對(duì)應(yīng)維度值的開(kāi)方，獲得第二統(tǒng)計(jì)分布特征向量。
[0035] 可選地，根據(jù)所述第一相似度對(duì)應(yīng)的第一閾值，所述第二相似度對(duì)應(yīng)的第二閾值， 從所述初始檢索結(jié)果序列中選取部分圖像作為擴(kuò)展查詢圖像，包括：
[0036] 針對(duì)所述初始檢索結(jié)果序列中的每一圖像，確定該圖像對(duì)應(yīng)的第一相似度是否大 于所述第一閾值；
[0037] 如果大于，則確定該圖像對(duì)應(yīng)的第二相似度是否大于所述第二閾值；
[0038] 如果大于，則將該圖像作為擴(kuò)展查詢圖像；
[0039] 按照所述初始檢索結(jié)果序列的順序，對(duì)每一圖像進(jìn)行篩選，如果所述擴(kuò)展查詢圖 像的數(shù)量大于預(yù)設(shè)限制閾值，則停止篩選。
[0040] 第二方面，本發(fā)明提供一種車輛檢索中的擴(kuò)展查詢裝置，包括：
[0041] 統(tǒng)計(jì)分布特征向量獲取單元，用于獲取待查詢圖像基于預(yù)先建立的模板庫(kù)中所有 樣例圖像的第一統(tǒng)計(jì)分布特征向量，以及獲取目標(biāo)圖像庫(kù)中每一圖像基于所述模板庫(kù)中所 有樣例圖像的第二統(tǒng)計(jì)分布特征向量；
[0042] 初始檢索結(jié)果序列獲取單元，用于獲取所述目標(biāo)圖像庫(kù)中全部或部分圖像排序的 初始檢索結(jié)果序列，所述初始檢索結(jié)果序列是按照所述待查詢圖像與目標(biāo)圖像庫(kù)中每一圖 像的第一相似度的大小排序的；
[0043] 第二相似度確定單元，用于根據(jù)所述第一統(tǒng)計(jì)分布特征向量和所述初始檢索結(jié)果 序列中的每一圖像的第二統(tǒng)計(jì)分布特征向量，確定所述待查詢圖像與所述初始檢索結(jié)果序 列中每一圖像的第二相似度；
[0044] 擴(kuò)展查詢圖像獲取單元，用于根據(jù)所述第一相似度對(duì)應(yīng)的第一閾值，所述第二相 似度對(duì)應(yīng)的第二閾值，從所述初始檢索結(jié)果序列中選取部分圖像作為擴(kuò)展查詢圖像。
[0045] 可選地，所述裝置還包括：
[0046] 模板庫(kù)建立單元，用于對(duì)篩選后的樣例圖像進(jìn)行聚類處理，建立包括部分樣例圖 像的模板庫(kù)，所述模板庫(kù)中的樣例圖像均不重復(fù)。
[0047] 可選地，統(tǒng)計(jì)分布特征向量獲取單元，具體用于
[0048] 獲取所述待查詢圖像與所述模板庫(kù)中每張樣例圖像的視覺(jué)相似度，得到Q個(gè)二元 組，每一二元組包括：樣例圖像標(biāo)識(shí)和該樣例圖像對(duì)應(yīng)的視覺(jué)相似度；
[0049] 根據(jù)預(yù)設(shè)的視覺(jué)相似度的閾值，從Q個(gè)二元組中篩選出Q'個(gè)二元組，Q和Q'均為 大于1的自然數(shù)；
[0050] 采用構(gòu)建的第一向量和第二向量對(duì)Q'個(gè)二元組進(jìn)行統(tǒng)計(jì)，根據(jù)統(tǒng)計(jì)結(jié)果生成第一 統(tǒng)計(jì)分布特征向量；
[0051] 以及獲取所述目標(biāo)圖像庫(kù)中每一圖像與所述模板庫(kù)中每張樣例圖像的視覺(jué)相似 度，獲得每一圖像的Q個(gè)二元組，每一二元組包括：樣例圖像標(biāo)識(shí)和該樣例圖像對(duì)應(yīng)的視覺(jué) 相似度；
[0052] 根據(jù)預(yù)設(shè)的視覺(jué)相似度的閾值，從每一圖像對(duì)應(yīng)的所有二元組中篩選出R個(gè)二元 組，R為大于1的自然數(shù)；
[0053] 采用構(gòu)建的第一向量和第二向量對(duì)R個(gè)二元組進(jìn)行統(tǒng)計(jì)，根據(jù)統(tǒng)計(jì)結(jié)果生成該圖 像的第二統(tǒng)計(jì)分布特征向量；
[0054] 其中，所述第一向量為聲=_! A，，…，/\?丨，各維度初始化為〇 ;
[0055] 第二向量為f = {ΑΛ，···Λ·}，各維度初始化為〇 ;
[0056] 所述第一向量的維度和第二向量的維度相同，且與所述模板庫(kù)中所有樣例圖像對(duì) 應(yīng)的類別數(shù)量匹配。
[0057] 第三方面，本發(fā)明還提供一種車輛檢索方法，包括：
[0058] 根據(jù)上述任一所述的車輛檢索中的擴(kuò)展查詢方法獲取待查詢圖像的擴(kuò)展查詢圖 像；
[0059] 根據(jù)所述擴(kuò)展查詢圖像，確定與所述待查詢圖像相似的目標(biāo)圖像。
[0060] 由上述技術(shù)方案可知，本發(fā)明的車輛檢索中的擴(kuò)展查詢方法及裝置，獲取待查詢 圖像和目標(biāo)圖像庫(kù)中圖像基于第三方的模板庫(kù)的統(tǒng)計(jì)分布特征向量，以及獲取目標(biāo)圖像庫(kù) 的初始檢索結(jié)果序列；進(jìn)而選取待查詢圖像的擴(kuò)展查詢圖像，由此，本實(shí)施例中基于第三方 模板庫(kù)的統(tǒng)計(jì)分布特征向量對(duì)應(yīng)的第二相似度作為補(bǔ)充選擇標(biāo)準(zhǔn)，可以選出更加準(zhǔn)確的擴(kuò) 展查詢圖像，以便提高車輛檢索的準(zhǔn)確率。
【附圖說(shuō)明】
[0061] 圖1為本發(fā)明一實(shí)施例提供的車輛檢索中的擴(kuò)展查詢方法的流程示意圖；
[0062] 圖2為本發(fā)明一實(shí)施例提供的車輛檢索中的擴(kuò)展查詢方法的流程示意圖；
[0063] 圖3為本發(fā)明一實(shí)施例提供的車輛檢索中的擴(kuò)展查詢裝置的流程示意圖。
【具體實(shí)施方式】
[0064] 下面結(jié)合附圖，對(duì)發(fā)明的【具體實(shí)施方式】作進(jìn)一步描述。以下實(shí)施例僅用于更加清 楚地說(shuō)明本發(fā)明的技術(shù)方案，而不能以此來(lái)限制本發(fā)明的保護(hù)范圍。本發(fā)明實(shí)施例中所使 用的"第一"、"第二"僅為更清楚的說(shuō)明本申請(qǐng)的內(nèi)容，不具有特定含義，也不限定任何內(nèi) 容。
[0065] "車輛無(wú)限，但車型有限"，利用車輛的這種獨(dú)有特性，本發(fā)明訓(xùn)練一個(gè)第三方的模 板庫(kù)，對(duì)車型的統(tǒng)計(jì)分布特性進(jìn)行表達(dá)，將一對(duì)一的匹配模式轉(zhuǎn)換為一對(duì)多的匹配，可以得 到更準(zhǔn)確、穩(wěn)定的匹配關(guān)系，從而可以從初始檢索結(jié)果中篩選出正確的擴(kuò)展查詢圖像。
[0066] 圖1示出了本發(fā)明一實(shí)施例提供的車輛檢索中的擴(kuò)展查詢方法的流程示意圖，如 圖1所示，本實(shí)施例的車輛檢索中的擴(kuò)展查詢方法如下所述。
[0067] 101、獲取待查詢圖像基于預(yù)先建立的模板庫(kù)中所有樣例圖像的第一統(tǒng)計(jì)分布特 征向量，以及獲取目標(biāo)圖像庫(kù)中每一圖像基于所述模板庫(kù)中所有樣例圖像的第二統(tǒng)計(jì)分布 特征向量。
[0068] 在本實(shí)施例中，模板庫(kù)是預(yù)先建立的，并包括有多個(gè)類別即車型種類類別的樣例 圖像，且模板庫(kù)中的樣例圖像均不重復(fù)。
[0069] 102、獲取所述目標(biāo)圖像庫(kù)中全部或部分圖像排序的初始檢索結(jié)果序列，所述初始 檢索結(jié)果序列是按照所述待查詢圖像與所述目標(biāo)圖像庫(kù)中每一圖像的第一相似度的大小 排序的。
[0070] 舉例來(lái)說(shuō)，可預(yù)先獲取所述待查詢圖像與所述目標(biāo)圖像庫(kù)中每一圖像的第一相似 度；選取大于預(yù)設(shè)第一閾值的第一相似度組成第一相似度集合，將所述第一相似度集合中 所有第一相似度對(duì)應(yīng)的圖像進(jìn)行排序，獲得初始檢索結(jié)果序列。
[0071] 103、根據(jù)所述第一統(tǒng)計(jì)分布特征向量和所述初始檢索結(jié)果序列中的第一圖像的 第二統(tǒng)計(jì)分布特征向量，確定所述待查詢圖像與所述初始檢索結(jié)果序列中每一圖像的第二 相似度；
[0072] 104、根據(jù)所述第一相似度對(duì)應(yīng)的第一閾值，所述第二相似度對(duì)應(yīng)的第二閾值，從 所述初始檢索結(jié)果序列中選取部分圖像作為擴(kuò)展查詢圖像。
[0073] 本實(shí)施例的車輛檢索中的擴(kuò)展查詢方法，獲取待查詢圖像和目標(biāo)圖像庫(kù)中圖像基 于第三方的模板庫(kù)的統(tǒng)計(jì)分布特征向量，以及獲取目標(biāo)圖像庫(kù)的初始檢索結(jié)果序列；進(jìn)而 選取待查詢圖像的擴(kuò)展查詢圖像，由此，本實(shí)施例中基于第三方模板庫(kù)的統(tǒng)計(jì)分布特征向 量對(duì)應(yīng)的第二相似度作為補(bǔ)充選擇標(biāo)準(zhǔn)，可以選出更加準(zhǔn)確的擴(kuò)展查詢圖像，以便提高車 輛檢索的準(zhǔn)確率。
[0074] 圖2示出了本發(fā)明一實(shí)施例提供的車輛檢索中的擴(kuò)展查詢方法的流程示意圖，如 圖2所示，本實(shí)施例的車輛檢索中的擴(kuò)展查詢方法如下所述。
[0075] 201、對(duì)篩選后的樣例圖像進(jìn)行聚類處理，建立包括部分或全部樣例圖像的模板 庫(kù)，所述模板庫(kù)中的樣例圖像均不重復(fù)。
[0076] 舉例來(lái)說(shuō)，可采用預(yù)設(shè)的圖像匹配系統(tǒng)對(duì)預(yù)先收集的N張樣例圖像進(jìn)行篩選，獲 得篩選后的T張樣例圖像；其中，N、T均為大于1的自然數(shù)，N大于T。
[0077] 例如，對(duì)預(yù)先收集N張樣例圖像的第一圖像集合中的所有樣例圖像進(jìn)行圖像檢索 篩選，獲得符合某一設(shè)定閾值的Μ對(duì)圖像匹配對(duì)，每一圖像匹配對(duì)包括第一圖像集合中的 兩個(gè)樣例圖像；
[0078] 進(jìn)一步地，還可采用預(yù)設(shè)的圖像匹配系統(tǒng)對(duì)所述Μ對(duì)圖像匹配對(duì)進(jìn)行優(yōu)化篩選， 獲得Ρ對(duì)圖像匹配對(duì)，將所述Ρ對(duì)圖像匹配對(duì)對(duì)應(yīng)的樣例圖像組成模板庫(kù)；
[0079] 其中，Μ大于等于Ρ。
[0080] 本實(shí)施例中，預(yù)設(shè)圖像匹配系統(tǒng)可為FPR(False Positive Rate)低于某一設(shè)定閾 值的圖像匹配系統(tǒng)。
[0081] 本實(shí)施例中的模板庫(kù)屬于第三方的圖像集合，由N張樣例圖像組成，且使用聚類 算法按照視覺(jué)相似度聚成K類，每一類包含若干不等量樣例圖像。在本實(shí)施例中，使用的模 板庫(kù)包含T = 18347張樣例圖像，并對(duì)每張樣例圖像提取Fisher向量計(jì)算兩兩之間的視覺(jué) 相似度，構(gòu)建T*T的相似度矩陣，然后使用AP聚類算法聚類得到K = 938個(gè)子集。
[0082] 202、獲取所述待查詢圖像基于所述模板庫(kù)中每張樣例圖像的視覺(jué)相似度，得到Q 個(gè)二元組，每一二元組包括：樣例圖像標(biāo)識(shí)和該樣例圖像對(duì)應(yīng)的視覺(jué)相似度。
[0083] 舉例來(lái)說(shuō)，每一二元組可為包括（圖像ID，與該圖像對(duì)應(yīng)視覺(jué)相似度）的二元組。
[0084] 對(duì)待查詢圖像與模板庫(kù)中的每張樣例圖像的視覺(jué)相似度即為視覺(jué)特征相似度，該 處的視覺(jué)特征可使用Fisher向量、SIFT特征、SURF特征等現(xiàn)有特征提取技術(shù)，不做限定，本 實(shí)施例使用Fisher向量作為視覺(jué)特征描述子，得到Q個(gè)（圖像ID，視覺(jué)相似度）二元組；
[0085] 203、根據(jù)預(yù)設(shè)的視覺(jué)相似度的閾值，從Q個(gè)二元組中篩選出Q'個(gè)二元組；采用構(gòu) 建的第一向量和第二向量對(duì)Q'個(gè)二元組進(jìn)行統(tǒng)計(jì)，根據(jù)統(tǒng)計(jì)結(jié)果生成第一統(tǒng)計(jì)分布特征向 量；
[0086] 本實(shí)施例中，Q和Q'均為大于1的自然數(shù)，其中，所述第一向量可為
各維度初始化為〇 ;
[0087] 第二向量可為f = ，各維度初始化為〇 ;
[0088] 所述第一向量的維度和第二向量的維度相同，且與所述模板庫(kù)中所有樣例圖像對(duì) 應(yīng)的類別數(shù)量匹配?？衫斫獾氖牵０鍘?kù)中的類別是用聚類算法自動(dòng)聚類生成的，與車型種 類不嚴(yán)格對(duì)應(yīng)。
[0089] 另外，需要說(shuō)明的是，預(yù)設(shè)的視覺(jué)相似度的閾值可為具體經(jīng)驗(yàn)值，但考慮到不同視 覺(jué)模型下（如，來(lái)自不同交通治安卡口）的查詢圖像和目標(biāo)圖像庫(kù)中圖像的視覺(jué)相似度可 能不在相當(dāng)?shù)乃剑撎幍拈撝祽?yīng)根據(jù)實(shí)際場(chǎng)景自適應(yīng)調(diào)節(jié)，本實(shí)施例的視覺(jué)相似度的閾 值設(shè)置方式為：記Q個(gè)（圖像ID，視覺(jué)相似度）二元組中視覺(jué)相似度最大值為MAX，那么視 覺(jué)相似度的閾值=MX*0. 6,其中，0.6為經(jīng)驗(yàn)值，可根據(jù)實(shí)際目標(biāo)圖像庫(kù)的相關(guān)信息進(jìn)行 調(diào)節(jié)。
[0090] 舉例來(lái)說(shuō)，將統(tǒng)計(jì)有Q'個(gè)二元組的第一向量的每個(gè)維度除以統(tǒng)計(jì)有Q'個(gè)二元組 的第二向量中對(duì)應(yīng)維度值的開(kāi)方，獲得第一統(tǒng)計(jì)分布特征向量。
[0091] 例如，可將上述第一向量戶每個(gè)維度除以第二向量f中的相應(yīng)維度值： .v,= a ζ?，生成第一統(tǒng)計(jì)分布特征向量犮。
[0092] 204、獲取所述目標(biāo)圖像庫(kù)中每一圖像基于所述模板庫(kù)中每張樣例圖像的視覺(jué)相 似度，獲得目標(biāo)圖像庫(kù)中每一圖像的Q個(gè)二元組。
[0093] 本實(shí)施例中，每一二元組包括：樣例圖像標(biāo)識(shí)和該樣例圖像對(duì)應(yīng)的視覺(jué)相似度。
[0094] 205、根據(jù)預(yù)設(shè)的視覺(jué)相似度的閾值，從目標(biāo)圖像庫(kù)對(duì)應(yīng)的所有二元組中篩選出R 個(gè)二元組，采用構(gòu)建的第一向量和第二向量對(duì)R個(gè)二元組進(jìn)行統(tǒng)計(jì)，根據(jù)統(tǒng)計(jì)結(jié)果生成第 二統(tǒng)計(jì)分布特征向量；
[0095] 本實(shí)施例中，Q、R均為大于1的自然數(shù)；其中，所述第一向量為Ρ = 9 各維度初始化為〇 ;
[0096] 第二向量為f !，各維度初始化為0 ;
[0097] 所述第一向量的維度和第二向量的維度相同，且與所述模板庫(kù)中所有樣例圖像對(duì) 應(yīng)的類別匹配?？衫斫獾氖牵０鍘?kù)中的類別是用聚類算法自動(dòng)聚類生成的，與車型種類不 嚴(yán)格對(duì)應(yīng)。
[0098] 舉例來(lái)說(shuō)，根據(jù)統(tǒng)計(jì)結(jié)果生成第二統(tǒng)計(jì)分布特征向量，包括：
[0099] 將統(tǒng)計(jì)有R個(gè)二元組的第一向量的每個(gè)維度除以統(tǒng)計(jì)有R個(gè)二元組的第二向量中 對(duì)應(yīng)維度值的開(kāi)方，獲得第二統(tǒng)計(jì)分布特征向量。
[0100] 206、獲取目標(biāo)圖像庫(kù)中部分圖像排序的初始檢索結(jié)果序列，所述初始檢索結(jié)果序 列是按照所述待查詢圖像與所述目標(biāo)圖像庫(kù)中每一圖像的第一相似度的大小排序的。
[0101] 在本實(shí)施例中基于通過(guò)某種檢索方式獲取的初始檢索結(jié)果序列進(jìn)行后續(xù)操作的。
[0102] 假設(shè)通過(guò)某種檢索方式，獲取查詢圖像仏的長(zhǎng)度為m的初始檢索結(jié)果序列R1 = {rpiv ，一般滿足siml (Q!，rpsiml (Q!，rj+1)，siml表示兩張圖像的第一相似度，即 札按照第一相似度從高到低排列。
[0103] 207、根據(jù)所述第一統(tǒng)計(jì)分布特征向量和所述初始檢索結(jié)果序列中每一圖像的第 二統(tǒng)計(jì)分布特征向量，確定所述待查詢圖像與所述初始檢索結(jié)果序列中每一圖像的第二相 似度。
[0104] 也就是說(shuō)，分別計(jì)算待查詢圖像仏與r r "的統(tǒng)計(jì)分布特征相似度，即第二相似 度，即計(jì)算，及）:，sim2可以是余弦距離，也可以先進(jìn)行L2歸一化，然后計(jì)算歐 式距離，當(dāng)然也可以使用其他距離度量方式，不做具體限定，本實(shí)施例使用余弦距離作為統(tǒng) 計(jì)分布特征相似性度量方式，并進(jìn)行歸一化：
[0105]
[0106] 208、根據(jù)所述第一相似度對(duì)應(yīng)的第一閾值，所述第二相似度對(duì)應(yīng)的第二閾值，從 所述初始檢索結(jié)果序列中選取部分圖像作為擴(kuò)展查詢圖像。
[0107] 例如，針對(duì)所述初始檢索結(jié)果序列中的每一圖像，確定該圖像對(duì)應(yīng)的第一相似度 是否大于所述第一閾值；
[0108] 如果大于，則確定該圖像對(duì)應(yīng)的第二相似度是否大于所述第二閾值；
[0109] 如果大于，則將該圖像作為擴(kuò)展查詢圖像；
[0110] 按照所述初始檢索結(jié)果序列的順序，對(duì)每一圖像進(jìn)行篩選，如果所述擴(kuò)展查詢圖 像的數(shù)量大于預(yù)設(shè)限制閾值，則停止篩選。
[0111] 本實(shí)施例中，第一閾值可為具體經(jīng)驗(yàn)值，但考慮到不同視覺(jué)模型下（如，來(lái)自不同 交通治安卡口）的查詢圖像和目標(biāo)數(shù)據(jù)庫(kù)圖像的視覺(jué)相似度可能不在相當(dāng)?shù)乃?，第一?值應(yīng)根據(jù)實(shí)際場(chǎng)景自適應(yīng)調(diào)節(jié)，本實(shí)施例的第一閾值設(shè)置方式為：初始檢索結(jié)果序列中，第 一相似度最大值為MAX(-般MAX = siml (Qd Γι))，那么第一閾值=ΜΑΧ*0. 6,其中，0. 6為 經(jīng)驗(yàn)值，可根據(jù)實(shí)際的目標(biāo)圖像庫(kù)進(jìn)行調(diào)節(jié)。
[0112] 由于在步驟207中，可使用余弦距離作為統(tǒng)計(jì)分布特征相似性度量方式，進(jìn)而第 二相似度取值范圍為[0, 1]，因此，本實(shí)施例根據(jù)經(jīng)驗(yàn)將第二閾值設(shè)為〇. 66。當(dāng)時(shí)用其他距 離度量方式時(shí)，第二閾值應(yīng)相應(yīng)改變。
[0113] 將初始檢索結(jié)果序列中滿足simUQ^rj)〉第一閾值，且第二閾值的 所有圖像作為"可靠"擴(kuò)展查詢圖像。
[0114] 在實(shí)際應(yīng)用中，按照上述方式選出來(lái)的擴(kuò)展查詢圖像的個(gè)數(shù)可能很多，如，超過(guò)10 個(gè)，但一般并不需要這么多，而且過(guò)多擴(kuò)展查詢圖像會(huì)增大二次檢索的時(shí)間、空間開(kāi)銷，因 此，可以當(dāng)選擇的擴(kuò)展查詢圖像多于設(shè)定的某一閾值時(shí)，停止選擇。本實(shí)施例中，設(shè)定的針 對(duì)擴(kuò)展查詢圖像的個(gè)數(shù)的閾值（如上所述的限制閾值）可為6，即，最終最多選擇6個(gè)擴(kuò)展 查詢圖像。
[0115] 本實(shí)施例的方法，除了使用第一相似度作為選擇標(biāo)準(zhǔn)之一，還加入基于第三方模 板庫(kù)的統(tǒng)計(jì)分布特征向量獲取的第二相似度作為補(bǔ)充選擇標(biāo)準(zhǔn)，可以選出更加準(zhǔn)確的擴(kuò)展 查詢樣例。
[0116] 在一個(gè)具體的例子中，對(duì)上述步驟201進(jìn)行詳細(xì)說(shuō)明如下：
[0117] 2011、根據(jù)樣例篩選規(guī)則，從第一樣例圖像集合中選擇可靠車輛樣例圖像，構(gòu)成第 二樣例圖像集合。
[0118] 所述第一樣例圖像集合為車輛圖像樣例組成的樣例圖像集合，一般應(yīng)盡可能但不 絕對(duì)要求包含所有車型的樣例，假設(shè)第一樣例圖像集合包含樣例圖像的個(gè)數(shù)為N，N-般 應(yīng)大于5000,本實(shí)施例中使用從XX城鎮(zhèn)交通治安卡口采集的樣例圖像中隨機(jī)選擇的N = 30000張樣例圖像構(gòu)成第一樣例圖像集合；
[0119] 根據(jù)樣例篩選規(guī)則，從第一樣例圖像集合的N個(gè)樣例圖像中選擇出T個(gè)可靠的樣 例圖像，構(gòu)成第二樣例圖像集合。需要說(shuō)明的是，T的具體值依賴于樣例篩選規(guī)則中的參數(shù) 設(shè)置，以及第一樣例圖像集合中的N張樣例圖像的實(shí)際分布情況，不同情況下會(huì)得到不同 的T值。本實(shí)施例中，從N = 30000張樣例圖像中篩選出了 T = 18347張樣例圖像構(gòu)成第 二樣例圖像集合。
[0120] 具體地：2011a、對(duì)第一樣例圖像集合兩兩構(gòu)建圖像匹配對(duì)，得到第一圖像對(duì)集合。
[0121] 第一樣例圖像集合包含N張樣例圖像，對(duì)其兩兩構(gòu)建圖像匹配對(duì)，目標(biāo)是從這些 樣例圖像對(duì)中選出強(qiáng)匹配對(duì)，但并不嚴(yán)格要求能夠選出所有的強(qiáng)匹配對(duì)，理論上可以產(chǎn)生 C(N，2) = Ν(Ν-1)/2對(duì)圖像對(duì)，本實(shí)施例中N = 30000,理論產(chǎn)生圖像匹配對(duì)數(shù)量為4億多 對(duì)，而其中多數(shù)是不匹配對(duì)，如果對(duì)所有4億多對(duì)圖像匹配對(duì)一一匹配，效率過(guò)低。
[0122] 因此，本實(shí)施例首先將&張樣例圖像中的每一張樣例圖像作為查詢圖像基于這N i 張樣例圖像構(gòu)成的第一圖像集合進(jìn)行檢索，每張查詢圖像得到一個(gè)按相似度從高到低排序 的檢索結(jié)果序列R2= {rpiv ???dj，其中首位結(jié)果與查詢圖像的相似度sinKQ；；，;^)最 大，當(dāng)該最大值小于第三閾值時(shí)，認(rèn)為這一組檢索結(jié)果序列不存在可能與相應(yīng)查詢圖像構(gòu) 成強(qiáng)匹配對(duì)的樣例圖像，直接跳過(guò)這一條查詢，否則，即，當(dāng)sim(Q 2, Γι)大于第三閾值時(shí)，從 序列檢索結(jié)果R2中選出相似度大于第四閾值的結(jié)果與查詢圖像構(gòu)成圖像匹配對(duì)。本實(shí)施 例中，使用Fisher向量作為描述子，第三閾值設(shè)為25. 0,第四閾值設(shè)為sim(Q2, Γι) *0. 8。需 要說(shuō)明的是，不同的視覺(jué)特征描述子計(jì)算得到的相似度得分量級(jí)不同，應(yīng)根據(jù)實(shí)際情況設(shè) 置第三閾值。
[0123] 按照上述方法構(gòu)建的圖像匹配對(duì)都存在相對(duì)較強(qiáng)的匹配關(guān)系，本實(shí)施例中構(gòu)建了 約42. 7萬(wàn)對(duì)圖像對(duì)，遠(yuǎn)遠(yuǎn)少于4億的理論值，大大減少了后續(xù)匹配的工作量。
[0124] 本實(shí)施例中的第三閾值和第四閾值可對(duì)應(yīng)前述步驟201中選取Μ對(duì)圖像匹配對(duì)過(guò) 程中設(shè)定的閾值。
[0125] 可選地，本實(shí)施例中還可執(zhí)行下述的步驟2011b。
[0126] 2011b、采用預(yù)設(shè)的圖像匹配系統(tǒng)對(duì)第一圖像對(duì)集合中的每組圖像匹配對(duì)做匹配， 選出能夠匹配上的圖像匹配對(duì)組成第二圖像對(duì)集合。
[0127] 本實(shí)施例預(yù)設(shè)圖像匹配系統(tǒng)可為FPR(False Positive Rate)低于某一設(shè)定閾值 如0. 1 %的圖像匹配系統(tǒng)對(duì)第一圖像對(duì)集合中的樣例圖像對(duì)逐對(duì)進(jìn)行匹配，所有能夠識(shí)別 為匹配對(duì)的樣例圖像對(duì)組成第二圖像對(duì)集合。本實(shí)施例從42. 7萬(wàn)對(duì)圖像匹配對(duì)中選出了 42. 5萬(wàn)對(duì)圖像匹配對(duì)，構(gòu)成第二圖像對(duì)集合。
[0128] 2012、使用第二圖像對(duì)集合中的圖像組成第二圖像集合。
[0129] 將第二圖像對(duì)集合所包含圖像匹配對(duì)對(duì)應(yīng)的樣例圖像組成第二圖像集合，本實(shí)施 例包含42. 5萬(wàn)對(duì)圖像對(duì)的第二圖像對(duì)集合包含18347張不重復(fù)圖像，即，本實(shí)施例的第二 圖像集合由18347張不重復(fù)圖像構(gòu)成。
[0130] 本實(shí)施例的模板庫(kù)樣例篩選方法，通過(guò)控制圖像匹配系統(tǒng)的FPR在較低水平，選 擇出"可靠"的樣例圖像，這些樣例圖像能夠與部分其他樣例產(chǎn)生較強(qiáng)的匹配關(guān)系，使用這 些"可靠"的樣例圖像進(jìn)行聚類，能夠較好地保證類的高內(nèi)聚低耦合要求，從而更好地支撐 后續(xù)的統(tǒng)計(jì)分布特性表達(dá)。
[0131] 2013、使用聚類算法訓(xùn)練第二圖像集合，生成模板庫(kù)。
[0132] 使用聚類算法對(duì)第二圖像集合按照視覺(jué)特征相似度進(jìn)行聚類，得到K個(gè)子集，構(gòu) 成所述模板庫(kù)。
[0133] 聚類算法可以是AP聚類算法、譜聚類算法、K-Means聚類算法等現(xiàn)有技術(shù)。本實(shí) 施例中，首先對(duì)包含T張圖像的第二圖像集合構(gòu)建T*T的相似度矩陣，然后使用AP聚類算 法進(jìn)行聚類，算法原理在此不做詳述。
[0134] 在本實(shí)施例中，獲取相似度矩陣之前，需要分別提取每一張樣例圖像的視覺(jué)特征， 通常，可米用Fisher向量、尺度不變特征轉(zhuǎn)換（Scale-invariant feature transform， 簡(jiǎn)稱SIFT)，快速魯棒特征（Speeded-up Robust Features，簡(jiǎn)稱SURF)，特征梯度直方圖 (Histograms of Oriented Gradients，簡(jiǎn)稱HOG)等方式提取每一張圖像的視覺(jué)特征。本 實(shí)施例中，提取任一圖像的視覺(jué)特征可為業(yè)內(nèi)公知技術(shù)，本實(shí)施例不對(duì)其進(jìn)行詳述。
[0135] 在提取第二圖像集合中每一樣例圖像的視覺(jué)特征之后，可采用漢明距離、歐式距 離、馬式距離等距離度量方式獲取兩兩之間的視覺(jué)特征相似度，構(gòu)建T*T的相似度矩陣。
[0136] 另外需要說(shuō)明的是，使用ΑΡ聚類算法聚出的類別個(gè)數(shù)一般較多，而模板庫(kù)的類 別個(gè)數(shù)一般不應(yīng)偏離實(shí)際車型種類數(shù)量太遠(yuǎn)，本實(shí)施例使用ΑΡ聚類算法第一次聚類得到 3392個(gè)類，而實(shí)際車型種類大約在1000種，因此，本實(shí)施例對(duì)第一次聚類得到的聚類中心 進(jìn)行二次聚類，最終得到938個(gè)類。本實(shí)施例中，這18347張圖像訓(xùn)練出的938個(gè)子集構(gòu)成 所述模板庫(kù)。
[0137] 應(yīng)該說(shuō)明的是，前述步驟201中建立的模板庫(kù)可以在任意檢索中使用，后續(xù)對(duì)待 查詢圖像可無(wú)需建立模板庫(kù)，直接使用前期建立的模板庫(kù)即可，即，只需要建立一次模板 庫(kù)，每次檢索時(shí)可以直接使用，無(wú)需每檢索一次建立一次模板庫(kù)。
[0138] 進(jìn)一步地，前述步驟203中和205中的第一向量/3=?Α,ρ:,···,八丨和第二向量 歹二供仏…屯}的長(zhǎng)度均為Κ，Κ值為模板庫(kù)子集個(gè)數(shù)，本實(shí)施例中，Κ = 938,因此生成的統(tǒng) 計(jì)分布特征向量為938維。
[0139] 統(tǒng)計(jì)方式為：對(duì)Q'或R個(gè)二元組中的每一個(gè)，如果"圖像ID"所對(duì)應(yīng)的圖像在模 板庫(kù)中屬于第i類，i e N+，i e [1，K]，那么將"視覺(jué)相似度"累加到Pl，同時(shí)^加1。
[0140] 進(jìn)一步地，可將上述第一向量#每個(gè)維度除以第二向量f中的相應(yīng)維度值的開(kāi) 方：Λ:. = P/Zi，生成所述統(tǒng)計(jì)分布特征向量5。
[0141] 待查詢圖像和目標(biāo)圖像庫(kù)中每張圖像均按上述方式生成相應(yīng)的K維統(tǒng)計(jì)分布特 征向量I (如上步驟203中的第一統(tǒng)計(jì)分布特征向量和步驟205中的第二統(tǒng)計(jì)分布特征向 量）。
[0142] 由于上述統(tǒng)計(jì)過(guò)程之前用視覺(jué)相似度的閾值進(jìn)行了選擇，參與統(tǒng)計(jì)的（圖像ID， 視覺(jué)相似度）二元組數(shù)量一般很少，本實(shí)施例中，平均能夠保留約不到20個(gè)二元組，因此， 生成的K維統(tǒng)計(jì)分布特征向量SG是稀疏的，在后續(xù)步驟中計(jì)算量很小，從而保證了時(shí)間效 率。
[0143] 上述實(shí)施例中的方法，能夠選出正確率高的擴(kuò)展查詢樣例，從而提升檢索性能。
[0144] 例如，本實(shí)施例構(gòu)建一個(gè)包含4188張圖像的目標(biāo)數(shù)據(jù)庫(kù)，對(duì)150張查詢圖像進(jìn)行 檢索，目標(biāo)數(shù)據(jù)庫(kù)圖像與查詢圖像來(lái)自不同城市。
[0145] 使用CDVS特征和檢索框架獲取按照第一相似度排序的初始檢索結(jié)果序列，平均 準(zhǔn)確率（Mean Average Precision，MAP)為0.42,然后使用本發(fā)明所述方法對(duì)每張查詢圖 像選擇不多于6張擴(kuò)展查詢樣例進(jìn)行擴(kuò)展查詢及檢索結(jié)果融合，融合方法為（以任意一張 查詢圖像為例說(shuō)明）：構(gòu)建一個(gè)維度為4188(目標(biāo)數(shù)據(jù)庫(kù)所含圖像數(shù)量）的向量各維度 初始化為0。按本發(fā)明所述方法對(duì)查詢圖像Q選出了 K(K小于等于6)張擴(kuò)展查詢樣例，那 么對(duì)這Κ張擴(kuò)展查詢樣例分別做基于目標(biāo)數(shù)據(jù)庫(kù)的檢索（仍使用⑶VS檢索框架），得到Κ 條檢索結(jié)果序列，檢索結(jié)果序列長(zhǎng)度均為500,檢索結(jié)果序列中的每個(gè)結(jié)果對(duì)應(yīng)一個(gè)（圖像 ID，相似度）二元組，這里的相似度與前面所述第一相似度性質(zhì)相同。這樣包括查詢圖像的 初始檢索結(jié)果序列，共有（Κ+1) *500個(gè)二元組。對(duì)這（Κ+1) *500個(gè)二元組進(jìn)行統(tǒng)計(jì)，統(tǒng)計(jì)方 法為：對(duì)每一個(gè)二元組，將"相似度"累加到向量·?的第"圖像ID"維上，得到目標(biāo)圖像庫(kù)中 每張圖像的最終得分。最后將各維度按照累加的相似度從高到低排序，得到最終檢索結(jié) 果序列。最終檢索結(jié)果序列的MAP值提升到0. 60.
[0146] 從上述實(shí)驗(yàn)結(jié)果可知，本發(fā)明實(shí)施例的擴(kuò)展查詢樣例選擇方法，在查詢圖像與目 標(biāo)數(shù)據(jù)庫(kù)圖像來(lái)自不同場(chǎng)景的情況下也能選擇出正確的擴(kuò)展查詢樣例，大幅度提升檢索性 能。
[0147] 本實(shí)施例的方法與現(xiàn)有技術(shù)相比，不同于圖像對(duì)之間一對(duì)一的匹配，本實(shí)施例使 用聚類算法訓(xùn)練一個(gè)第三方的樣例圖像集合，這里稱之為"模板庫(kù)"，利用模板庫(kù)的統(tǒng)計(jì)分 布特性，將待匹配的兩張圖像分別映射到該模板庫(kù)，生成統(tǒng)計(jì)分布特征，將統(tǒng)計(jì)分布特征相 似度與第一相似度結(jié)合，能夠選出更準(zhǔn)確的擴(kuò)展查詢樣例，從而提升檢索性能。
[0148] 另外，本發(fā)明還提供一種車輛檢索方法，該方法包含前述任意實(shí)施例描述的車輛 檢索中的擴(kuò)展查詢樣例選擇方法獲取待查詢圖像的目標(biāo)檢索結(jié)果序列；進(jìn)而根據(jù)所述目標(biāo) 檢索結(jié)果序列，確定于所述待查詢圖像相似的目標(biāo)圖像。
[0149] 圖3示出了本發(fā)明一實(shí)施例提供的車輛檢索的擴(kuò)展查詢裝置，如圖3所示，本實(shí)施 例的車輛檢索的擴(kuò)展查詢裝置包括：統(tǒng)計(jì)分布特征向量獲取單元31、初始檢索結(jié)果序列獲 取單元32、第二相似度確定單元33、擴(kuò)展查詢圖像獲取單元34 ;
[0150] 統(tǒng)計(jì)分布特征向量獲取單元31用于獲取待查詢圖像基于預(yù)先建立的模板庫(kù)中所 有樣例圖像的第一統(tǒng)計(jì)分布特征向量，以及獲取目標(biāo)圖像庫(kù)中每一圖像基于所述模板庫(kù)中 所有樣例圖像的第二統(tǒng)計(jì)分布特征向量；
[0151] 初始檢索結(jié)果序列獲取單元32用于獲取所述目標(biāo)圖像庫(kù)中全部或部分圖像排序 的初始檢索結(jié)果序列，所述初始檢索結(jié)果序列是按照所述待查詢圖像與目標(biāo)圖像庫(kù)中每一 圖像的第一相似度的大小排序的；
[0152] 第二相似度確定單元33用于根據(jù)所述第一統(tǒng)計(jì)分布特征向量和所述初始檢索結(jié) 果序列中的每一圖像的第二統(tǒng)計(jì)分布特征向量，確定所述待查詢圖像與所述初始檢索結(jié)果 序列中每一圖像的第二相似度；
[0153] 擴(kuò)展查詢圖像獲取單元34用于根據(jù)所述第一相似度對(duì)應(yīng)的第一閾值，所述第二 相似度對(duì)應(yīng)的第二閾值，從所述初始檢索結(jié)果序列中選取部分圖像作為擴(kuò)展查詢圖像。
[0154] 可選地，上述裝置還包括圖中未示出的模板庫(kù)建立單元30,該模板庫(kù)建立單元30 用于采用預(yù)設(shè)的圖像匹配系統(tǒng)對(duì)預(yù)先收集的N張樣例圖像進(jìn)行篩選，獲得篩選后的T張樣 例圖像；進(jìn)而對(duì)篩選后的樣例圖像進(jìn)行聚類處理，建立包括部分樣例圖像的模板庫(kù)，所述模 板庫(kù)中的樣例圖像均不重復(fù)，其中，N、T均為大于1的自然數(shù)，N大于T。
[0155] 在具體應(yīng)用中，統(tǒng)計(jì)分布特征向量獲取單元31具體用于
[0156] 獲取所述待查詢圖像基于所述模板庫(kù)中每張樣例圖像的視覺(jué)相似度，得到Q個(gè)二 元組，每一二元組包括：樣例圖像標(biāo)識(shí)和該樣例圖像對(duì)應(yīng)的視覺(jué)相似度；
[0157] 根據(jù)預(yù)設(shè)的視覺(jué)相似度的閾值，從Q個(gè)二元組中篩選出Q'個(gè)二元組，Q和Q'均為 大于1的自然數(shù)；
[0158] 采用構(gòu)建的第一向量和第二向量對(duì)Q'個(gè)二元組進(jìn)行統(tǒng)計(jì)，根據(jù)統(tǒng)計(jì)結(jié)果生成第一 統(tǒng)計(jì)分布特征向量；
[0159] 以及獲取所述目標(biāo)圖像庫(kù)中每一圖像基于所述模板庫(kù)中每張樣例圖像的視覺(jué)相 似度，獲得每一圖像的Q個(gè)二元組，每一二元組包括：樣例圖像標(biāo)識(shí)和該樣例圖像對(duì)應(yīng)的視 覺(jué)相似度；
[0160] 根據(jù)預(yù)設(shè)的視覺(jué)相似度的閾值，從每一圖像對(duì)應(yīng)的所有二元組中篩選出R個(gè)二元 組，R為大于1的自然數(shù)；
[0161] 采用構(gòu)建的第一向量和第二向量對(duì)R個(gè)二元組進(jìn)行統(tǒng)計(jì)，根據(jù)統(tǒng)計(jì)結(jié)果生成該圖 像的第二統(tǒng)計(jì)分布特征向量；
[0162] 其中，所述第一向量為> =丨A，/V···，/\〖，各維度初始化為〇 ;
[0163] 第二向量為1 =體，％，…心}，各維度初始化為0 ;
[0164] 所述第一向量的維度和第二向量的維度相同，且與所述模板庫(kù)中所有樣例圖像對(duì) 應(yīng)的類別數(shù)量匹配。
[0165] 本實(shí)施例中的擴(kuò)展查詢裝置可執(zhí)行前述圖1和圖2所示的方法流程，本實(shí)施例不 對(duì)其進(jìn)行詳述。進(jìn)一步地，本實(shí)施例的擴(kuò)展查詢裝置可位于任一終端或設(shè)備中，實(shí)現(xiàn)圖像的 檢索。本實(shí)施例中車輛檢索的擴(kuò)展查詢裝置，能夠提升相似車輛檢索性能。
[0166] 本發(fā)明的說(shuō)明書中，說(shuō)明了大量具體細(xì)節(jié)。然而，能夠理解，本發(fā)明的實(shí)施例可以 在沒(méi)有這些具體細(xì)節(jié)的情況下實(shí)踐。在一些實(shí)例中，并未詳細(xì)示出公知的方法、結(jié)構(gòu)和技 術(shù)，以便不模糊對(duì)本說(shuō)明書的理解。
[0167] 類似地，應(yīng)當(dāng)理解，為了精簡(jiǎn)本發(fā)明公開(kāi)并幫助理解各個(gè)發(fā)明方面中的一個(gè)或多 個(gè)，在上面對(duì)本發(fā)明的示例性實(shí)施例的描述中，本發(fā)明的各個(gè)特征有時(shí)被一起分組到單個(gè) 實(shí)施例、圖、或者對(duì)其的描述中。然而，并不應(yīng)將該公開(kāi)的方法解釋呈反映如下意圖：即所要 求保護(hù)的本發(fā)明要求比在每個(gè)權(quán)利要求中所明確記載的特征更多的特征。更確切地說(shuō)，如 下面的權(quán)利要求書所反映的那樣，發(fā)明方面在于少于前面公開(kāi)的單個(gè)實(shí)施例的所有特征。 因此，遵循【具體實(shí)施方式】的權(quán)利要求書由此明確地并入該【具體實(shí)施方式】，其中每個(gè)權(quán)利要 求本身都作為本發(fā)明的單獨(dú)實(shí)施例。
[0168] 本領(lǐng)域技術(shù)人員可以理解，可以對(duì)實(shí)施例中的設(shè)備中的模塊進(jìn)行自適應(yīng)性地改變 并且把它們?cè)O(shè)置在于該實(shí)施例不同的一個(gè)或多個(gè)設(shè)備中?？梢园褜?shí)施例中的模塊或單元或 組件組合成一個(gè)模塊或單元或組件，以及此外可以把它們分成多個(gè)子模塊或子單元或子組 件。除了這樣的特征和/或過(guò)程或者單元中的至少一些是互相排斥之處，可以采用任何組 合對(duì)本說(shuō)明書（包括伴隨的權(quán)利要求、摘要和附圖）中公開(kāi)的所有特征以及如此公開(kāi)的任 何方法或者設(shè)備的所有過(guò)程或單元進(jìn)行組合。除非另外明確陳述，本說(shuō)明書（包括伴隨的 權(quán)利要求、摘要和附圖）中公開(kāi)的每個(gè)特征可以由提供相同、等同或相似目的的替代特征 來(lái)代替。
[0169] 此外，本領(lǐng)域的技術(shù)人員能夠理解，盡管在此所述的一些實(shí)施例包括其它實(shí)施例 中所包括的某些特征而不是其它特征，但是不同實(shí)施例的特征的組合意味著處于本發(fā)明的 范圍之內(nèi)并且形成不同的實(shí)施例。例如，在下面的權(quán)利要求書中，所要求保護(hù)的實(shí)施例的任 意之一都可以以任意的組合方式來(lái)使用。
[0170] 本發(fā)明的各個(gè)部件實(shí)施例可以以硬件實(shí)現(xiàn)，或者以在一個(gè)或者多個(gè)處理器上運(yùn)行 的軟件模塊實(shí)現(xiàn)，或者以它們的組合實(shí)現(xiàn)。應(yīng)該注意的是上述實(shí)施例對(duì)本發(fā)明進(jìn)行說(shuō)明而 不是對(duì)本發(fā)明進(jìn)行限制，并且本領(lǐng)域技術(shù)人員在不脫離所附權(quán)利要求的范圍的情況下可設(shè) 計(jì)出替換實(shí)施例。在權(quán)利要求中，不應(yīng)將位于括號(hào)之間的任何參考符號(hào)構(gòu)造成對(duì)權(quán)利要求 的限制。單詞"包含"不排除存在未列在權(quán)利要求中的元件或步驟。位于元件之前的單詞 "一"或"一個(gè)"不排除存在多個(gè)這樣的元件。本發(fā)明可以借助于包括有若干不同元件的硬 件以及借助于適當(dāng)編程的計(jì)算機(jī)來(lái)實(shí)現(xiàn)。在列舉了若干裝置的單元權(quán)利要求中，這些裝置 中的若干個(gè)可以是通過(guò)同一個(gè)硬件項(xiàng)來(lái)具體體現(xiàn)。單詞第一、第二、以及第三等的使用不表 示任何順序?？蓪⑦@些單詞解釋為名稱。
[0171] 最后應(yīng)說(shuō)明的是：以上各實(shí)施例僅用以說(shuō)明本發(fā)明的技術(shù)方案，而非對(duì)其限制； 盡管參照前述各實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說(shuō)明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解：其 依然可以對(duì)前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改，或者對(duì)其中部分或者全部技術(shù)特征 進(jìn)行等同替換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實(shí)施例技 術(shù)方案的范圍，其均應(yīng)涵蓋在本發(fā)明的權(quán)利要求和說(shuō)明書的范圍當(dāng)中。
【主權(quán)項(xiàng)】
1. 一種車輛檢索中的擴(kuò)展查詢方法，其特征在于，包括： 獲取待查詢圖像基于預(yù)先建立的模板庫(kù)中所有樣例圖像的第一統(tǒng)計(jì)分布特征向量， W及獲取目標(biāo)圖像庫(kù)中每一圖像基于所述模板庫(kù)中所有樣例圖像的第二統(tǒng)計(jì)分布特征向 量； 獲取所述目標(biāo)圖像庫(kù)中全部或部分圖像排序的初始檢索結(jié)果序列，所述初始檢索結(jié)果 序列是按照所述待查詢圖像與所述目標(biāo)圖像庫(kù)中每一圖像的第一相似度的大小排序的； 根據(jù)所述第一統(tǒng)計(jì)分布特征向量和所述初始檢索結(jié)果序列中的每一圖像的第二統(tǒng)計(jì) 分布特征向量，確定所述待查詢圖像與所述初始檢索結(jié)果序列中每一圖像的第二相似度； 根據(jù)所述第一相似度對(duì)應(yīng)的第一闊值，所述第二相似度對(duì)應(yīng)的第二闊值，從所述初始 檢索結(jié)果序列中選取部分圖像作為擴(kuò)展查詢圖像。2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取待查詢圖像基于預(yù)先建立的模 板庫(kù)中所有樣例圖像的第一統(tǒng)計(jì)分布特征向量之前，所述方法還包括： 對(duì)篩選后的樣例圖像進(jìn)行聚類處理，建立包括部分樣例圖像的模板庫(kù)，所述模板庫(kù)中 的樣例圖像均不重復(fù)。3. 根據(jù)權(quán)利要求2所述的方法，其特征在于，所述對(duì)篩選后的樣例圖像進(jìn)行聚類處理， 建立包括樣例圖像的模板庫(kù)，包括： 采用預(yù)設(shè)的圖像匹配系統(tǒng)對(duì)預(yù)先收集的N張樣例圖像進(jìn)行篩選，獲得篩選后的T張樣 例圖像； 其中，N、T均為大于1的自然數(shù)，N大于T。4. 根據(jù)權(quán)利要求1所述的方法，其特征在于，獲取待查詢圖像基于預(yù)先建立的模板庫(kù) 中所有樣例圖像的第一統(tǒng)計(jì)分布特征向量，包括： 獲取所述待查詢圖像與所述模板庫(kù)中每張樣例圖像的視覺(jué)相似度，得到Q個(gè)二元組， 每一二元組包括：樣例圖像標(biāo)識(shí)和該樣例圖像對(duì)應(yīng)的視覺(jué)相似度； 根據(jù)預(yù)設(shè)的視覺(jué)相似度的闊值，從Q個(gè)二元組中篩選出Q'個(gè)二元組，Q和Q'均為大于 1的自然數(shù)； 采用構(gòu)建的第一向量和第二向量對(duì)Q'個(gè)二元組進(jìn)行統(tǒng)計(jì)，根據(jù)統(tǒng)計(jì)結(jié)果生成第一統(tǒng)計(jì) 分布特征向量； 其中，所述第一向量為A，護(hù).…，Pj，各維度初始化為O ; 第二向量為，…，/，各維度初始化為O ; 所述第一向量的維度和第二向量的維度相同，且與所述模板庫(kù)中所有樣例圖像對(duì)應(yīng)的 類別數(shù)量匹配。5. 根據(jù)權(quán)利要求1所述的方法，其特征在于，獲取目標(biāo)圖像庫(kù)中每一圖像基于所述模 板庫(kù)中所有樣例圖像的第二統(tǒng)計(jì)分布特征向量，包括： 獲取所述目標(biāo)圖像庫(kù)中每一圖像與所述模板庫(kù)中每張樣例圖像的視覺(jué)相似度，獲得每 一圖像的Q個(gè)二元組，每一二元組包括：樣例圖像標(biāo)識(shí)和該樣例圖像對(duì)應(yīng)的視覺(jué)相似度； 根據(jù)預(yù)設(shè)的視覺(jué)相似度的闊值，從每一圖像對(duì)應(yīng)的所有二元組中篩選出R個(gè)二元組，R 為大于1的自然數(shù)； 采用構(gòu)建的第一向量和第二向量對(duì)R個(gè)二元組進(jìn)行統(tǒng)計(jì)，根據(jù)統(tǒng)計(jì)結(jié)果生成該圖像的 第二統(tǒng)計(jì)分布特征向量； 其中，所述第一向量為^=;>|，/.，:，一，仇!，各維度初始化為〇; 第二向量為f = h，f2，一，f&.! >各維度初始化為O ; 所述第一向量的維度和第二向量的維度相同，且與所述模板庫(kù)中所有樣例圖像對(duì)應(yīng)的 類別數(shù)量匹配。6. 根據(jù)權(quán)利要求4或5所述的方法，其特征在于，所述根據(jù)統(tǒng)計(jì)結(jié)果生成第一統(tǒng)計(jì)分布 特征向量，包括： 將統(tǒng)計(jì)有Q'個(gè)二元組的第一向量的每個(gè)維度除W統(tǒng)計(jì)有Q'個(gè)二元組的第二向量中對(duì) 應(yīng)維度值的開(kāi)方，獲得第一統(tǒng)計(jì)分布特征向量； 或者， 根據(jù)統(tǒng)計(jì)結(jié)果生成第二統(tǒng)計(jì)分布特征向量，包括： 將統(tǒng)計(jì)有R個(gè)二元組的第一向量的每個(gè)維度除W統(tǒng)計(jì)有R個(gè)二元組的第二向量中對(duì)應(yīng) 維度值的開(kāi)方，獲得第二統(tǒng)計(jì)分布特征向量。7. 根據(jù)權(quán)利要求1至5任一所述的方法，其特征在于，根據(jù)所述第一相似度對(duì)應(yīng)的第一 闊值，所述第二相似度對(duì)應(yīng)的第二闊值，從所述初始檢索結(jié)果序列中選取部分圖像作為擴(kuò) 展查詢圖像，包括： 針對(duì)所述初始檢索結(jié)果序列中的每一圖像，確定該圖像對(duì)應(yīng)的第一相似度是否大于所 述第一闊值； 如果大于，則確定該圖像對(duì)應(yīng)的第二相似度是否大于所述第二闊值； 如果大于，則將該圖像作為擴(kuò)展查詢圖像； 按照所述初始檢索結(jié)果序列的順序，對(duì)每一圖像進(jìn)行篩選，如果所述擴(kuò)展查詢圖像的 數(shù)量大于預(yù)設(shè)限制闊值，則停止篩選。8. -種車輛檢索中的擴(kuò)展查詢裝置，其特征在于，包括： 統(tǒng)計(jì)分布特征向量獲取單元，用于獲取待查詢圖像基于預(yù)先建立的模板庫(kù)中所有樣例 圖像的第一統(tǒng)計(jì)分布特征向量，W及獲取目標(biāo)圖像庫(kù)中每一圖像基于所述模板庫(kù)中所有樣 例圖像的第二統(tǒng)計(jì)分布特征向量； 初始檢索結(jié)果序列獲取單元，用于獲取所述目標(biāo)圖像庫(kù)中全部或部分圖像排序的初始 檢索結(jié)果序列，所述初始檢索結(jié)果序列是按照所述待查詢圖像與目標(biāo)圖像庫(kù)中每一圖像的 第一相似度的大小排序的； 第二相似度確定單元，用于根據(jù)所述第一統(tǒng)計(jì)分布特征向量和所述初始檢索結(jié)果序列 中的每一圖像的第二統(tǒng)計(jì)分布特征向量，確定所述待查詢圖像與所述初始檢索結(jié)果序列中 每一圖像的第二相似度； 擴(kuò)展查詢圖像獲取單元，用于根據(jù)所述第一相似度對(duì)應(yīng)的第一闊值，所述第二相似度 對(duì)應(yīng)的第二闊值，從所述初始檢索結(jié)果序列中選取部分圖像作為擴(kuò)展查詢圖像。9. 根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述裝置還包括： 模板庫(kù)建立單元，用于對(duì)篩選后的樣例圖像進(jìn)行聚類處理，建立包括部分樣例圖像的 模板庫(kù)，所述模板庫(kù)中的樣例圖像均不重復(fù)。10. -種車輛檢索方法，其特征在于，包括： 根據(jù)權(quán)利要求1至7任一所述的方法獲取待查詢圖像的擴(kuò)展查詢圖像； 根據(jù)所述擴(kuò)展查詢圖像，確定與所述待查詢圖像相似的目標(biāo)圖像。
【文檔編號(hào)】G06K9/62GK106033443SQ201510114233
【公開(kāi)日】2016年10月19日
【申請(qǐng)日】2015年3月16日
【發(fā)明人】段凌宇, 李晨霞, 陳杰, 黃鐵軍, 高文
【申請(qǐng)人】北京大學(xué)