一種基于漢明嵌入核的圖像概念檢測方法及其漢明嵌入核的制作方法
【技術領域】
[0001] 本發(fā)明屬于圖像概念檢測技術領域，尤其涉及一種基于漢明嵌入核的圖像概念檢 測方法及其漢明嵌入核。
【背景技術】
[0002] 概念檢測作為基于內容的圖像檢索最基本的一步，在過去幾年里已經進行了深入 的研宄，并且提出了許多有效的方法和特征。對于分類器，SVM(支持向量機）已經被廣泛 地應用。為了提升SVM的性能，一個能夠準確地描述圖像樣本之間距離的方法起著關鍵的 作用。
[0003] 在表示圖像的各種特征中，視覺詞袋特征（Bag-of-Visual-Words，BoW)由于其高 效性以及利用圖像局部信息區(qū)分不同概念的能力，取得了巨大的成功。在典型的BoW特征 提取過程中，首先檢測圖像的局部興趣點（也稱作關鍵點），并用一個128維的尺度不變特 征變換（Scale-Invariant Feature Transformation，SIFT)描述符描述關鍵點的描述符。 這些關鍵點然后根據其SIFT描述符被聚類為不同的視覺單詞，從而構建視覺詞典。最后， 對每個圖像，通過映射其中每個關鍵點到其最相似的視覺單詞，并統(tǒng)計每個單詞對應的關 鍵點的數量，生成該圖像在視覺詞典上的直方圖，也即BoW特征用于表示圖像內容。在SVM 分類過程中，BoW特征用于計算不同圖像之間的距離，進而將含有不同概念的圖像進行區(qū) 分。
[0004] 在構建視覺詞典的過程中，對SIFT描述符的聚類相當于把對應的128維空間分割 為不同的泰森分區(qū)（Voronoi cell)，其中每個分區(qū)對應一個視覺單詞。對給定圖像，通過 統(tǒng)計分配到每個分區(qū)的關鍵點數量從而生成BoW特征。這種方法只是簡單地認為落在一個 分區(qū)的所有點都是相同的，這樣會導致不同圖像樣本之間的距離度量不是很準確。參閱圖 3a，在三個圖像（IpIdPI 3)中，從每個圖像得到四個點映射到相同的視覺單詞（或者說在 同一個泰森分區(qū)中）。根據傳統(tǒng)BoW方法，因為只是對每個分區(qū)中的關鍵點計數，所以三個 圖像被認為是相同的，它們之間的距離全部為0。但在給定的分區(qū)中，IJPI 3之間的距離很 顯然要比1:和12之間的距離要大。BoW模型并沒有考慮這個差異，它假設同一分區(qū)中的所 有點都是相同的。這是因為關鍵點SIFT描述符的詳細信息在映射到視覺單詞的過程中被 丟失。典型地，通過分割128維SIFT描述符空間至200到5000個分區(qū)中生成視覺詞典和 BoW特征，因此每一個分區(qū)的尺寸都會非常大，映射到相同視覺單詞的點之間的差異也會非 常大。由于忽略了這些差異，BoW方法在很大程度上丟失了 SIFT描述符的區(qū)分能力，導致 對不同圖像樣本之間的距離估計精確度大幅降低，從而最終會影響分類器的性能。
[0005] 為了克服現有技術的上述缺陷，本發(fā)明提出了一種基于漢明嵌入核的圖像概念檢 測方法及其漢明嵌入核。

【發(fā)明內容】

[0006] 本發(fā)明提出了一種基于漢明嵌入核的圖像概念檢測方法，包括如下步驟：
[0007] a.提取兩幅以上訓練圖像的局部興趣點，利用尺度不變特征描述符來描述所述局 部興趣點的視覺信息，根據所述描述符利用k-means算法將所有局部興趣點進行聚類獲得 多個類；構建視覺詞典，所述視覺詞典中的每個視覺單詞對應于一個類或者尺度不變特征 空間中的一個泰森分區(qū)；
[0008] b.對每一幅圖像，根據所述描述符將所述局部興趣點分配至不同的視覺單詞或泰 森分區(qū)，統(tǒng)計分配到每個視覺單詞的局部興趣點的數量，形成所述圖像的視覺詞袋特征；
[0009] C.生成每個局部興趣點的二進制簽名，對漢明嵌入核進行離線訓練；
[0010] d.依據步驟b和步驟C建立兩幅以上待檢測圖像的局部興趣點的二進制簽名； [0011] e.對于同一個泰森分區(qū)中的局部興趣點，計算兩個局部興趣點的二進制簽名之間 的漢明距離，作為所述局部興趣點之間的距離；
[0012] f.對于同一個泰森分區(qū)內不同待檢測圖像的局部興趣點集，根據所述漢明距離計 算所述局部興趣點集中任意局部興趣點之間的歐式距離；
[0013] g.依據所述歐氏距離，利用Hungarian算法尋找所述局部興趣點集之間的最優(yōu)匹 配，計算所述局部興趣點集之間的距離；
[0014] h.基于所述距離計和所述局部興趣點集之間的距離生成漢明嵌入核，所述漢明嵌 入核以如下公式表不
【主權項】
1. 一種基于漢明嵌入核的圖像概念檢測方法，其特征在于，包括如下步驟： a. 提取兩幅以上訓練圖像的局部興趣點，利用尺度不變特征描述符來描述所述局部興 趣點的視覺信息，根據所述描述符利用k-means算法將所有局部興趣點進行聚類獲得多個 類；構建視覺詞典，所述視覺詞典中的每個視覺單詞對應于一個類或者尺度不變特征空間 中的一個泰森分區(qū)； b. 對每一幅圖像，根據所述描述符將所述局部興趣點分配至不同的視覺單詞或泰森分 區(qū)，統(tǒng)計分配到每個視覺單詞的局部興趣點的數量，形成所述圖像的視覺詞袋特征； c. 生成每個局部興趣點的二進制簽名，對漢明嵌入核進行離線訓練； d. 依據步驟b和步驟c建立兩幅以上待檢測圖像的局部興趣點的二進制簽名； e. 對于同一個泰森分區(qū)中的局部興趣點，計算兩個局部興趣點的二進制簽名之間的漢 明距離，作為所述局部興趣點之間的距離； f. 對于同一個泰森分區(qū)內不同待檢測圖像的局部興趣點集，根據所述漢明距離計算所 述局部興趣點集中任意局部興趣點之間的歐式距離； g. 依據所述歐氏距離，利用Hungarian算法尋找所述局部興趣點集之間的最優(yōu)匹配， 計算所述局部興趣點集之間的距離； h. 基于所述距離計和所述局部興趣點集之間的距離生成漢明嵌入核，所述漢明嵌入核 以如下公式表示：/?(/p,./q)= 其中，σ是表示一個自由參數，s 表示視覺詞典的大小，c表示一個視覺單詞，15和I,分別表示兩個圖像，K/p, 表示圖像 15和I ,中分配到視覺單詞c上的局部興趣點集之間的距離； i. 利用所述漢明嵌入核為每一個概念u訓練一個支持向量機，所述支持向量機用于將 所有圖像分為含有概念u的圖像和不含概念u的圖像；利用所述支持向量機對任一給定圖 像進行概念檢測，輸出所述圖像中含有概念u的概率值。
2. 如權利要求1所述的基于漢明嵌入核的圖像概念檢測方法，其特征在于，所述步驟c 對漢明嵌入核進行離線訓練包括如下步驟： cl.生成正交投影矩陣P (lbX S)，其中Ib表示二進制簽名的長度，S表示視覺詞典中視 覺單詞的總數；生成SXS的高斯矩陣，對所述高斯矩陣進行因式分解得到所述正交投影矩 陣的前Ib行元素； c2.隨機生成特征向量，所述特征向量被映射到所述視覺詞典中的視覺單詞；對于給 定一個描述符r，由所述特征向量映射到視覺單詞，并通過所述正交投影矩陣P投影產生Ib 維的投影分量 c3.對于每個視覺單詞，依據所有投影分量tH十算I b維的中值，產生SX I b的矩陣M， 所述矩陣M中的每一行關聯視覺詞典中的一個單詞。
3. 如權利要求1所述的基于漢明嵌入核的圖像概念檢測方法，其特征在于，所述步驟d 建立兩幅以上待檢測圖像的局部興趣點的二進制簽名包括如下步驟： dl.將描述符r映射建立到視覺單詞wi; d2.利用正交投影矩陣P投影所述描述符r，產生Ib維的投影向量t、 d3.通過比較向量f與矩陣M的第i行元素計算二進制簽名，所述二進制簽名以如下 公式表示：
式中，bk(r)表示二進制簽·^，1?衣不僅影丨叫重r屮的弟k τ兀系，M i.k衣不所述矩陣M 中坐標為（i，k)的元素。
4. 如權利要求1所述的基于漢明嵌入核的圖像概念檢測方法，其特征在于，二進制簽 名之間的漢明距離以如下公式表示：
其中，h(r)、h(r')分別表示兩個描述符r和r'所對應的二進制簽名的第j個二進 制位，Ib為二進制簽名的長度，'為異或運算符。
5. 如權利要求1所述的基于漢明嵌入核的圖像概念檢測方法，其特征在于，每個局部 興趣點和另一個待檢測圖像中最鄰近的局部興趣點的二進制簽名的漢明距離以如下公式 表不：
i = l，2，…，m，j = l，l，…，n，k=l，l，…，m-n，m>n; 式中，pci(i = 1，2，...，m)和qcj(j = 1，2，...，n)分另Ij表示兩個待檢測圖像中映射到 視覺單詞c的局部興趣點，Vk表示為了保證兩個圖像中的點能夠一一對應所加入的虛擬點， d(pci，qci)表示pci和q cJ之間的距離，H(p ci，qcJ)表示pci和q cJ對應的二進制簽名之間的漢 明距離，Ib表示二進制簽名的長度，d(p ei，vk)表示PcJP V k之間的距離。
6. 如權利要求1所述的基于漢明嵌入核的圖像概念檢測方法，其特征在于，利用 Hungarian算法尋找所述局部興趣點集之間的最優(yōu)匹配，對任意兩個局部興趣點之間的二 進制簽名的漢明距離設置權重值并加和得到所述歐氏距離，所述歐式距離以如下公式表 示：
式中，Φ (Pcd)表示局部興趣點集之間的最優(yōu)匹配，d(Pc;i，Φ (Pj)表示Pcd與其匹配的 局部興趣點之間按照步驟e所計算的距離，m表示圖像Ip中映射到視覺單詞C的局部興趣 點的個數。
7. -種漢明嵌入核，其特征在于，所述漢明嵌入核以如下公式表示：
其中，σ表示一個自由參數，s表示視覺詞典的大小，c表示一個視覺單詞，4 (/ρ,/q) 表示圖像15和I ,中映射到視覺單詞c上的局部興趣點集之間的距離。
8. 如權利要求7所述的漢明嵌入核，其特征在于，利用所述漢明嵌入核為每一個概念u 訓練一個支持向量機，所述支持向量機用于將所有圖像分為含有概念u的圖像和不含概念 u的圖像；利用所述支持向量機對任一給定圖像進行概念檢測，輸出所述圖像中含有概念u 的概率值，實現對圖像概念的自動檢測。
【專利摘要】本發(fā)明公開了一種基于漢明嵌入核的圖像概念檢測方法，包括提取訓練圖像的局部興趣點，通過SIFT建立視覺詞典；生成局部興趣點的二進制簽名，對漢明嵌入核進行離線訓練；生成局部興趣點的二進制簽名；計算二進制簽名之間的漢明距離；計算任意局部興趣點之間的歐氏距離；尋找局部興趣點之間的最優(yōu)匹配；生成漢明嵌入核；以及利用漢明核進行圖像概念檢測。本發(fā)明對漢明嵌入進行改進并融入SVM內核用于圖像概念檢測，增強了視覺詞袋模型對不同圖像內容和概念的區(qū)分能力。本發(fā)明還公開了一種漢明嵌入核。
【IPC分類】G06K9-62
【公開號】CN104657742
【申請?zhí)枴緾N201510035277
【發(fā)明人】王峰, 秦督
【申請人】華東師范大學
【公開日】2015年5月27日
【申請日】2015年1月23日