基于馬爾科夫隨機(jī)場(chǎng)的快速食物識(shí)別方法
【專利摘要】本發(fā)明公開(kāi)了一種基于馬爾科夫隨機(jī)場(chǎng)的快速食物識(shí)別方法，主要解決食物圖像識(shí)別中食物缺乏特征點(diǎn)、形狀不定型導(dǎo)致食物識(shí)別難的問(wèn)題，其實(shí)現(xiàn)過(guò)程是：(1)建立檢索數(shù)據(jù)庫(kù)，并提取檢索圖像中的特征描述符，構(gòu)建索引文件；(2)提取被查詢圖像的特征描述符；(3)根據(jù)特征描述符求出被查詢圖像在檢索庫(kù)中的食物標(biāo)簽類中的似然得分；(4)根據(jù)被查詢圖像在檢索數(shù)據(jù)庫(kù)中的標(biāo)簽類食物中的似然得分和被查詢者菜單中的標(biāo)簽類之間的條件概率，構(gòu)建馬爾科夫能量公式，最小化能量公式，得到被查詢圖像的食物標(biāo)簽類。本發(fā)明能對(duì)食物圖像進(jìn)行快速準(zhǔn)確識(shí)別和分類，很容易擴(kuò)展到更大的檢索數(shù)據(jù)庫(kù)和被查詢圖像集，可用于培養(yǎng)健康的飲食方式。
【專利說(shuō)明】
基于馬爾科夫隨機(jī)場(chǎng)的快速食物識(shí)別方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明屬于圖像信息處理領(lǐng)域，具體的說(shuō)是一種食物識(shí)別方法，可用于解決食物 圖像分析和識(shí)別食物類別問(wèn)題。
【背景技術(shù)】
[0002] 隨著人們對(duì)飲食健康的關(guān)注，對(duì)于那些想改善自己飲食習(xí)慣的人來(lái)說(shuō)，用一個(gè)簡(jiǎn) 單易行的方法來(lái)記錄飲食信息是非常必要的。到目前為止，24小時(shí)全天飲食記錄還是采用 常見(jiàn)的記錄"飲食歷史"的方法來(lái)評(píng)估個(gè)體的飲食習(xí)慣。然而，自我報(bào)告的方法通常是不準(zhǔn) 確的，特別是在超重人群中，有些人通常瞞報(bào)自己的熱量攝入。如果飲食的營(yíng)養(yǎng)信息能過(guò)通 過(guò)食物圖像自動(dòng)檢測(cè)出來(lái)，會(huì)將用戶從人工記錄信息中解放出來(lái)。
[000；3]近期，在"生活日志（life-log)"研究領(lǐng)域，人們對(duì)獲取、處理人們?nèi)粘Ｉ钚畔⒌?興趣越來(lái)越濃厚。人們通過(guò)各種方式記錄他們的生活:上傳照片，上傳 GPS數(shù)據(jù)等等，甚至， 有些人會(huì)在互聯(lián)網(wǎng)上分享自己的"生活日志"。到目前為止，大部分關(guān)于"生活日志"的研究 聚焦在基于"生活日志"數(shù)據(jù)的通用多媒體處理上。在運(yùn)些研究中，人們總會(huì)在吃飯時(shí)使用 照相機(jī)拍攝食物照片。隨著互聯(lián)網(wǎng)中不斷增加的食物照片，他們致力于收集、處理所有可得 到的數(shù)據(jù)，建立"生活日志"的索引、摘要，并能夠檢索海量的"生活日志"數(shù)據(jù)。但是識(shí)別圖 像中的食物并不簡(jiǎn)單，因?yàn)?生活日志"太過(guò)龐雜、冗余。
[0004] 食物自動(dòng)識(shí)別是一種人工記錄方法的替代品，如果有了根據(jù)圖像自動(dòng)識(shí)別食物的 方法，人們就可W輕松鑒別自己的飲食趨勢(shì)，而不用瀏覽圖片庫(kù)查找最近拍攝的照片。然而 關(guān)于食物識(shí)別方面的研究很少。在目前的研究方法中，現(xiàn)存的一些識(shí)別算法對(duì)一般目標(biāo)物 體的識(shí)別取得了良好的效果，其中有些使用了基于局部特征，例如SIFT描述符，有些使用了 基于全局特征，例如顏色直方圖和GIST特征點(diǎn);Yang等人將利用兩種基線算法，顏色直方圖 和bag of SIFT特征的PFID數(shù)據(jù)基準(zhǔn)引入到食物識(shí)別領(lǐng)域中來(lái)。Felzenszwa化等人提出使 用Ξ角化多邊形來(lái)表示不定形狀的技術(shù)。Leordeanu等人提出了一種利用相互作用的成對(duì) 的簡(jiǎn)單描述符來(lái)識(shí)別目標(biāo)類別的方法。A recent work[8]learns a mean shape of the object class based on the thin plate spline parameterization.首先，運(yùn)些方法需 要檢測(cè)有意義的特征點(diǎn)，例如邊緣、輪廓、關(guān)鍵點(diǎn)和地標(biāo)。但是，由于食物圖像缺乏上述有意 義的特征點(diǎn)，其次，由于真正的食物的形狀往往是無(wú)定型的，所W很難用上述方法去判斷食 物形狀的相似性，不能準(zhǔn)確對(duì)食物進(jìn)行分類。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的在于針對(duì)上述已有的技術(shù)問(wèn)題，提出一種基于馬爾科夫隨機(jī)場(chǎng)的快 速食物識(shí)別方法，W通過(guò)查詢圖像在食物標(biāo)簽類中的似然得分和標(biāo)簽類別的先驗(yàn)概率來(lái)求 查詢圖像在食物標(biāo)簽類中的馬爾科夫能量方程，并通過(guò)優(yōu)化能量方程確定使其能量最小的 食物標(biāo)簽類別。
[0006] 為了實(shí)現(xiàn)上述目的，本發(fā)明的技術(shù)方案包括如下：
[0007] (1)根據(jù)不同食物種類的食物圖像建立檢索數(shù)據(jù)庫(kù)，從檢索數(shù)據(jù)庫(kù)中的檢索圖像 Dd中提取Dd的N種特征描述符光，并將其存儲(chǔ)在索引文件中，Dd表示第d個(gè)檢索圖像，d=l， 2，…，Nd，Nd表示檢索圖像總數(shù)，k=l，2，…N，N表示使用的特征描述符的總數(shù)；
[000引（2)設(shè)定第i個(gè)被查詢圖像si，并提取Si的第k種特征描述符/,4，1 = 1，2^''，扼，扼表 示被查詢圖像總數(shù)；
[0009] (3)根據(jù)檢索圖像和被查詢圖像的特征描述符，計(jì)算第i個(gè)被查詢圖像Si在第j個(gè) 標(biāo)簽類Cj食物中的似然得分口(31山）〇 = 1，2^-，知其表示檢索數(shù)據(jù)庫(kù)中的食物標(biāo)簽類別 的總數(shù)；
[0010] (4)構(gòu)建被查詢食物圖像集合SP = {si I i = 1，2，…，化：}在檢索數(shù)據(jù)庫(kù)中的食物標(biāo)簽 類集合C = kj I j = 1，2，…，N。}中的馬爾科夫MRF能量方程J(C)公式，，，，并通過(guò)最小化馬爾 科夫MRF能量J(C)，得出第i個(gè)被查詢圖像Si識(shí)別的食物標(biāo)簽類cv，V = 1，2，…Nc:
[0011] (4.1)計(jì)算被查詢者菜單中第m個(gè)標(biāo)簽類Cm食物在第η個(gè)標(biāo)簽類Cn食物已出現(xiàn)條件 下的出現(xiàn)概率P(Cm|cn)n，m=l，2，…，Np，n辛m，Np表示被查詢者菜單中食物標(biāo)簽類別的總 數(shù)；
[0012] (4.2)求被查詢者菜單中第η個(gè)標(biāo)簽類Cn食物在第m個(gè)標(biāo)簽類Cm食物已出現(xiàn)條件下 的出現(xiàn)概率P(Cn|cm);
[0013] (4.3)重復(fù)計(jì)算被查詢者菜單中任意兩個(gè)食物標(biāo)簽類之間的條件概率{Pkm|cn)，P (cn| Cm) |m,n=l ,2,··· ,Νρ}；
[0014] (4.4)根據(jù)被查詢圖像集合SP中的被查詢圖像在食物標(biāo)簽類中的似然得分{P(si 〇^)|1 = 1，2，-，，化，^' = 1，2，-，，斯}和被查詢者菜單中任意兩個(gè)食物標(biāo)簽類之間的條件概率 {P(Cm| Cn)，P(Cn| Cm) |m，n=l，2，···，Νρ}，求被查詢圖像集合SP={si I 1 = 1,2,…，Ns}在標(biāo)簽 類食物集合C = kj I j = 1，2，…N。}中的馬爾科夫MRF能量方程J(C);
[00巧](4.5)利用迭代條件模式算法ICM最小化馬爾科夫MRF能量方程J(c)，求出第i個(gè)被 查詢圖像Si的食物標(biāo)簽類Cv;重復(fù)使用迭代條件模式算法ICM最小化馬爾科夫MRF能量方程J (C)求出被查詢食物圖像集合SP中的其他被查詢圖像的食物標(biāo)簽類，完成對(duì)被查詢食物圖 像集合SP中被查詢圖像的識(shí)別。
[0016] 本發(fā)明具有如下優(yōu)點(diǎn)：
[0017] 1)本發(fā)明由于使用全局特征描述符來(lái)描述圖像，避免了因食物形狀不定型而無(wú)法 判斷其相似性的問(wèn)題。將圖像W全局特征描述符的形式存儲(chǔ)，節(jié)約了存儲(chǔ)空間。
[0018] 2)本發(fā)明使用檢索食物圖像的全局特征描述符來(lái)解釋被查詢圖像，可W很容易地 擴(kuò)展到更大的被查詢食物圖像集和標(biāo)簽集。
[0019] 3)本發(fā)明通過(guò)對(duì)被查詢食物圖像集的數(shù)值統(tǒng)計(jì)和分析，利用迭代條件模式算法 ICM優(yōu)化馬爾科夫隨機(jī)域(MR巧的能量方程，提高了計(jì)算效率。
【附圖說(shuō)明】
[0020] 圖1是本發(fā)明的實(shí)現(xiàn)總流程圖；
[0021] 圖2是本發(fā)明中提取顏色和邊緣的方向性描述符CEDD的子流程圖；
[0022] 圖3是本發(fā)明中使用的迭代條件模式算法流程圖；
[0023] 圖4是本發(fā)明仿真實(shí)驗(yàn)所使用的從被查詢者早餐中得到的被查詢圖像；
[0024] 圖5是本發(fā)明仿真實(shí)驗(yàn)用的檢索數(shù)據(jù)庫(kù)中的部分檢索圖像。
【具體實(shí)施方式】
[0025] 參照?qǐng)D1，本發(fā)明的實(shí)現(xiàn)步驟如下：
[0026] 步驟1，根據(jù)不同食物種類的食物圖像建立檢索數(shù)據(jù)庫(kù)，從檢索數(shù)據(jù)庫(kù)中的檢索圖 像D沖提取Dd的N種特征描述符記，構(gòu)建索引文件，其中Dd表示第d個(gè)檢索圖像，d = l，2,…， Nd，Nd表示檢索圖像總數(shù)，k=l，2,…N，N表示使用的特征描述符的總數(shù)。
[0027] 本發(fā)明中主要使用的圖像特征描述符姑包括緊湊型描述符中的顏色和邊緣的方 向性描述符CEDD、亮度和紋理的方向性直方圖描述符BTDH、模糊顏色和紋理直方圖描述符 FCTH和多媒體內(nèi)容描述接口 MPEG-7視覺(jué)標(biāo)準(zhǔn)中的顏色布局描述符化D、邊緣直方圖描述符 E皿、可伸縮顏色描述符SCD，運(yùn)幾種圖像特征描述符的提取步驟如下：
[002引（1.1)顏色和邊緣的方向性描述符CE孤特征的提取：
[0029] 參考圖2,本步驟的具體實(shí)現(xiàn)如下：
[0030] (1.1a)先將檢索圖像分成若干分塊，再將每個(gè)分塊分為4個(gè)子塊；
[0031] (1.化)對(duì)每個(gè)子塊提取紋理信息：在YIQ色彩空間中，即亮度-色調(diào)-飽和度空間， 計(jì)算每個(gè)像素的灰度值，求出每個(gè)子塊的像素的平均灰度值;再將每個(gè)子塊經(jīng)過(guò)5個(gè)數(shù)字濾 波器過(guò)濾，得到邊緣直方圖；根據(jù)邊緣直方圖判斷紋理信息類別，得到一個(gè)6-bin直方圖；
[0032] (1.1c)對(duì)每個(gè)子塊提取顏色信息：將每個(gè)子塊都轉(zhuǎn)換到HSV色彩空間，即信道色 調(diào)-飽和度-亮度色彩空間，并計(jì)算HSV色彩空間各通道的平均值;通過(guò)10-bins模糊過(guò)濾器 過(guò)濾過(guò)濾后，根據(jù)信道色調(diào)Η的值得到10個(gè)色彩類別，再通過(guò)24-bins模糊過(guò)濾器過(guò)濾后，根 據(jù)飽和度S和亮度V的區(qū)域判定，對(duì)信道色調(diào)Η進(jìn)行再分類，得到一個(gè)24-bin的直方圖；將24- bin 的直方圖分別加入到該子塊所屬的紋理類別中 ，得到一個(gè) 144-bin 的直方圖；
[0033] (1. Id)對(duì)檢索圖像的所有分塊重復(fù)執(zhí)行上述(1.化)-(1.1.C)步驟，得到整個(gè)檢索 圖像的直方圖，再對(duì)直方圖進(jìn)行歸一化處理，得到檢索圖像的顏色和邊緣的方向性描述符 C邸D;
[0034] (1.2)亮度和紋理的方向性直方圖描述符BTDH提?。?br>[0035] (1.2a)先將檢索圖像分成若干分塊，再將每個(gè)分塊分為4個(gè)子塊；
[0036] (1.2b)對(duì)每一個(gè)子塊提取紋理信息:每個(gè)圖像子塊經(jīng)化rr小波變換得到Ξ個(gè)紋理 元素，經(jīng)模糊關(guān)聯(lián)系統(tǒng)將該子塊劃分到8-bin紋理直方圖中；
[0037] (1.2c)對(duì)每個(gè)子塊提取顏色信息：將每個(gè)子塊都轉(zhuǎn)換到HSV色彩空間，即信道色 調(diào)-飽和度-亮度色彩空間；通過(guò)24-bin模糊過(guò)濾器過(guò)濾過(guò)濾后，根據(jù)亮度V的值得到一個(gè) 24-bin直方圖，將24-bin的直方圖分別加入到該子塊所屬的紋理類別中，得到子塊的直方 圖；
[0038] (1.2d)對(duì)檢索圖像的所有分塊重復(fù)執(zhí)行上述（1.2b)-(l. 2c)步驟，得到整個(gè)檢索 圖像的直方圖，再對(duì)直方圖進(jìn)行歸一化處理，得到檢索圖像的亮度和紋理的方向性直方圖 描述符BTDH;
[0039] (1.3)模糊顏色和紋理直方圖描述符FCTH提取：
[0040] (1.3a)先將檢索圖像分成若干分塊，再將每個(gè)分塊分為4個(gè)子塊；
[0041] (1.3b)對(duì)每一個(gè)子塊提取紋理信息:每個(gè)圖像子塊經(jīng)化rr小波變換得到Ξ個(gè)紋理 元素，經(jīng)模糊關(guān)聯(lián)系統(tǒng)將該子塊劃分到8-bin紋理直方圖中；
[0042] (1.3c)對(duì)每一個(gè)子塊提取顏色信息:將每個(gè)子塊轉(zhuǎn)化到HSV顏色空間;每個(gè)子塊的 信道色調(diào)H、飽和度S和亮度V經(jīng)過(guò)10-bin模糊關(guān)聯(lián)系統(tǒng)，得到10-bin的直方圖；通過(guò)24-bin 模糊關(guān)聯(lián)系統(tǒng)將原先的每個(gè)信道色調(diào)Η再次分割成深淺不同的Ξ個(gè)色調(diào)HI, H2，H3,把亮度V 轉(zhuǎn)變?yōu)閮蓚€(gè)模糊區(qū)間，得出一個(gè)24-bin的直方圖，再將24-bin的直方圖分別加入到該子塊 所屬的紋理直方圖中，得到子塊的直方圖；
[0043] (1.3d)對(duì)圖像的所有分塊執(zhí)行上述（1.3b)-(l.3c)步驟，得到整張圖像的直方圖， 將直方圖歸一化，得到檢索圖像的模糊顏色和紋理直方圖描述符FCTH;
[0044] (1.4)邊緣直方圖描述符邸Η提?。?br>[0045] (1.4a)先將檢索圖像分成若干分塊，再將每個(gè)分塊分為4個(gè)子塊；
[0046] (1.4b)對(duì)每一個(gè)子塊提取邊緣信息：在YIQ色彩空間中，計(jì)算每個(gè)像素的灰度值， 求出每個(gè)子塊的像素的平均灰度值;每個(gè)子塊再經(jīng)過(guò)5個(gè)數(shù)字濾波器過(guò)濾，得到邊緣直方 圖，根據(jù)邊緣直方圖判斷紋理信息類別得到一個(gè)5-bin的直方圖；
[0047] (1.4c)對(duì)圖像的所有分塊執(zhí)行上述（1.4b)步驟，得到整個(gè)圖像的直方圖，將直方 圖歸一化，得到檢索圖像的邊緣直方圖描述符邸H。
[004引（1.5)顏色布局描述符CLD提?。?br>[0049] (1.5a)將圖像映射到Y(jié)CbCr色彩空間，即亮度-藍(lán)色濃度偏移量-紅色濃度偏移量 空間，并將圖像分成64分塊；
[0050] (1.5b)對(duì)每一個(gè)分塊提取顏色信息:計(jì)算每一分塊中所有像素的各個(gè)顏色分量的 平均值;對(duì)分塊中各個(gè)顏色分量平均值進(jìn)行二維離散余弦變換DCT，得到各分量的一系列二 維離散余弦變換DCT系數(shù);對(duì)各分量的二維離散余弦變換DCT系數(shù)進(jìn)行之字掃描和量化，取 出各自二維離散余弦變換DCT的低頻分量，運(yùn)Ξ組低頻分量構(gòu)成了檢索圖像分塊的顏色布 局描述符CLD;
[0051] (1.5c)對(duì)所有檢索圖像分塊重復(fù)上述（1.5b)步驟，得到整個(gè)檢索圖像的顏色布局 描述符CLD;
[0化2] (1.6)可伸縮顏色描述符SCD提?。?br>[0053] (1.6a)先將檢索圖像分成若干分塊，再將每個(gè)分塊分為4個(gè)子塊；
[0054] (1.6b)對(duì)每一個(gè)子塊提取顏色信息：將每個(gè)子塊轉(zhuǎn)化到HSV顏色空間；將HSV顏色 空間均勻量化為256bins(直方圖），再將每個(gè)直方圖值非均勻量化為Ubit，經(jīng)過(guò)化ar變換 編碼得到子塊的可伸縮顏色描述符SCD。
[0055] (1.6c)對(duì)所有檢索圖像分塊重復(fù)上述（1.6b)步驟，得到整個(gè)檢索圖像的可伸縮顏 色描述符SCD;
[0056] (1.7)重復(fù)對(duì)檢索數(shù)據(jù)庫(kù)中的每一個(gè)檢索圖像進(jìn)行特征描述符提?。?br>[0057] (1.8)將上述提取到的檢索圖像的特征描述符進(jìn)行存儲(chǔ)，構(gòu)成索引文件。
[0058] 步驟2,提取被查詢圖像的特征描述符
[0059] 設(shè)定第i個(gè)被查詢圖像Si,并提取Si的第k種特征描述符公，i = l，2,…，Ns，Ns表示 被查詢圖像總數(shù)；
[0060]本步驟提取的被查詢圖像的特征描述符與步驟1提取的檢索圖像的特征描述符類 別相同，即包括緊湊型描述符中的顏色和邊緣的方向性描述符CEDD、亮度和紋理的方向性 直方圖描述符BTDH、模糊顏色和紋理直方圖描述符FCTH和多媒體內(nèi)容描述接口 MPEG-7視覺(jué) 標(biāo)準(zhǔn)中的顏色布局描述符CLD、邊緣直方圖描述符E皿、可伸縮顏色描述符SCD。
[0061 ]提取方法與步驟1的提取方法相同，其中：
[0062] 被查詢圖像的顏色和邊緣的方向性描述符CEDD提取過(guò)程如上述(1.1)步驟；
[0063] 亮度和紋理的方向性直方圖描述符BTDH提取過(guò)程如上述(1.2)步驟；
[0064] 模糊顏色和紋理直方圖描述符FCT田是取過(guò)程如上述(1.3)步驟；
[0065] 顏色布局描述符CLD提取過(guò)程如上述(1.4)步驟；
[0066] 邊緣直方圖描述符E皿提取過(guò)程如上述(1.5)步驟；
[0067] 可伸縮顏色描述符SCD提取過(guò)程如上述(1.6)步驟。
[0068] 步驟3,根據(jù)檢索圖像和被查詢圖像的特征描述符，計(jì)算第i個(gè)被查詢圖像Si在第j 個(gè)標(biāo)簽類cj食物中的似然得分P(Si I cj)，，j = 1，2，…，Nc，Nc表示檢索數(shù)據(jù)庫(kù)中的食物標(biāo)簽類 別的總數(shù)。
[0069] (3.1)根據(jù)檢索圖像Dd的特征描述符記與被查詢圖像Si的特征描述符/，計(jì)算兩 者之間的第k種特征描述符的特征距離單/ ;
[0070] 本發(fā)明中用圖像間的特征描述符的特征距離7：/表示檢索圖像與被查詢圖像的相 似性，并使用化nimoto系數(shù)?(./;{，方)來(lái)表示圖像間的特征描述符的特征距離馬/Janimoto 系數(shù)越小，相似度越小；
[0071]
<1>
[0072] 其中./f表示第i個(gè)查詢圖像S1中的第k種特征描述符，//表示第d個(gè)檢索圖像D沖 的第k種特征描述符，(於f是特征描述符//的轉(zhuǎn)置，（//f是特征描述符療的轉(zhuǎn)置， K滬，.公')表示護(hù)和分之間的化η imo 10系數(shù)；
[0073] (3.2)重復(fù)計(jì)算檢索數(shù)據(jù)庫(kù)中的檢索圖像與第i個(gè)被查詢圖像Si的第k種特征描述 符的特征距離，并按照特征距離降序排列檢索數(shù)據(jù)庫(kù)中的檢索圖像，選取特征距離低于設(shè) 定的距離闊值hk的檢索圖像，構(gòu)成圖像集，該距離闊值hk的設(shè)定與檢索數(shù)據(jù)庫(kù)的大小有 關(guān)；
[0074] (3.3)根據(jù)上述步驟(3.2)中得到的圖像集資，計(jì)算被查詢圖像Si在標(biāo)簽類cj食物 中的第k種特征描述符的似然概率戶C,.);
[0075]
<2>
[0076] 其中D表示檢索食物圖像集，C是檢索數(shù)據(jù)庫(kù)中食物標(biāo)簽類的集合，》表示 圖像集中標(biāo)簽類cj食物的數(shù)量，nkj，D)表示檢索食物圖像集D中標(biāo)簽類cj食物的數(shù)量；
[0077] (3.4)重復(fù)計(jì)算第i個(gè)被查詢圖像Si在第j個(gè)標(biāo)簽類cj食物中的其他特征描述符的 似然概率{/>(滬|c,批=U，;
[0078] (3.5)根據(jù)第i個(gè)被查詢圖像Si在第j個(gè)標(biāo)簽類cj食物中的N個(gè)特征描述符的似然概 率的方>,)|* = 1，2，...，斯|冰第1個(gè)被查詢圖像31在第計(jì)標(biāo)簽類。淮物中的似然得分口(31 Cj)：
[0079] ， <3>
[0080] 其中Wk表示第i個(gè)被查詢圖像Si的第k種特征描述符的似然概率的標(biāo)準(zhǔn)差，計(jì)算公 式如下：
[0081] . <4〉
[0082] 其中尸(.戶|c)表示第i個(gè)被查詢圖像Si的第k種特征描述符在標(biāo)簽類c= {cj I j = l， 2，…N。}中的似然概率的平均值，計(jì)算公式如下：
[0083] <5>
[0084] (3.6)重復(fù)計(jì)算被查詢圖像集合SP中的每一個(gè)被查詢圖像在每一個(gè)食物標(biāo)簽類中 的似然得分{P(si|cj)|i = l，2，..'，^J = l，2，..'，Nc}。
[0085] 步驟4，構(gòu)建被查詢食物圖像集合SP ={ Si I i = 1，2，…，Ns}在檢索數(shù)據(jù)庫(kù)中的食物 標(biāo)簽類集合c = kj I j = l，2,…，N。}中的馬爾科夫MRF能量方程J(c)公式，，并通過(guò)最小化馬 爾科夫MRF能量J(C)，得出第i個(gè)被查詢圖像Si識(shí)別的食物標(biāo)簽類cv，V = 1，2，··'Nc。
[0086] 本發(fā)明中根據(jù)被查詢圖像在檢索數(shù)據(jù)庫(kù)中的食物標(biāo)簽類中的似然得分和被查詢 者菜單中食物標(biāo)簽類之間的條件概率，構(gòu)建馬爾科夫MRF能量公式，把食物識(shí)別問(wèn)題轉(zhuǎn)化為 求被查詢圖像集在檢索食物標(biāo)簽類集中的馬爾科夫MRF能量方程J(c)公式最小值問(wèn)題，其 步驟如下：
[0087] (4.1)求被查詢者菜單中第m個(gè)標(biāo)簽類Cm食物在第η個(gè)標(biāo)簽類cn食物已出現(xiàn)條件下 的出現(xiàn)概率P(Cm|cn):
[008引 P(Cm| Cn)=n(；Cm，Mm,n)/n(Cn，Gn) <6>
[0089] 其中η ( Cn，Gn )表示Gn中標(biāo)簽類Cn食物的數(shù)量，Gn表示菜單中Cn類食物圖像的集合;η (Cm, Mm, η)表示Mm, η中標(biāo)簽類Cm食物的數(shù)量，Mm, η表示在菜單上標(biāo)簽類Cm食物與標(biāo)簽類Cn食物 同時(shí)出現(xiàn)的情況，m，η = 1，2，· · ·，Np，Np表示被查詢者菜單中的食物標(biāo)簽類總數(shù)；
[0090] (4.2)求被查詢者菜單中第η個(gè)標(biāo)簽類Cn食物在第m個(gè)標(biāo)簽類Cm食物已出現(xiàn)條件下 的出現(xiàn)概率P(Cn|cm):
[0091 ] P( Cn I Cm) =n kn ,Mm, η)/n( Cm , Gm) 〈7〉
[0092] 其中n ( Cm，Gm)表示Gm中標(biāo)簽類Cm食物的數(shù)量，Gm表示菜單中Cm類食物圖像的集合;n (Cn，Mm, η)表示Mm, η中標(biāo)簽類Cn食物的數(shù)量；
[0093] (4.3)重復(fù)計(jì)算被查詢者菜單中任意兩個(gè)食物標(biāo)簽類之間的條件概率{Pkm|cn)，P (cn| Cm) |m,n=l ,2,··· ,Np}；
[0094] (4.4)根據(jù)被查詢圖像集合SP中的被查詢圖像在食物標(biāo)簽類中的似然得分{P(si 〇^)|1 = 1，2，-，，化，^' = 1，2，-，，斯}和被查詢者菜單中任意兩個(gè)食物標(biāo)簽類之間的條件概率 {P(Cm| Cn)，P(Cn| Cm) |m，n=l，2，···，Np}，求被查詢圖像集合SP在食物標(biāo)簽類集合C中的馬爾 科夫MRF能量方程J(c):
[0095]
<8>
[0096] 其中A= {(Cm，Cn) |m，n=l，2,…，Np}表示被查詢者菜單中的食物標(biāo)簽類對(duì)的集，λ 為平滑常數(shù)，Wi表示第i個(gè)被查詢圖像Si的似然得分的標(biāo)準(zhǔn)差，計(jì)算公式如下：
[0097] <9>
[0098] (4.5)利用迭代條件模式算法ICM最小化馬爾科夫MRF能量方程J(c)，如圖3所示， 得到第i個(gè)被查詢圖像Si的食物標(biāo)簽類Cv，步驟如下：
[0099] (4.5日)初始化口佔(zhàn)向），口((3。|扣），設(shè)置循環(huán)次數(shù)0 = 0;
[0100] (4.5b)選取不同于當(dāng)前被查詢圖像的被查詢圖像，根據(jù)公式<8〉計(jì)算馬爾科夫MRF 能量J(c，si) = {jXcj'si) I j = l，2，...，Nc};
[0101] (4.5c)從馬爾科夫MRF能量J(c，si)中選擇能量最小的，得到對(duì)應(yīng)的食物標(biāo)簽類cv， 即為第i個(gè)被查詢圖像Si的食物類別；
[0102] (4.5(1)令9 = 9+1，若9<化，返回到步驟(4.56)，否則，停止循環(huán)，得出被查詢食物圖 像集合SP中的被查詢圖像的食物標(biāo)簽類，完成對(duì)被查詢食物圖像集合SP中被查詢圖像的識(shí) 別。
[0103] 本發(fā)明的效果可W通過(guò)W下實(shí)驗(yàn)進(jìn)一步說(shuō)明。
[0104] 1.實(shí)驗(yàn)對(duì)象
[0105] 實(shí)驗(yàn)對(duì)象為圖4所示的被查詢者某一天的早餐食品圖像，被查詢者一周內(nèi)的早餐 菜單如表1所示：
[0106] 表1被查詢者的早餐菜單
[0107]
[010引 2.實(shí)驗(yàn)步驟
[0109] (2.1)建立檢索數(shù)據(jù)庫(kù)如圖5,提取檢索圖像的特征描述符，構(gòu)建索引文件；
[0110] (2.2)輸入圖4所示的被查詢圖像，從被查詢圖像中提取特征描述符，并計(jì)算其與 檢索圖像的特征描述符的特征距離；
[0111] (2.3)根據(jù)公式<2〉求出被查詢食物圖像的特征描述符在食物標(biāo)簽類中的似然概 率結(jié)果表2所示；
[0112] 表2
[0113]
[0114] (2.4)根據(jù)公式<3〉，得到輸入的被查詢食物圖像在標(biāo)簽類食物中的似然得分，依 次是P(si |c)，P(S2 I C)，P(S3 I C)，如下所示：
[0115] P(si Ic) = {0.2185,0.0700,0.1700,0.2684,0.0757,0.1974}
[0116] P(s21c) = {0.1131,0.4716,0.0725,0.1497,0.1374,0.0556}
[0117] P(s31c) = {0.0362,0.1757,0.0598,0.1415,0.5332,0.0536}
[0118] (2.5)根據(jù)表1，公式<6〉和公式<7〉，得到被查詢者早餐菜單表1中的標(biāo)簽類之間的
[0120] 條件概率P ( Cm I Cn )，P kn I Cm)，如表3[0119] 表3
[0121]
[0122] (2.6)采用迭代條件模式算法ICM最小化馬爾科夫MRF能量公式，得到如下的數(shù)據(jù)：
[0123] J( C, S1) = {2.2902,5.9449,2.3388,5.7490,5.9392,2.3113}
[0124] J(c,S2) = {6.3207,1.5185,4.1906,6.2006,6.8626,4.2074}
[0125] J(c, S3) = {6.3977,6.8243,4.2033,6.2088,1.4569,4.2095}
[01%]其中加黑的數(shù)據(jù)為運(yùn)組數(shù)據(jù)中的最小值。
[0127] 3.實(shí)驗(yàn)結(jié)果：
[012引從步驟(2.6)中的馬爾科夫MRF能量最小值，得到相對(duì)應(yīng)的輸入圖像的標(biāo)簽類為： 包子，雞蛋，牛奶，與輸入的圖4被查詢圖像的食物種類完全符合。
【主權(quán)項(xiàng)】
1. 基于馬爾科夫隨機(jī)場(chǎng)的快速食物識(shí)別方法，包括： (1) 根據(jù)不同食物種類的食物圖像建立檢索數(shù)據(jù)庫(kù)，從檢索數(shù)據(jù)庫(kù)中的檢索圖像Dd中提 取Dd的N種特征描述符 <，并將其存儲(chǔ)在索引文件中，Dd表示第d個(gè)檢索圖像，d = 1，2，…，Nd， Nd表示檢索圖像總數(shù)，1^=1，2，-，4表示使用的特征描述符的總數(shù)； (2) 設(shè)定第i個(gè)被查詢圖像Si，并提取Si的第k種特征描述符f ik，i = 1，2，…，Ns，Ns表示被 查詢圖像總數(shù)； (3) 根據(jù)檢索圖像和被查詢圖像的特征描述符，計(jì)算第i個(gè)被查詢圖像Sl在第j個(gè)標(biāo)簽類 Cj食物中的似然得分P(Sl|Cj)，j = l，2,…，NC，NC表示檢索數(shù)據(jù)庫(kù)中的食物標(biāo)簽類別的總數(shù)； (4) 構(gòu)建被查詢食物圖像集合SP ={ Si | i = 1，2，…，Ns}在檢索數(shù)據(jù)庫(kù)中的食物標(biāo)簽類集 合c={Cj| j = l，2,…，N。}中的馬爾科夫MRF能量方程J(c)公式，，，，并通過(guò)最小化馬爾科夫 MRF能量J(c)，得出第i個(gè)被查詢圖像Si識(shí)別的食物標(biāo)簽類Cv，v = 1，2，…仏： (4.1) 計(jì)算被查詢者菜單中第m個(gè)標(biāo)簽類^食物在第η個(gè)標(biāo)簽類(^食物已出現(xiàn)條件下的 出現(xiàn)概率P( Cm | cn)n，m= 1，2，…，Νρ，η關(guān)m，Νρ表示被查詢者菜單中食物標(biāo)簽類別的總數(shù)； (4.2) 求被查詢者菜單中第η個(gè)標(biāo)簽類(^食物在第m個(gè)標(biāo)簽類^食物已出現(xiàn)條件下的出 現(xiàn)概率P(Cn|cm); (4.3) 重復(fù)計(jì)算被查詢者菜單中任意兩個(gè)食物標(biāo)簽類之間的條件概率0((^|(^)，？((^ Cm) |m,n=l ,2,··· ,NP}； (4.4) 根據(jù)被查詢圖像集合SP中的被查詢圖像在食物標(biāo)簽類中的似然得分{P(Sl I Cj) I i =1，2，一，^ = 1，2，一，仏}和被查詢者菜單中任意兩個(gè)食物標(biāo)簽類之間的條件概率0((^ I Cn)，P(cn| Cm) |m，n=l，2，···，NP}，求被查詢圖像集合SP= {si I i = l，2，···，NS}在標(biāo)簽類食物 集合c = {cj I j = 1，2，…N。}中的馬爾科夫MRF能量方程J(c); (4.5) 利用迭代條件模式算法ICM最小化馬爾科夫MRF能量方程J(c)，求出第i個(gè)被查詢 圖像Sl的食物標(biāo)簽類 Cv;重復(fù)使用迭代條件模式算法ICM最小化馬爾科夫MRF能量方程J(c) 求出被查詢食物圖像集合SP中的其他被查詢圖像的食物標(biāo)簽類，完成對(duì)被查詢食物圖像集 合SP中被查詢圖像的識(shí)別。2. 根據(jù)權(quán)利要求1所述的食物識(shí)別方法，其中步驟（1)從檢索數(shù)據(jù)庫(kù)中的檢索圖像Dd中 提取N種特征描述符，建立索引文件，按照如下步驟進(jìn)行： (1.1) 將檢索圖像Dd分成若干分塊，再將每個(gè)分塊分為4個(gè)子塊，并對(duì)每一個(gè)子塊進(jìn)行紋 理、顏色和邊緣處理，得到分塊的直方圖；重復(fù)對(duì)所有分塊進(jìn)行紋理、顏色和邊緣處理，得到 檢索圖像Dd的直方圖，并對(duì)該檢索圖像D d的直方圖進(jìn)行歸一化得到檢索圖像Dd的N種特征描 述符； (1.2) 重復(fù)對(duì)檢索數(shù)據(jù)庫(kù)中的每一個(gè)檢索圖像進(jìn)行特征描述符提取，并存儲(chǔ)，構(gòu)成索引 文件。3. 根據(jù)權(quán)利要求1所述的食物識(shí)別方法，其中所述步驟(2)中提取被查詢圖像Sl的特征 描述符，是將被查詢圖像 Sl分成若干分塊，再將每個(gè)分塊分為4個(gè)子塊，并對(duì)每一個(gè)子塊進(jìn) 行紋理、顏色和邊緣處理，得到分塊的直方圖；重復(fù)對(duì)所有分塊進(jìn)行紋理、顏色和邊緣處理， 得到被查詢圖像 81的直方圖，再對(duì)被查詢圖像81的直方圖進(jìn)行歸一化得到被查詢圖像81的~ 種特征描述符。4.根據(jù)權(quán)利要求1所述的方法，其中步驟(3)中根據(jù)檢索圖像和被查詢圖像的特征描述 符，計(jì)算第i個(gè)被查詢圖像Sl在第j個(gè)標(biāo)簽類食物中的似然得分P(Sl|Cj)，，按如下步驟進(jìn) 行： (3.1) 根據(jù)檢索圖像Dd的特征描述符與被查詢圖像Sl的特征描述符fj，計(jì)算兩者之 間的第k種特征描述符的特征距離IX dk;其中fik表示第i個(gè)查詢圖像Sl中的第k種特征描述符，/j表示第d個(gè)檢索圖像Dd中的第k 種特征描述符，是特征描述符#的轉(zhuǎn)置，是特征描述符的轉(zhuǎn)置； (3.2) 重復(fù)計(jì)算檢索數(shù)據(jù)庫(kù)中的檢索圖像與第i個(gè)被查詢圖像Sl的第k種特征描述符的 特征距離，并按照特征距離降序排列檢索數(shù)據(jù)庫(kù)中的檢索圖像，選取特征距離低于設(shè)定閾 值h k的檢索圖像，構(gòu)成圖像集Af; (3.3) 根據(jù)在檢索圖像集中與被查詢圖像Sl的第k種特征描述符的特征距離低于設(shè)定閾 值hk的檢索圖像集 <，計(jì)算被查詢圖像81在標(biāo)簽類^食物中的第k種特征描述符的似然概率 P(fik|cj)；其中D表示檢索食物圖像集，c是檢索數(shù)據(jù)庫(kù)中食物標(biāo)簽類的集合，表示檢索圖 像集中標(biāo)簽類食物的數(shù)量，n(Cj，D)表示檢索食物圖像集D中標(biāo)簽類q食物的數(shù)量； (3.4) 重復(fù)計(jì)算第i個(gè)被查詢圖像Sl在第j個(gè)標(biāo)簽類食物中的其他特征描述符的似然 概率{P(fik| Cj)|k=l，2,…，N}; (3.5) 根據(jù)第i個(gè)被查詢圖像Si在第j個(gè)標(biāo)簽類Cj食物中的N個(gè)特征描述符的似然概率{P (fik | Cj) | k = l，2，…，N}，求被第i個(gè)查詢圖像Si在第j個(gè)標(biāo)簽類Cj食物中的似然得分P(Si Cj)：其中Wk表示第i個(gè)被查詢圖像Sl的第k種特征描述符的似然概率的標(biāo)準(zhǔn)差，計(jì)算公式如 下：其中^表示第i個(gè)被查詢圖像Sl的第k種特征描述符在標(biāo)簽類c={c」j = l，2r·· N。}中的似然概率的平均值，計(jì)算公式如下：(3.6)重復(fù)計(jì)算被查詢圖像集合SP中的每一個(gè)被查詢圖像在每一個(gè)食物標(biāo)簽類中的似 然得分{P(si|cj) | i = l，2，···，Ns，j = l，2，'..，Nc}。5. 根據(jù)權(quán)利要求1所述的食物識(shí)別方法，其中步驟(4)中構(gòu)建被查詢食物圖像集合SP = {Si|i = l，2,…，Ns}在檢索數(shù)據(jù)庫(kù)中的食物標(biāo)簽類集合c={Cj| j = l，2,…，Nc}中的馬爾科 夫MRF能量方程J (c)公式，按如下步驟進(jìn)行： (4.1) 求被查詢者菜單中第m個(gè)標(biāo)簽類^食物在第η個(gè)標(biāo)簽類(^食物已出現(xiàn)條件下的出 現(xiàn)概率p(Cm|Cn): P ( Cm I Cn)-Π ( Cm , Mm, n) /ll ( Cn , Gn) 〈6〉 其中n ( Cn，Gn)表示Gn中標(biāo)簽類Cn食物的數(shù)量，Gn表示菜單中Cn類食物圖像的集合;n ( Cm， Mm,η)表示Mm,η中標(biāo)簽類Cm食物的數(shù)量，Mm,η表示在菜單上標(biāo)簽類Cm食物與標(biāo)簽類Cn食物同時(shí) 出現(xiàn)的情況，m，η = 1，2，…，Np; (4.2) 求被查詢者菜單中第η個(gè)標(biāo)簽類(^食物在第m個(gè)標(biāo)簽類^食物已出現(xiàn)條件下的出 現(xiàn)概率p(Cn|Cm): P ( Cn I Cm)-Π ( Cn , Mm, n) /ll ( Cm, Gm) 〈7〉 其中n(Cm，Gm)表示Gm中標(biāo)簽類cm食物的數(shù)量，Gm表示菜單中cm類食物圖像的集合;n(cn, Mm,η)表示Mm,η中標(biāo)簽類Cn食物的數(shù)量，Mm,η表示在菜單上標(biāo)簽類Cm食物與標(biāo)簽類Cn食物同時(shí) 出現(xiàn)的情況，m, η = 1,2,…，NP; (4.3) 重復(fù)計(jì)算被查詢者菜單中任意兩個(gè)食物標(biāo)簽類之間的條件概率0((^|(^)，？((^ Cm) |m,n=l ,2,··· ,NP}； (4.4) 根據(jù)被查詢圖像集合SP中的被查詢圖像在食物標(biāo)簽類中的似然得分{P(Sl I Cj) I i =1，2，一，^ = 1，2，一，仏}和被查詢者菜單中任意兩個(gè)食物標(biāo)簽類之間的條件概率0((^ cn)，P(cn I cm) I m，η = 1，2，…，NP}，求被查詢圖像集合SP在食物標(biāo)簽類集合c中的馬爾科夫 MRF能量方程J(c):其中，A= {(cm，cn) |m，n=l，2，···，NP}表示被查詢者菜單中的食物標(biāo)簽類別對(duì)的集，λ是 平滑常數(shù)，表示第i個(gè)被查詢圖像Sl的似然得分的標(biāo)準(zhǔn)差，計(jì)算公式如下：6. 根據(jù)權(quán)利要求1所述的食物識(shí)別方法，其中步驟(4)中利用迭代條件模式算法ICM最 小化馬爾科夫MRF能量方程J(c)，得到第i個(gè)被查詢圖像 Sl的食物標(biāo)簽類Cv，步驟如下： (4.5a)初始化P(Si | cj)，P(cm | cn)，設(shè)置循環(huán)次數(shù)Q = 0; (4.5b)選取不同于當(dāng)前被查詢圖像的被查詢圖像，根據(jù)公式(8)計(jì)算馬爾科夫MRF能量 J(c,si) = {J(cj,si) I j = l ,2,··· ,Nc}； (4.5c)從馬爾科夫MRF能量J(c，Si)中選擇能量最小的，得到對(duì)應(yīng)的食物標(biāo)簽類cv，即為 第i個(gè)被查詢圖像Sl的食物類別； (4.5d)令Q = Q+1，若Q〈NS，返回到(4.5b)步，否則停止循環(huán)，得出被查詢食物圖像集合SP 中的被查詢圖像的食物標(biāo)簽類，完成對(duì)被查詢食物圖像集合SP中圖像的識(shí)別。
【文檔編號(hào)】G06K9/62GK105824886SQ201610136517
【公開(kāi)日】2016年8月3日
【申請(qǐng)日】2016年3月10日
【發(fā)明人】孫偉, 潘蓉, 趙春宇, 陳許蒙, 郭寶龍
【申請(qǐng)人】西安電子科技大學(xué)