本發(fā)明涉及一種圖像識別方法，具體來講是一種超市購物車手部識別方法。

背景技術(shù)：

超市智能購物車的一個主要功能就是能夠識別顧客的手以及其手上是否拿有貨物，現(xiàn)有的膚色檢測方法主要是以人臉為主的檢測方法，為了了保證人臉部分盡可能多的被包含在測光區(qū)域中，必須增加人臉框的大小，這樣或多或少的在人臉測光區(qū)域中包含了背景和頭發(fā)的數(shù)據(jù)，由于背景的亮度信息在不同場景和光照條件下變化較大，并且加之頭發(fā)和眼睛顏色的影響，導(dǎo)致基于人臉為主的測光非常的不穩(wěn)定，極大的影響了測光的效果。

技術(shù)實現(xiàn)要素：

本發(fā)明所要解決的技術(shù)問題是，提供一種識別準(zhǔn)確率高、簡單方便的超市購物車手部識別方法。

本發(fā)明解決以上技術(shù)問題的技術(shù)方案：

一種超市購物車手部識別方法，按照如下步驟進行：

（1）判斷手的位置，以購物車開口為基準(zhǔn)面H1，監(jiān)控基準(zhǔn)面上方是否存在目標(biāo)，如有則保存圖片；

（2）圖像處理，通過建立膚色模型對第一步獲得的圖像進行處理；

（3）判斷持物狀態(tài)，將第二步獲得的圖像進行二次判斷。

本發(fā)明進一步限定的技術(shù)方案為：

進一步的，第（1）步中包括如下分步驟：

（1.1）將深度圖與H1面對比，高于H1面的部分為前景，當(dāng)前景的面積大于一定閾值，則認為監(jiān)控區(qū)域有運動；

（1.2）統(tǒng)計前景運動與監(jiān)控區(qū)域各邊的交點個數(shù)，將交點個數(shù)最大的邊認為時運動物體進入的方向；

（1.3）做一個將所有前景包含在內(nèi)的前景的外接矩形；

（1.4）取外接矩形的內(nèi)切圓中離步驟2中得到的進入邊界最遠的圓；

（1.5）將彩色圖像中圓所在部分的圖像摳出，該圖像即手或商品所在位置。

進一步的，第（2）步中包括如下分步驟：(2.1) 按照公式1計算圖像I在RGB三通道的均值，；

(2.2)根據(jù)(2.1)計算出的均值，按照公式2 計算出圖像I的協(xié)方差矩陣，；

公式2中的計算公式如下：；

(2.3)根據(jù)（2.1）、（2.2）計算得到的均值和協(xié)方差矩陣計算出投影矩陣Pro，Pro=*。

進一步的，第（3）步中包括如下分步驟：

(3.1) 采集以膚色為主的圖像集，要求除膚色區(qū)域外，其它區(qū)域灰度值為0。

(3.2) 利用(3.1)中圖像集，并依據(jù)第（2）步中的方法計算得出圖像集膚色區(qū)域的均值，協(xié)方差矩陣以及投影矩陣，并根據(jù)投影矩陣確定膚色區(qū)域的投影范圍；

(3.3) 輸入一張具有膚色區(qū)域的圖像，利用（3.2）中求得的均值與協(xié)方差矩陣計算該圖像每個像素點對應(yīng)的投影矩陣，若該投影矩陣在（3.2）中所計算的投影矩陣范圍內(nèi)，則認為該像素點為膚色，否則為非膚色。

進一步的，還包括手持商品判斷步驟，具體為：

（4.1）將模塊二中提供的切割過后有效運動圖像進行第一判斷，若圖像為空即切割后圖像沒有運動部分，那么直接判定為空手；

（4.2）若第一判斷中圖像不為空，對切割后膚色二值圖像進行第二判斷，若圖像為空，即運動切割圖像中不存在膚色部分，那么直接判定為手持物品；

（4.3）若第二判斷中圖像不為空，計算運動灰度圖像的最大輪廓面積與面積閾值b進行第二判斷；

（4.4）如果最大輪廓面積大于面積閾值b，那么進行膚色置位；

（4.5）如果最大輪廓面積小于面積閾值，那么將彩色圖像轉(zhuǎn)換到HSV顏色空間，提取S通道。

進一步的，閾值a和c是根據(jù)實際使用環(huán)境進行適應(yīng)性調(diào)整，圖像越清晰閾值a越大；在分辨率為320*240的圖像中面積閾值b等于50；在膚色檢測完整前提下，純手的信息熵為零。

進一步的，在光照充足實驗室條件下我們給予一個經(jīng)驗值a=1.4,c=6.5。

進一步的，第（4.4）中包括分步驟為（4.4.1）對置位后灰度圖像計算信息熵；

（4.4.2）對信息熵進行第四判斷，如果信息熵大于閾值a，那么判斷為攜帶商品，否則判斷為空手；

第（4.5）中包括分步驟為（4.5.1）計算該通道信息熵，進行第五判斷，如果信息熵大于閾值c，那么判斷為攜帶商品，否則判斷為空手。

進一步的，還包括判斷用戶購物和退貨過程中是否違規(guī)操作；在購買過程中，從監(jiān)控視野內(nèi)有運動開始，對與基準(zhǔn)面H1交集面積為零的每一幀進行是否手持商品的判斷，并保存下來，每當(dāng)出現(xiàn)交集面積從零變換到非零的交界，便對保存的手持商品判斷結(jié)果清零，當(dāng)交集面積變換到零時，重新開始對交集面積為零的每一幀進行是否手持商品的判斷并保存，反復(fù)進行這些操作直到監(jiān)控視野內(nèi)無運動，將最后保存下來的數(shù)據(jù)進行統(tǒng)計，若手持商品的比率大于一定閾值，則可判定該退出過程中手持商品退出，為違規(guī)操作；在退貨過程中，從監(jiān)控視野內(nèi)有運動開始，對與基準(zhǔn)面H1交集面積為零的每一幀進行手持商品判斷并保存判斷結(jié)果，第一次出現(xiàn)交集面積為非零時，就對保存的數(shù)據(jù)累計計算手持商品的比率，若大于一定閾值，則可判定為手持商品進入，則為違規(guī)操作，然后將結(jié)果清零直到下一次退貨過程重新開始。

一種基于超市購物車手部識別方法的識別系統(tǒng)，包括：

手部分割計算模塊，根據(jù)手部運動趨勢，判斷并獲得手部可能持有商品的圖片；

膚色計算模塊，對手不可能持有商品的圖片做膚色分割處理；

手持商品判斷模塊，判斷手部是否真的持有商品；

統(tǒng)計模塊，通過對手持商品判斷模塊結(jié)果的統(tǒng)計判斷用戶是否違規(guī)操作。

本發(fā)明通過運動檢測、膚色檢測以及手和商品的判斷這幾個步驟來最終精確得到手部是否持有商品的判斷；該方法不會對用戶產(chǎn)生額外的負擔(dān)和要求，整個判斷過程全自動進行，非常簡單方便。

附圖說明

圖1是第（1）步的流程示意圖；

圖2是第（2）步的流程示意圖；

圖3是判斷用戶購物過程中是否違規(guī)操作；

圖4是判斷用戶退貨過程中是否違規(guī)操作。

具體實施方式

實施例1

一種基于超市購物車手部識別方法的識別系統(tǒng)，包括：

手部分割計算模塊，根據(jù)手部運動趨勢，判斷并獲得手部可能持有商品的圖片；

膚色計算模塊，對手不可能持有商品的圖片做膚色分割處理；

手持商品判斷模塊，判斷手部是否真的持有商品；

統(tǒng)計模塊，通過對手持商品判斷模塊結(jié)果的統(tǒng)計判斷用戶是否違規(guī)操作。

一種超市購物車手部識別方法，按照如下步驟進行：

（1）判斷手的位置，以購物車開口為基準(zhǔn)面H1，監(jiān)控基準(zhǔn)面上方是否存在目標(biāo)，如有則保存圖片；

第（1）步中包括如下分步驟：（1.1）將深度圖與H1面對比，高于H1面的部分為前景，當(dāng)前景的面積大于一定閾值，則認為監(jiān)控區(qū)域有運動；

（1.2）統(tǒng)計前景運動與監(jiān)控區(qū)域各邊的交點個數(shù)，將交點個數(shù)最大的邊認為時運動物體進入的方向；

（1.3）做一個將所有前景包含在內(nèi)的前景的外接矩形；

（1.4）取外接矩形的內(nèi)切圓中離步驟2中得到的進入邊界最遠的圓；

（1.5）將彩色圖像中圓所在部分的圖像摳出，該圖像即手或商品所在位置。

（2）圖像處理，通過建立膚色模型對第一步獲得的圖像進行處理；

第（2）步中包括如下分步驟：(2.1) 按照公式1計算圖像I在RGB三通道的均值， ；

(2.2)根據(jù)(2.1)計算出的均值，按照公式2 計算出圖像I的協(xié)方差矩陣，；

公式2中的計算公式如下：；

(2.3)根據(jù)（2.1）、（2.2）計算得到的均值和協(xié)方差矩陣計算出投影矩陣Pro，Pro=*。

（3）判斷持物狀態(tài)，將第二步獲得的圖像進行二次判斷。

第（3）步中包括如下分步驟：

(3.1) 采集以膚色為主的圖像集，要求除膚色區(qū)域外，其它區(qū)域灰度值為0。

(3.2) 利用(3.1)中圖像集，并依據(jù)第（2）步中的方法計算得出圖像集膚色區(qū)域的均值，協(xié)方差矩陣以及投影矩陣，并根據(jù)投影矩陣確定膚色區(qū)域的投影范圍；

(3.3) 輸入一張具有膚色區(qū)域的圖像，利用（3.2）中求得的均值與協(xié)方差矩陣計算該圖像每個像素點對應(yīng)的投影矩陣，若該投影矩陣在（3.2）中所計算的投影矩陣范圍內(nèi)，則認為該像素點為膚色，否則為非膚色。

（4）手持商品判斷步驟，具體為：

（4.1）將模塊二中提供的切割過后有效運動圖像進行第一判斷，若圖像為空即切割后圖像沒有運動部分，那么直接判定為空手；

（4.2）若第一判斷中圖像不為空，對切割后膚色二值圖像進行第二判斷，若圖像為空，即運動切割圖像中不存在膚色部分，那么直接判定為手持物品；

（4.3）若第二判斷中圖像不為空，計算運動灰度圖像的最大輪廓面積與面積閾值b進行第二判斷；

（4.4）如果最大輪廓面積大于面積閾值b，那么進行膚色置位；

第（4.4）中包括分步驟為（4.4.1）對置位后灰度圖像計算信息熵；

（4.4.2）對信息熵進行第四判斷，如果信息熵大于閾值a，那么判斷為攜帶商品，否則判斷為空手；

第（4.5）中包括分步驟為（4.5.1）計算該通道信息熵，進行第五判斷，如果信息熵大于閾值c，那么判斷為攜帶商品，否則判斷為空手。

（4.5）如果最大輪廓面積小于面積閾值，那么將彩色圖像轉(zhuǎn)換到HSV顏色空間，提取S通道。

其中閾值a和c是根據(jù)實際使用環(huán)境進行適應(yīng)性調(diào)整，圖像越清晰閾值a越大；在分辨率為320*240的圖像中面積閾值b等于50；在膚色檢測完整前提下，純手的信息熵為零。在光照充足實驗室條件下我們給予一個經(jīng)驗值a=1.4,c=6.5。

（5）判斷用戶購物和退貨過程中是否違規(guī)操作；在購買過程中，從監(jiān)控視野內(nèi)有運動開始，對與基準(zhǔn)面H1交集面積為零的每一幀進行是否手持商品的判斷，并保存下來，每當(dāng)出現(xiàn)交集面積從零變換到非零的交界，便對保存的手持商品判斷結(jié)果清零，當(dāng)交集面積變換到零時，重新開始對交集面積為零的每一幀進行是否手持商品的判斷并保存，反復(fù)進行這些操作直到監(jiān)控視野內(nèi)無運動，將最后保存下來的數(shù)據(jù)進行統(tǒng)計，若手持商品的比率大于一定閾值，則可判定該退出過程中手持商品退出，為違規(guī)操作；在退貨過程中，從監(jiān)控視野內(nèi)有運動開始，對與基準(zhǔn)面H1交集面積為零的每一幀進行手持商品判斷并保存判斷結(jié)果，第一次出現(xiàn)交集面積為非零時，就對保存的數(shù)據(jù)累計計算手持商品的比率，若大于一定閾值，則可判定為手持商品進入，則為違規(guī)操作，然后將結(jié)果清零直到下一次退貨過程重新開始。

本發(fā)明通過運動檢測、膚色檢測以及手和商品的判斷這幾個步驟來最終精確得到手部是否持有商品的判斷；該方法不會對用戶產(chǎn)生額外的負擔(dān)和要求，整個判斷過程全自動進行，非常簡單方便。

除上述實施例外，本發(fā)明還可以有其他實施方式。凡采用等同替換或等效變換形成的技術(shù)方案，均落在本發(fā)明要求的保護范圍。