本發(fā)明涉及智能核算系統(tǒng)，具體涉及智能售貨機(jī)狀態(tài)在線監(jiān)測(cè)管理系統(tǒng)。

背景技術(shù)：

1、智能售貨機(jī)是一種結(jié)合了互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、智能硬件等先進(jìn)技術(shù)的自動(dòng)化零售設(shè)備，通過內(nèi)置的感應(yīng)器和傳感器系統(tǒng)，以及智能識(shí)別技術(shù)（如條形碼掃描、rfid識(shí)別、視覺識(shí)別等），實(shí)現(xiàn)全程自動(dòng)化的商品銷售。當(dāng)消費(fèi)者選擇商品后，售貨機(jī)會(huì)自動(dòng)識(shí)別商品信息，包括種類、價(jià)格和數(shù)量等，并支持多種支付方式（如掃碼支付、刷卡支付、現(xiàn)金支付等）完成交易。

2、智能售貨機(jī)內(nèi)部裝有攝像頭或圖像傳感器，可以實(shí)時(shí)捕捉消費(fèi)者取貨的過程并通過圖像識(shí)別模型算法識(shí)別出消費(fèi)者購買的商品種類和數(shù)量，但現(xiàn)有技術(shù)中的智能售貨機(jī)在識(shí)別商品時(shí)直接對(duì)消費(fèi)者拿取商品的畫面進(jìn)行識(shí)別，存在識(shí)別準(zhǔn)確率會(huì)受貨物大小、距離攝像頭的距離以及識(shí)別貨物范圍影響的缺陷，導(dǎo)致識(shí)別效率不佳、識(shí)別速度較慢。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)現(xiàn)有技術(shù)所存在的上述缺點(diǎn)，本發(fā)明提供了智能售貨機(jī)狀態(tài)在線監(jiān)測(cè)管理系統(tǒng)，能夠有效解決現(xiàn)有技術(shù)中對(duì)出售貨物的圖像識(shí)別效率不佳、識(shí)別速度較慢的問題。

2、為實(shí)現(xiàn)以上目的，本發(fā)明通過以下技術(shù)方案予以實(shí)現(xiàn)：

3、本發(fā)明提供智能售貨機(jī)狀態(tài)在線監(jiān)測(cè)管理系統(tǒng)，至少包括：包括具有多層貨架的售貨機(jī)以及用于智能識(shí)別商品種類的圖像識(shí)別模塊，售貨機(jī)頂部設(shè)有朝向下方的高清攝像頭，還包括：擺放管理模塊、輔助識(shí)別模塊、重量核對(duì)模塊；

4、預(yù)設(shè)有由多個(gè)商品圖像組成的圖像數(shù)據(jù)庫，通過深度學(xué)習(xí)模型對(duì)圖像數(shù)據(jù)庫中的圖像數(shù)據(jù)進(jìn)行算法學(xué)習(xí)并建立圖像識(shí)別模型，圖像識(shí)別模型在購買過程中識(shí)別畫面中出現(xiàn)的商品并組成購買商品集合；

5、擺放管理模塊包括商品掃描單元和用于提升識(shí)別精度的推薦擺放單元，商品掃描單元對(duì)商品數(shù)據(jù)進(jìn)行掃描錄入，推薦擺放單元根據(jù)商品數(shù)據(jù)規(guī)劃商品的擺放，為不同的商品推薦不同層數(shù)高度的貨架進(jìn)行擺放；

6、輔助識(shí)別模塊包括重量感應(yīng)單元和識(shí)別調(diào)整單元，重量感應(yīng)單元在每層貨架下方設(shè)置有用于感應(yīng)貨架上方商品總重量的重量傳感器，計(jì)算每層貨架購買前后貨物重量變化差值，根據(jù)重量傳感器的數(shù)據(jù)變化生成該層貨架的貨物調(diào)整信號(hào)，同時(shí)根據(jù)該層貨架的層數(shù)對(duì)捕捉的取貨照片進(jìn)行畫幅調(diào)整，為不同層的貨架上的多種商品建立獨(dú)立的圖像識(shí)別模型，根據(jù)貨物調(diào)整信號(hào)對(duì)應(yīng)的貨架層對(duì)圖像識(shí)別模型的識(shí)別范圍進(jìn)行調(diào)整；

7、重量核對(duì)模塊對(duì)購買商品集合中的商品總重量進(jìn)行核對(duì)，生成正常購買信號(hào)或異常購買信號(hào)，當(dāng)生成異常信號(hào)時(shí)保存交易記錄及消費(fèi)者購買視頻。

8、進(jìn)一步地，所述商品掃描單元掃描錄入過程具體如下：

9、將需要擺放進(jìn)售貨機(jī)的商品記作目標(biāo)商品，在朝售貨機(jī)內(nèi)放入目標(biāo)商品前，獲取目標(biāo)商品的名稱、售價(jià)以及多個(gè)角度的外觀圖片，并將目標(biāo)商品多個(gè)角度的外觀圖片添加至圖像數(shù)據(jù)庫，測(cè)量目標(biāo)商品的外包裝尺寸，構(gòu)建目標(biāo)商品的尺寸模型，尺寸模型為長(zhǎng)方體，其長(zhǎng)、寬、高分別對(duì)應(yīng)目標(biāo)商品外包裝的長(zhǎng)、寬、高測(cè)量值，當(dāng)目標(biāo)商品為非標(biāo)準(zhǔn)長(zhǎng)方體時(shí)，以其俯視圖的最大寬度、最大長(zhǎng)度作為其尺寸模型的長(zhǎng)、寬值，以其正視圖的最大高度作為其尺寸模型的高度值。

10、進(jìn)一步地，所述推薦擺放單元推薦擺放過程具體如下：

11、獲取每個(gè)目標(biāo)商品的尺寸模型，計(jì)算尺寸模型的六個(gè)面的面積，選取六個(gè)面中的面積最小值記作目標(biāo)商品的最小識(shí)別面積，獲取每層貨架距離售貨機(jī)頂部的豎直距離，代入預(yù)設(shè)的公式中進(jìn)行計(jì)算，得到識(shí)別區(qū)域參考值，其中a為預(yù)設(shè)的常數(shù)系數(shù)、k為攝像頭成像的長(zhǎng)寬比值，將每層貨架的識(shí)別區(qū)域參考值乘以一個(gè)預(yù)設(shè)的成像占比值，得到每層貨架的最小成像面積，其中i表示貨架從下往上的層數(shù)，當(dāng)i=1時(shí)表示第一層，每個(gè)目標(biāo)商品的最小識(shí)別面積，當(dāng)最小識(shí)別面積屬于區(qū)間時(shí)，生成推薦擺放指令，輸出第i層作為推薦擺放層數(shù)，根據(jù)每個(gè)目標(biāo)商品的推薦擺放層數(shù)構(gòu)建不同擺放層的同層擺放集合，同層擺放集合中包含所有推薦擺放層數(shù)相同的目標(biāo)商品。

12、進(jìn)一步地，所述重量感應(yīng)單元信號(hào)生成過程如下：

13、通過重量傳感器實(shí)時(shí)記錄貨架上方商品的總重量記作貨物總重，預(yù)設(shè)有一個(gè)維持時(shí)間閾值，當(dāng)售貨機(jī)柜門處于關(guān)閉狀態(tài)，且貨物總重保持不變并持續(xù)超過維持時(shí)間閾值時(shí)，生成貨物穩(wěn)定信號(hào)并計(jì)算穩(wěn)定總重，計(jì)算相鄰兩次穩(wěn)定總重之間的差值得到該層貨架對(duì)應(yīng)的貨物重量變化差值；

14、當(dāng)售貨機(jī)柜門處于開啟狀態(tài)，且貨物總重發(fā)生變化時(shí)，生成貨物調(diào)整信號(hào)，進(jìn)一步的，當(dāng)生成貨物調(diào)整信號(hào)時(shí)輸出對(duì)應(yīng)的貨架層數(shù)序號(hào)，調(diào)整高清攝像頭捕捉畫面的大小，對(duì)實(shí)時(shí)捕捉的畫面進(jìn)行縮放，并以原畫面中心為基準(zhǔn)點(diǎn)、原畫面的大小及長(zhǎng)寬比對(duì)其進(jìn)行裁剪得到識(shí)別圖片，縮放比例n的計(jì)算公式為，其中h為預(yù)設(shè)的比例系數(shù)。

15、進(jìn)一步地，獲取貨物調(diào)整信號(hào)對(duì)應(yīng)貨架的同層擺放集合，選取同層擺放集合中所有目標(biāo)商品最小識(shí)別面積中的最大值記作調(diào)整參考值p，代入公式中對(duì)縮放比例n進(jìn)行進(jìn)一步修正計(jì)算，得到修正后的縮放比例n，其中為該層貨架對(duì)應(yīng)的識(shí)別區(qū)域參考值。

16、進(jìn)一步地，所述識(shí)別調(diào)整單元在貨物調(diào)整信號(hào)生成并持續(xù)的時(shí)間內(nèi)定期拍攝取貨照片，拍攝識(shí)別過程具體如下：

17、將每個(gè)貨物調(diào)整信號(hào)所持續(xù)的時(shí)長(zhǎng)區(qū)間記作核對(duì)區(qū)間，預(yù)設(shè)有拍攝時(shí)間間隔t，在核對(duì)區(qū)間內(nèi)每次間隔t時(shí)長(zhǎng)抓拍一張取貨照片，對(duì)取貨照片進(jìn)行處理得到識(shí)別照片，通過圖像識(shí)別模型對(duì)核對(duì)區(qū)間內(nèi)抓拍到的所有識(shí)別照片進(jìn)行識(shí)別，將每個(gè)識(shí)別照片中識(shí)別出的商品標(biāo)記為售出商品，相鄰拍攝的識(shí)別照片中相同的售出商品記作同一售出商品；

18、獲取每層貨架的同層擺放集合，以每個(gè)同層擺放集合中商品種類對(duì)圖像數(shù)據(jù)庫進(jìn)行篩選，得到多個(gè)僅包含同層擺放集合中商品的圖像數(shù)據(jù)庫記作獨(dú)立圖像庫，每個(gè)獨(dú)立圖像庫對(duì)應(yīng)一個(gè)同層擺放集合，以獨(dú)立圖像庫為不同層的貨架建立獨(dú)立的圖像識(shí)別模型，獲取貨物調(diào)整信號(hào)對(duì)應(yīng)貨架，以該貨架對(duì)應(yīng)的圖像識(shí)別模型對(duì)識(shí)別照片進(jìn)行識(shí)別，同時(shí)將圖像識(shí)別模型的輸出范圍限制為同層擺放集合中包含的商品種類。

19、進(jìn)一步地，所述重量核對(duì)模塊對(duì)購買商品集合中的商品總重量核對(duì)過程具體如下：

20、獲取打開售貨機(jī)柜門的消費(fèi)者信息，當(dāng)售貨機(jī)的柜門打開時(shí)通過高清攝像頭記錄視頻，當(dāng)售貨機(jī)的柜門關(guān)閉時(shí)停止記錄視頻，將記錄的視頻與消費(fèi)者信息綁定，獲取該消費(fèi)者的購買商品集合以及訂單信息，計(jì)算購買商品集合中所有的商品重量總和記作購買總重，獲取每層貨架的貨物重量變化差值并計(jì)算總和得到核對(duì)總重，當(dāng)購買總重等于核對(duì)總重時(shí)，生成正常購買信號(hào)，保留訂單信息并清除記錄的視頻，當(dāng)購買總重不等于核對(duì)總重時(shí)，生成異常購買信號(hào)，保存該消費(fèi)者購買過程中記錄的視頻以及訂單信息。

21、本發(fā)明提供的技術(shù)方案，與已知的現(xiàn)有技術(shù)相比，具有如下有益效果：

22、1、本發(fā)明通過對(duì)不同目標(biāo)商品進(jìn)行尺寸模型構(gòu)建，能夠更好地對(duì)不同形狀的商品進(jìn)行分析，建立統(tǒng)一的量化標(biāo)準(zhǔn)，以便于從識(shí)別分析角度對(duì)不同目標(biāo)商品進(jìn)行大小比較，從而能夠根據(jù)目標(biāo)商品的尺寸大小將其分配至售貨機(jī)的的不同貨架層，以便于后續(xù)過程中圖像識(shí)別模型在捕捉圖像進(jìn)行識(shí)別時(shí)，目標(biāo)商品能夠在圖像中占據(jù)足夠比例的畫幅，進(jìn)而提升目標(biāo)商品在圖像中顯示的清晰度，有助于提升圖像識(shí)別模型的識(shí)別準(zhǔn)確率。

23、2、本發(fā)明能夠根據(jù)商品所處的貨架層數(shù)調(diào)整捕捉到的畫面的縮放比例，進(jìn)一步地提升被檢測(cè)的商品在檢測(cè)畫面中的畫幅占比，相較于普通的縮放調(diào)整，根據(jù)最大的最小識(shí)別面積來限制縮放比例的調(diào)整，能夠在盡可能地放大被檢測(cè)商品在檢測(cè)畫面中的畫幅的同時(shí)，避免過度放大造成商品不能完整顯示的問題，進(jìn)一步確保商品能夠被穩(wěn)定識(shí)別。

24、3、本發(fā)明識(shí)別調(diào)整單元為每個(gè)貨架建立一個(gè)獨(dú)立的圖像識(shí)別模型，進(jìn)而減少其他層貨物對(duì)圖像識(shí)別模型識(shí)別該層貨架上商品的干擾，相較于統(tǒng)一識(shí)別的圖像識(shí)別模型，能夠減少圖像識(shí)別模型的學(xué)習(xí)成本、提升模型建立速度，并且獨(dú)立的圖像識(shí)別模型能僅針對(duì)該層貨物進(jìn)行識(shí)別，縮小比對(duì)范圍和輸出范圍，有助于提升識(shí)別準(zhǔn)確度。