本發(fā)明涉及一種快速智能餐廳結(jié)算系統(tǒng)，屬于模式識別和圖像處理技術(shù)領(lǐng)域。

背景技術(shù)：

現(xiàn)有的餐廳或食堂結(jié)算體系主要分為兩種，一種是人工計價，一種是通過自助結(jié)算臺實現(xiàn)。人工計價就是根據(jù)菜單價格表自行計算消費總額。自助計算是在每一個餐具底部植入無線射頻芯片（rfid），餐具進入自助結(jié)算臺的結(jié)算區(qū)后（射頻天線感應(yīng)區(qū)），通過對餐具底部射頻芯片進行讀寫操作，借助于計算機及其通訊技術(shù)，實現(xiàn)對餐具底部射頻芯片的通信和管理，實現(xiàn)快速結(jié)算。這兩種結(jié)算方式各有其優(yōu)缺點。人工計價簡單便捷，比較適用于餐廳規(guī)模及人流量相對較小場所，如小餐館，便利店等。自助結(jié)算系統(tǒng)高效，快捷，適用于高校等人流密集場所，但是該系統(tǒng)需要對每個餐具進行處理，成本較高，且后續(xù)維護比較困難。

經(jīng)過大量的調(diào)查研究發(fā)現(xiàn)，當(dāng)下很多餐廳，食堂是以餐具的種類，形狀和顏色為依據(jù)進行結(jié)算收費，工作人員可以此為依據(jù)計價。研究發(fā)現(xiàn)顯存結(jié)算體系存在諸多不足，尤其是高峰時段人流量較大時，人工計價相對較慢，出錯率較高，顧客排隊等待時間較長等問題比較突出。

大多數(shù)校園餐廳如今采用的是人工計價方式。結(jié)算是以餐具的種類和顏色為依據(jù)。以某餐廳為例，餐具種類包括大碗，小碗，大盤，小盤。不同顏色的盤子對應(yīng)不同的單價，共有白色，紅色和黃色三種不同顏色的盤子，其分別對應(yīng)的價位為白色2元一盤，紅色4元一盤，黃色5元一盤，大碗5元一份，小碗0.6元份/人。餐廳工作人員可以此為依據(jù)對就餐師生選定的套餐計價，刷卡。結(jié)合實際情況，經(jīng)研究發(fā)現(xiàn)，現(xiàn)存的這種結(jié)算體系在某些方面有待改善。突出問題羅列如下：

a)當(dāng)消費者前來就餐，尤其是高峰時段，由于人工計價相對較慢帶來的時間延遲，使得需要長時間等待；

b)由于空間有限，且人流量較大，在排隊過程中也給后續(xù)前來就餐的師生帶來諸多不便，碰撞，菜灑落情況時有發(fā)生；

c)其次由于是人工計算價格，對總金額的計算出現(xiàn)誤算錯算的情況的幾率很高。

技術(shù)實現(xiàn)要素：

針對上述結(jié)算效率低，同時耗費較大人力物力資源的現(xiàn)象，結(jié)合本專業(yè)研究方向模式識別與圖像處理，提出一種基于視頻檢測識別的自助餐廳智能結(jié)算系統(tǒng)，在無需工作人員的參與下，就餐人員只需將所選套餐放在識別區(qū)域，即可通過本系統(tǒng)識別出總的價格。操作簡單，高效且實用?？纱蟠缶徑庥扇斯そY(jié)算帶來的排隊，擁堵等諸多問題。

為實現(xiàn)上述目的，本發(fā)明的技術(shù)方案是：一種基于機器視覺的智能餐廳的結(jié)算系統(tǒng)，由餐廳智能結(jié)算裝置、后臺結(jié)算中心平臺以及支付裝置組成，所述餐廳智能結(jié)算裝置包括視頻文件拍攝和讀取裝置、l型立柱支架、結(jié)算平臺，所述結(jié)算平臺上放置托盤，托盤內(nèi)放置餐具碗和各色圓盤，所述視頻文件拍攝和讀取裝置通過l型立柱支架固定在結(jié)算平臺放置餐具碗和各色圓盤區(qū)域上方，用于拍攝消費者選擇套餐內(nèi)容，并傳輸給后臺結(jié)算中心平臺；后臺結(jié)算中心平臺通過讀取視頻流，提取出關(guān)鍵幀的有效圖像，并對關(guān)鍵幀的有效圖像去除噪聲，灰度變換，模糊處理，以及通過遍歷圖像，使用霍夫變換，模糊神經(jīng)網(wǎng)絡(luò)算法識別出具有特定形狀和顏色的餐具，從而根據(jù)預(yù)先對餐具標(biāo)定的價格計算出消費總額；后臺結(jié)算中心平臺將消費總額數(shù)據(jù)輸入支付裝置，使消費者可根據(jù)后臺結(jié)算中心平臺界面顯示的消費總額提示刷卡消費。

所述后臺結(jié)算中心平臺上部設(shè)有結(jié)算平臺顯示器，中部設(shè)有視頻顯示器、選餐明細(xì)顯示器、消費明細(xì)區(qū)、注意事項區(qū)，下部設(shè)有結(jié)算區(qū)、工作指示燈、反饋按鍵指示燈，所述視頻顯示器具有視頻輸入窗口、視頻提示窗口，用于實時顯示托盤中的內(nèi)容；所述選餐明細(xì)顯示器包括圖像智能顯示器、選餐明細(xì)提示區(qū)；所述圖像智能顯示器顯示通過基于視頻的關(guān)鍵幀提取算法，對多張關(guān)鍵幀進行模糊處理和決策提取出的高質(zhì)量的對應(yīng)時段視頻內(nèi)容的圖像，并提示消費者可通過選餐明細(xì)提示觀察顯示區(qū)內(nèi)容是否與實際一致，否則可通過反饋按鍵指示燈進行反饋；所述的消費明細(xì)區(qū)根據(jù)選餐明細(xì)顯示器顯示的餐具的種類、單價，顯示出結(jié)算地點和結(jié)算時間，以及消費總額；所述的結(jié)算區(qū)位于消費明細(xì)區(qū)下方位置，并裝有支持刷卡支付的支付裝置；所述后臺結(jié)算中心平臺通過支撐架、結(jié)算平臺調(diào)節(jié)按鈕固定在底座結(jié)構(gòu)上，底座結(jié)構(gòu)上裝有防滑裝置和柱形固定吸盤裝置。

所述視頻文件拍攝和讀取裝置為集成的攝像模塊或工業(yè)攝像頭。

所述視頻文件拍攝和讀取裝置連接攝像機內(nèi)外參數(shù)提取裝置，通過攝像機內(nèi)外參數(shù)提取裝置對攝像機傾斜角度的補償，可有效提取視頻信息。

所述視頻文件拍攝和讀取裝置還裝有光照補償裝置，所述光照補償裝置為led環(huán)形補償燈。

本發(fā)明的有益效果是：

本發(fā)明為一種快速智能餐廳結(jié)算系統(tǒng)，主要用于解決基于實時視頻內(nèi)容的餐具檢測識別問題。本發(fā)明中，根據(jù)視頻是有多幀圖像組合而成的原理，通過攝像頭讀取實時視頻流，后臺程序通過讀取視頻流，進而提取出關(guān)鍵幀，并對關(guān)鍵幀進行去除噪聲，灰度變換，模糊處理等預(yù)處理，進而通過遍歷關(guān)鍵幀，通過霍夫變換，模糊神經(jīng)網(wǎng)絡(luò)算法識別出具有特定形狀和顏色的餐具。并通過后臺結(jié)算中心平臺根據(jù)預(yù)先對餐具標(biāo)定的價格計算出消費總額。實驗結(jié)果表明本發(fā)明可在2s-3s以內(nèi)完成檢測識別和結(jié)算功能。由于無需對現(xiàn)有餐具做任何改進，后期改進升級非常便捷，具有很高的經(jīng)濟性，實用性。

附圖說明

圖1為本發(fā)明的餐廳智能結(jié)算裝置結(jié)構(gòu)示意圖；

圖2為本發(fā)明的后臺結(jié)算中心平臺示意圖；

圖3為本發(fā)明的具體實現(xiàn)的算法流程示意圖。

具體實施方式

下面結(jié)合附圖與實施例對本發(fā)明作進一步說明。

如圖1，2所示，本發(fā)明的基于機器視覺的智能餐廳的結(jié)算系統(tǒng)，由餐廳智能結(jié)算裝置、后臺結(jié)算中心平臺以及支付裝置組成。

餐廳智能結(jié)算裝置，如圖1所示，包括視頻文件拍攝和讀取裝置，攝像頭固定卡口1-2，l型立柱支架1-3，l型立柱固定裝置1-4，結(jié)算平臺1-5（攝像頭識別區(qū)域），托盤1-6，餐具碗1-7，白色圓盤1-8-1，紅色圓盤1-8-2，黃色圓盤1-8-3，光照補償裝置1-9，連接插口1-10，數(shù)據(jù)傳輸導(dǎo)線1-11。視頻文件拍攝和讀取裝置為集成的攝像模塊或工業(yè)攝像頭1-1。結(jié)算平臺1-5上放置托盤1-6，托盤1-6內(nèi)放置餐具碗1-7和各色圓盤，視頻文件拍攝和讀取裝置通過l型立柱1-3固定在結(jié)算平臺1-5放置餐具碗1-7和各色圓盤區(qū)域上方，用于拍攝消費者選擇套餐內(nèi)容，并傳輸給后臺結(jié)算中心平臺?？谛D(zhuǎn)固定卡口1-2，用于固定攝像頭位置，防止由于外界因素產(chǎn)生的抖動影響，卡口設(shè)計為旋轉(zhuǎn)可調(diào)類型，可根據(jù)實際應(yīng)用場景進行調(diào)整；l型立柱支架1-3，用于支撐卡口和攝像頭。結(jié)算平臺1-5，用于承載托盤，其設(shè)計尺寸由攝像頭的垂直距離、攝像頭覆蓋范圍、托盤尺寸等因素決定；支付裝置以及后臺結(jié)算中心平臺，支付裝置為一個專用的刷面板，消費者可根據(jù)結(jié)算中心界面顯示的消費總額提示刷卡消費。

視頻文件拍攝和讀取裝置還裝有光照補償裝置1-9，光照補償裝置1-9為led環(huán)形補償燈。光照補償裝置1-9，考慮到視頻拍攝過程中由于光照因素引起的噪聲干擾，攝像頭經(jīng)過二次開發(fā)在鏡頭底部安裝有亮度可調(diào)的led環(huán)形補償燈，led環(huán)形補償燈也俗稱光管、日光燈管，其光源采用led作為發(fā)光體。led燈管有很多優(yōu)點，亮度高：led的光譜幾乎全部集中于可見光頻段，效率可以達(dá)到80％～90％，led的可見光理論極限效率至少可達(dá)500lm/w，節(jié)能高效；純度高，led光譜狹窄，發(fā)出的光線很純，可有效排除由于led光源本身帶來的噪聲；多變化：可調(diào)節(jié)色溫的變化，以適應(yīng)多種場合的需求，此外還有壽命長，體積小等優(yōu)點?？蓾M足對于不同環(huán)境下對攝像頭光照補償，保證能夠得到更高質(zhì)量的實時視頻，對于后期視頻的處理如關(guān)鍵真的提取，圖像的灰度處理，二值化具有非常重要的意義；可以有效減小由于光源的影響帶來的噪聲，能夠極大程度上提高檢測效率，識別率可達(dá)到98.9%以上；

消費者將托盤放至結(jié)算平臺1-5識別區(qū)域，工業(yè)攝像頭1-1即開始拍攝視頻。對于因光線因素導(dǎo)致的拍攝視頻質(zhì)量下降，使得后期處理準(zhǔn)確率下降問題，可通過亮度可調(diào)的led環(huán)形補償燈改善拍攝效果?？谛D(zhuǎn)固定卡口1-2主要是為了適應(yīng)不同環(huán)境所設(shè)計的，對于不同的消費場景，不同年齡階段的消費人群，其所放置的位置會有所變化，正對此類情況，可通過調(diào)節(jié)工業(yè)攝像頭1-1的方位進而改善算平臺識別區(qū)域，以達(dá)到高效識別的目的。所拍攝的視頻通過數(shù)據(jù)傳輸線發(fā)送至后臺結(jié)算中心平臺進行處理。識別對象為餐廳的托盤1-6，餐具碗1-7。餐具碗1-7包括圓盤和碗。其中圓盤包括一個黃色圓盤1-8-3，一個紅色圓盤1-8-2，一個白色圓盤1-8-1，小碗一個。

視頻文件拍攝和讀取裝置連接攝像機內(nèi)外參數(shù)提取裝置，通過攝像機內(nèi)外參數(shù)提取裝置對攝像機傾斜角度的補償，可有效提取視頻信息。本發(fā)明考慮到視頻拍攝有一定角度傾斜的應(yīng)用場景，改進攝像機標(biāo)定算法。該算法根據(jù)攝像機的透視關(guān)系及直線的幾何不變性，推導(dǎo)出攝像機標(biāo)定公式。攝像機標(biāo)定公式中對傾斜的角度做出了一定的補償，可有效提取視頻信息。

后臺結(jié)算中心平臺，如圖2所示，包括結(jié)算平臺顯示器2-1、視頻顯示器2-2、視頻輸入窗口2-2-1、視頻提示窗口2-2-2、選餐明細(xì)顯示器2-3、圖像智能顯示器2-3-1、選餐明細(xì)提示2-3-2、消費明細(xì)區(qū)2-4、注意事項區(qū)2-5、結(jié)算區(qū)2-6、支撐架2-7、結(jié)算平臺調(diào)節(jié)按鈕2-8、底座結(jié)構(gòu)2-9、防滑裝置2-10、柱形固定吸盤裝置2-11、攝像頭鏈接導(dǎo)線2-12-1、電源線2-12-2、；vga線2-12-3、輸入端結(jié)構(gòu)2-13、工作指示燈2-14、反饋按鍵指示燈2-15。

結(jié)算平臺顯示器2-1、提示歡迎使用智能餐廳結(jié)算系統(tǒng)，通過液晶顯示屏顯示。視頻顯示器2-2、位于結(jié)算平臺顯示2-1的左下方位置，包括視頻輸入窗口2-2-1和視頻提示窗口2-2-2，可以實時顯示托盤中的內(nèi)容。選餐明細(xì)顯示器2-3位于視頻顯示器2-2的正右方位置，包括圖像智能顯示器2-3-1，其中顯示的內(nèi)容是通過基于視頻的關(guān)鍵幀提取算法，通過對多張關(guān)鍵幀進行模糊處理和決策提取出質(zhì)量最高，最能體現(xiàn)出對應(yīng)時段視頻內(nèi)容的圖像，提示消費者可通過選餐明細(xì)提示觀察顯示2-3-2內(nèi)容是否與實際一致，否則可通過反饋按鍵指示燈2-15進行反饋。消費明細(xì)區(qū)2-4位于視頻顯示器2-2的正下方位置，會根據(jù)選餐明細(xì)顯示器2-3顯示的內(nèi)容中包含的餐具識別和列舉出餐具的種類、單價，同時會顯示出結(jié)算地點和結(jié)算時間；消費總額則根據(jù)消費明細(xì)區(qū)2-4計算出總的消費金額。結(jié)算區(qū)2-6位于消費明細(xì)區(qū)2-4下方位置，支持刷卡支付，包括就餐餐廳提供的磁卡，統(tǒng)一使用的校園卡等。支撐架2-7中間設(shè)計有結(jié)算平臺調(diào)節(jié)按鈕2-8，可通過此按鈕調(diào)節(jié)結(jié)算平臺的角度，體現(xiàn)出人性化設(shè)計。底座2-9結(jié)構(gòu)底部采用防滑裝置2-10，同時采用柱形固定吸盤裝置2-11，通過抽空圓柱形孔內(nèi)的空氣，可使底部吸盤固定在承載平臺上。鏈接導(dǎo)線2-12包括三根導(dǎo)線分別為數(shù)據(jù)傳輸線2-12-1，用于傳輸數(shù)據(jù)、電源線2-12-2、vga線可擴展顯示器2-12-3。工作指示燈2-14，在系統(tǒng)正常工作的情況下，顯示綠燈，在系統(tǒng)出現(xiàn)問題或者識別出錯的情況下顯示紅燈，此時可通過反饋按鍵指示燈2-15將問題反饋給系統(tǒng)進而解決問題。

如圖3所示，采用本發(fā)明的基于機器視覺的智能餐廳的結(jié)算系統(tǒng)的結(jié)算方法，包括以下步驟：

（1）后臺結(jié)算中心平臺根據(jù)視頻文件存儲路徑，讀取由視頻文件拍攝和讀取裝置攝取的實時視頻數(shù)據(jù)；

（2）通過提取關(guān)鍵幀算法和決策機制提取關(guān)鍵幀的有效圖像，并對關(guān)鍵幀的有效圖像進行預(yù)處理：

1）通過關(guān)鍵幀提取算法提取有效的關(guān)鍵幀和grb圖像；

2）對grb圖像分別在三個通道進行灰度二值化處理；

3）對灰度圖像進行模糊處理；

4）對圖像進行檢測與分析；

（3）標(biāo)定結(jié)算區(qū)域；

（4）判斷是否有餐具存在；

（5）通過霍夫變換，模糊神經(jīng)網(wǎng)絡(luò)檢測和識別餐具種類、顏色等特征；

（6）根據(jù)餐具形狀、顏色等有效信息計算出實際價格；

（7）根據(jù)預(yù)先對餐具標(biāo)定的價格計算出消費總額。

上述步驟中，關(guān)鍵幀提取算法針對傳統(tǒng)關(guān)鍵幀提取算法中，關(guān)鍵幀代表性不強及冗余的問題，提出了基于視頻內(nèi)容變化選取關(guān)鍵幀的算法，按照一定時間間隔取關(guān)鍵幀；

本發(fā)明考慮到視頻拍攝存在一定角度傾斜的情況，改進攝像機標(biāo)定算法。對傾斜的角度做出了一定的補償，實驗證明該算法標(biāo)定準(zhǔn)確，運行效率高。