商品識別裝置及商品識別方法
【專利摘要】本發(fā)明公開一種商品識別裝置及商品識別方法，其能夠從攝影圖像中識別商品，該商品識別裝置包括：圖像采集部，采集通過攝像部已攝影的圖像；圖像顯示部，使從攝像部采集到的圖像顯示在顯示部上；輸入接受部，接受對所述顯示部所顯示的圖像上的任意地方的選擇輸入；框線顯示部，在顯示部所顯示的圖像上的、通過所述輸入接受部接受了輸入的地方顯示固定尺寸的框線；識別部，根據(jù)通過框線已包圍的區(qū)域內(nèi)的圖像的特征量識別框線內(nèi)存在的商品；以及輸出部，輸出識別出的商品的信息。
【專利說明】商品識別裝置及商品識別方法
[0001]本申請主張申請日為2012年11月15日、申請?zhí)枮镴P2012-251222的日本申請為優(yōu)先權(quán)，并引用上述申請的內(nèi)容。
【技術(shù)領(lǐng)域】
[0002]本發(fā)明涉及一種在自助餐廳形式的食堂設(shè)施等中使用的商品識別裝置及商品識別方法。
【背景技術(shù)】
[0003]在自助餐廳形式的食堂設(shè)施中，使用者本人將預(yù)先準(zhǔn)備的飯菜盛到托盤中或請服務(wù)員來盛，最后進(jìn)行結(jié)賬。結(jié)賬通常是收銀員將盛到托盤中的飯菜一個一個地登記到金額登記裝置中來進(jìn)行的。因此，在自助餐廳形式的食堂設(shè)施中存在有結(jié)賬需要時間的問題，并為解決該問題，已做出有各種的提案。
[0004]不過，現(xiàn)有提案的識別裝置對盛有商品(飯菜)的容器進(jìn)行識別。因此，容器被制約成通過識別裝置可識別的物品。由于這樣的容器沒有自由度，所以很難運(yùn)用。

【發(fā)明內(nèi)容】

[0005]鑒于上述問題，本發(fā)明第一方面涉及的商品識別裝置，包括:圖像采集部，采集通過攝像部已攝影的圖像；圖像顯示部，使從攝像部采集到的圖像顯示在顯示部上；輸入接受部，接受對所述顯示部所顯示的圖像上的任意地方的選擇輸入；框線顯示部，在顯示部所顯示的圖像上的、通過所述輸入接受部接受了輸入的地方顯示固定尺寸的框線；識別部，根據(jù)通過框線已包圍的區(qū)域內(nèi)的圖像的特征量識別框線內(nèi)存在的商品；以及輸出部，輸出識別出的商品的信息。
[0006]本發(fā)明另一方面涉及的商品識別方法，包括:圖像采集步驟，采集通過攝像部已攝影的圖像；圖像顯示步驟，使從所述攝像部采集到的所述圖像顯示在顯示部上；輸入接受步驟，接受對所述顯示部所顯示的圖像上的任意地方的選擇輸入；框線顯示步驟，使所述顯示部所顯示的圖像上的、通過所述輸入接受部接受了輸入的地方顯示固定尺寸的框線；識別步驟，根據(jù)通過所述框線已包圍的區(qū)域內(nèi)的圖像的特征量識別所述框線內(nèi)存在的商品；以及輸出步驟，使識別出的所述商品的信息輸出。
【專利附圖】

【附圖說明】
[0007]下面，參照附圖對本發(fā)明所涉及的商品識別裝置及商品識別方法進(jìn)行說明。當(dāng)結(jié)合附圖考慮時，通過參照下面的詳細(xì)描述，能夠更完整更好地理解本發(fā)明以及容易得知其中許多伴隨的優(yōu)點(diǎn)，但此處所說明的附圖用來提供對本發(fā)明的進(jìn)一步理解，構(gòu)成本申請的一部分，本發(fā)明的示意性實(shí)施例及其說明用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的不當(dāng)限定，其中:
[0008]圖1是表示商品識別裝置的一實(shí)施例的外觀圖；[0009]圖2是表示該商品識別裝置的要部構(gòu)成的框圖；
[0010]圖3是表示識別詞庫文件的數(shù)據(jù)構(gòu)造的示意圖；
[0011]圖4是表示該商品識別裝置的RAM所形成的品數(shù)計數(shù)器和明細(xì)存儲器的示意圖；
[0012]圖5是該商品識別裝置的功能框圖；
[0013]圖6是表示該商品識別裝置的CPU按照商品識別程序執(zhí)行的信息處理次序的要部的流程圖；
[0014]圖7是表示在圖6的步驟ST13中判斷出為YES后的信息處理次序的流程圖；
[0015]圖8是表示在圖6的步驟ST7中判斷出為YES后的信息處理次序的流程圖；
[0016]圖9是具體地表示在圖6的步驟ST12中示出的畫面識別處理的次序的流程圖；
[0017]圖10是表示商品識別裝置的面板顯示部所顯示的畫面的一例示意圖；
[0018]圖11是表示從圖10所示的畫面中菜品已被觸摸后的畫面例的示意圖；
[0019]圖12是表示在從圖11所示的畫面中菜品已被識別后的畫面例的示意圖；
[0020]圖13是表示在從圖12所示的畫面中另外的菜品已被觸摸后的畫面例的示意圖；
[0021]圖14是表示在從圖13所示的畫面中菜品已被識別出后的畫面例的示意圖；
[0022]圖15是表示在第二實(shí)施例中商品識別裝置的RAM所形成的菜單品種數(shù)存儲器的示意圖；
`[0023]圖16是表示在該第二實(shí)施例中商品識別裝置的CPU按照商品識別程序執(zhí)行的信息處理次序的要部的流程圖；以及
[0024]圖17是表示在該第二實(shí)施例中在步驟ST7中判斷出為YES后的信息處理次序的流程圖。
[0025]附圖標(biāo)記說明
[0026]I信息識別裝置 12攝像部
[0027]13操作面板15觸摸面板
[0028]17票據(jù)發(fā)放口18卡RW
[0029]21CPU50識別詞庫文件
[0030]71品數(shù)計數(shù)器72明細(xì)存儲器
[0031]73菜單品種數(shù)存儲器
【具體實(shí)施方式】
[0032]下面，對商品識別裝置的實(shí)施例進(jìn)行說明。
[0033]另外，本實(shí)施例是被設(shè)置在象員工食堂、學(xué)生食堂那樣限制使用者的自助餐廳形式的食堂設(shè)施的情況。
[0034]首先，本實(shí)施例的商品識別裝置采用一般物體識別(generic objectrecognition:一般物體識別)的技術(shù)。一般物體識別就是根據(jù)通過攝像頭攝影了作為對象的物品(目標(biāo)物)的圖像數(shù)據(jù)識別所述物品的種類等的技術(shù)。計算機(jī)從圖像數(shù)據(jù)中抽取該圖像所包含的物品的外觀特征量。而且，計算機(jī)與識別詞庫文件所登記的基準(zhǔn)圖像的特征量數(shù)據(jù)進(jìn)行核對，計算出相似度，并基于該相似度識別所述物品的種類等。關(guān)于識別圖像中包含的物品的技術(shù)在下列的文獻(xiàn)中被說明。
[0035]柳井啓司，“一般物體認(rèn)識O現(xiàn)狀i今後”，情報処理學(xué)會論文誌，V O 1.48, Nο.S IG 16 [平成 22 年8 月 10 日検索],?1、y 夕一才、'7 卜〈URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yana1.pdf> (柳井啟司，“一般物體識別的現(xiàn)狀與未來”，信息處理學(xué)會論文志，Vol.48，N0.SIG16 “平成 22 年 8 月 10 日檢索”，互聯(lián)網(wǎng)< URL:http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yana1.pdf >)
[0036]此外，通過對應(yīng)每個目標(biāo)物對圖像進(jìn)行區(qū)域分割，進(jìn)行一般物體識別的技術(shù)在下列的文獻(xiàn)中被說明。
[0037]Jamie Shotton b ,“Semantic Texton Forests for Image Categorization andSegmentation，，，[平成 22 年 8 月 10 日検索]，^ > 夕一才、'7 卜 <URL:http://citeseerx.1st.psu.edu/viewdoc/download?doi = 10.1.1.145.3036&rep=repl&type=pdf> (JamieShotton h (杰米肖頓等人),“Semantic Texton Forests for Image Categorization andSegmentation: ”，“平成 22 年 8 月 10 日檢索，，，互聯(lián)網(wǎng) < URL:http://citeseerx.1st.psu.edu/viewdoc/download ? doi = 10.1.1.145.3036&rep = repl&type = pdf >)。
[0038]第一實(shí)施例
[0039]圖1是本實(shí)施例所涉及的商品識別裝置I的外觀圖。設(shè)置在結(jié)賬臺2的臺面2A上的商品識別裝置I包括板狀的機(jī)架部IlA和檐部11B。機(jī)架部IlA以正表面面向跟前側(cè)的方式沿臺面2A的里側(cè)邊緣被豎直設(shè)置。檐部IlB從機(jī)架部IlA的正表面上端部向與上述正表面大致正交的方向進(jìn)行突出。因此，檐部IlB的下表面與臺面2A面對面。
[0040]檐部IlB內(nèi)置攝像部12。此外，檐部IlB在下表面中形成讀取窗(未圖示)。攝像部12具有作為區(qū)域圖像傳感器的CCD (Charge Coupled Device:電荷稱合器件)攝影元件及其驅(qū)動電路、用于使攝像區(qū)域的圖像在CCD攝影元件上成像的攝像透鏡。攝像區(qū)域就是指從上述讀取窗透過攝像透鏡在CXD攝像元件的區(qū)域上成像的圖像的區(qū)域。攝像部12輸出透過攝像透鏡在C⑶攝像元件上已成像的攝像區(qū)域的圖像。另外，攝像部12并不限定于米用 CCD 攝像兀件，諸如也可以米用 CMOS (Complementary Metal Oxide Semiconductor:互補(bǔ)金屬氧化物半導(dǎo)體)圖像傳感器。
[0041]商品識別裝置I還包括操作面板13和IC卡讀寫器(以下，簡稱為卡RW)18。操作面板13安裝在機(jī)架部IlA的頂部。操作面板13將機(jī)架部IlA的正面?zhèn)茸鳛椴僮髅?。而且，操作面?3在上述操作面上配置鍵盤14、觸摸面板15及票據(jù)發(fā)放口 16。票據(jù)發(fā)放口16發(fā)放在內(nèi)置在操作面板13內(nèi)的票據(jù)打印機(jī)17中已打字的票據(jù)。
[0042]卡RW18安裝在操作面板13的一側(cè)面上?？≧W18對IC卡實(shí)施讀取及寫入數(shù)據(jù)。IC卡存儲固有的用戶ID和電子貨幣數(shù)據(jù)。就是說，IC卡具有用戶ID功能和電子貨幣功能。利用食堂設(shè)施的用戶(員工、學(xué)生等)攜帶自己的IC卡。
[0043]在臺面2A中的機(jī)架部IlA的跟前側(cè)的區(qū)域2B成為用于載置盛有作為商品的飯菜的容器30的空間。該區(qū)域2B包含在所述攝像部12的攝像區(qū)域中。就是說，攝像部12對盛有飯菜的容器30進(jìn)行攝影。另外，雖然在圖1中作為容器30例示出橢圓狀的一個托盤，但是容器30的形狀、數(shù)量并不特別被限定?？傊?，只要是食堂設(shè)施的使用者能夠盛預(yù)先準(zhǔn)備的飯菜并拿到結(jié)賬臺2來的餐具或托盤，且能夠放置在區(qū)域2B的范圍內(nèi)就可以。
[0044]圖2是表示商品識別裝置I的要部構(gòu)成的框圖。商品識別裝置I包括作為計算機(jī)的主體的 CPU (Central Processing Unit:中央處理器)21、ROM (Read Only Memory:只讀存儲器)22、RAM (Random Access Memory:隨機(jī)存取存儲器)23及輔助存儲部24。而且，商品識別裝置I通過地址總線、數(shù)據(jù)總線等的總線25，連接CPU21、R0M22、RAM23及輔助存儲部24。
[0045]此外，商品識別裝置I在總線25上連接通信接口 26。而且，商品識別裝置I通過該通信接口 26與具有用戶數(shù)據(jù)庫40的數(shù)據(jù)庫服務(wù)器41進(jìn)行存取。用戶數(shù)據(jù)庫40與各用戶的用戶ID相關(guān)存儲性別、年齡等的個人信息、與所述食堂設(shè)施的利用履歷有關(guān)的信息
坐寸ο
[0046]而且，商品識別裝置I通過未圖示的輸入輸出電路，連接攝像部12、鍵盤14、觸摸面板15、票據(jù)打印機(jī)17及卡RW18。觸摸面板15包括面板顯示部151、重疊配置在該顯示部151的畫面上的觸摸面板傳感器152。
[0047]CPU21構(gòu)成商品識別裝置I的主控制部。R0M22存儲程序、設(shè)定數(shù)據(jù)等的固定的數(shù)據(jù)。RAM23具有用于存儲可變的數(shù)據(jù)的各種內(nèi)存區(qū)。輔助存儲部24是存儲程序、大容量的數(shù)據(jù)文件等的介質(zhì)，采用有HDD (Hard Disk Drive:硬盤驅(qū)動器)或SSD (Solid StateDrive:固態(tài)驅(qū)動器)等。商品識別裝置I在輔助存儲部24中保存識別詞庫文件50。
[0048]圖3是表示識別詞庫文件50的數(shù)據(jù)構(gòu)造的示意圖。識別詞庫文件50存儲在該食堂設(shè)施中提供給用戶的每個菜品的識別詞庫數(shù)據(jù)。識別詞庫數(shù)據(jù)包括菜單ID、菜單名稱、價格、熱量及外觀特征參數(shù)的各項目。菜單ID是逐個識別菜品的代碼。菜單名稱是用所對應(yīng)的菜單ID識別的菜品的固有名稱。價格是用所對應(yīng)的菜單ID識別的菜品的每一單位量的銷售價格(日元)。熱量是相對于用所對應(yīng)的菜單ID識別的菜品的標(biāo)準(zhǔn)分量導(dǎo)出的參數(shù)(Kcal:卡路里)。外觀特征量參數(shù)是將用所對應(yīng)的菜單ID識別的菜品的標(biāo)準(zhǔn)的形狀、表面的色彩、圖案、凹凸?fàn)顩r等的外觀特征進(jìn)行參數(shù)化的數(shù)據(jù)。
[0049]如圖5所示,所涉及構(gòu)成的商品識別裝置I具有作為圖像采集部61、圖像顯示部62、框線顯示部63、識別部64、輸出部65、輸入接受部66、結(jié)束宣告接受部67及消去部68的功能。
[0050]圖像采集部61采集通過攝像部12已攝影的圖像。圖像顯示部62使從攝像部12采集到圖像顯示在觸摸面板15的面板顯示部151上?？蚓€顯示部63使面板顯示部151所顯示的圖像上的任意一個至多個地方顯示用于包圍商品(菜品)的框線。識別部64根據(jù)通過框線包圍的區(qū)域內(nèi)的圖像的特征量識別存在在框線內(nèi)的商品(菜品)。輸出部65輸出已識別出的商品(菜品)的信息。
[0051]輸入接受部66接受對面板顯示部151所顯示的圖像上的任意地方的選擇輸入。所述框線顯示部63使通過輸入接受部66接受了輸入的地方顯示框線。
[0052]結(jié)束宣告接受部67接受商品(菜品)的識別結(jié)束宣告。消去部68消去面板顯示部151所顯示的框線。圖像采集部61重復(fù)圖像的采集，直到通過框線顯示部63在圖像中顯示有框線。而且，當(dāng)框線被顯示時，則圖像采集部61停止圖像的采集。之后，當(dāng)通過結(jié)束宣告接受部67接受識別結(jié)束宣告或通過消去部68從圖像中消去所有的框線時，則圖像采集部61再開始圖像的采集。
[0053]為了實(shí)現(xiàn)涉及的功能，商品識別裝置I在R0M22或輔助存儲部24中存儲商品識別程序。此外，如圖4所示，商品識別裝置I在RAM23中形成品數(shù)計數(shù)器71和明細(xì)存儲器72。明細(xì)存儲器72具有蓄積由框線編號、刪除標(biāo)識座標(biāo)(Χ0、Υ0)、菜單ID、菜單名稱、價格、熱量組成的明細(xì)記錄的區(qū)域721、存儲合計價格及合計熱量的區(qū)域722。對框線編號及刪除標(biāo)識座標(biāo)(XO、YO)進(jìn)行后述。
[0054]當(dāng)商品識別程序起動時，則CPU21開始圖6~圖8的流程圖所示的次序的處理。首先，CPU21待機(jī)通過卡RW18讀取有所述IC卡(ST1)。在IC卡被讀取之前(STl中的否)，不前進(jìn)到步驟ST2的處理。當(dāng)IC卡被讀取時(STl中的是)，則CPU21將品數(shù)計數(shù)器71復(fù)位為“O” (ST2)。
[0055]接著，CPU21采集通過攝像部12攝影的圖像(幀圖像)(ST3:圖像采集部61)。而且，CPU21使該攝影圖像顯示在觸摸面板15的面板顯示部151上(ST4:圖像顯示部62)。
[0056]圖10是顯示有攝影圖像81的面板顯示部151的一畫面例圖。如圖10所示，在畫面上除顯示有攝影圖像81之外，還顯示有合計金額欄82、總卡路里欄83、確定按鈕84及取消按鈕85。
[0057]當(dāng)在面板顯示部151的畫面上顯示有攝影圖像81時，則CPU21確認(rèn)該畫面是否已被觸摸(ST5)。當(dāng)來自觸摸面板傳感器152的信號未變化時，則畫面未被觸摸。這時(ST5的否)，CPU21調(diào)查品數(shù)計數(shù)器71 (ST6).當(dāng)品數(shù)計數(shù)器71已被復(fù)位為“O”時(ST6的否)，則CPU21返回到步驟ST3的處理。就是說，CPU21從攝像部12采集接著的攝影圖像(ST3)，并顯示在面板顯示部151上(ST4)。
[0058]CPU21重復(fù)攝影圖像的采集和顯示直到畫面被觸摸。當(dāng)畫面被觸摸時(ST5的是)，則CPU21確認(rèn)畫面的哪個區(qū)域已被觸摸(ST7、ST8)。當(dāng)不是確定按鈕84或取消按鈕85的區(qū)域(ST7中的否)，也不是攝影圖像81的區(qū)域時(ST8的否)，CPU21返回到步驟ST5的處理。就是說，CPU21確認(rèn)畫面是否已被觸摸(ST5)，并當(dāng)未被觸摸時(ST5的否)，CPU21調(diào)查品數(shù)計數(shù)器71 (ST6).而且，當(dāng)品數(shù)計數(shù)器71被復(fù)位為“O”時(ST6中的否)，CPU21返回到步驟ST3的處理。
[0059]當(dāng)攝影圖像81的區(qū)域已被觸摸時(ST8中的是)，CPU21檢測出觸摸位置座標(biāo)(X、Y)。觸摸位置座標(biāo)(Χ、 )將基準(zhǔn)點(diǎn)、諸如攝影圖像81的區(qū)域的左下角視為二維座標(biāo)的原點(diǎn)(0、0)，將從該原點(diǎn)(0、0)向右方向定義為X方向，將從原點(diǎn)(0、0)向上方向定義為Y方向。而且，CPU21求出從原點(diǎn)(0、0)到觸摸位置的X方向的距離和Y方向的距離，并轉(zhuǎn)換成座標(biāo)(X、Y) (ST9)。
[0060]CPU21當(dāng)檢測出畫面所顯示的攝影圖像已被觸摸輸入時，則停止圖像采集處理。當(dāng)采集處理停止時，則攝影圖像81從視頻切換成靜止圖像。操作員根據(jù)攝影圖像81變成了靜止畫面的情況，知道已不進(jìn)行圖像的采集。另外，也可以通過不顯示采集到的圖像而進(jìn)行丟棄，將攝影圖像81作為靜止畫面。
[0061]CPU21調(diào)查品數(shù)計數(shù)器71 (STlO)0當(dāng)品數(shù)計數(shù)器71已被復(fù)位為“O”時(ST10中的否)，CPU21確定圖像的識別區(qū)域，并將包圍該區(qū)域的框線91顯示在攝影圖像81的區(qū)域內(nèi)。就是說，如圖11所示，CPU21以觸摸位置座標(biāo)(X、Y)為中心顯示縱向長度為a、橫向長度為b的四角形的框線91 (ST11:框線顯示部)。
[0062]CPU21執(zhí)行畫面識別處理(ST12)。圖9是表示畫面識別處理的具體的次序的流程圖。首先，CPU21從用框線91已包圍的框內(nèi)的圖像中抽取輪廓形狀、表面的色彩、圖案、凹凸?fàn)顩r等的外觀特征量(ST41)。接著，CPU21對識別詞庫文件50所登記的所有菜單品種的記錄，計算出表示上述特征量與所述記錄的外觀特征參數(shù)相似到哪種程度的相似度。
[0063]如果對所有菜單品種計算出了相似度，則CPU21確認(rèn)最大相似度是否超過確定閾值L (ST43:識別部64)。確定閾值L是當(dāng)最大相似度超過所述閾值時，能夠確定識別區(qū)域內(nèi)的圖像所映出的物品是具有最大相似度的菜單品種的相似度的最小值。
[0064]當(dāng)最大相似度未超過確定閾值L時(ST43中的否)，CPU21執(zhí)行步驟ST44?ST45的處理。該步驟ST44?ST45的處理的次序并不特別被限定。在步驟ST44中，CPU21使面板顯示部151顯示意思為不可識別的規(guī)定的信息。在步驟ST45中，CPU21從畫面中消去框線91。以上，圖像識別處理結(jié)束。
[0065]針對于此，當(dāng)最大相似度超過確定閾值L時(ST43中的是)，CPU21執(zhí)行步驟ST46?ST48的處理。該步驟ST46?ST48的處理的次序并不特別被限定。在步驟ST46中，CPU21使品數(shù)計數(shù)器71增加“I”。在步驟ST47中，CPU21從識別詞庫文件50中取得具有最大相似度的菜單品種的信息(菜單ID、菜單名稱、價格及熱量)。在步驟ST48中，計算出框線91的右上角的座標(biāo)，作為刪除標(biāo)識座標(biāo)(Χ0、Υ0)。
[0066]當(dāng)步驟ST46?ST48的處理結(jié)束時，則CPU21在明細(xì)存儲器72的框線編號η (η是品數(shù)計數(shù)器71的計數(shù)值)的明細(xì)記錄中安置上述刪除標(biāo)識座標(biāo)(Χ0、Υ0)和菜單品種信息(ST49)。接著，如圖12所示，CPU21在刪除標(biāo)識座標(biāo)(Χ0、Υ0)的位置顯示刪除標(biāo)識92。此夕卜，CPU21在框線91內(nèi)顯示所述菜單品種信息的菜單名稱、價格及熱量(ST50:輸出部(單獨(dú)輸出部)65)。而且，CPU21根據(jù)明細(xì)存儲器72的數(shù)據(jù)計算出合計金額和合計熱量，并分別顯示在畫面的合計金額欄82和總卡路里欄83中(ST51:輸出部(整體輸出部)65)。以上，圖像識別處理結(jié)束。
[0067]當(dāng)圖像識別處理結(jié)束時，則CPU21返回到步驟ST5的處理。就是說，CPU21確認(rèn)面板顯示部151的畫面是否已被觸摸(ST5 )。而且，當(dāng)畫面未被觸摸時(ST5中的否)，CPU21調(diào)查品數(shù)計數(shù)器71 (ST6)。
[0068]這時，當(dāng)品數(shù)計數(shù)器71被復(fù)位為“O”時(ST6中的否)，CPU21返回到步驟ST3的處理。不過，當(dāng)品數(shù)計數(shù)器71已處于計數(shù)完了時(ST6中的是)，CPU21返回到步驟ST5的處理。
[0069]因此，當(dāng)品數(shù)計數(shù)器71已被復(fù)位為“O”時，CPU21采集新的攝影圖像。不過，當(dāng)品數(shù)計數(shù)器71已處于計數(shù)完了時，CPU21不進(jìn)行攝影圖像的采集。就是說，CPU21停止圖像的采集。其結(jié)果，在面板顯示部151中顯示有前次采集到的攝影圖像，作為靜止畫面。
[0070]此外，當(dāng)在步驟STlO中品數(shù)計數(shù)器71已處于計數(shù)完了時(ST10中的是)，CPU21確認(rèn)刪除標(biāo)識92是否已被觸摸(ST13)。就是說，CPU21將觸摸位置座標(biāo)(X、Y)與明細(xì)存儲器72所存儲的各明細(xì)記錄的刪除標(biāo)識座標(biāo)(Χ0、Υ0)進(jìn)行核對。其結(jié)果，當(dāng)刪除標(biāo)識92未被觸摸時(ST13中的否)，CPU21執(zhí)行上述的步驟STll?ST12的各處理。
[0071]當(dāng)刪除標(biāo)識92已被觸摸時(ST13中的是)，CPU21從包含與觸摸位置座標(biāo)(X、Y)相當(dāng)?shù)膭h除標(biāo)識座標(biāo)(xo、Υ0)的明細(xì)記錄中檢測出框線編號(ST21)。而且，CPU21從畫面中消去用該框線編號識別的框線91 (ST22:消去部68)。此外，CPU21從明細(xì)存儲器72中消去所述框線編號的記錄(ST23)。而且，CPU21根據(jù)明細(xì)存儲器72的數(shù)據(jù)再計算合計金額和合計熱量，并更新合計金額欄82和總卡路里欄83的顯示(ST24)。
[0072]CPU21使品數(shù)計數(shù)器71減去“I”(ST25)。而且，CPU21確認(rèn)品數(shù)計數(shù)器71的計數(shù)值η是否為“O”(ST26)。當(dāng)計數(shù)值η不是“O”時(ST26中的否)，CPU21返回到步驟ST5的處理。不過，當(dāng)計數(shù)值η變?yōu)椤癘”時(ST26中的是)，CPU21返回到步驟ST3的處理。[0073]因此，當(dāng)計數(shù)值η不是“O”時，CPU21不進(jìn)行新的攝影圖像的采集。因此，面板顯示部151所顯示的攝影圖像不變化。不過，當(dāng)計數(shù)值η變?yōu)椤癘”時，CPU21再開始攝影圖像的采集。因此，面板顯示部151所顯示的攝影圖像被更新成最新的圖像。
[0074]當(dāng)按鈕圖像已被觸摸時(ST7中的是)，CPU21確認(rèn)確定按鈕84或取消按鈕85的哪一個已被觸摸(ST31)。當(dāng)確定按鈕84已被觸摸時(ST31中的“確定”:結(jié)束宣告接受部67)，執(zhí)行步驟ST32~ST34的各處理。
[0075]在步驟ST32中，CPU21執(zhí)行用電子貨幣進(jìn)行的結(jié)算處理。就是說，CPU21通過卡RW18從IC卡的電子貨幣數(shù)據(jù)中減去對應(yīng)合計價格的數(shù)據(jù)。在步驟ST33中，CPU21基于明細(xì)存儲器72的數(shù)據(jù)，編輯票據(jù)數(shù)據(jù)。而且，CPU21向打印機(jī)17輸出票據(jù)數(shù)據(jù)，并控制票據(jù)的發(fā)放。在步驟ST34中，CPU21用明細(xì)存儲器72的數(shù)據(jù)和IC卡的用戶ID來編輯用戶履歷信息。而且，CPU21通過通信接口 26將用戶履歷信息發(fā)送給數(shù)據(jù)庫服務(wù)器41。數(shù)據(jù)庫服務(wù)器41在用戶數(shù)據(jù)庫40中按照用戶ID蓄積用戶履歷信息。
[0076]當(dāng)步驟ST32~ST34的處理結(jié)束時，則CPU21將面板顯示部151的畫面進(jìn)行初始化(ST35)。此外，CPU21清除明細(xì)存儲器72 (ST36)。
[0077]針對于此，當(dāng)取消按鈕85已被觸摸時(ST31中的“取消”)，CPU21不執(zhí)行上述步驟ST32~ST34的處理。CPU21將面板顯示部151的畫面進(jìn)行初始化(ST35)。此外，CPU21清除明細(xì)存儲器72 (ST36)。以上，對一用戶的商品識別程序的處理結(jié)束。
[0078]在設(shè)置有本實(shí)施例的商品識別裝置I的自助餐廳形式的食堂設(shè)施中，用戶將盛有飯菜的容器30放置到結(jié)賬臺2的區(qū)域2Β內(nèi)。而且，用戶使卡RW18讀取自己的IC卡數(shù)據(jù)。通過這樣做，如圖10所示，由于在觸摸面板15的畫面中顯示有攝影圖像81，所以用戶一個一個地觸摸容器30所盛的飯菜的圖像。
[0079]當(dāng)前，視為用戶觸摸了盛在容器30的左上方的飯菜的圖像。通過這樣做，如圖11所示，以觸摸位置座標(biāo)(Χ、Y)為中心的框線91被顯示在攝影圖像81上。而且，在商品識別裝置I中執(zhí)行有該框線91內(nèi)的飯菜的識別處理。
[0080]例如，當(dāng)觸摸位置在飯菜的邊緣位置，并在框線91內(nèi)的圖像中不能識別出飯菜時，框線91被消去。此外，在面板顯示部151中顯示有表示不可識別的信息。這時，用戶觸摸飯菜圖像的另外位置從而使其重新運(yùn)行識別處理。
[0081]如圖12所示，當(dāng)從框線91內(nèi)的圖像中識別出飯菜時，在框線91內(nèi)顯示有所識別出的菜品的名稱、價格、熱量。此外，在框線91中顯示有刪除標(biāo)識92。所識別出的飯菜的合計金額及總卡路里也被更新。
[0082]用戶確認(rèn)框線91內(nèi)的顯示是否正確。當(dāng)不正確時，觸摸刪除標(biāo)識92。通過這樣做，框線91被消去。因而，用戶觸摸飯菜圖像的另外地方從而使其重新運(yùn)行識別處理。
[0083]當(dāng)框線91內(nèi)的顯示正確時，用戶觸摸第二品種的圖像。例如，視為了用戶觸摸了盛在容器30的中央上側(cè)的飯菜的圖像。通過這樣做，如圖13所示，框線91a被顯示在攝影圖像81上。而且，在商品識別裝置I中，執(zhí)行有該框線91a內(nèi)的飯菜的識別處理。其結(jié)果，如圖14所示，當(dāng)飯菜被識別出時，在框線91a內(nèi)顯示有所識別出的飯菜品種的名稱、價格、熱量。此外，在框線91中 顯示有刪除標(biāo)識92。所識別出的飯菜的合計金額及總卡路里也被更新。
[0084]用戶重復(fù)上述的觸摸操作，直到盛在容器30中的所有的飯菜被識別。而且，如果所有的飯菜被識別出，則用戶觸摸確定按鈕84。通過這樣做，對容器30所盛的飯菜執(zhí)行用電子貨幣進(jìn)行的結(jié)算處理，并從發(fā)放口 16發(fā)放有票據(jù)。此外，從商品識別裝置I向數(shù)據(jù)庫服務(wù)器41發(fā)送用戶履歷信息，從而數(shù)據(jù)庫40所保存的所述用戶的利用履歷信息被更新。
[0085]這樣，商品識別裝置I并不是識別盛有飯菜的容器30，而是一個一個地識別盛在容器30中的飯菜。因此，由于不需要使容器30和飯菜以一對一的方式對應(yīng)或在容器30上附加特殊的信息介質(zhì)等的制約，所以自助餐廳形式的食堂設(shè)施被高效率地運(yùn)用。
[0086]此外，商品識別裝置I不光識別容器所盛的飯菜，還合計所述飯菜的價格從而計算出合計金額。而且，商品識別裝置I采用通過卡RW18已讀取的IC卡的電子貨幣數(shù)據(jù)，自動計算所識別出的飯菜的貨款。因此，不光識別飯菜而且直到貨款的計算也包含在內(nèi)，從而自助餐廳形式的食堂設(shè)施被高效率地運(yùn)用。
[0087]此外，商品識別裝置I不僅識別容器所盛的飯菜，還合計所述飯菜的熱量從而計算出總卡路里。而且，商品識別裝置I將與卡RW18已讀取的IC卡的用戶ID相關(guān)包含總卡路里的用戶履歷信息發(fā)送給數(shù)據(jù)庫服務(wù)器41。因此，容易實(shí)現(xiàn)對應(yīng)每個用戶進(jìn)行營養(yǎng)管理的服務(wù)。
[0088]第二實(shí)施例
[0089]在第一實(shí)施例中，不論容器30所盛的飯菜的識別處理是否結(jié)束，當(dāng)確定按鈕84被觸摸時，則執(zhí)行結(jié)算處理。在第二實(shí)施例中，當(dāng)容器30所盛的飯菜的識別處理未結(jié)束時，則不執(zhí)行結(jié)算處理。參照圖15?圖17，對這樣的第二實(shí)施例進(jìn)行說明。另外，第二實(shí)施例的商品識別裝置I的外觀及內(nèi)部構(gòu)成也與第一實(shí)施例同樣，所以對通用的部分附加相同符號并省略詳細(xì)的說明。
[0090]圖15是表示菜單品種數(shù)存儲器73的示意圖。在第二實(shí)施例中，商品識別裝置I除所述品數(shù)計數(shù)器71及明細(xì)存儲器72之外，在RAM23中還形成菜單品種數(shù)存儲器73。
[0091]圖16是表示通過商品識別程序的起動CPU21執(zhí)行的信息處理次序的要部的流程圖。就是說，在第二實(shí)施例中，CPU21在使在步驟ST3的處理中采集到的攝影圖像顯示在面板顯示部151上后，分析所述圖像，從而檢測出容器30所盛的飯菜的品種數(shù)M (ST61:品種數(shù)檢測部)。
[0092]具體地說，預(yù)先將未盛有飯菜的容器30的圖像作為背景圖像存儲在輔助存儲部24中。CPU21根據(jù)攝影圖像和背景圖像的差分對盛有飯菜的區(qū)域的輪廓進(jìn)行識別。CPU21根據(jù)輪廓形狀檢測出飯菜的品種數(shù)M。品種數(shù)M被存儲到菜單品種數(shù)存儲器73中。
[0093]當(dāng)品種數(shù)M被檢測出時，則CPU21前進(jìn)到第一實(shí)施例的步驟ST5的處理。
[0094]圖17是表示在步驟ST7的處理中檢測出按鈕圖像已被觸摸后的CPU21的信息處理次序的流程圖。就是說，在第二實(shí)施例中，CPU21當(dāng)確認(rèn)已觸摸的按鈕圖像是確定按鈕84的圖像時(ST31中的“確定”)，則CPU21確認(rèn)作為品種數(shù)計數(shù)部的品數(shù)計數(shù)器71的計數(shù)值η是否與菜單品種數(shù)存儲器73的值M—致(ST71:比較部)，當(dāng)一致時(ST71中的是)，CPU21前進(jìn)到步驟ST32的結(jié)算處理。
[0095]針對于此，當(dāng)品數(shù)計數(shù)器71的計數(shù)值η與菜單品種數(shù)存儲器73的值M不一致時(ST71中的否)，CPU21使警告飯菜品種的識別未結(jié)束的信息顯示在面板顯示部151上(ST72)。而后，CPU21返回到步驟ST5的處理。
[0096]因此，根據(jù)第二實(shí)施例的商品識別裝置1，只要品數(shù)計數(shù)器71的計數(shù)值η與菜單品種數(shù)存儲器73的值M不一致，則就不能進(jìn)行結(jié)算。因此，能夠未然地防止在盛在容器30中的飯菜的識別處理結(jié)束之前，執(zhí)行結(jié)算處理的不合理的情況發(fā)生。
[0097]另外，本發(fā)明并不限定于所述第一、第二實(shí)施例。例如，商品識別裝置I的設(shè)置場所和硬件構(gòu)成可各種變形來進(jìn)行實(shí)施。
[0098]此外，在所述實(shí)施例中，雖然例示出與電子貨幣結(jié)算對應(yīng)的商品識別裝置1，但是結(jié)算方法并不特別被限定，也可以與信用卡結(jié)算或現(xiàn)金結(jié)算對應(yīng)?；蛘撸部梢詮纳唐纷R別裝置I中省略結(jié)算功能。這時，商品識別裝置I用通信線路連接POS (Point Of Sales:銷售點(diǎn))終端等的結(jié)算終端。而且，只要商品識別裝置I將所識別的菜品的信息發(fā)送輸出給POS終端就可以。
[0099]此外，在上述實(shí)施例中，雖然在商品識別裝置I的輔助存儲部24中存儲了識別詞庫文件50，但是識別詞庫文件50的存儲位置并不限定于輔助存儲部24。例如，也可以使商品識別裝置I所外設(shè)的存儲裝置存儲識別詞庫文件50，并根據(jù)需要，通過CPU21訪問存儲裝置，從而檢索識別詞庫文件50的數(shù)據(jù)。
[0100]此外，在所述實(shí)施例中，雖然將框線91視為了縱向長度為a、橫向長度為b的四角形，但是框線91的尺寸及形狀并不特別被限定。此外，也可以附加變更面板顯示部151所顯示的框線的尺寸和大小的功能。通過具有該功能，能夠準(zhǔn)確地用框線包圍飯菜的圖像，所以能夠期待識別率提高的效果。
[0101]此外，在所述實(shí)施例中，雖然在刪除標(biāo)識92已被觸摸時刪除了框線91，但是也可以因檢測出包含刪除標(biāo)識92的框線91已被觸摸從而刪除所述框線91。
[0102]此外，在所述實(shí)施例中，雖然作為對于商品的標(biāo)準(zhǔn)分量導(dǎo)出的參數(shù)例示出了熱量，但是參數(shù)并不限定于熱量。例如，也可以是蛋白質(zhì)、脂質(zhì)、鈣等的營養(yǎng)成分等。
[0103]此外，在所述實(shí)施例中，雖然圖像采集部61在圖像中顯示有框線91之前重復(fù)圖像的采集，并當(dāng)顯示有框線91時則停止了圖像的采集，但是當(dāng)通過丟棄采集到的圖像將顯示圖像作為靜止畫面時，也作為圖像采集部61的一例子被包含。
[0104]此外，在第二實(shí)施例中，雖然作為當(dāng)品數(shù)計數(shù)器71的計數(shù)值η與菜單品種數(shù)存儲器73的值M不一致時的警告部例示出了顯示信息的部，但是警告部并不限定于此。例如，也可以通過語音部發(fā)出警告。
[0105]此外，上述實(shí)施例是在裝置內(nèi)部的作為程序存儲部的R0M22或輔助存儲部24中預(yù)先存儲有實(shí)現(xiàn)發(fā)明功能的控制程序的例子。不過，并不限定于此，也可以將同樣的程序從網(wǎng)絡(luò)下載到裝置中?；蛘?，也可以將存儲介質(zhì)所記錄的同樣程序安裝到裝置中。存儲介質(zhì)只要是象CD-ROM、存儲卡等那樣能存儲程序且裝置可讀取的，則其形態(tài)不限。此外，通過安裝或下載程序獲得的功能也可以與裝置內(nèi)部的OS (操作系統(tǒng))等協(xié)作來實(shí)現(xiàn)該功能。此外，也可以將本實(shí)施例的程序安裝到具有通信功能的移動電話或所謂PDA那樣的便攜信息終端來實(shí)現(xiàn)該功能。
[0106]另外，雖然對本發(fā)明的幾個實(shí)施例進(jìn)行了說明，但是這些實(shí)施例是作為例子提出的，并不意圖限定發(fā)明的范圍。這些新穎的實(shí)施例可以用其他各種形式來實(shí)施，只要在不脫離發(fā)明的要旨的范圍內(nèi)可以進(jìn)行各種省略、替換、變更。這些實(shí)施例及其變形均被包含在發(fā)明的范圍或要旨中，而且，包含在權(quán)利要求的范圍所記載的發(fā)明和其均等的范圍內(nèi)。
【權(quán)利要求】
1.一種商品識別裝置，其特征在于，包括: 圖像采集部，采集通過攝像部已攝影的圖像； 圖像顯示部，使通過該圖像采集部從所述攝像部采集到的所述圖像顯示在顯示部上； 輸入接受部，接受對所述顯示部所顯示的圖像上的任意地方的選擇輸入； 框線顯示部，在所述顯示部所顯示的圖像上的、通過所述輸入接受部接受了輸入的地方顯示固定尺寸的框線； 識別部，根據(jù)通過所述框線已包圍的區(qū)域內(nèi)的圖像的特征量識別所述框線內(nèi)存在的商品；以及 輸出部，輸出通過該識別部識別出的所述商品的信息。
2.根據(jù)權(quán)利要求1所述的商品識別裝置，其特征在于， 所述框線顯示部在所述顯示部所顯示的圖像上的、通過所述輸入接受部接受了輸入的地方顯示以該地方為中心的固定尺寸的框線。
3.根據(jù)權(quán)利要求1或2所述的商品識別裝置，其特征在于，還包括: 結(jié)束宣告接受部，接受所述商品的識別結(jié)束宣告， 其中，所述圖像采集部重復(fù)上述圖像的采集直到通過所述框線顯示部在所述圖像中顯示有所述框線，并當(dāng)顯示有所述框線時則停止所述圖像的采集，當(dāng)通過所述結(jié)束宣告接受部接受所述識別結(jié)束宣告時則再開始所述圖像的采集。
4.根據(jù)權(quán)利要求1至3·中任一項所述的商品識別裝置，其特征在于，還包括: 消去部，消去所述顯示部所顯示的框線， 其中，所述圖像采集部重復(fù)所述圖像的采集直到通過所述框線顯示部在所述圖像中顯示有所述框線，并當(dāng)顯示有所述框線時則停止所述圖像的采集，當(dāng)通過所述消去部從所述圖像中消去所有的所述框線時則再開始所述圖像的采集。
5.根據(jù)權(quán)利要求1至4中任一項所述的商品識別裝置，其特征在于， 所述輸出部包括單獨(dú)輸出部和合計輸出部，所述單獨(dú)輸出部單獨(dú)地輸出通過所述識別部識別出的所述商品的信息，所述合計輸出部輸出通過所述識別部識別出的所有的所述商品的合計信息。
6.根據(jù)權(quán)利要求5所述的商品識別裝置，其特征在于， 所述商品的信息是對所述商品設(shè)定的單價，所述商品的合計信息是將各商品的單價相加在一起的合計金額。
7.根據(jù)權(quán)利要求5所述的商品識別裝置，其特征在于， 所述商品的信息是相對于所述商品的標(biāo)準(zhǔn)分量導(dǎo)出的參數(shù)，所述商品的合計信息是將各商品的參數(shù)相加在一起的合計參數(shù)。
8.根據(jù)權(quán)利要求1至7中任一項所述的商品識別裝置，其特征在于，還包括: 品種數(shù)檢測部，從通過圖像采集部從所述攝像部中采集到的所述圖像中檢測出所述圖像所映出的商品數(shù)； 品種數(shù)計數(shù)部，對通過所述識別部識別的商品數(shù)進(jìn)行計數(shù)；以及比較部，對通過所述品種數(shù)檢測部檢測出的品種數(shù)和通過所述品種數(shù)計數(shù)部計數(shù)的品種數(shù)進(jìn)行比較。
9.一種商品識別方法，包括:圖像采集步驟，采集通過攝像部已攝影的圖像； 圖像顯示步驟，使從所述攝像部采集到的所述圖像顯示在顯示部上； 輸入接受步驟，接受對所述顯示部所顯示的圖像上的任意地方的選擇輸入； 框線顯示步驟，使所述顯示部所顯示的圖像上的、通過所述輸入接受部接受了輸入的地方顯示固定尺寸的框線； 識別步驟，根據(jù)通過所述框線已包圍的區(qū)域內(nèi)的圖像的特征量識別所述框線內(nèi)存在的商品；以及 輸出步驟，使識別出的所述商品的信息輸出。
10.根據(jù)權(quán)利要求9所述的商品識別方法，其特征在于， 在所述框線顯示步驟中，在所述顯示部所顯示的圖像上的、通過所述輸入接受部接受了輸入的地方顯示以 該地方為中心的固定尺寸的框線。
【文檔編號】G06K9/00GK103824048SQ201310556535
【公開日】2014年5月28日 申請日期:2013年11月11日 優(yōu)先權(quán)日:2012年11月15日
【發(fā)明者】飯坂仁志 申請人:東芝泰格有限公司