商品識(shí)別裝置及商品識(shí)別方法
【專(zhuān)利說(shuō)明】商品識(shí)別裝置及商品識(shí)別方法
[0001]本申請(qǐng)主張申請(qǐng)日為2013年11月20日、申請(qǐng)?zhí)枮镴P2013-240022的日本申請(qǐng)為優(yōu)先權(quán)，并引用上述申請(qǐng)的內(nèi)容。
技術(shù)領(lǐng)域
[0002]本發(fā)明涉及一種從攝像圖像識(shí)別商品的商品識(shí)別裝置及商品識(shí)別方法。
【背景技術(shù)】
[0003]有一種這樣的技術(shù)，從通過(guò)攝像部攝像作為對(duì)象的物體(目的物)而獲得的圖像數(shù)據(jù)抽出所述物體的外觀特征量，與預(yù)先登記在識(shí)別詞庫(kù)文件中的各物體的基準(zhǔn)圖像的特征量數(shù)據(jù)進(jìn)行核對(duì)從而計(jì)算出特征量的相似度，并根據(jù)該相似度識(shí)別所述物體。這種技術(shù)被稱(chēng)為一般物體識(shí)別(generic object recognit1n:—般物體識(shí)別)，在下列的文獻(xiàn)中各種識(shí)別技術(shù)被說(shuō)明。
[0004]柳井啓司，“一般物體認(rèn)識(shí)O現(xiàn)狀i今後”，情報(bào)処理學(xué)會(huì)論文誌，Vol.48,N0.SIG16[平成 22年 8 月 10 日検索]，^ > 夕一才、卜〈URL: http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yana1.pdf> (柳井啟司，“一般物體識(shí)別的現(xiàn)狀與未來(lái)”，信息處理學(xué)會(huì)論文志，Vol.48, N0.SIG16 “平成 22 年 8 月 10 日檢索”，互聯(lián)網(wǎng) < URL:http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yana1.pdf > )
[0005]此外，通過(guò)對(duì)應(yīng)每個(gè)目的物對(duì)圖像進(jìn)行區(qū)域分割，進(jìn)行一般物體識(shí)別的技術(shù)在下列的文獻(xiàn)中被說(shuō)明。
[0006]Jamie Shotton “Semantic Texton Forests for Image Categorizat1nand Segmentat1n，，，[平成 22 年 8 月 10 日検索],?1、y 夕一才、'7 卜 <URL:http://citeseerx.1st.psu.edu/viewdoc/download? doi = 10.1.1.145.3036&rep = repl&type=pdf> (Jamie Shotton h (杰米肖頓等人)，“Semantic Texton Forests for ImageCategorizat1n and Segmentat1n: ”，“平成 22 年8 月 10 日檢索”，互聯(lián)網(wǎng) < URL:http://citeseerx.1st.psu.edu/viewdoc/download? doi = 10.1.1.145.3036&rep = repl&type=pdf > )
[0007]近年來(lái)，提案有諸如在小賣(mài)店的結(jié)賬系統(tǒng)(P0S系統(tǒng))中，向顧客購(gòu)買(mǎi)的商品尤其象蔬菜、水果等那樣未附加有條形碼的商品的識(shí)別裝置應(yīng)用上述的一般物體識(shí)別的技術(shù)。這時(shí)，操作員(店員或顧客)將識(shí)別對(duì)象的商品對(duì)準(zhǔn)攝像部。這樣，在商品識(shí)別裝置中，從攝像圖像中識(shí)別有商品并將表示識(shí)別結(jié)果的信息(例如商品名)顯示在顯示部上。
[0008]不過(guò)，商品并不一定被識(shí)別。例如，往往有因操作員用手隱藏了商品而商品未被識(shí)別的情況。或者，也有因相似的特征量數(shù)據(jù)未登記在識(shí)別詞庫(kù)文件中而商品未被識(shí)別的情況。此外，也有因商品識(shí)別程序死機(jī)而商品未被識(shí)別的情況。
[0009]當(dāng)商品未被識(shí)別時(shí)，商品識(shí)別裝置無(wú)反應(yīng)。因此，很難判斷是正在識(shí)別商品當(dāng)中還是不能識(shí)別商品，大多操作者由于改變舉起商品的位置、或者改變對(duì)準(zhǔn)方向進(jìn)行試行，所以感到有壓力。

【發(fā)明內(nèi)容】

[0010]鑒于上述問(wèn)題，本發(fā)明的目的在于提供一種商品識(shí)別裝置及商品識(shí)別方法，其能夠?qū)⒉荒茏R(shí)別商品而處于無(wú)反應(yīng)狀態(tài)的情況告知給操作者。
[0011]為解決上述問(wèn)題，本發(fā)明第一方面涉及的商品識(shí)別裝置，包括:檢測(cè)部、抽出部、計(jì)算部及告知部。檢測(cè)部，從已攝像的圖像中檢測(cè)出映入到該圖像的物體。抽出部，從通過(guò)所述檢測(cè)部檢測(cè)出的物體的圖像中抽出所述物體的外觀特征量。計(jì)算部，將通過(guò)抽出部已抽出的外觀特征量與對(duì)應(yīng)每個(gè)識(shí)別對(duì)象商品保存有表示該商品的表面信息的特征量數(shù)據(jù)的詞庫(kù)文件的特征量數(shù)據(jù)進(jìn)行核對(duì)，對(duì)應(yīng)每個(gè)識(shí)別對(duì)象商品計(jì)算出相似度，所述相似度是表示所述外觀特征量相對(duì)于所述特征量數(shù)據(jù)相似哪種程度的數(shù)據(jù)。識(shí)別部，基于通過(guò)計(jì)算部計(jì)算出的相似度，識(shí)別物體是否為商品。告知部，當(dāng)通過(guò)識(shí)別部物體未被識(shí)別是商品時(shí)，向操作者告知物體的圖像區(qū)。
[0012]本發(fā)明第二方面涉及的商品識(shí)別方法，包括以下步驟:檢測(cè)步驟，從已攝像的圖像中檢測(cè)出映入到該圖像的物體；抽出步驟，從檢測(cè)出的所述物體的圖像抽出所述物體的外觀特征量；計(jì)算步驟，將已抽出的所述外觀特征量與對(duì)應(yīng)每個(gè)識(shí)別對(duì)象商品保存有表示該商品的表面信息的特征量數(shù)據(jù)的詞庫(kù)文件的所述特征量數(shù)據(jù)進(jìn)行核對(duì)，對(duì)應(yīng)每個(gè)所述識(shí)別對(duì)象商品計(jì)算出相似度，所述相似度是表示所述外觀特征量相對(duì)于所述特征量數(shù)據(jù)相似哪種程度的數(shù)據(jù)；識(shí)別步驟，基于計(jì)算出的所述相似度，識(shí)別所述物體是否為商品；以及告知步驟，當(dāng)所述物體未被識(shí)別是商品時(shí)，向操作者告知所述物體的圖像區(qū)。
【附圖說(shuō)明】
[0013]下面，參照附圖對(duì)本發(fā)明所涉及的商品識(shí)別裝置及商品識(shí)別方法進(jìn)行說(shuō)明。當(dāng)結(jié)合附圖考慮時(shí)，通過(guò)參照下面的詳細(xì)描述，能夠更完整更好地理解本發(fā)明以及容易得知其中許多伴隨的優(yōu)點(diǎn)，但此處所說(shuō)明的附圖用來(lái)提供對(duì)本發(fā)明的進(jìn)一步理解，構(gòu)成本申請(qǐng)的一部分，本發(fā)明的示意性實(shí)施例及其說(shuō)明用于解釋本發(fā)明，并不構(gòu)成對(duì)本發(fā)明的不當(dāng)限定，其中:
[0014]圖1是店鋪結(jié)賬系統(tǒng)的外觀圖；
[0015]圖2是表示掃描裝置和POS終端的硬件構(gòu)成的框圖；
[0016]圖3是表示識(shí)別詞庫(kù)文件所保存的不同商品詞庫(kù)數(shù)據(jù)的構(gòu)造的示意圖；
[0017]圖4是表示形成在掃描裝置的RAM中的主要的內(nèi)存區(qū)的示意圖；
[0018]圖5是表示按照商品識(shí)別程序，掃描裝置的CPU所執(zhí)行的主要的信息處理次序的流程圖；
[0019]圖6是表示進(jìn)行了商品識(shí)別時(shí)的觸摸面板的畫(huà)面例的示意圖；
[0020]圖7是表示未進(jìn)行商品識(shí)別時(shí)的觸摸面板的畫(huà)面例的示意圖；
[0021]圖8是表示物體未被識(shí)別是商品時(shí)的告知畫(huà)面的一例的示意圖；
[0022]圖9是表示物體未被識(shí)別是商品時(shí)的告知畫(huà)面的另一例的示意圖；以及
[0023]圖10是表示物體未被識(shí)別是商品時(shí)的告知畫(huà)面的第三例的示意圖。
[0024]附圖標(biāo)記說(shuō)明
[0025]I 掃描裝置
[0026]IB讀取窗
[0027]2POS 終端
[0028]11鍵盤(pán)
[0029]12觸摸面板
[0030]13顧客用顯示器
[0031]14攝像部
[0032]30識(shí)別詞庫(kù)文件
[0033]40PLU 文件
[0034]111CPU
【具體實(shí)施方式】
[0035]下面，參照附圖，對(duì)商品識(shí)別裝置的實(shí)施例進(jìn)行說(shuō)明。另外，本實(shí)施例是使構(gòu)筑將蔬菜、水果等作為商品進(jìn)行處理的小賣(mài)店的店鋪結(jié)賬系統(tǒng)的掃描裝置1，具有作為商品識(shí)別裝置功能的情況。
[0036]圖1是店鋪結(jié)賬系統(tǒng)的外觀圖。該系統(tǒng)包括作為登記顧客購(gòu)買(mǎi)的商品的登記部的掃描裝置1、作為處理顧客的貨款支付的結(jié)算部的POS(Point Of Sales:銷(xiāo)售點(diǎn))終端2。掃描