專利名稱：信息處理裝置、店鋪系統(tǒng)及信息處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種信息處理裝置、店鋪系統(tǒng)及信息處理方法。
背景技術(shù)：
近年來，有一種一般物體識(shí)別所涉及的技術(shù)，從圖像傳感器裝置攝像了成為對(duì)象的物品(目的物)的圖像數(shù)據(jù)中抽取所述對(duì)象物品的特征量，通過與預(yù)先準(zhǔn)備的在詞庫中的核對(duì)用數(shù)據(jù)(特征量)進(jìn)行比較從而計(jì)算出相似度，并按照計(jì)算出的相似度識(shí)別(檢測(cè)出)所述物品的種類等。此外，提案有一種店鋪系統(tǒng)，將該一般物體識(shí)別所涉及的技術(shù)用于蔬菜和水果等的商品的識(shí)別從而對(duì)識(shí)別出的商品進(jìn)行銷售登記。不過，在上述的一般物體識(shí)別所涉及的技術(shù)中，不僅要識(shí)別(檢測(cè)出)物品的類別(商品)，還要連品種也要識(shí)別(檢測(cè)出)。不過，當(dāng)在將相似度作為相對(duì)評(píng)價(jià)進(jìn)行計(jì)算的情況下識(shí)別(檢測(cè)出)到品種時(shí)，則物品的類別(商品)所包含的品種越多各品種的相似度就會(huì)變得越低，其結(jié)果，作為成為對(duì)象物的候補(bǔ)的商品，往往有多個(gè)品種和其他商品混在一起被識(shí)別的情況，從而存在有反而妨礙商品的選定的可能性。

發(fā)明內(nèi)容
鑒于上述問題，本發(fā)明的目的在于提供一種信息處理裝置、店鋪系統(tǒng)以及信息處理方法，其在不增加部件的前提下能夠提高物品的識(shí)別率。本發(fā)明涉及的信息處理裝置，包括:采集部，采集攝像部攝像的圖像；相似度計(jì)算部，用于計(jì)算出相似度，該相似度表示通過所述攝像部攝像的物體的圖像和與表示關(guān)于登記在詞庫中的各登記商品的信息的上位分類同時(shí)登記的所述各登記商品的基準(zhǔn)圖像相似哪種程度；判定部，比較所述采集部采集到的每個(gè)圖像與基準(zhǔn)圖像的相似度，判定合計(jì)了屬于相同的所述上位分類的多個(gè)品種的相似度的所述上位分類的相似度是否滿足規(guī)定條件；以及告知部，當(dāng)在所述判定部中滿足了所述規(guī)定條件時(shí)，告知關(guān)于與滿足了所述規(guī)定條件的所述多個(gè)品種對(duì)應(yīng)的商品的信息，作為所述攝像的商品的候補(bǔ)。


圖1是表示實(shí)施例的結(jié)賬系統(tǒng)的一例立體圖。圖2是表示POS終端及商品讀取裝置的硬件構(gòu)成的框圖。圖3是例示PLU文件的數(shù)據(jù)構(gòu)成的概念圖。圖4是表示POS終端及商品讀取裝置的功能構(gòu)成的框圖。圖5是表示幀圖像的一例圖。
圖6是表不確定畫面的一例圖。圖7是表不確定畫面的一例圖。圖8是表不顯不有商品候補(bǔ)的實(shí)例圖像的畫面例的圖。圖9是表示商品候補(bǔ)的品種選擇畫面例的圖。圖10是表示商品識(shí)別處理的順序的流程圖。圖11是表示銷售登記處理的順序的流程圖。圖12是表示自助POS的構(gòu)成的外觀立體圖。圖13是表示自助POS的硬件構(gòu)成的框圖。
具體實(shí)施例方式下面，參照附圖，以結(jié)賬系統(tǒng)為例對(duì)本實(shí)施例所涉及的信息處理裝置、店鋪系統(tǒng)及程序進(jìn)行說明。店鋪系統(tǒng)是具有進(jìn)行一交易所涉及的商品的登記、對(duì)賬的POS終端的結(jié)賬系統(tǒng)(P0S系統(tǒng))等。本實(shí)施例是向引進(jìn)到超市等店鋪中的結(jié)賬系統(tǒng)的應(yīng)用例。圖1是表不結(jié)賬系統(tǒng)I的一例立體圖。如圖1所不，結(jié)賬系統(tǒng)I具有讀取與商品有關(guān)的信息的商品讀取裝置101、以及進(jìn)行一交易所涉及的商品的登記、對(duì)賬的POS終端11。以下，對(duì)將商品讀取裝置101作為本實(shí)施例所涉及的信息處理裝置進(jìn)行應(yīng)用的例子，進(jìn)行說明。POS終端11被載置在結(jié)賬臺(tái)41上的拉出裝置21上面。POS終端11控制拉出裝置21的開放動(dòng)作。在POS終端11的上表面上配置有由操作員(店員)進(jìn)行按下操作的鍵盤22。從操作鍵盤22的操作員角度看，在鍵盤22的里側(cè)設(shè)置有朝向操作員顯示信息的顯示器23。顯示器23在其顯示面23a上顯示信息。顯示面23a層壓有觸摸面板26。在位于顯示器23的更里側(cè)可旋轉(zhuǎn)地立著設(shè)置有顧客用顯示器24。顧客用顯示器24在其顯示面24a上顯示信息。另外，雖然圖1所示的顧客用顯示器24將顯示面24a朝向圖1中的跟前側(cè)，但是通過以顯示面24a朝向圖1中的里側(cè)的方式使顧客用顯示器24旋轉(zhuǎn)，顧客用顯示器24向顧客顯示信息。長條桌子狀的柜臺(tái)151以與載置有POS終端11的結(jié)賬臺(tái)41形成為L字的方式來配置。在柜臺(tái)151的上表面上形成有負(fù)荷接受面152。負(fù)荷接受面152載置有收納商品G的購物筐153。購物筐153可以考慮劃分為通過顧客帶來的第一購物筐153a和被載置在與第一購物筐153a隔著商品讀取裝置101的位置的第二購物筐153b。另外，購物筐153 (第一購物筐153a)并不限定于所謂的筐形狀，也可以是托盤等。此外，購物筐153 (第二購物筐153b)并不限定于所謂的筐形狀，也可以是箱狀或袋狀等。在柜臺(tái)151的負(fù)荷接受面152上設(shè)置有可與POS終端11數(shù)據(jù)發(fā)送接收地連接的商品讀取裝置101。商品讀取裝置101具有薄的長方形形狀的外殼102。在外殼102的正面配置有讀取窗103。在外殼102的上部安裝有顯示/操作部104。顯示/操作部104設(shè)置有作為在表面上層壓有觸摸面板105的顯示部的顯示器106。在顯示器106的右邊設(shè)置有鍵盤107。在鍵盤107的右邊設(shè)置有未圖示的讀卡器的卡讀取槽108。從操作員的角度看，在顯示/操作部104的背面靠左側(cè)設(shè)置有用于向顧客提供信息的顧客用顯示器109。這樣的商品讀取裝置101具有商品讀取部110 (參照?qǐng)D2)。商品讀取部110在讀取窗103的里側(cè)配置有攝像部164 (參照?qǐng)D2)。
顧客帶來的第一購物筐153a收納有一交易所涉及的商品G。第一購物筐153a內(nèi)的商品G通過操作商品讀取裝置101的操作員被移動(dòng)到第二購物筐153b。在該移動(dòng)過程中，商品G被朝向商品讀取裝置101的讀取窗103。這時(shí)，配置在讀取窗103內(nèi)的攝像部164(參照?qǐng)D2)攝像商品G。商品讀取裝置101在顯示/操作部104上顯示用于指定通過攝像部164攝像的圖像所包含的商品G與后述的PLU文件Fl (參照?qǐng)D3)所登記的哪個(gè)商品對(duì)應(yīng)的畫面，并將指定了的商品的商品ID通知給POS終端11。POS終端11基于來自商品讀取裝置101通知的商品ID，將與該商品ID對(duì)應(yīng)的商品的商品分類、商品名稱、單價(jià)等銷售登記所涉及的信息登記到銷售主文件(未圖示)等中，從而進(jìn)行銷售登記。圖2是POS終端11及商品讀取裝置101的硬件構(gòu)成的框圖。POS終端11具有作為執(zhí)行信息處理的信息處理部的微機(jī)60。微機(jī)60由在執(zhí)行各種運(yùn)算處理并控制各部的CPU(Central ProcessingUnit:中央處理器)61 上總線連接有 ROM (Read Only Memory:只讀存儲(chǔ)器)62和RAM (Random Access Memory:隨機(jī)存取存儲(chǔ)器)63而構(gòu)成。上述的拉出裝置21、鍵盤22、顯示器23、觸摸面板26以及顧客用顯示器24均通過各種輸入輸出電路(均未 圖示)與POS終端11的CPU61連接，并接受CPU61的控制。鍵盤22包括在上面顯示有“1”、“2”、“3”……等的數(shù)字、“ X ”的乘法的算符的數(shù)字鍵22d、臨時(shí)合計(jì)鍵22e及合計(jì)鍵22f。POS 終端 11 的 CPU 61 連接有 HDD 64 (Hard Disk Drive:硬盤驅(qū)動(dòng)器)。HDD 64存儲(chǔ)有程序、各種文件。HDD 64所存儲(chǔ)的程序、各種文件在POS終端11起動(dòng)時(shí)，其全部或一部分被復(fù)制到RAM63并通過CPU 61執(zhí)行。HDD 64所存儲(chǔ)的程序的一例是商品銷售數(shù)據(jù)處理用的程序PR。HDD 64所存儲(chǔ)的文件的一例是從存儲(chǔ)計(jì)算機(jī)SC分配存儲(chǔ)的PLU文件Fl。PLU文件Fl是作為詞庫使用的文件，其是對(duì)陳列在店鋪中并進(jìn)行銷售的商品G的各個(gè)商品，設(shè)定有商品G的銷售登記所涉及的信息和該商品G的圖像的關(guān)聯(lián)的商品文件。圖3是例示出PLU文件Fl的數(shù)據(jù)構(gòu)成的概念圖。如圖3所示，PLU文件Fl是將對(duì)應(yīng)每個(gè)商品G單獨(dú)地分配的商品ID、商品G所屬的商品分類、商品名稱、單價(jià)等的與商品有關(guān)的信息、攝像該商品的商品圖像(基準(zhǔn)圖像)、表示該商品的實(shí)例圖像、以及從已攝像的商品圖像或基準(zhǔn)圖像中讀取的色彩和表面的凹凸?fàn)顩r等的特征量，作為該商品G的商品信息進(jìn)行存儲(chǔ)的文件。此外，特征量用于后述的相似度的判定。另外，PLU文件Fl具有商品讀取裝置101通過后述的連接接口 65可讀出的構(gòu)成。另外，當(dāng)不僅需要識(shí)別(檢測(cè)出)物品的類別(商品)還需要識(shí)別(檢測(cè)出)到品種時(shí)，如圖3所示，PLU文件Fl對(duì)應(yīng)每個(gè)品種對(duì)商品名和單價(jià)等的關(guān)于商品的信息、攝像該商品的商品圖像(基準(zhǔn)圖像)、表示該商品的實(shí)例圖像以及特征量進(jìn)行管理。例如，當(dāng)物品的類別(商品)為“ 'J ” 3'' (蘋果)”時(shí)，對(duì)應(yīng)象I；(富士)”、“ ''/ 3 f 3'' - A F (喬納金)”、“o if h(津輕)”、“紅玉(紅玉)”那樣的每個(gè)品種，對(duì)商品名和單價(jià)等的關(guān)于商品的信息、攝像該商品的商品圖像(基準(zhǔn)圖像)、表示該商品的實(shí)例圖像以及特征量進(jìn)行管理。返回到圖2，POS終端11的CPU 61通過輸入輸出電路(未圖示)連接有用于與存儲(chǔ)計(jì)算機(jī)SC執(zhí)行數(shù)據(jù)通信的通信接口 25。存儲(chǔ)計(jì)算機(jī)SC設(shè)置在店鋪的后院等。存儲(chǔ)計(jì)算機(jī)SC的HDD (未圖示)存儲(chǔ)有向POS終端11發(fā)送的PLU文件F1。而且，POS終端11的CPU 61連接有在與商品讀取裝置101之間可數(shù)據(jù)發(fā)送接收的連接接口 65。連接接口 65連接有商品讀取裝置101。此外，POS終端11的CPU 61連接有在票據(jù)等上進(jìn)行打字的打印機(jī)66。POS終端11在CPU 61的控制下，將一交易的交易內(nèi)容打印在票據(jù)上。商品讀取裝置101也具有微機(jī)160。微機(jī)160由CPU 161總線連接有ROM 162和RAM 163而構(gòu)成。ROM 162存儲(chǔ)有通過CPU 161來執(zhí)行的程序。CPU 161通過各種輸入輸出電路(均未圖示)連接有攝像部164、聲音輸出部165。攝像部164、聲音輸出部165由CPU161控制動(dòng)作。顯示/操作部104通過連接接口 176與商品讀取部110及POS終端11連接。顯示/操作部104由商品讀取部110的CPU161、P0S終端11的CPU 61來控制動(dòng)作。攝像部164是彩色CXD圖像傳感器或彩色CMOS圖像傳感器等，并是在CPU 161的控制下從讀取窗103進(jìn)行攝像的攝像部。例如，在攝像部164中進(jìn)行30fps的視頻的攝像。攝像部164以規(guī)定的幀頻率依次攝像的幀圖像(攝像圖像)被保存到RAM 163中。聲音輸出部165是用于產(chǎn)生預(yù)先設(shè)定的警報(bào)音等的聲音電路和揚(yáng)聲器等。聲音輸出部165在CPU 161的控制下進(jìn)行警報(bào)音或語音的告知。而且，CPU 161連接有與POS終端11的連接接口 65連接、并與POS終端11之間可數(shù)據(jù)接收發(fā)送的連接接口 175。此外，CPU 161通過連接接口 175，與顯示/操作部104之間進(jìn)行數(shù)據(jù)發(fā)送接收。接著，參照?qǐng)D4，對(duì)CPU161、CPU 61通過執(zhí)行程序?qū)崿F(xiàn)的CPU161、CPU 61的功能構(gòu)成進(jìn)行說明。圖4是表示POS終端11及商品讀取裝置101的功能構(gòu)成的框圖。如圖4所示，商品讀取裝置101的CPU 161通過執(zhí)行R0M162所存儲(chǔ)的程序，具有作為圖像采集部51、商品檢測(cè)部52、相似度計(jì)算部53、相似度判定部54、確定告知部55、商品候補(bǔ)提示部56、輸入接受部57以及信息輸出部58的功能。此外，同樣，POS終端11的CPU 61通過執(zhí)行程序PR，具有作為銷售登記處理部的銷售登記部611的功能。圖像采集部51具有作為采集單元的功能，其向攝像部164輸出攝像導(dǎo)通信號(hào)從而使攝像部164開始攝像動(dòng)作。圖像米集部51在攝像動(dòng)作開始后，依次米集攝像部164攝像、并保存在RAM 163中的幀圖像。圖像采集部51的幀圖像的采集按照RAM 163所保存的順序來進(jìn)行。圖5是表示通過圖像采集部51采集到的巾貞圖像的一例圖。如圖5所示，當(dāng)操作員將商品G向讀取窗103舉起照売時(shí)，則在攝像部164的讀取區(qū)域R中攝像有商品G的全部或一部分并被顯示在商品讀取裝置101的顯示器106上。商品檢測(cè)部52采用模式匹配技術(shù)等檢測(cè)出通過圖像采集部51采集到的幀圖像所包含的商品G的全部或一部分。具體地說，從將采集到的幀圖像進(jìn)行二值化的圖像中抽取輪廓線等。接著，將從上次的幀圖像中抽取的輪廓線和從此次的幀圖像中抽取的輪廓線進(jìn)行比較，檢測(cè)出為了銷售登記而朝向讀取窗103的商品。另外，作為檢測(cè)出商品的其他方法，從采集到的幀圖像中檢測(cè)出有無皮膚區(qū)域。接著，當(dāng)檢測(cè)出皮膚區(qū)域時(shí)，也就是說，當(dāng)檢測(cè)出店員的手時(shí)，通過在該皮膚區(qū)域的附近進(jìn)行上述的輪廓線的檢測(cè)，對(duì)假想店員的手正把持的商品的輪廓抽取進(jìn)行嘗試。這時(shí)，當(dāng)檢測(cè)出表示手的形狀的輪廓和在手的輪廓附近除此之外的物體的輪廓時(shí)，從該物體的輪廓檢測(cè)出商品。
相似度計(jì)算部53具有作為相似度計(jì)算單元的功能，其從通過攝像部164攝像的商品G的全部或一部分的圖像中讀取商品G的色彩和表面的凹凸?fàn)顩r等的表面狀態(tài)作為特征量。另外，相似度計(jì)算部53由于謀求處理時(shí)間的縮短，所以不考慮商品G的輪廓、大小。此外，相似度計(jì)算部53通過將作為PLU文件Fl所登記的各商品(以下，稱為登記商品)的商品圖像的色彩和表面的凹凸?fàn)顩r等的表面狀態(tài)的特征量與商品G的特征量分別進(jìn)行比較，從而計(jì)算出商品G和PLU文件Fl所登記的登記商品的相似度。在這里，相似度是當(dāng)將存儲(chǔ)在PLU文件Fl中的各商品的在登記商品時(shí)的商品圖像視為100%= “相似度:
1.0”時(shí)，表示商品G的全部或一部分的圖像相似哪種程度的數(shù)據(jù)。另外，諸如也可以在色彩和表面的凹凸?fàn)顩r中，改變加權(quán)來計(jì)算出相似度。這樣，識(shí)別圖像中所包含的物體的對(duì)象識(shí)別被稱為一般物體識(shí)別(gener i cobject recognition:一般物體識(shí)別)。關(guān)于這樣的一般物體識(shí)別在下述的文獻(xiàn)中各種識(shí)別技術(shù)被說明。柳井啓司，“一般物體認(rèn)識(shí)A現(xiàn)狀i今後”，情報(bào)処理學(xué)會(huì)論文誌，Vol.48，N0.SIG16 [平成 22 年 8 月 10 日検索]，彳乂 夕-木義卜〈URL:http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yana1.pdf> (柳井啟司，“一般物體識(shí)別的現(xiàn)狀與未來”，信息處理學(xué)會(huì)論文志，Vol.48, N0.SIG16 “平成 22 年 8 月 10 日檢索”，互聯(lián)網(wǎng) < URL:http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yana1.pdf >)此外，通過對(duì)應(yīng)每個(gè)目的物對(duì)圖像進(jìn)行區(qū)域分割，進(jìn)行一般物體識(shí)別的技術(shù)在下述的文獻(xiàn)中被說明。 Jamie Shotton “Semantic Texton Forests forlmage Categorization andSegmentation，，，[平成 22 年 8 月 10 日検索]，4 乂夕-才、'義卜 <URL:http://citeseerx.1st.psu.edu/viewdoc/download doi = 10.1.1.145.3036&rep=repl&type=pdf> (JamieShotton h (杰米肖頓等人)，“Semantic Texton Forests for Image CategorizationandSegmentation: ”, “平成 22 年 8 月 10 日檢索，，,互聯(lián)網(wǎng) < URL:http://citeseerx.1st.psu.edu/viewdoc/download doi = 10.1.1.145.3036 &rep = rep I &type = pdf >)另外，所攝像的商品G的圖像和PLU文件Fl所登記的登記商品的圖像的相似度的計(jì)算方法尤其不限。例如，既可以將所攝像的商品G的圖像和PLU文件Fl所登記的各登記商品的相似度作為絕對(duì)評(píng)價(jià)進(jìn)行計(jì)算出，又可以將其作為相對(duì)評(píng)價(jià)進(jìn)行計(jì)算出。當(dāng)將相似度作為絕對(duì)評(píng)價(jià)進(jìn)行計(jì)算出時(shí)，只要將所攝像的商品G的圖像和PLU文件Fl所登記的各登記商品一對(duì)一進(jìn)行比較，并直接采用該比較的結(jié)果導(dǎo)出的相似度就可以。此外，當(dāng)將相似度作為相對(duì)評(píng)價(jià)進(jìn)行計(jì)算出時(shí)，如果在PLU文件Fl中登記有5個(gè)登記商品(商品GA、GB、GC、⑶、GE)，則只要以所攝像的商品G諸如對(duì)于商品GA相似度為0.6、對(duì)于商品GB相似度為0.1、對(duì)于商品GC相似度為0.1、對(duì)于商品GD相似度為0.1、對(duì)于商品GE相似度為0.1等，與各登記商品的相似度的總和為1.0 (100%)的方式計(jì)算出就可以。相似度判定部54具有作為判定單元的功能，其對(duì)應(yīng)圖像采集部51采集到的每個(gè)幀圖像，將商品G的圖像和PLU文件Fl所登記的登記商品的相似度進(jìn)行比較。在本實(shí)施例中，關(guān)于登記商品的商品圖像和商品G的圖像的相似度，被階段地設(shè)置有多個(gè)條件，相似度判定部54按照滿足的條件進(jìn)行登記商品的確定或商品的候補(bǔ)的選定。與相似度有關(guān)的條件雖然并未被特別地限定，但是在以下中對(duì)采用條件a d的情況進(jìn)行說明。
在這里，條件a及條件b是本實(shí)施例所涉及的第一條件，并是用于將攝像部164所攝像的商品G確定作為在PLU文件Fl所登記的登記商品中的一個(gè)商品的條件。此外，條件c是本實(shí)施例所涉及的第二條件，并是當(dāng)在PLU文件Fl所登記的登記商品中未包含有多個(gè)屬于相同類別(商品)的不同品種的物品時(shí)，用于抽取攝像部164所攝像的商品G的候補(bǔ)的條件。而且，條件d是本實(shí)施例所涉及的第三條件，并是當(dāng)在滿足了條件c的商品的候補(bǔ)中包含有多個(gè)屬于相同類別(商品)的不同品種的物品時(shí)，用于抽取攝像部164所攝像的商品G的候補(bǔ)的條件。相似度判定部54將滿足條件a或條件b的登記商品判定(確定)為是與攝像部164所攝像的商品G —對(duì)一對(duì)應(yīng)的商品(以下，稱為確定商品)。此外，相似度判定部54對(duì)滿足了條件c的登記商品，判定為不是確定商品，而是攝像部164所攝像的商品G的候補(bǔ)(以下，稱為商品候補(bǔ))。而且，通過從PLU文件Fl所登記的多個(gè)登記商品中抽取滿足條件c的登記商品，從而抽取關(guān)于商品G的商品候補(bǔ)。此外，相似度判定部54對(duì)滿足條件d的登記商品(屬于相同類別(商品)的不同品種的物品)，也判定為不是確定商品，而是攝像部164所攝像的商品G的候補(bǔ)。而且，通過從PLU文件Fl所登記的多個(gè)登記商品抽取滿足條件d的登記商品，從而抽取關(guān)于商品G的商品候補(bǔ)。只要條件a c按照相似度被階段地設(shè)定，則其詳細(xì)情況并不被特別限定，但作為一例，能夠通過預(yù)先設(shè)定的多個(gè)閾值來設(shè)定條件a C。在這里,對(duì)通過第一閾值 第三閾值來設(shè)定條件a c的情況進(jìn)行說明。另外，第一閾值 第三閾值的大小關(guān)系是第一閾值
>第二閾值〉第三閾值。相似度判定部54計(jì)數(shù)與登記商品的相似度為大于等于預(yù)先設(shè)定的第一閾值(例如，90%)的次數(shù)，并當(dāng)該次數(shù)為大于等于規(guī)定次數(shù)時(shí)，判定滿足了條件a。此外，當(dāng)以無誤判定的方式更高地設(shè)定第一閾值時(shí)，也可以將規(guī)定次數(shù)作為一次來判定條件a。此外，相似度判定部54當(dāng)與登記商品的相似度為小于第一閾值(例如，90%)且大于等于與第一閾值相比小的第二閾值(例如，75%)時(shí)，判定為滿足了條件b。而且，滿足了條件b的登記商品判定為雖然是確定商品，但是需要由操作員的確認(rèn)操作。另外，也可以計(jì)數(shù)與登記商品的相似度為小于第一閾值(例如，90%)且大于等于與第一閾值相比小的第二閾值(例如，75%)的次數(shù)，并當(dāng)該次數(shù)為大于等于規(guī)定次數(shù)時(shí)，判定為滿足了條件b。而且，相似度判定部54當(dāng)與登記商品的相似度為小于第二閾值(例如，75%)且大于等于與第二閾值相比小的第三閾值(例如，10%)時(shí)，判定為滿足了條件C。另外，進(jìn)一步也可以計(jì)數(shù)與登記商品的相似度為小于第二閾值(例如，75%)且大于等于與第二閾值相比小的第三閾值(例如，10%)的次數(shù)，并當(dāng)該次數(shù)為大于等于規(guī)定次數(shù)時(shí)，判定為滿足了條件
Co另外，各條件a c按照相似度的大小、判定次數(shù)可適當(dāng)設(shè)定，并不限定于上述的例子。此外，用于條件a c的判斷的規(guī)定次數(shù)也可分別對(duì)應(yīng)各個(gè)條件設(shè)定不同的次數(shù)。而且，相似度判定部54當(dāng)在滿足了條件c的登記商品中包含多個(gè)屬于相同類別(商品)的不同品種時(shí)，合計(jì)所述多個(gè)品種的相似度，并當(dāng)合計(jì)了多個(gè)品種的相似度的類別(商品)的相似度為大于等于預(yù)先設(shè)定的第二閾值(例如，75%)時(shí)，判定為滿足了條件d。確定告知部55具有作為告知單兀的功能,其通過圖像輸出、聲音輸出等,將通過攝像部164攝像的商品被唯一地確定作為是滿足了條件a或條件b的登記商品的情況告知給操作員、顧客。更詳細(xì)地說，確定告知部55使表示滿足了條件a的登記商品被唯一地確定作為通過攝像部164攝像的商品(確定商品)的情況的確定畫面71 (參照?qǐng)D6)，顯示在顯示器106上。圖6是表示確定畫面71的一例圖。當(dāng)有滿足條件a的登記商品時(shí)，確定告知部55停止讀取區(qū)域R (參照?qǐng)D5)的攝像圖像的顯示，從PLU文件Fl中讀出與確定商品對(duì)應(yīng)的實(shí)例圖像Gl及商品名“(二 & I； & (胡蘿卜)”，并顯示在確定畫面71上。此外，確定告知部55將從PLU文件Fl中讀出的確定商品的商品名、商品價(jià)格(單價(jià))分別顯示在商品名顯示區(qū)域81、價(jià)格顯示區(qū)域82上。此外，確定告知部55也可以顯示從PLU文件Fl中讀出的商品圖像(照片)代替實(shí)例圖像Gl。此外，確定告知部55與該確定畫面71的顯示定時(shí)一致，將從PLU文件Fl中讀出的商品名等的與確定商品有關(guān)的信息輸出給聲音輸出部165。聲音輸出部165通過輸出已輸入的信息來向操作員、顧客告知表不確定商品的信息。此外，確定告知部55使接受滿足了條件b的登記商品(確定商品)是否是通過攝像部164攝像的商品G的最終確認(rèn)f呆作的確認(rèn)畫面72 (參照?qǐng)D7)，顯不在顯不器106上。圖7是表示確認(rèn)畫面72的一例圖。當(dāng)有滿足條件b的登記商品時(shí)，確定告知部55從PLU文件Fl中讀出與確定商品對(duì)應(yīng)的實(shí)例圖像G1，并顯示在確認(rèn)畫面72上。此外，確定告知部55用從PLU文件Fl中讀出的確定商品的商品名，將征詢所讀取的商品G是否是實(shí)例圖像Gl的商品的信息顯示為“d I； & 分？(是不是胡蘿卜)”等。此外，在確定畫面72上通過對(duì)觸摸面板105的觸摸操作可選擇操作地設(shè)置有“ (S P / ^ ^ A (是/不是)”等的按鈕。這樣,在確認(rèn) 畫面72中，作為相似度判定的結(jié)果,不出有對(duì)于一個(gè)商品G被唯一挑選出的登記商品(確定商品)的商品名、商品圖像，并示出商品G和登記商品具有一對(duì)一的關(guān)系。因此，確認(rèn)畫面72是告知滿足了條件b的登記商品作為通過攝像部164攝像的商品G被唯一地確定的畫面。在本實(shí)施例中，當(dāng)這樣攝像的商品被唯一地確定了時(shí)，顯示確定商品的實(shí)例圖像代替攝像圖像。因此，操作員能夠直觀地看到商品的識(shí)別確定了的情況，且能夠一目了然地看到被識(shí)別出的商品是哪個(gè)商品。另外，確定告知部55既可以與顯不確定畫面72的定時(shí)一致,使聲音輸出部165聲音輸出關(guān)于確定商品的信息，又可以在確認(rèn)畫面72中不進(jìn)行聲音輸出。在確定畫面71、確定畫面72中的聲音輸出的有無可適當(dāng)設(shè)定。商品候補(bǔ)提示部56使顯示器106顯示關(guān)于滿足了條件c的登記商品的信息作為商品候補(bǔ)。更詳細(xì)地說，商品候補(bǔ)提示部56從PLU文件Fl中讀出滿足了條件c的登記商品的實(shí)例圖像及商品名，按照相似度計(jì)算部53計(jì)算出的相似度從高到低的順序，依次輸出給顯示器106。顯示器106在商品候補(bǔ)提示區(qū)域83 (參照?qǐng)D8)中，按照相似度從高到低的順序顯不商品候補(bǔ)的實(shí)例圖像及商品名。圖8是表示顯示有商品候補(bǔ)的實(shí)例圖像G1、G2、G3的畫面例的圖。如圖8所示，在商品候補(bǔ)提示區(qū)域83中，按照從相似度高的登記商品開始的順序顯示有商品候補(bǔ)的實(shí)例圖像Gl、G2、G3及各商品名。這些實(shí)例圖像Gl、G2、G3可根據(jù)對(duì)觸摸面板105的選擇操作來選擇。此外，在商品候補(bǔ)提示區(qū)域83的下部設(shè)置有用于從商品清單中選擇商品的選擇按鈕84，從商品清單中選擇出的商品作為上述的確定商品被處理。此外，在圖8中，雖然示出了顯不有與實(shí)例圖像Gl G3對(duì)應(yīng)的二個(gè)商品候補(bǔ)的例子，但是商品候補(bǔ)的數(shù)量和顯不方法并不特別地被限定。此外，也可以顯示商品圖像(照片)代替實(shí)例圖像。另外，即使在顯示器106中顯示有商品候補(bǔ)的實(shí)例圖像Gl G3，當(dāng)未接受對(duì)這些商品候補(bǔ)的選擇操作時(shí)，仍繼續(xù)由圖像采集部51的圖像采集處理、由商品檢測(cè)部52的檢測(cè)處理及由相似度計(jì)算部53的相似度計(jì)算處理。因此，在未選擇商品候補(bǔ)的期間，在顯示器106的畫面上顯示有讀取區(qū)域R的攝像圖像。而且，商品候補(bǔ)提示部56使關(guān)于作為滿足了條件d的屬于相同類別(商品)的不同品種的物品的登記商品的信息，作為商品候補(bǔ)顯示在顯示器106上。更詳細(xì)地說，商品候補(bǔ)提示部56從PLU文件Fl中讀出滿足了條件d的登記商品(屬于相同類別(商品)的不同品種的物品)的實(shí)例圖像及商品名，按照相似度計(jì)算部53計(jì)算出的相似度從高到低的順序，依次輸出給顯示器106。顯示器106在品種選擇畫面85 (參照?qǐng)D9)中，按照相似度從高到低的順序顯不商品候補(bǔ)的實(shí)例圖像及商品名。另外，商品候補(bǔ)提示部56也可以從PLU文件Fl中讀出滿足了條件d的登記商品(屬于相同類別(商品)的不同品種的物品)的實(shí)例圖像及商品名，以預(yù)先計(jì)數(shù)在顯示器106的品種選擇畫面85中的商品的選擇次數(shù)作為條件，按照選擇次數(shù)從多到少的順序，依次輸出給顯示器106。圖9是表示商品候補(bǔ)的品種選擇畫面例的圖。如圖9所示，在重疊顯示在作為實(shí)際識(shí)別出的圖像的幀圖像上的品種選擇畫面85中，按照從相似度高的登記商品(屬于相同類別(商品)的不同品種的物品)開始的順序，顯不有商品候補(bǔ)的實(shí)例圖像G4、G5、G6及各品種名。另外，也可以在商品候補(bǔ)的實(shí)例圖像G4、G5、G6中顯不相似度。這些實(shí)例圖像G4、G5、G6可根據(jù)對(duì)觸摸面板105的選擇操作來選擇。此外，在圖9中，雖然示出了顯示有作為屬于實(shí)例圖像Gl的類別(商品)的不同品種的物品的商品候補(bǔ)的實(shí)例圖像G4、G5、G6的三個(gè)商品候補(bǔ)的例子，但是商品候補(bǔ)的數(shù)量和顯示方法并不特別地被限定。當(dāng)商品候補(bǔ)數(shù)較多時(shí)，也可以設(shè)定“他O品種選択(選擇其他品種)”的按鈕或滾動(dòng)按鈕，從而通過操作按鈕按順序顯示商品候補(bǔ)的實(shí)例圖像。此外，也可以顯示商品圖像(照片)代替實(shí)例圖像。輸入接受部57具有作為接受單元的功能，其通過觸摸面板105或鍵盤107，接受與顯示器106的顯示對(duì)應(yīng)的各種輸入操作。例如，輸入接受部57基于對(duì)確認(rèn)畫面72(參照?qǐng)D7)的選擇操作，接受最終確認(rèn)了所顯示的實(shí)例圖像Gl的商品是確定商品的情況的旨意的輸入操作(確認(rèn)操作)。此外，確定告知部55當(dāng)輸入接受部57接受了確認(rèn)操作時(shí)，將上述的確定畫面71顯示在顯示器106上。輸入接受部57接受從顯示器106所顯示的商品候補(bǔ)的實(shí)例圖像Gl G3(參照?qǐng)D8)中對(duì)任一個(gè)的實(shí)例圖像的選擇操作。輸入接受部57接受已選擇的實(shí)例圖像的登記商品，作為是與商品G對(duì)應(yīng)的確定商品。此外，當(dāng)商品檢測(cè)部52可檢測(cè)出多個(gè)商品G時(shí)，輸入接受部57也可以從商品候補(bǔ)中，接受多個(gè)商品候補(bǔ)的選擇操作。此外，確定告知部55當(dāng)輸入接受部57接受了選擇操作時(shí)，使將已接受的商品候補(bǔ)作為確定商品進(jìn)行顯示的確定畫面71顯示在顯示器106上。
此外，輸入接受部57接受從顯示器106所顯示的品種選擇畫面85的實(shí)例圖像G4 G6 (參照?qǐng)D9)中對(duì)任一個(gè)的實(shí)例圖像的選擇操作。此外，確定告知部55當(dāng)輸入接受部57接受了選擇操作時(shí)，使將已接受的商品候補(bǔ)作為確定商品進(jìn)行顯示的確定畫面71顯示在顯示器106上。信息輸出部58對(duì)如上所述那樣的已確定的確定商品，通過連接接口 175將表示該商品的信息(例如，商品ID和商品名等)輸出給POS終端11。此外，信息輸出部58也可以將通過觸摸面板105或鍵盤107另外輸入的銷售個(gè)數(shù)與商品ID等同時(shí)輸出給POS終端11。此外，作為信息輸出部58輸出給POS終端11的信息，信息輸出部58既可以將從PLU文件Fl讀出的商品ID直接通知給POS終端11，又可以將可指定商品ID的商品名或商品圖像、實(shí)例圖像的文件名通知給POS終端11，還可以將該商品ID的存儲(chǔ)位置(在PLU文件Fl中的存儲(chǔ)地址)通知給POS終端11。POS終端11的銷售登記部611基于從信息輸出部58輸出的商品ID和銷售個(gè)數(shù)，進(jìn)行對(duì)應(yīng)的商品的銷售登記。具體地說，銷售登記部611參照PLU文件Fl，將所通知的商品ID及與所述商品ID對(duì)應(yīng)的商品分類、商品名、單價(jià)等與銷售個(gè)數(shù)同時(shí)記錄在銷售主文件等上，從而進(jìn)行銷售登記。接著，對(duì)結(jié)賬系統(tǒng)I的動(dòng)作進(jìn)行詳細(xì)地說明。首先，對(duì)商品讀取裝置101的動(dòng)作進(jìn)行說明。圖10是表示商品讀取裝置101所執(zhí)行的商品識(shí)別處理的順序的流程圖。在圖10中，雖然對(duì)將第一閾值設(shè)定為相似度90% (0.90)、將第二閾值設(shè)定為相似度75% (0.75)、將第三閾值設(shè)定為相似度10% (0.10)的情況，進(jìn)行了說明，但是各閾值并不限定于這些。當(dāng)按照POS終端11的商品登記 的開始等而開始處理時(shí)，則圖像采集部51向攝像部164輸出攝像導(dǎo)通信號(hào)從而開始由攝像部164的攝像(步驟S11)。圖像米集部51米集攝像部164攝像、并保存在RAM 163中的巾貞圖像(攝像圖像)(步驟S12)。接著，商品檢測(cè)部52從圖像采集部51采集到的幀圖像中進(jìn)行商品G的全部或一部分的檢測(cè)(步驟S13)。接著，相似度計(jì)算部53從商品G的全部或一部分的圖像中讀取商品G的特征量，通過與PLU文件Fl所登記的各商品圖像的特征量進(jìn)行比較，從而計(jì)算出與登記商品的相似度(步驟S14)。相似度判定部54判定是否有相似度為大于等于90%的登記商品(步驟S15)。當(dāng)沒有為大于等于90%的登記商品時(shí)(步驟S15的否)，過渡到步驟S17。當(dāng)有為大于等于90%的登記商品時(shí)(步驟S15的是)，判定對(duì)相同登記商品的相似度為大于等于90%的次數(shù)是否為規(guī)定次數(shù)(例如，3次)(步驟S16)。當(dāng)未滿足規(guī)定次數(shù)時(shí)(步驟S16的否)，返回到步驟S12，圖像采集部51采集通過攝像部164攝像的新的幀圖像。當(dāng)為規(guī)定次數(shù)時(shí)(步驟S16的是)，確定告知部55顯示包含確定商品的實(shí)例圖像的確定畫面71 (參照?qǐng)D6),而且,通過聲音通知確定商品的商品名來告知確定商品(步驟S23)。此外，信息輸出部58將被視為確定商品的登記商品的商品ID等與通過鍵盤107另外輸入的銷售個(gè)數(shù)同時(shí)輸出給POS終端11 (步驟S24)，之后，過渡到步驟S25的處理。當(dāng)步驟S 15的否時(shí)，相似度判定部54判定是否有相似度為大于等于75%小于90%的登記商品(步驟S17)。當(dāng)有相似度在該范圍內(nèi)的登記商品時(shí)(步驟S17的是)，將該登記商品判定為是需要操作員的確認(rèn)的確定商品，并使顯示器106顯示確認(rèn)畫面72 (步驟S18)。輸入接受部57判定是否在確認(rèn)畫面72 (參照?qǐng)D7)中選擇了 “ (S ^ (是)”(步驟S19)。當(dāng)選擇了 “iiP (是)”時(shí)(步驟S19的是)，過渡到步驟S23，確定告知部55顯示確定畫面71。另一方面，當(dāng)選擇了 ^ λ (不是)”時(shí)(步驟S19的否)，返回到步驟S12。另一方面，當(dāng)沒有相似度為大于等于75%小于90%的登記商品時(shí)(步驟S17的否)，相似度判定部54判定是否有相似度為大于等于10%小于75%的登記商品，并抽取相似度在該范圍內(nèi)的登記商品作為商品G的商品候補(bǔ)(步驟S20)。當(dāng)沒有該范圍內(nèi)的登記商品時(shí)(步驟S20的否)，返回到步驟S12。當(dāng)有相似度為大于等于10%小于75%的登記商品時(shí)(步驟S20的是)，相似度判定部54判定是否有多個(gè)屬于相同類別的不同品種的物品(步驟S27)。當(dāng)沒有多個(gè)屬于相同類別的不同品種的物品時(shí)(步驟S27的否)，相似度判定部54將符合的登記商品判定為商品G的商品候補(bǔ)。而且，商品候補(bǔ)提示部56按照相似度從高到低的順序?qū)⒈慌卸ㄗ鳛樯唐泛蜓a(bǔ)的登記商品的實(shí)例圖像及商品名進(jìn)行排序，并顯示在商品候補(bǔ)提示區(qū)域83中(步驟S21)。輸入接受部57判定是否接受了對(duì)登記商品的商品圖像的選擇操作(步驟S22)。當(dāng)接受了選擇時(shí)(步驟S22的是)，過渡到步驟S23，確定告知部55顯示確定畫面71。另一方面，當(dāng)未接受選擇時(shí)(步驟S22的否)，過渡到步驟S12。

另一方面，當(dāng)有多個(gè)屬于相同類別的不同品種的物品時(shí)(步驟S27的是)，合計(jì)所述多個(gè)品種的相似度(步驟28)，當(dāng)已合計(jì)的相似度為大于等于預(yù)先規(guī)定的第二閾值(例如，75%)時(shí)(步驟S29的是)，相似度判定部54將屬于相同類別的不同品種的多個(gè)物品判定為是商品G的商品候補(bǔ)。而且，商品候補(bǔ)提不部56將被判定作為商品候補(bǔ)的登記商品(屬于相同類別(商品)的不同品種的物品)的實(shí)例圖像及商品名按照相似度從高到低的順序進(jìn)行排序，并在商品候補(bǔ)提示區(qū)域83中顯示品種選擇畫面85 (步驟S30)。輸入接受部57判定是否接受了對(duì)登記商品(屬于相同類別(商品)的不同品種的物品)的商品圖像的選擇操作(步驟S31)。當(dāng)接受了選擇時(shí)(步驟S31的是)，過渡到步驟S23，確定告知部55顯示確定畫面71。另一方面，當(dāng)未接受選擇時(shí)(步驟S31的否)，過渡到步驟S12。在步驟S25中，CPU 161判定從POS終端11有無商品登記的結(jié)束通知等的工作結(jié)束。當(dāng)繼續(xù)工作時(shí)(步驟S25的否)，CPU161返回到步驟S12的處理繼續(xù)處理。當(dāng)結(jié)束工作時(shí)(步驟S25的是)，圖像采集部51向攝像部164輸出攝像截止信號(hào)從而結(jié)束由攝像部164的攝像(步驟S26)，并結(jié)束處理。接著，對(duì)POS終端11的動(dòng)作進(jìn)行說明。圖11是表示POS終端11所執(zhí)行的銷售登記處理的順序的流程圖。首先，當(dāng)按照由鍵盤22的操作指示的商品登記的開始等而開始處理時(shí)，則CPU 61接收商品讀取裝置101在圖10的步驟S24中輸出的確定商品的商品ID及其銷售個(gè)數(shù)(步驟S41)。接著，CPU61 (銷售登記部611)基于在步驟S41中接收到的商品ID及銷售個(gè)數(shù)，從PLU文件Fl讀出商品種類、單價(jià)等，從而將在商品讀取裝置101中讀取的商品G的銷售額，登記在銷售主文件中(步驟S42)。接著，CPU61判定有無由鍵盤22的操作指示的銷售登記的結(jié)束等的工作結(jié)束(步驟S43)。當(dāng)繼續(xù)工作時(shí)(步驟S43的否)，CPU61再返回到步驟S41繼續(xù)處理。當(dāng)結(jié)束工作時(shí)(步驟S43的是)，CPU61結(jié)束處理。如上所述，根據(jù)本實(shí)施例，當(dāng)在滿足了抽取已攝像的商品的候補(bǔ)的第二條件的商品的候補(bǔ)中包含有多個(gè)屬于相同上位分類的不同品種的物品時(shí)，判定合計(jì)所述多個(gè)品種的相似度的上位分類的相似度是否滿足從多個(gè)品種中抽取已攝像的商品的候補(bǔ)的第三條件，當(dāng)滿足了第三條件時(shí)，告知關(guān)于與滿足了所述第三條件的基準(zhǔn)圖像對(duì)應(yīng)的商品的信息，作為已攝像的商品的候補(bǔ)。因此，當(dāng)滿足了第三條件時(shí)，將屬于相同上位分類的不同品種的物品作為一個(gè)物品，當(dāng)識(shí)別出了哪個(gè)品種時(shí)，也能夠識(shí)別其上位分類，所以能夠提高物品的識(shí)別率。以上，雖然對(duì)本發(fā)明的實(shí)施例進(jìn)行了說明，但是上述實(shí)施例是作為例子提出的，并不意圖限定發(fā)明的范圍。上述實(shí)施例可以用其他各種形式來實(shí)施，只要在不脫離發(fā)明的要旨的范圍內(nèi)可以進(jìn)行各種省略、替換、變更、追加等。此外，上述實(shí)施例及其變形均被包含在發(fā)明的范圍或要旨中，而且，包含在權(quán)利要求的范圍所記載的發(fā)明和其均等的范圍內(nèi)。例如，在上述實(shí)施例中，雖然對(duì)商品讀取裝置101 —個(gè)一個(gè)攝像商品G的形式進(jìn)行了說明，但是同時(shí)進(jìn)行攝像的商品G的個(gè)數(shù)并不特別地被限定，也可以是多個(gè)。當(dāng)同時(shí)攝像多個(gè)商品G時(shí)，只要分別計(jì)算出多個(gè)商品G和登記商品的圖像(Gl、G2、G3、……)的相似度，并通過將計(jì)算結(jié)果和上述閾值進(jìn)行比較來挑選確定商品、候補(bǔ)商品就可以。此外，上述的各顯示畫面的構(gòu)成并不限定于圖5 圖9的例子，也可以設(shè)置用于顯示其他要素的顯示區(qū)域、操作按鈕。此外，在上述實(shí)施例中，雖然是POS終端11具有PLU文件Fl的形式，但是不限定于此，既可以是商品讀取裝置101具有PLU文件Fl的形式，又可以是POS終端11及商品讀取裝置101可訪問外部裝置具有PLU文件Fl的形式。此外，在上述實(shí)施例中，雖然應(yīng)用了商品讀取裝置101，作為具有相似度計(jì)算部53、相似度判定部54的功能的信息處理裝置，但是不限定于此，也可以應(yīng)用POS終端11，作為具有相似度計(jì)算部53、 相似度判定部54的功能并將計(jì)算結(jié)果和判定結(jié)果輸出給商品讀取裝置101的信息處理裝置。另外，在上述的實(shí)施例中，雖然列舉作為多個(gè)閾值通過第一閾值 第三閾值的三個(gè)閾值對(duì)相似度進(jìn)行四階段地判定的例子進(jìn)行了說明，但是實(shí)施例并不限定于此。既可以采用大于等于三個(gè)閾值來進(jìn)行更多階段地判定，又可以采用小于等于兩個(gè)閾值來進(jìn)行判定。此外，各閾值也可以通過用戶可變更地設(shè)定。此外，在上述的實(shí)施例中，雖然列舉了所有商品都通用第一閾值 第三閾值及條件a d的例子，但是并不限定于此，也可以對(duì)應(yīng)每個(gè)登記商品分別設(shè)定各閾值及條件。此外，在上述的實(shí)施例中，雖然是將第一條件劃分為顯示確認(rèn)畫面72的情況(條件b)和不顯示確認(rèn)畫面72的情況(條件a)的兩階段的實(shí)施形式，但是也可以不將這樣的第一條件劃分成多階段。也就是說，當(dāng)按照上述的例子來表示其他例子時(shí)，則也可以是無論滿足了條件a、b的哪個(gè)條件時(shí)，都不顯示確認(rèn)畫面72而確定商品的形式，此外，也可以是設(shè)定是否顯示確認(rèn)畫面72的形式。此外，在上述實(shí)施例中，雖然作為店鋪系統(tǒng)，應(yīng)用了由POS終端11和商品讀取裝置101構(gòu)成的結(jié)賬系統(tǒng)1，但是并不限定于此，也可以應(yīng)用具有POS終端11及商品讀取裝置101的功能的一臺(tái)構(gòu)成的裝置。作為具有POS終端11及商品讀取裝置101的功能的一臺(tái)構(gòu)成的裝置，列舉有設(shè)置在超市等的店鋪中使用的自助結(jié)賬裝置(以后，僅稱為自助P0S)。在這里，圖12是表示自助P0S200的構(gòu)成的外觀立體圖，圖13是表示自助P0S200的硬件構(gòu)成的框圖。此外，在以下中，對(duì)圖1及圖2所示的同樣構(gòu)成附加相同符號(hào)來表示，并省略其重復(fù)的說明。如圖12及圖13所示，自助P0S200的本體202具有在表面配設(shè)有觸摸面板105的顯示器106、為了識(shí)別(檢測(cè)出)商品的種類等而讀取商品圖像的商品讀取部110。作為顯示器106諸如采用有液晶顯示器。顯示器106顯示用于讓顧客知道自助P0S200的操作方法的引導(dǎo)畫面、各種輸入畫面、顯示通過商品讀取部110讀取的商品信息的登記畫面、以及顯示商品的合計(jì)金額、預(yù)存金額、找零金額等并進(jìn)行支付方法的選擇的結(jié)賬畫面等。商品讀取部101是通過顧客將附在商品上的碼符號(hào)舉到商品讀取部110的讀取窗103從而通過攝像部164讀取商品圖像的部。此外，在本體202的右側(cè)設(shè)置有用于放置已裝到筐中的未結(jié)賬的商品的商品載置臺(tái)203，在本體202的左側(cè)設(shè)置有用于放置已結(jié)賬的商品的商品載置臺(tái)204，并設(shè)置有用于掛裝入已結(jié)賬的商品用的袋的袋掛鉤205、用于在裝袋前臨時(shí)地放置已結(jié)賬的商品的臨時(shí)放置臺(tái)206。在商品載置臺(tái)203及204中分別設(shè)置有計(jì)量器207、208，并具有確認(rèn)在結(jié)賬前后商品的重量是相同的情況的功能。

此外，自助P0S200的本體202設(shè)置有用于進(jìn)行投入結(jié)賬用的紙幣和接受找零紙幣的找零器201。當(dāng)將這樣的構(gòu)成的自助P0S200應(yīng)用于店鋪系統(tǒng)時(shí)，自助P0S200能夠具有作為信息處理裝置的功能。此外，在上述實(shí)施例的各裝置中所執(zhí)行的程序雖然預(yù)先安裝在各裝置所具有的存儲(chǔ)介質(zhì)(ROM或存儲(chǔ)部)中而提供，但是并不限定于此，也可以以可安裝的形式或可執(zhí)行的形式的文件，記錄在CD-ROM、軟磁盤(FD)、CD-R、DVD (Digital Versatile Disk:數(shù)字多功能磁盤)等的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中而提供。而且，存儲(chǔ)介質(zhì)不限定于與計(jì)算機(jī)或嵌入式系統(tǒng)獨(dú)立的介質(zhì)，也包含有下載通過LAN或互聯(lián)網(wǎng)等傳輸?shù)某绦蚨鎯?chǔ)或臨時(shí)存儲(chǔ)的存儲(chǔ)介質(zhì)。也可以將在上述實(shí)施例的各裝置中所執(zhí)行的程序存儲(chǔ)在與互聯(lián)網(wǎng)等的網(wǎng)絡(luò)連接的計(jì)算機(jī)上，并通過經(jīng)由網(wǎng)絡(luò)下載而提供，也可以經(jīng)由互聯(lián)網(wǎng)等的網(wǎng)絡(luò)提供或配置。附圖標(biāo)記說明I店鋪系統(tǒng)51采集部53相似度計(jì)算部 54判定部55告知部57接受部101信息處理裝置 106顯示部164攝像部611銷售登記處理部Fl 詞庫
權(quán)利要求
1.一種信息處理裝置，包括: 采集部，采集攝像部攝像的圖像； 相似度計(jì)算部，用于計(jì)算出相似度，該相似度表示通過所述攝像部攝像的物體的圖像和與表示關(guān)于登記在詞庫中的各登記商品的信息的上位分類同時(shí)登記的所述各登記商品的基準(zhǔn)圖像相似哪種程度； 判定部，比較所述采集部采集到的每個(gè)圖像與基準(zhǔn)圖像的相似度，判定合計(jì)了屬于相同的所述上位分類的多個(gè)品種的相似度的所述上位分類的相似度是否滿足規(guī)定條件；以及 告知部，當(dāng)在所述判定部中滿足了所述規(guī)定條件時(shí)，告知關(guān)于與滿足了所述規(guī)定條件的所述多個(gè)品種對(duì)應(yīng)的商品的信息，作為所述攝像的商品的候補(bǔ)。
2.根據(jù)權(quán)利要求1所述的信息處理裝置，其中， 所述判定部比較所述采集部采集到的每個(gè)圖像與基準(zhǔn)圖像的相似度，判定所述相似度是否滿足將所述攝像的物體作為與所述基準(zhǔn)圖像對(duì)應(yīng)的一個(gè)商品進(jìn)行確定的第一條件， 所述告知部當(dāng)在所述判定部中滿足了所述第一條件時(shí)，告知所述攝像的商品被確定作為與滿足了所述第一條件的所述基準(zhǔn)圖像對(duì)應(yīng)的商品的情況。
3.根據(jù)權(quán)利要求1或2所述的信息處理裝置，其中， 所述告知部將關(guān)于作為滿足了所述規(guī)定條件的屬于相同所述上位分類的不同品種的物品的登記商品的信息作為商品候補(bǔ)，顯示在顯示部上。
4.根據(jù)權(quán)利要求1至3中任一項(xiàng)所述的信息處理裝置，其中， 所述告知部按照相似度從高到低的順序顯示作為所述商品候補(bǔ)的與登記商品有關(guān)的信息。
5.根據(jù)權(quán)利要求1至3中任一項(xiàng)所述的信息處理裝置，其中， 所述告知部按照選擇次數(shù)從多到少的順序顯示作為所述商品候補(bǔ)的與登記商品有關(guān)的信息。
6.一種店鋪系統(tǒng)，包括: 根據(jù)權(quán)利要求1至5中任一項(xiàng)所述的信息處理裝置； 接受部，當(dāng)從所述商品的候補(bǔ)中至少選擇操作一個(gè)時(shí)，接受將所述商品的候補(bǔ)作為通過所述攝像部攝像的商品進(jìn)行確定的操作；以及 銷售登記處理部，對(duì)通過所述判定部或所述接受部確定的通過所述攝像部攝像的商品進(jìn)行銷售登記處理。
7.—種信息處理方法,包括: 采集步驟，采集攝像部攝像的圖像； 相似度計(jì)算步驟，用于計(jì)算出相似度，該相似度表示通過所述攝像部攝像的物體的圖像和與表示關(guān)于登記在詞庫中的各登記商品的信息的上位分類同時(shí)登記的所述各登記商品的基準(zhǔn)圖像相似哪種程度； 判定步驟，比較所述采集步驟采集到的每個(gè)圖像與基準(zhǔn)圖像的相似度，判定合計(jì)了屬于相同的所述上位分類的多個(gè)品種的相似度的所述上位分類的相似度是否滿足規(guī)定條件；以及 告知步驟，當(dāng)在所述判定步驟中滿足了所述規(guī)定條件時(shí)，告知關(guān)于與滿足了所述規(guī)定條件的所述多個(gè)品種對(duì)應(yīng)的商品的信息，作為所述攝像的商品的候補(bǔ)。
8.根據(jù)權(quán)利要求7所述的信息處理方法，其中， 在所述判定步驟中，比較通過所述采集步驟采集到的每個(gè)圖像與基準(zhǔn)圖像的相似度，判定所述相似度是否滿足將所述攝像的物體作為與所述基準(zhǔn)圖像對(duì)應(yīng)的一個(gè)商品進(jìn)行確定的第一條件， 在所述告知步驟中，當(dāng)在所述判定步驟中滿足了所述第一條件時(shí)，告知所述攝像的商品被確定作為與滿足了所述第一條件的所述基準(zhǔn)圖像對(duì)應(yīng)的商品的情況。
9.根據(jù)權(quán)利要求7或8所述的信息處理方法，其中， 在所述告知步驟中，將關(guān)于作為滿足了所述規(guī)定條件的屬于相同所述上位分類的不同品種的物品的登記商品的信息作為商品候補(bǔ)，顯示在顯示部上。
10.根據(jù)權(quán)利要求7至9中任一項(xiàng)所述的信息處理方法，其中， 在所述告知步驟中， 按照相似度從高到低的順序顯示作為所述商品候補(bǔ)的與登記商品有關(guān)的信息。
全文摘要
本發(fā)明公開一種信息處理裝置、店鋪系統(tǒng)以及信息處理方法，能夠提高物品的識(shí)別率，該信息處理裝置包括采集部，采集攝像部攝像的圖像；相似度計(jì)算部，用于計(jì)算出相似度，該相似度表示通過所述攝像部攝像的物體的圖像和與表示關(guān)于登記在詞庫中的各登記商品的信息的上位分類同時(shí)登記的所述各登記商品的基準(zhǔn)圖像相似哪種程度；判定部，比較所述采集部采集到的每個(gè)圖像與基準(zhǔn)圖像的相似度，判定合計(jì)了屬于相同的所述上位分類的多個(gè)品種的相似度的所述上位分類的相似度是否滿足規(guī)定條件；以及告知部，當(dāng)在所述判定部中滿足了所述規(guī)定條件時(shí)，告知關(guān)于與滿足了所述規(guī)定條件的所述多個(gè)品種對(duì)應(yīng)的商品的信息，作為所述攝像的商品的候補(bǔ)。
文檔編號(hào)G07G1/00GK103208154SQ20121050721
公開日2013年7月17日 申請(qǐng)日期2012年11月30日 優(yōu)先權(quán)日2012年1月16日
發(fā)明者內(nèi)藤英浩, 菅澤広志, 飯坂仁志 申請(qǐng)人:東芝泰格有限公司