r>[0038]圖4是用于說明根據(jù)本發(fā)明的一個(gè)實(shí)施例的利用影像識別的冰箱的物品管理方法的流程圖。
[0039]圖5是用于說明根據(jù)本發(fā)明的一個(gè)實(shí)施例的利用影像識別的冰箱的物品管理方法的流程圖。
【具體實(shí)施方式】
[0040]以下，參照附圖對本發(fā)明的各實(shí)施例進(jìn)行詳細(xì)說明。后面介紹的各實(shí)施例是為了向本領(lǐng)域技術(shù)人員充分地傳遞本發(fā)明的思想而提供的例子。因此，本發(fā)明不限于以下說明的各實(shí)施例，而能夠以其他形式來具體實(shí)現(xiàn)。而且，在各附圖中，為了便于表示而將結(jié)構(gòu)要素的寬度、長度、厚度等夸張表現(xiàn)。在整個(gè)說明書中相同的附圖標(biāo)記表示相同的結(jié)構(gòu)要素。以下的說明中所使用的針對結(jié)構(gòu)要素的后綴“模塊”以及“部”是僅考慮說明書制作的容易性而附加或混用，其自身并不具有相互區(qū)別的意思或作用。
[0041]圖1是執(zhí)行根據(jù)本發(fā)明的一個(gè)實(shí)施例的利用影像識別的冰箱的保管品目管理方法的冰箱的結(jié)構(gòu)框圖。
[0042]參照圖1，根據(jù)本發(fā)明的一個(gè)實(shí)施例的冰箱100包括輸入部110、顯示部120、數(shù)據(jù)存儲部130、拍攝部140、聲音輸入部150、控制部160、聲音輸出部170、通信部180而構(gòu)成。
[0043]輸入部110是為了管理冰箱的保管品目而用于接受所輸入的用戶的命令的輸入裝置。例如，輸入部130包括觸摸面板、鍵盤。
[0044]顯示部120能夠顯示關(guān)于保管品目的信息。顯示部120能夠顯示儲藏在冰箱中的各種物品的信息、物品管理信息。顯示部120能夠向用戶顯示物品的識別內(nèi)容/識別確認(rèn)質(zhì)疑/用戶輸入內(nèi)容/擁有物品信息/數(shù)據(jù)庫內(nèi)容等。
[0045]數(shù)據(jù)存儲部130能夠存儲物品信息。物品信息包括關(guān)于物品自身的信息(物品自身信息)以及關(guān)于物品管理的信息(物品管理信息)。
[0046]物品自身信息作為一例包括物品種類、物品名稱、物品形狀或者物品重量信息，物品管理信息包括物品的保管位置、保管量、保管期間或者存取履歷之類的信息。
[0047]數(shù)據(jù)存儲部130由全局?jǐn)?shù)據(jù)庫以及本地?cái)?shù)據(jù)庫構(gòu)成。全局?jǐn)?shù)據(jù)庫能夠存儲市場中流通的工業(yè)品以及水果/蔬菜等的影像以及針對影像特征的數(shù)據(jù)。
[0048]本地?cái)?shù)據(jù)庫能夠存儲對儲存在冰箱中的物品進(jìn)行拍攝得到的影像以及包括該影像的特征的數(shù)據(jù)，或者存儲拍攝冰箱內(nèi)部得到的影像以及物品的目錄。并且，本地?cái)?shù)據(jù)庫在對于該物品的數(shù)據(jù)已經(jīng)存在于全局?jǐn)?shù)據(jù)庫中的情況下。也將該物品的數(shù)據(jù)進(jìn)行重復(fù)存儲。
[0049]拍攝部140將在冰箱100中存取的物品拍攝成視頻來獲取物品的影像。拍攝部140為了獲取視頻及靜止影像，還可以具備安裝在冰箱內(nèi)部或者外部的一個(gè)以上的攝像頭。
[0050]拍攝部140所拍攝的區(qū)域包括冰箱內(nèi)部的保鮮間(水果/蔬菜)、普通間、門內(nèi)側(cè)間、冷凍室以及冰箱外部。由拍攝部140獲取的影像能夠用于對在冰箱中儲存或取出任意的物品的情況進(jìn)彳丁識別。
[0051]聲音輸入部150能夠獲取在冰箱100的物品存取時(shí)有可能產(chǎn)生的聲音信息以及為了進(jìn)行物品管理而由用戶產(chǎn)生的聲音信息。
[0052]聲音輸入部150為了在品目的儲存/取出時(shí)設(shè)定針對物品的信息而能夠獲取由用戶輸入的聲音命令。例如，聲音輸入部150具備安裝在冰箱的方向性麥克風(fēng)。
[0053]通過聲音輸入部150獲取的用戶的聲音信息能夠用于用戶確認(rèn)和修正由拍攝部140識別出的物品。
[0054]并且，由聲音輸入部150獲取的用戶的聲音信息能夠用于輸入不包含在服務(wù)器數(shù)據(jù)庫以及本地?cái)?shù)據(jù)庫中的針對物品的信息。
[0055]控制部160從拍攝部110所獲取的影像中提取物品的區(qū)域，并從所提取的物品的區(qū)域中提取物品的特征。
[0056]控制部160通過將所提取的影像與數(shù)據(jù)存儲部130的物品信息進(jìn)行比較來執(zhí)行對物品的識別。
[0057]并且，控制部160對在冰箱門打開前后的冰箱內(nèi)獲取的影像進(jìn)行比較，從冰箱的影像中檢索產(chǎn)生變化的區(qū)域，從而還能夠檢測物品的存取或者位置變化。并且，控制部160對從聲音輸入部120輸入的用戶聲音命令進(jìn)行識別并將其轉(zhuǎn)換成文字。
[0058]通信部180在由用戶利用外部設(shè)備檢索數(shù)據(jù)的情況下，或者將針對儲藏在冰箱100內(nèi)一定期間以上而需要確認(rèn)變質(zhì)與否的物品的品目的通知信息傳輸給外部設(shè)備時(shí)，執(zhí)行所需的數(shù)據(jù)的傳輸作業(yè)。
[0059]在如此構(gòu)成的冰箱中利用冰箱的影像識別的物品管理方法如下所述。
[0060]右打開冰箱門，則由拍攝部120開始拍攝視頻。拍攝部120繼續(xù)累積視頻而構(gòu)成背景。該視頻在以后能夠用于分離物體區(qū)域。
[0061]控制部160可從拍攝部120所獲取的視頻中通過光流(optical flow)來連續(xù)掃描運(yùn)動的像素的方向。
[0062]控制部160可通過掃描結(jié)果來識別出用戶的手臂進(jìn)入冰箱內(nèi)后再退出的情況。
[0063]控制部160在產(chǎn)生了存取事件的情況下，能夠利用該場面的視頻和之前構(gòu)成的背景模型來分離物品以及用戶手臂的區(qū)域?？刂撇?60從所分離的區(qū)域中提取特征并存儲到本地?cái)?shù)據(jù)庫中，或者從本地?cái)?shù)據(jù)庫或者全局?jǐn)?shù)據(jù)庫中進(jìn)行檢索。
[0064]在冰箱中儲存或者取出的物品的名稱能夠利用針對由聲音輸入部150獲取的聲音的聲音識別或者由輸入部110輸入的用戶輸入來指定。
[0065]控制部160能夠在視頻中檢測運(yùn)動矢量(mot1n vector)來識別物品的儲存或者取出。控制部160在視頻中存在物品的運(yùn)動時(shí)，通過光流(optical flow)而能夠檢測運(yùn)動矢量。
[0066]控制部160能夠利用在為了在冰箱100中儲存物品或者從冰箱取出物品而用戶的手臂進(jìn)入冰箱內(nèi)或者退出時(shí)的主要(dominant)運(yùn)動矢量的方向相互相反的情況。
[0067]為此，控制部160對運(yùn)動矢量的方向和整個(gè)畫面對比運(yùn)動矢量的量進(jìn)行模擬，基于其模擬結(jié)果來設(shè)定臨界值?？刂撇?60基于已設(shè)定的臨界值來獲知物品的存取與否。
[0068]控制部160能夠從影像中分離檢測出物體區(qū)域。
[0069]物體區(qū)域的分離利用在繼續(xù)累積視頻的各幀時(shí)能夠?qū)⒆兓俚牟糠謩澐譃楸尘暗募夹g(shù)。
[0070]SM空制部160將由拍攝部110獲取的影像的每個(gè)幀利用高斯模型來累積，從而能夠獲取平均背景影像。
[0071]然后，控制部160對所捕獲的識別出物品的存取的幀與所獲取的背景影像的差異進(jìn)行計(jì)算，從而大致獲取用戶的手臂和物體所占的區(qū)域。
[0072]控制部160在此基礎(chǔ)上，利用邊緣(edge)影像來大致獲取手臂的位置，從而能夠分離出物品的區(qū)域。
[0073]控制部160能夠從所分離出的物品的區(qū)域中提取物品的特征。
[0074]在冰箱100中存取的物品經(jīng)常產(chǎn)生變形，因此控制部160在物品識別中要利用物品的堅(jiān)硬(不容易變形)的特征。
[0075]作為對物品的變形堅(jiān)硬的基準(zhǔn)點(diǎn)的提取方法，例如能夠使用拐角點(diǎn)、SIFT、SURE、MSER等。這些基準(zhǔn)點(diǎn)提取方法是對高斯的檢測拉普拉斯算子不變的位置的方法進(jìn)行變形得到的方法。
[0076]控制部160在為了影像識別而檢測出該位置時(shí)要存儲其周邊區(qū)域的特征(descriptor)，能夠使用影像補(bǔ)丁、邊緣直方圖(edge histogram)、顏色(color)、質(zhì)感圖案(texture pattern)、最大區(qū)域模型(extremal reg1n shape)等。
[0077]在此，控制部160使用影像補(bǔ)丁的方向模型作為特征，能夠?qū)⒃谌粘Ｉ钪杏锌赡艽嬖诘拇蟛糠痔卣饔?xùn)練成K-D tree形式。
[0078]并且，控制部160通過這種訓(xùn)練過程迅速檢索物品影像的特征屬于哪種類型，并存儲該物品所具有的特征的類型以及幾何學(xué)位置關(guān)系，從而能夠構(gòu)筑數(shù)據(jù)庫。
[0079]控制部160在檢索物品時(shí)從物體中提取存儲在數(shù)據(jù)存儲部130的物品的特征，并根據(jù)具有多少類似的類型的特征而在數(shù)據(jù)庫中提取候補(bǔ)組之后，利用各特征的幾何學(xué)位置關(guān)系來確定識別的結(jié)果。
[0080]此時(shí)，在冰箱100中物品管理功能能夠以獨(dú)立(stand alone)形來實(shí)現(xiàn)，能夠以服務(wù)器基礎(chǔ)形來實(shí)現(xiàn)。
[0081]獨(dú)立方式是如下方式，在輸入部110、顯示部120、數(shù)據(jù)存儲部130、拍攝部140、聲音輸入部150、控制部160、聲音輸