利用影像識別的冰箱的保管品目管理方法及其冰箱的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及利用影像識別的冰箱的保管品目管理方法及其冰箱，詳細而言，在該利用影像識別的冰箱的保管品目管理方法及其冰箱中，在冰箱上安裝攝像頭，通過對該攝像頭所獲取的影像利用影像識別技術(shù)來識別并管理針對冰箱的保管物品的存取。
【背景技術(shù)】
[0002]冰箱是以低溫保管食品來防止食品的腐爛的手段，但是在低溫下細菌的繁殖活動不會完全停止，因此若將食品保管在冰箱中，則與未保管的情況相比保存期間變長，但是無法完全抑制腐爛。
[0003]在現(xiàn)有的冰箱中保管食品時，保管的時機根據(jù)食品類別而不同，難以準確地掌握所保管的很多食品的位置，因此存在食品的保管期間增加或存儲后難以掌握經(jīng)過日期的問題。
[0004]并且，還有以下功能:用戶在將任意的食品容納在冰箱中時利用鍵盤/觸摸屏等來制作所擁有的冰箱品目以及流通期限等，提供以此為基礎(chǔ)的信息，或者僅僅從冰箱外部監(jiān)控內(nèi)部。
[0005]但是，這在用戶的方便性方面存在很多缺點。并且，在沒有進行輸入以及修正而存儲食品的情況下，有可能頻繁產(chǎn)生實際容納在冰箱中的冰箱保管品目與所提供的信息相互不同的情況。

【發(fā)明內(nèi)容】

[0006]技術(shù)課題
[0007]本發(fā)明要解決的技術(shù)課題是提供一種利用影像識別的冰箱的保管品目管理方法及其冰箱，其能夠在用戶將包括各種食品的保管品目在冰箱中存取時對此進行自動識別來對數(shù)據(jù)庫進行登錄/刪除/修正，對于沒有識別出哪種品目的情況，能夠使用戶利用聲音、觸摸屏、鍵盤等登錄，從而能夠提供準確的信息，并且能夠提高用戶的方便性。
[0008]課題解決手段
[0009]根據(jù)本發(fā)明的一個方案，提供一種冰箱，其包括:拍攝部，其將在冰箱中存取的保管物品拍攝成視頻來生成物品存取視頻；數(shù)據(jù)存儲部，其存儲上述物品存取視頻、能夠保管于冰箱的物品信息以及保管品目信息；控制部，其基于對上述物品存取視頻進行視覺識別來檢測出的光流，來識別物品的存取，并且基于通過對上述物品的存取的視覺識別來生成的識別信息以及存儲在上述數(shù)據(jù)存儲部的上述物品信息，來更新上述冰箱的保管品目信息；以及顯示部，其基于更新后的上述保管品目信息來將保管品目的管理現(xiàn)狀向用戶顯示。
[0010]上述冰箱還可以包括聲音輸入部，其獲取在上述冰箱中存取物品時產(chǎn)生的聲音信息以及為進行物品管理而由用戶產(chǎn)生的聲音信息。
[0011]上述控制部還可以包括:存取識別部，其通過對由上述拍攝部生成的視頻進行視覺識別來檢測光流，并且基于所檢測出的上述光流來識別物品的存??；物體區(qū)域檢測部，其從上述物品存取視頻檢測出物體區(qū)域；特征提取部，其從所檢測出的上述物體區(qū)域中提取該物體的特征點；以及保管品目管理部，其基于針對上述物品的存取的識別信息、針對所提取的上述特征點的特征點信息以及所存儲的上述物品信息，來對上述冰箱的保管品目信息進行更新并管理。
[0012]上述存取識別部能夠基于所檢測出的上述光流來從視頻中檢測出針對物品的運動矢量，并且基于所檢測出的上述運動矢量來識別該物品的存取。
[0013]上述物體區(qū)域檢測部能夠在識別出上述物品的存取的情況下，捕獲上述存取視頻，并對所捕獲的幀和已存儲的背景影像的差異進行計算，從而分離檢測出用戶的手臂和物體所占的區(qū)域。
[0014]上述物體區(qū)域檢測部能夠?qū)⒂缮鲜雠臄z部獲取的影像的每個幀利用高斯模型進行累積，從而獲取平均背景影像并生成上述已存儲的背景影像。
[0015]上述特征提取部能夠在從自上述存取視頻捕獲的影像分離的區(qū)域中提取物品的特征，并基于所提取的物品的特征，檢索存儲在上述冰箱內(nèi)部的本地數(shù)據(jù)庫或者由上述冰箱外部提供的全局數(shù)據(jù)庫，由此執(zhí)行物品識別。
[0016]上述保管物品管理部能夠基于通過檢索存儲在上述冰箱內(nèi)部的本地數(shù)據(jù)庫和由上述冰箱外部提供的全局數(shù)據(jù)庫而識別成功的物品信息、以及由用戶輸入的物品信息，來更新保管品目。
[0017]上述保管物品管理部能夠?qū)τ谟跋褡R別失敗的上述物品，通過接受用戶的輸入，來確定該物品信息，并更新上述保管品目。
[0018]上述保管物品管理部能夠基于已存儲的影像補丁的方向模型來檢索物品影像的特征所屬的類型，并且存儲該物品所具有的特征的類型以及幾何學位置關(guān)系。
[0019]根據(jù)本發(fā)明的另一方案，提供一種利用影像識別的冰箱的保管品目管理方法，其包括:將在冰箱中存取的保管物品拍攝成視頻來生成物品存取視頻的步驟；通過對上述物品存取視頻進行視覺識別來識別物品的存取，基于針對上述物品的存取的利用視覺識別生成的識別信息以及已存儲的上述物品信息，來更新已存儲的冰箱的保管品目信息的步驟；以及基于更新后的上述保管品目信息來將保管品目的管理現(xiàn)狀向用戶顯示的步驟。
[0020]上述利用影像識別的冰箱的保管品目管理方法還可以包括:將上述生成的視頻累積并存儲的步驟；以及基于累積并存儲的上述視頻來執(zhí)行視頻的背景模型化的步驟。
[0021]在執(zhí)行上述視頻的背景模型化的步驟中，能夠根據(jù)所存儲的上述視頻來確定上述冰箱的除了保管物品和手之外的背景區(qū)域。
[0022]在上述背景模型化中，能夠基于累積存儲于上述數(shù)據(jù)存儲部的視頻信息，通過比較每個影像幀來確定背景區(qū)域。
[0023]更新上述品目信息的步驟可以包括:通過對上述物品存取視頻進行視覺識別來識別物品的存取并生成識別信息的步驟；基于所生成的識別信息來從上述物品存取視頻中分離物體區(qū)域的步驟；基于所存儲的上述物品信息來從上述分離的物體區(qū)域中提取該物品的特征點的步驟；以及基于針對上述物品的存取的識別信息、針對所提取的上述特征點的特征點信息、以及所存儲的上述物品信息，對上述冰箱的保管品目信息進行更新并管理的步驟。
[0024]生成上述識別信息的步驟可以包括:通過對由上述拍攝部生成的視頻進行視覺識別來檢測光流的步驟；基于檢測出的上述光流來從視頻中檢測出針對物品的運動矢量的步驟；以及基于檢測出的上述運動矢量來識別該物品的存取的步驟。
[0025]在提取上述物品的特征點的步驟中，能夠在檢索物品時從物體中提取已存儲的物品的特征，并根據(jù)具有多少類似的類型的特征來提取候補組之后，利用各特征的幾何學位置關(guān)系來確定識別的結(jié)果。
[0026]上述利用影像識別的冰箱的保管品目管理方法還可以包括:將針對存儲在上述冰箱內(nèi)的保管品目以及數(shù)量的信息、用于供用戶確認存儲了一定期間以上的物品的變質(zhì)與否的通知信息，提供給冰箱外部裝置、便攜式設(shè)備、或者電子郵箱的步驟。
[0027]上述利用影像識別的冰箱的保管品目管理方法還可以包括:按照保管品目類別將用戶的利用統(tǒng)計以及冰箱內(nèi)物品的位置信息向用戶顯示的步驟。
[0028]上述利用影像識別的冰箱的保管品目管理方法還可以包括:將上述冰箱內(nèi)的物品的庫存信息向用于用戶的購物的外部裝置提供的步驟。
[0029]發(fā)明效果
[0030]根據(jù)本發(fā)明，通過對在冰箱中存取的包括各種食品的保管品目進行視頻拍攝及視覺識別，能夠識別保管品目的存取。
[0031]隨之，不需要為了冰箱的保管品目的存取管理而由用戶執(zhí)行追加作業(yè)。S卩，省略了由用戶將物品逐一接觸條形碼閱讀器或者登錄的以往的繁雜的步驟，能夠提高用戶的方便性。
[0032]并且，在冰箱中針對任意的保管品目的儲存或取出的判斷與否不是由用戶的登錄來進行，而是通過視覺識別來自動實現(xiàn)，因此能夠準確地管理冰箱的保管物品。
[0033]根據(jù)本發(fā)明，能夠確認關(guān)于在冰箱中管理的包括食品的各種保管品目的信息，根據(jù)確認的內(nèi)容有效地進行食品管理。
[0034]并且，根據(jù)本發(fā)明，能夠利用本地數(shù)據(jù)庫來執(zhí)行包括食品的各種保管品目的管理。雖然能夠容納在冰箱中的食品的種類非常多，但是一臺能夠存儲的食品是100多個左右，根據(jù)這一點，由于利用本地數(shù)據(jù)庫，在存取時能夠提高食品識別的速度以及準確性。
【附圖說明】
[0035]圖1是執(zhí)行根據(jù)本發(fā)明的一個實施例的利用影像識別的冰箱保管品目管理方法的冰箱的結(jié)構(gòu)框圖。
[0036]圖2是用于說明根據(jù)本發(fā)明的一個實施例的冰箱的控制部的結(jié)構(gòu)框圖。
[0037]圖3是用于說明根據(jù)本發(fā)明的一個實施例的利用影像識別的冰箱的物品管理方法的流程圖。