本發(fā)明涉及智能家電技術領域，特別涉及一種智能冰箱食物管理方法及智能冰箱。

背景技術：

隨著家電智能化的發(fā)展，冰箱也開始智能化，日益繁忙的人們經(jīng)常去超市購物時想不起來家里冰箱有什么食品，因而造成重復購買或者漏買食品。因而，目前市場上出現(xiàn)了帶有食材錄入和過期提醒功能的冰箱。但是現(xiàn)有的智能冰箱在管理食品方面一般采用手動、或條碼等方式手動錄入食物信息。這些方式都需要用戶手動操作錄入信息，在根據(jù)錄入信息生成食品列表，操作繁瑣。特別地，用戶每次放入或者取出食品是都需要手動修改食品列表，這樣不但改變了用戶的使用習慣，并且在實際使用終端也十分不便。

因而現(xiàn)有技術還有待改進和提高。

技術實現(xiàn)要素：

本發(fā)明要解決的技術問題在于，針對現(xiàn)有技術的不足，提供一種智能冰箱食物管理方法及智能冰箱，以解決現(xiàn)有冰箱食物的控制方法存在的操作繁瑣并給用戶的使用帶來不便的問題。

為了解決上述技術問題，本發(fā)明所采用的技術方案如下：

一種智能冰箱食物管理方法，其包括：

在智能冰箱開門時，通過設于智能冰箱內(nèi)的攝像頭拍攝用戶執(zhí)行存取操作的圖像；

對所述圖像進行識別以獲取所述存取操作的類型以及相應的食物名稱；

當識別失敗時，提示用戶通過語音輸入所述存取操作的類型以及相應的食物名稱，其中，所述存取操作的類型包括存操作和取操作；

監(jiān)聽設置于冰箱上的麥克風輸入的語音信息，并根據(jù)所述語音信息更新預設的食物列表。

所述智能冰箱食物管理方法，其中，所述當識別失敗時，提示用戶通過語音輸入所述存取操作的類型以及相應的食物名稱，其中，所述存取操作的類型包括存操作和取操作包括：

當識別失敗時，所述智能冰箱將所述圖像發(fā)送至遠程服務器；

所述遠程服務器對所述圖像進行識別以獲取所述存取操作的類型以及相應的食物名稱；

當所述遠程服務器識別失敗時，將所述識別失敗的信息反饋至所述智能冰箱；

所述智能冰箱提示用戶通過語音輸入所述存取操作的類型以及相應的食物名稱，其中，所述存取操作的類型包括存操作和取操作。

所述智能冰箱食物管理方法，其還包括：

當識別成功時，根據(jù)識別得到的所述存取操作的類型以及食物名稱更新預設的食物列表。

所述智能冰箱食物管理方法，其中，所述在智能冰箱開門時，通過設于智能冰箱內(nèi)的攝像頭拍攝用戶執(zhí)行存取操作的圖像具體包括：

當智能冰箱開門時，獲取智能冰箱開啟的儲藏室的類型，其中，所述儲藏室的類型包括冷藏室和冷凍室；

當智能冰箱開啟冷藏室時，通過設于智能冰箱內(nèi)的攝像頭拍攝智能冰箱開門至關門過程中用戶執(zhí)行存取操作的圖像。

所述智能冰箱食物管理方法，其中，所述在智能冰箱開門時，通過設于智能冰箱內(nèi)的攝像頭拍攝用戶執(zhí)行存取操作的圖像還包括：

當智能冰箱開啟冷凍室時，提示用戶通過語音輸入所述存取操作的類型以及相應的食物名稱；以及

監(jiān)聽設置于冰箱上的麥克風輸入的語音信息，并根據(jù)所述語音信息更新所述預設的食物列表，結束操作。

所述所述智能冰箱食物管理方法，其中，所述監(jiān)聽設置于冰箱上的麥克風輸入的語音信息，并根據(jù)所述語音信息更新預設的食物列表之后還包括：

所述智能冰箱通過網(wǎng)絡與外部設備連接，并接收外部設備推送的食品信息；以及將冰箱內(nèi)部設備狀態(tài)信息和食品需求信息反饋至外部設備，其中，所述外部設備包括運營商服務器和用戶終端。

一種智能冰箱，其包括：

攝像頭，用于在智能冰箱開門時，拍攝用戶執(zhí)行存取操作的圖像；

麥克風，用于接收用戶輸入的語音信息；

控制裝置，用于對所述圖像進行識別，并當識別失敗時，提示用戶通過語音輸入所述存取操作的類型以及相應的食物名稱，其中，所述存取操作的類型包括存操作和取操作；以及

監(jiān)聽設置于冰箱上的麥克風輸入的語音信息，并根據(jù)所述語音信息更新預設的食物列表。

所述智能冰箱，其中，所述更新模塊還用于：

當識別成功時，根據(jù)識別得到的所述存取操作的類型以及相應的食物名稱更新預設的食物列表。

所述所述智能冰箱，其中，所述控制裝置還包括：

獲取模塊，用于當智能冰箱開門時，獲取智能冰箱開啟的儲藏室的類型，其中，所述儲藏室的類型包括冷藏室和冷凍室；

第一控制模塊，用于當智能冰箱開啟冷藏室時，控制設于智能冰箱內(nèi)的攝像頭拍攝智能冰箱開門至關門過程中用戶執(zhí)行存取操作的圖像。

所述所述智能冰箱，其中，所述控制裝置還包括：

提示模塊，用于當智能冰箱開啟冷凍室時，提示用戶通過語音輸入所述存取操作的類型以及相應的食物名稱；

所述更新模塊還用于：

監(jiān)聽設置于冰箱上的麥克風輸入的語音信息，并根據(jù)所述語音信息更新所述預設的食物列表，結束操作。

有益效果：與現(xiàn)有技術相比，本發(fā)明提供了一種智能冰箱食物管理方法及智能冰箱，所述方法包括：在智能冰箱開門至關門過程中，通過設于智能冰箱內(nèi)的攝像頭拍攝所述過程中用戶執(zhí)行存取操作的圖像；對所述圖像進行識別，并當識別失敗時，提示用戶通過語音輸入所述存取操作的類型以及相應的食物名稱；監(jiān)聽設置于冰箱上的麥克風輸入的語音信息，并根據(jù)所述語音信息更新預設的食物列表。本發(fā)明通過將攝像頭采集用戶對食物進行的存放操作過程的圖像，并將圖像識別與語音輸入相結合，以得到所述存放操作涉及的食物信息，根據(jù)所述食物信息對食物列表進行更新，避免了用戶手動輸入食物信息的操作，給用戶的使用帶來方便。

附圖說明

圖1為本發(fā)明提供的智能冰箱食物管理方法較佳實施的流程圖。

圖2為本發(fā)明提供的智能冰箱的結構示意圖。

圖3為本發(fā)明提供的智能冰箱的控制裝置的結構原理圖。

具體實施方式

本發(fā)明提供一種智能冰箱食物管理方法及智能冰箱，為使本發(fā)明的目的、技術方案及效果更加清楚、明確，以下參照附圖并舉實施例對本發(fā)明進一步詳細說明。應當理解，此處所描述的具體實施例僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

本發(fā)明中，使用用于表示元件的諸如“模塊”、“部件”或“單元”的后綴僅為了有利于本發(fā)明的說明，其本身并沒有特定的意義。因此，模塊”、“部件”或“單元”可以混合地使用。

此外，在說明書和權利要求書中，術語“第一”、“第二”等用于在類似元素之間進行區(qū)分，而未必描述時間順序、空間順序、等級順序或者任何其他方式的順序、應當理解，如果使用的這些術語在適當?shù)沫h(huán)境下可互換，并且此處描述的本發(fā)明的實施例能夠以本文描述或示出以外的其他順序來操作。

應當注意，在權利要求書中使用的術語“包括”不應被解釋為限于下文所列出的手段，它并不排除其他元件或步驟。由此，它應當被解釋為指定如涉及的所述特征、數(shù)字、步驟或部件的存在，但是并不排除一個或多個其他特征、數(shù)字、步驟或部件、或者其組合的存在或添加。因此，措詞“包括裝置A和B的設備”的范圍不應當僅限于僅由組件A和B構成的裝置。這意味著相對于本發(fā)明而言，設備的相關組件是A和B。

在本說明書通篇中對“一個實施例”或“實施例”的引用意味著結合該實施例描述的特定特征、結構或特性包括在本發(fā)明的至少一個實施例中。由此，在說明書的各處出現(xiàn)的短語“在一個實施例中”或者“在實施例中”不一定都指同一實施例，但是可能如此。此外，根據(jù)本發(fā)明公開對本領域技術人員而言顯而易見的是，在一個或多個實施例中，特定特征、結構或特性可以任何合適的方式組合。

下面結合附圖，通過對實施例的描述，對發(fā)明內(nèi)容作進一步說明。

請參照圖1和圖2，圖1為本發(fā)明提供的智能冰箱食物管理方法的較佳實施例的流程圖。所述方法包括：

S100、在智能冰箱開門時，通過設于智能冰箱內(nèi)的攝像頭拍攝用戶執(zhí)行存取操作的圖像。

具體地，所述智能冰箱開門至關門過程指的是從智能冰箱門被打開至智能冰箱門被關閉的操作，即用戶對所述智能冰箱進行操作的過程。如圖2所示，所述智能冰箱至少設置一個攝像頭1，所述攝像頭1用于拍攝智能冰箱開門至關門過程終端用戶執(zhí)行存取操作的圖像。也就是說，所述攝像頭在冰箱門6開啟時啟動，在所述智能冰箱門6關閉時關閉。

示例性的，所述在智能冰箱開門至關門過程中，通過設于智能冰箱內(nèi)的攝像頭拍攝所述過程中用戶執(zhí)行存取操作的圖像具體可以包括：

S10、監(jiān)聽到智能冰箱開門時，控制設置于智能冰箱內(nèi)的攝像頭啟動；

S20、所述攝像頭拍攝其拍攝范圍內(nèi)的圖像，并實時檢測智能冰箱關門的控制信息；

S30、當檢測到智能冰箱關門的控制信息時，所述攝像頭關閉以獲取所述智能冰箱開門至關門過程用戶執(zhí)行存取操作的圖像。

具體地，所述智能冰箱的冰箱門6的開關可以在所述智能冰箱上設置有冰箱門的限位開關5，通過所述限位開關5來檢測冰箱門的開/關，并檢測到的開/關信號發(fā)送至攝像頭1，以使得所述攝像頭1根據(jù)所述開/關信號控制其自身的啟動/關閉。在本實施例中，所述攝像頭1為1個，安裝于冷藏室上方的正中間。相應的，所述冰箱門6指的是智能冰箱冷藏室的門，并且所述攝像頭1兩側(cè)的還可以分別設置有兩排LED光源，對所述攝像頭1進行補光，以保證所述攝像頭拍攝照片的清晰度。所述限位開關5也是可以設置于冷藏上方。當然，由于一個攝像頭的監(jiān)控范圍一定，為了能夠全方位監(jiān)控冰箱內(nèi)的食材，冰箱內(nèi)可以安裝多個攝像頭。所述攝像頭可以安裝于需要監(jiān)控的冷藏室的頂部或者側(cè)壁，以攝像頭能夠監(jiān)控到目標監(jiān)測空間的俯瞰畫面為宜。

在實施例的變形實施例中，所述啟動攝像頭還可以其他方式控制，例如，當控制裝置檢測到有人體靠近冰箱時，啟動所述攝像頭。具體的，在冰箱外殼上安裝人體感應器，當該人體感應器感應到有人體靠近冰箱時，向控制裝置發(fā)送一個指示信號，控制裝置在接收到該指示信號后啟動攝像頭。

在本發(fā)明的另一個實施例中，由于所述攝像頭1設置于冷藏室內(nèi)，從而所述在智能冰箱開門至關門過程中，通過設于智能冰箱內(nèi)的攝像頭拍攝所述過程中用戶執(zhí)行存取操作的圖像還具體可以包括：

S101、當智能冰箱開門時，獲取智能冰箱開啟的儲藏室的類型，其中，所述儲藏室的類型包括冷藏室和冷凍室；

S102、當智能冰箱開啟冷藏室時，通過設于智能冰箱內(nèi)的攝像頭拍攝智能冰箱開門至關門過程中用戶執(zhí)行存取操作的圖像；

S103、當智能冰箱開啟冷凍室時，提示用戶通過語音輸入所述存取操作的類型以及相應的食物名稱；

S104、監(jiān)聽設置于冰箱上的麥克風輸入的語音信息，并根據(jù)所述語音信息更新所述預設的食物列表，結束操作。

具體地，所述獲取智能冰箱開啟的儲藏室的類型可以通過判斷智能冰箱開啟的冰箱門來確定。在實際應用中，所述智能冰箱于智能冰箱體相接觸的位置可以分別設置限位開關，根據(jù)限位開關產(chǎn)生的控制信號來確定開啟的冰箱門的類型，所述冰箱門的類型包括冷藏室門和冷凍室門，進而獲取智能冰箱開啟的儲藏室的類型為冷藏室或冷凍室。當為冷藏室時，控制攝像頭啟動并獲取圖像，當為冷凍室時，則直接提示用戶語音輸入所述存入的類型以及相應的食物名稱。這樣可以同時對智能冰箱冷藏室和冷凍室內(nèi)的食物進行控制，提高了對食物控制的全面性。同時，所述攝像頭只在冰箱冷藏室的門打開期間在冷藏室區(qū)域內(nèi)對用戶放進、拿出食品的動作進行拍照，這樣可以減少拍攝圖片的數(shù)量以及降低處理器圖像識別分析的運算數(shù)據(jù)量，降低對處理器性能的較高需求，從而減低了智能冰箱的成本。

所述智能冰箱上可以設置揚聲器4，所述提示用戶語音輸入的提示音可以通過所述揚聲器4播放。并且，所述智能冰箱上還設置有麥克風，所述麥克風為全向麥克風，并可以設置于智能冰箱的門面上，方便用戶通過所述麥克風輸入語音信息。

所述智能冰箱還可以包括存儲器，例如嵌入式多媒體卡 (英文全稱：embedded Multi Media Card，英文簡稱：eMMC)、安全數(shù)碼卡(英文全稱：Secure Digital Memory Card，英文簡稱：SD)等存儲器件。攝像頭新拍攝得到的照片可以存儲在本地，由冰箱控制器根據(jù)本地存儲的照片所記錄的用戶存取過程設置食材保質(zhì)期標簽。當然，所述存儲器還可以包括預設設置的食物列表，以用于后續(xù)根據(jù)圖像進行識別時起到比較參考的作用。

S200、對所述圖像進行識別以獲取所述存取操作的類型以及相應的食物名稱。

具體地，所述對所述圖像進行識別可以通過圖像識別軟件對所述圖像進行識別，若識別成功，則首先判斷出用戶是存入還是取出食品，即所述存取操作的類型，再判斷所存入或取出食物的類型，即所述食物的名稱。所述判斷所存入或取出食物的類型可以將獲得的識別結果分別與預設的食物圖像數(shù)據(jù)庫中的數(shù)據(jù)進行一一比對，并篩選出相似度大于90％的識別結果作為所表示的食品的名稱。若識別失敗，則將識別失敗的食物圖像發(fā)送到遠程服務器進行輔助識別；輔助識別可以包括圖像識別軟件進一步識別和/或人工輔助識別；遠程服務器所配備的人工服務，可以是專業(yè)人員進行輔助識別，也可以是用戶進行人工識別，所述遠程服務器將所述輔助識別的結果反饋至智能冰箱。所述智能冰箱對所述輔助識別結果進行分析，若輔助識別結果為成功，則獲取所述識別結果攜帶的存取操作的類型以及食物名稱；若輔助識別結果為識別，則確定圖像識別的結果為失敗。

示例性的，所述對所述圖像進行識別以獲取所述存取操作的類型以及相應的食物名稱具體可以包括：

S201、所述智能冰箱對所述圖像進行識別，并以獲取所述存取操作的類型以及相應的食物名稱；

S202、當識別失敗時，當所述遠程服務器識別失敗時，將所述識別失敗的信息反饋至所述智能冰箱；

S203、所述智能冰箱提示用戶通過語音輸入所述存取操作的類型以及相應的食物名稱，其中，所述存取操作的類型包括存操作和取操作。

具體地，所述遠程服務器反饋的識別結果攜帶識別狀態(tài)以及識別得到的信息。也就是說，當遠程服務器識別成功時，其反饋的識別結果中處理攜帶識別成功的信息外，還攜帶所述圖像對應的存取操作的類型以及食物名稱。

S300、當識別失敗時，提示用戶通過語音輸入所述存取操作的類型以及相應的食物名稱，其中，所述存取操作的類型包括存操作和取操作。

具體地，所述識別結果為失敗說明根據(jù)攝像頭采集的圖像無法確定所述存取操作的類型以及相應的食物名稱。這時為了準確的管理冰箱的食物，則通過設置于冰箱上的揚聲器4播放提示音以提示用戶通過語音輸入所述存取操作的類型以及相應的食物名稱的類型。所述提示音可以間隔固定時間的重復播放，直至用戶輸入語音信息為止。在實際應用中，所述提示音也可以直接詢問用戶所述存取操作為存入操作或取出操作，并進一步詢問存入/取出食物的名稱。這樣可以使得用戶快速準確的輸入需要的語音信息。

S400、監(jiān)聽設置于冰箱上的麥克風輸入的語音信息，并根據(jù)所述語音信息更新預設的食物列表。

具體地，當接收到麥克風輸入的語音相信時，對所述語音信息進行識別，并將所述識別的內(nèi)容與所述圖像進行關聯(lián)記錄。這樣當在智能冰箱門關閉后，可以根據(jù)語音信息及圖像關聯(lián)信息，對所述圖像對應的存入操作的信息進行歸類記錄，以更新預設的食物列表。

進一步，為了便于用戶快速了解冰箱內(nèi)食物的信息，還可以將所述食物列表顯示于冰箱的顯示界面上，并且根據(jù)存入操作對顯示界面顯示的食物列表進行同步更新，這樣可以保證用戶實時獲取最新的食物列表信息，更加準確的對食物進行控制。

在本實施例，所述智能冰箱可以通過其自帶的控制系統(tǒng)對攝像頭采集的圖像進行識別以及接收語音輸入，并根據(jù)圖像識別結果/語音輸入信息更新預設食物列表。在本實施例的變形實施例中，所述智能冰箱可以設置以智能設備，如PAD裝置。將所述PAD終端配置于智能冰箱的門面上，所述PAD與所述USB攝像頭連接，所述攝像頭將拍攝的圖像發(fā)送至所述PAD終端，所述PAD終端，并將冰箱食品信息顯示在PAD終端上，使得用戶通過PAD終端顯示界面或與所述PAD終端相連接的手機的APP客戶端可以獲取所有相關信息。同時，還可以通過PAD終端連接網(wǎng)絡能夠獲取銷售商或運營商的信息推送、進行線上食品訂購、故障保修等。

本發(fā)明還提供了一種智能冰箱，如圖2所示，所述智能冰箱包括：

攝像頭1，用于在智能冰箱開門時，拍攝用戶執(zhí)行存取操作的圖像；

麥克風2，用于接收用戶輸入的語音信息；

控制裝置3，用于對所述圖像進行識別，并當識別失敗時，提示用戶通過語音輸入所述存取操作的類型以及相應的食物名稱，其中，所述存取操作的類型包括存操作和取操作；以及

監(jiān)聽設置于冰箱上的麥克風輸入的語音信息，并根據(jù)所述語音信息更新預設的食物列表。

所述智能冰箱，其中，如圖3所示，所述控制裝置3包括：

識別模塊301，用于對所述圖像進行識別；

第一執(zhí)行模塊302，用于當識別失敗時，將所述圖像發(fā)送至遠程服務器以使得所述遠程服務器對所述圖像進行識別；

更新模塊303，用于當遠程服務器反饋識別失敗時，監(jiān)聽設置于冰箱上的麥克風輸入的語音信息，并根據(jù)所述語音信息更新預設的食物列表。

所述智能冰箱，其中，所述所述更新模塊還用于：

用于當識別成功時，根據(jù)識別得到的所述存取操作的類型以及食物名稱更新預設的食物列表。

所述所述智能冰箱食物管理系統(tǒng)，其中，控制裝置還包括：

獲取模塊，用于當智能冰箱開門時，獲取智能冰箱開啟的儲藏室的類型，其中，所述儲藏室的類型包括冷藏室和冷凍室；

第一控制模塊，用于當智能冰箱開啟冷藏室時，控制設于智能冰箱內(nèi)的攝像頭拍攝智能冰箱開門至關門過程中用戶執(zhí)行存取操作的圖像。

所述所述智能冰，其中，所述控制裝置還包括：

提示模塊，用于當智能冰箱開啟冷凍室時，提示用戶通過語音輸入所述存取操作的類型以及相應的食物名稱；

所述更新模塊還用于：

監(jiān)聽設置于冰箱上的麥克風輸入的語音信息，并根據(jù)所述語音信息更新所述預設的食物列表，結束操作。

上述智能冰箱的各個模塊在上述方法中已經(jīng)詳細說明，在這里就不再一一陳述。

在本發(fā)明所提供的實施例中，應該理解到，所揭露的系統(tǒng)和方法，可以通過其它的方式實現(xiàn)。例如，以上所描述的裝置實施例僅僅是示意性的，例如，所述模塊的劃分，僅僅為一種邏輯功能劃分，實際實現(xiàn)時可以有另外的劃分方式，例如多個單元或組件可以結合或者可以集成到另一個系統(tǒng)，或一些特征可以忽略，或不執(zhí)行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些接口，裝置或單元的間接耦合或通信連接，可以是電性，機械或其它的形式。

所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個地方，或者也可以分布到多個網(wǎng)絡單元上?？梢愿鶕?jù)實際的需要選擇其中的部分或者全部單元來實現(xiàn)本實施例方案的目的。

另外，在本發(fā)明各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以采用硬件的形式實現(xiàn)，也可以采用硬件加軟件功能單元的形式實現(xiàn)。

上述以軟件功能單元的形式實現(xiàn)的集成的單元，可以存儲在一個計算機可讀取存儲介質(zhì)中。上述軟件功能單元存儲在一個存儲介質(zhì)中，包括若干指令用以使得一臺計算機設備(可以是個人計算機，服務器，或者網(wǎng)絡設備等)或處理器(processor)執(zhí)行本發(fā)明各個實施例所述方法的部分步驟。而前述的存儲介質(zhì)包括：U盤、移動硬盤、只讀存儲器(Read-Only Memory，ROM)、隨機存取存儲器(Random Access Memory，RAM)、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。

最后應說明的是：以上實施例僅用以說明本發(fā)明的技術方案，而非對其限制；盡管參照前述實施例對本發(fā)明進行了詳細的說明，本領域的普通技術人員應當理解：其依然可以對前述各實施例所記載的技術方案進行修改，或者對其中部分技術特征進行等同替換；而這些修改或者替換，并不使相應技術方案的本質(zhì)脫離本發(fā)明各實施例技術方案的精神和范圍。