本發(fā)明涉及人工智能領(lǐng)域，具體地涉及一種自動(dòng)跟蹤購物車。

背景技術(shù)：

目前，在超市購物時(shí)，購物者需要手動(dòng)推動(dòng)購物車行走。然而，對(duì)于購物者來講，在仔細(xì)挑選、比較品目繁多的貨物時(shí)照顧購物車并不方便。這一不便對(duì)于某些特定的環(huán)境或特定的人群更為嚴(yán)重，比如，對(duì)于年長的購物者，推動(dòng)裝有大量貨物的購物車并且靈活地控制購物車的平移和轉(zhuǎn)動(dòng)并不容易，稍不注意可能會(huì)對(duì)身體造成傷害。為了改善購物體驗(yàn)并提高特定購物場景的安全性，需要對(duì)現(xiàn)有的購物車進(jìn)行改進(jìn)。

技術(shù)實(shí)現(xiàn)要素：

為了解決現(xiàn)有技術(shù)中存在的上述問題，本發(fā)明提出了一種自動(dòng)跟蹤購物車。

根據(jù)本發(fā)明的一個(gè)方面，提出了一種自動(dòng)跟蹤購物車。所述自動(dòng)跟蹤購物車包括自動(dòng)跟蹤設(shè)備，其固定于車體上，用于控制購物車的移動(dòng)，以跟蹤目標(biāo)對(duì)象。具體地，所述自動(dòng)跟蹤設(shè)備包括：圖像采集單元，用于采集視野的彩色圖像和深度圖像；處理單元，用于根據(jù)所采集的彩色圖像和深度圖像，識(shí)別出目標(biāo)對(duì)象，并根據(jù)目標(biāo)對(duì)象的位置和/或移動(dòng)，確定購物車的運(yùn)動(dòng)參數(shù)；購物車驅(qū)動(dòng)單元，基于所確定的運(yùn)動(dòng)參數(shù)，驅(qū)動(dòng)所述購物車進(jìn)行移動(dòng)。

在一個(gè)實(shí)施例中，所述處理單元包括：目標(biāo)確定模塊，基于所采集的彩色圖像和深度圖像，確定目標(biāo)對(duì)象在所述彩色圖像中的目標(biāo)特征和目標(biāo)對(duì)象在所述深度圖像中的目標(biāo)深度；圖像分析模塊，基于前一幀中所確定的目標(biāo)特征和目標(biāo)深度，從當(dāng)前幀的彩色圖像和深度圖像確定所述目標(biāo)對(duì)象的當(dāng)前深度；驅(qū)動(dòng)計(jì)算模塊，基于所計(jì)算出的當(dāng)前深度，確定購物車的運(yùn)動(dòng)參數(shù)。

在一個(gè)實(shí)施例中，所述自動(dòng)跟蹤購物車還包括控制臺(tái)，該控制臺(tái)用于接收用戶輸入的指令，以及，所述目標(biāo)確定模塊被配置為：根據(jù)通過所述控制臺(tái)接收到的關(guān)于需要確定新的目標(biāo)對(duì)象的指令，將所采集的彩色圖像中距離購物車最近的人體目標(biāo)確定為所述目標(biāo)對(duì)象。

在一個(gè)實(shí)施例中，所述目標(biāo)確定模塊被配置為：當(dāng)所述圖像分析模塊從當(dāng)前幀的彩色圖像和深度圖像確定所述目標(biāo)對(duì)象的當(dāng)前深度成功時(shí)，將所述當(dāng)前深度作為下一幀時(shí)所使用的目標(biāo)深度。

在一個(gè)實(shí)施例中，所述目標(biāo)確定模塊被配置為：當(dāng)所述圖像分析模塊從當(dāng)前幀的彩色圖像和深度圖像確定所述目標(biāo)對(duì)象的當(dāng)前深度失敗時(shí)，將所采集的彩色圖像中具有與前一幀中所確定的目標(biāo)特征最匹配的目標(biāo)特征的人體目標(biāo)重新確定為所述目標(biāo)對(duì)象。

在一個(gè)實(shí)施例中，所述目標(biāo)確定模塊被配置為：計(jì)算當(dāng)前所采集的彩色圖像中的各個(gè)人體目標(biāo)的直方圖；將所述各個(gè)人體目標(biāo)的直方圖與前一幀中確定的目標(biāo)對(duì)象的直方圖進(jìn)行匹配，確定各個(gè)人體目標(biāo)的匹配值；以及將具有高于基準(zhǔn)匹配值的最高匹配值的人體目標(biāo)重新確定為目標(biāo)對(duì)象。

在一個(gè)實(shí)施例中，所述目標(biāo)確定模塊被配置為：如果所確定的各個(gè)匹配值均低于所述基準(zhǔn)匹配值，則調(diào)整所述圖像采集單元的采集方向，并重新采集彩色圖像和深度圖像。

在一個(gè)實(shí)施例中，所述自動(dòng)跟蹤設(shè)備還包括警報(bào)單元，以及所述目標(biāo)確定模塊還被配置為：如果針對(duì)重新采集的彩色圖像和深度圖像仍然無法確定出具有高于基準(zhǔn)匹配值的最高匹配值的人體目標(biāo)，則觸發(fā)所述警報(bào)單元。

在一個(gè)實(shí)施例中，圖像分析模塊被配置為：基于當(dāng)前幀的彩色圖像和深度圖像計(jì)算背景投影圖；基于所述目標(biāo)深度，從計(jì)算出的背景投影圖中截取預(yù)定深度范圍圖；對(duì)所述預(yù)定深度范圍圖進(jìn)行膨脹和均值濾波處理；以及確定出所述目標(biāo)對(duì)象的當(dāng)前深度。

在一個(gè)實(shí)施例中，所述驅(qū)動(dòng)計(jì)算模塊被配置為：基于所計(jì)算出的當(dāng)前深度，確定目標(biāo)對(duì)象與購物車的當(dāng)前距離，當(dāng)所述當(dāng)前距離大于基準(zhǔn)距離時(shí)才觸發(fā)所述購物車驅(qū)動(dòng)單元驅(qū)動(dòng)所述購物車。

在一個(gè)實(shí)施例中，所述運(yùn)動(dòng)參數(shù)包括所述購物車在下一時(shí)間周期內(nèi)的平均速度，所述平均速度是基于以下公式確定的：

在一個(gè)實(shí)施例中，所述自動(dòng)跟蹤設(shè)備還包括：存儲(chǔ)器，用于存儲(chǔ)所述彩色圖像、所述深度圖像、所述目標(biāo)特征和/或所述目標(biāo)深度。

附圖說明

為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖，圖中：

圖1示出了根據(jù)本發(fā)明實(shí)施例的一種示例自動(dòng)跟蹤購物車100的結(jié)構(gòu)圖。

圖2示出了圖1所示的自動(dòng)跟蹤購物車100中的處理單元120的示例結(jié)構(gòu)框圖。

具體實(shí)施方式

下面將詳細(xì)描述本發(fā)明的具體實(shí)施例，應(yīng)當(dāng)注意，這里描述的實(shí)施例只用于舉例說明，并不用于限制本發(fā)明。在以下描述中，為了提供對(duì)本發(fā)明的透徹理解，闡述了大量特定細(xì)節(jié)。然而，對(duì)于本領(lǐng)域普通技術(shù)人員顯而易見的是：不必采用這些特定細(xì)節(jié)來實(shí)行本發(fā)明。在其他實(shí)例中，為了避免混淆本發(fā)明，未具體描述公知的電路、材料或方法。

在整個(gè)說明書中，對(duì)“一個(gè)實(shí)施例”、“實(shí)施例”、“一個(gè)示例”或“示例”的提及意味著：結(jié)合該實(shí)施例或示例描述的特定特征、結(jié)構(gòu)或特性被包含在本發(fā)明至少一個(gè)實(shí)施例中。因此，在整個(gè)說明書的各個(gè)地方出現(xiàn)的短語“在一個(gè)實(shí)施例中”、“在實(shí)施例中”、“一個(gè)示例”或“示例”不一定都指同一實(shí)施例或示例。此外，可以以任何適當(dāng)?shù)慕M合和/或子組合將特定的特征、結(jié)構(gòu)或特性組合在一個(gè)或多個(gè)實(shí)施例或示例中。此外，本領(lǐng)域普通技術(shù)人員應(yīng)當(dāng)理解，在此提供的附圖都是為了說明的目的，并且附圖不一定是按比例繪制的。這里使用的術(shù)語“和/或”包括一個(gè)或多個(gè)相關(guān)列出的項(xiàng)目的任何和所有組合。

以下參考附圖對(duì)本發(fā)明進(jìn)行具體描述。

圖1示出了根據(jù)本發(fā)明實(shí)施例的一種示例自動(dòng)跟蹤購物車100的結(jié)構(gòu)圖。

如圖1所示，所述自動(dòng)跟蹤購物車100包括自動(dòng)控制設(shè)備，所述自動(dòng)控制設(shè)備由圖像采集單元110、處理單元120和購物車驅(qū)動(dòng)單元130組成，構(gòu)成自動(dòng)控制設(shè)備的這些組成部件均固定于車體上，它們用于控制購物車移動(dòng)，以跟蹤目標(biāo)對(duì)象。

在圖1中，在購物車車身的不同位置示出了圖像采集單元110、處理單元120和購物車驅(qū)動(dòng)單元130，即所述自動(dòng)控制設(shè)備由分離的組件構(gòu)成。但應(yīng)該理解的是，圖1中所示的結(jié)構(gòu)只是本發(fā)明的一種示例結(jié)構(gòu)，其并不用于限制本發(fā)明的范圍。在其他實(shí)施例中，可以將圖像采集單元110、處理單元120和購物車驅(qū)動(dòng)單元130實(shí)現(xiàn)為集成的自動(dòng)控制設(shè)備，即所述自動(dòng)控制設(shè)備形成為單個(gè)實(shí)體設(shè)備。

在圖1中，所述圖像采集單元110與所述處理單元120之間通過無線連接進(jìn)行通信，所述處理單元120與所述購物車驅(qū)動(dòng)單元130之間通過有線連接進(jìn)行通信。同樣，應(yīng)該理解的是，圖1中所示的連接方式指示本發(fā)明的一種示例。在其他實(shí)施例中，所述圖像采集單元110與所述處理單元120之間以及所述處理單元120與所述購物車驅(qū)動(dòng)單元130之間可采用任何適當(dāng)?shù)倪B接方式進(jìn)行連接，比如無線通信方式，例如，WiFi、以太網(wǎng)、藍(lán)牙、移動(dòng)網(wǎng)絡(luò)等。

除了圖像采集單元110、處理單元120和購物車驅(qū)動(dòng)單元130之外，所示自動(dòng)跟蹤購物車100還包括控制臺(tái)(未示出)。所述控制臺(tái)可以通過具有輸入功能的常規(guī)電子設(shè)備來實(shí)現(xiàn)，例如，鍵盤、鼠標(biāo)、觸摸屏、移動(dòng)電話、平板計(jì)算機(jī)、麥克風(fēng)設(shè)備等。用戶可以通過在控制臺(tái)進(jìn)行輸入、選擇等操作來控制所述自動(dòng)跟蹤購物車100進(jìn)入不同的模式，比如注冊(cè)、跟蹤、待機(jī)、關(guān)機(jī)等，并可以在不同的模式中控制所述自動(dòng)跟蹤購物車100實(shí)現(xiàn)不同的操作。

常規(guī)購物車中所具有的結(jié)構(gòu)和部件，比如，車身、扶手、車輪(例如，萬向輪)、箱體等，在此不再對(duì)這些部件和結(jié)構(gòu)進(jìn)行贅述。

所示圖像采集單元110用于采集視野的彩色圖像和深度圖像。在一個(gè)實(shí)施例中，所述圖像采集單元110為RGB-D攝像頭。

所述處理單元120用于根據(jù)所采集的彩色圖像和深度圖像，識(shí)別出目標(biāo)對(duì)象，并根據(jù)目標(biāo)對(duì)象的位置和/或移動(dòng)，確定所述購物車100的運(yùn)動(dòng)參數(shù)。下文將結(jié)合圖2對(duì)處理單元120進(jìn)行詳細(xì)描述。

所述購物車驅(qū)動(dòng)單元130被配置為基于所確定的運(yùn)動(dòng)參數(shù)來驅(qū)動(dòng)所述購物車100進(jìn)行移動(dòng)。在一個(gè)實(shí)施例中，所述購物車驅(qū)動(dòng)單元130包括電池、Arm控制板、電機(jī)驅(qū)動(dòng)器、電機(jī)(例如，直流無刷電機(jī))等。

在一個(gè)實(shí)施例中，所述自動(dòng)跟蹤設(shè)備還包括存儲(chǔ)器。所述存儲(chǔ)器用于存儲(chǔ)如下文所述的彩色圖像、深度圖像、目標(biāo)特征和/或目標(biāo)深度等。

圖2示出了圖1所示的自動(dòng)跟蹤購物車100中的處理單元120的示例結(jié)構(gòu)框圖。

如圖2所示，所述處理單元120包括目標(biāo)確定模塊210、圖像分析模塊220和驅(qū)動(dòng)計(jì)算模塊230。具體地，所述目標(biāo)確定模塊210用于基于所采集的彩色圖像和深度圖像，確定目標(biāo)對(duì)象在所述彩色圖像中的目標(biāo)特征和目標(biāo)對(duì)象在所述深度圖像中的目標(biāo)深度。所述圖像分析模塊220用于基于前一幀中所確定的目標(biāo)特征和目標(biāo)深度，從當(dāng)前幀的彩色圖像和深度圖像確定所述目標(biāo)對(duì)象的當(dāng)前深度。所述驅(qū)動(dòng)計(jì)算模塊230用于基于所計(jì)算出的當(dāng)前深度，確定購物車的運(yùn)動(dòng)參數(shù)。

所述目標(biāo)確定模塊210獲得所采集的彩色圖像和深度圖像，并確定目標(biāo)對(duì)象體現(xiàn)在彩色圖像中的目標(biāo)特征。所述目標(biāo)特征可以是例如目標(biāo)對(duì)象的輪廓、顏色、特定維度的尺寸等。

在初次使用(即，注冊(cè)模式下)時(shí)(定義為第1幀)，需要首先對(duì)目標(biāo)對(duì)象進(jìn)行識(shí)別，并進(jìn)而確定所述目標(biāo)特征。在一個(gè)實(shí)施例中，用戶通過控制臺(tái)輸入關(guān)于需要確定新的目標(biāo)對(duì)象的指令，所述目標(biāo)確定模塊210根據(jù)通過所述控制臺(tái)接收到的關(guān)于需要確定新的目標(biāo)對(duì)象的指令，通過結(jié)合所采集的彩色圖像和深度圖像，將所采集的彩色圖像中距離購物車最近的人體目標(biāo)確定為所述目標(biāo)對(duì)象。

在注冊(cè)后的跟蹤過程中(即，第2幀、第3幀…)，目標(biāo)確定模塊210采用前一幀中確定的目標(biāo)特征作為該幀中使用的目標(biāo)特征。在一個(gè)實(shí)施例中，如果在該幀中發(fā)生跟蹤失敗的情況，可能會(huì)對(duì)目標(biāo)特征進(jìn)行更新或修正，則在下一幀中將當(dāng)前幀中更新的目標(biāo)特征確定為下一幀中使用的目標(biāo)特征。

所述目標(biāo)確定模塊210還確定目標(biāo)對(duì)象體現(xiàn)在所述深度圖像中的目標(biāo)深度。

在注冊(cè)模式下，對(duì)目標(biāo)對(duì)象進(jìn)行識(shí)別，通過圖像采集單元110采集的深度圖像可以確定所述目標(biāo)對(duì)象的當(dāng)前深度(初始深度)，即在當(dāng)前注冊(cè)幀中確定的目標(biāo)深度(用于下一幀)。

在隨后的各個(gè)幀中，目標(biāo)確定模塊210將前一幀中確定出的“當(dāng)前”深度作為當(dāng)前幀中的目標(biāo)深度使用。該目標(biāo)深度相當(dāng)于用于確定目標(biāo)對(duì)象在當(dāng)前幀中已經(jīng)行進(jìn)到的實(shí)際深度的初始值，從而結(jié)合下文中描述的算法，實(shí)現(xiàn)本發(fā)明的技術(shù)方案。

在確定了所述目標(biāo)深度后，所述圖像分析模塊220用于從當(dāng)前幀的彩色圖像和深度圖像中確定所述目標(biāo)對(duì)象的當(dāng)前深度。具體地，這一過程可包括以下步驟：

基于當(dāng)前幀的彩色圖像和深度圖像計(jì)算背景投影圖，背景投影圖可以理解為將彩色圖像與深度圖像結(jié)合起來得到的三維圖像，即根據(jù)深度圖像中的深度值向二維彩色圖像中的各個(gè)對(duì)象賦予第三維度的數(shù)值，從而形成三維圖像；

基于所述目標(biāo)深度，從計(jì)算出的背景投影圖中截取預(yù)定深度范圍圖，比如目標(biāo)深度前后各m厘米的深度范圍的圖像，m的取值范圍可以根據(jù)需要進(jìn)行設(shè)定，例如，m∈[5,20]；

對(duì)所述預(yù)定深度范圍圖進(jìn)行膨脹和均值濾波處理；以及

確定出所述目標(biāo)對(duì)象的當(dāng)前深度。

在一個(gè)實(shí)施例中，對(duì)所述目標(biāo)對(duì)象的當(dāng)前深度的確定可以是利用連續(xù)自適應(yīng)均值漂移(Camshift)算法實(shí)現(xiàn)的。

所述驅(qū)動(dòng)計(jì)算模塊230用于基于所計(jì)算出的當(dāng)前深度，確定購物車的運(yùn)動(dòng)參數(shù)。所述運(yùn)動(dòng)參數(shù)包括所述購物車在下一時(shí)間周期內(nèi)的平均速度，所述平均速度是基于以下公式確定的：其中，T為時(shí)間周期的時(shí)間間隔，Δl₁為當(dāng)前時(shí)間周期開始時(shí)購物車與目標(biāo)對(duì)象之間的距離，Δl₂為當(dāng)前時(shí)間周期結(jié)束時(shí)購物車與目標(biāo)對(duì)象之間的距離，L為購物車在當(dāng)前時(shí)間周期中行走的距離。

在一個(gè)實(shí)施例中，所述驅(qū)動(dòng)計(jì)算模塊230被配置為只有當(dāng)所述當(dāng)前距離大于基準(zhǔn)距離時(shí)才觸發(fā)所述購物車驅(qū)動(dòng)單元130驅(qū)動(dòng)所述購物車。

在使用所述自動(dòng)跟蹤購物車100的過程中，還可能出現(xiàn)圖像分析模塊220從當(dāng)前幀的彩色圖像和深度圖像確定所述目標(biāo)對(duì)象的當(dāng)前深度失敗的情況，此時(shí)，需要重新確定目標(biāo)對(duì)象。

在一個(gè)實(shí)施例中，所述目標(biāo)確定模塊210當(dāng)所述圖像分析模塊220從當(dāng)前幀的彩色圖像和深度圖像確定所述目標(biāo)對(duì)象的當(dāng)前深度失敗時(shí)，將所采集的彩色圖像中具有與前一幀中所確定的目標(biāo)特征最匹配的目標(biāo)特征的人體目標(biāo)重新確定為所述目標(biāo)對(duì)象。

在一些實(shí)施例中，所述將所采集的彩色圖像中具有與前一幀中所確定的目標(biāo)特征最匹配的目標(biāo)特征的人體目標(biāo)重新確定為所述目標(biāo)對(duì)象包括：計(jì)算當(dāng)前所采集的彩色圖像中的各個(gè)人體目標(biāo)的直方圖；將所述各個(gè)人體目標(biāo)的直方圖與前一幀中確定的目標(biāo)對(duì)象的直方圖進(jìn)行匹配，確定各個(gè)人體目標(biāo)的匹配值；以及將具有高于基準(zhǔn)匹配值的最高匹配值的人體目標(biāo)重新確定為目標(biāo)對(duì)象。

當(dāng)所確定的各個(gè)匹配值均低于所述基準(zhǔn)匹配值時(shí)，所述處理單元120通知所述圖像采集單元110調(diào)整其圖像采集方向，并在方向調(diào)整后，重新采集彩色圖像和深度圖像。然后，所述處理單元120基于重新采集的彩色圖像和深度圖像，再次執(zhí)行上述過程。

當(dāng)針對(duì)重新采集(或多次重新采集，比如三次)的彩色圖像和深度圖像仍然無法確定出具有高于基準(zhǔn)匹配值的最高匹配值的人體目標(biāo)時(shí)，處理單元120不再通知圖像采集單元110調(diào)整采集方向，而是觸發(fā)購物車100上設(shè)置的警報(bào)單元進(jìn)行報(bào)警，以便通知用戶重新進(jìn)行注冊(cè)。

以上的詳細(xì)描述通過使用示意圖、流程圖和/或示例，已經(jīng)闡述了自動(dòng)跟蹤購物車的眾多實(shí)施例。在這種示意圖、流程圖和/或示例包含一個(gè)或多個(gè)功能和/或操作的情況下，本領(lǐng)域技術(shù)人員應(yīng)理解，這種示意圖、流程圖或示例中的每一功能和/或操作可以通過各種結(jié)構(gòu)、硬件、軟件、固件或?qū)嵸|(zhì)上它們的任意組合來單獨(dú)和/或共同實(shí)現(xiàn)。在一個(gè)實(shí)施例中，本發(fā)明的實(shí)施例所述主題的若干部分可以通過專用集成電路(ASIC)、現(xiàn)場可編程門陣列(FPGA)、數(shù)字信號(hào)處理器(DSP)、或其他集成格式來實(shí)現(xiàn)。然而，本領(lǐng)域技術(shù)人員應(yīng)認(rèn)識(shí)到，這里所公開的實(shí)施例的一些方面在整體上或部分地可以等同地實(shí)現(xiàn)在集成電路中，實(shí)現(xiàn)為在一臺(tái)或多臺(tái)計(jì)算機(jī)上運(yùn)行的一個(gè)或多個(gè)計(jì)算機(jī)程序(例如，實(shí)現(xiàn)為在一臺(tái)或多臺(tái)計(jì)算機(jī)系統(tǒng)上運(yùn)行的一個(gè)或多個(gè)程序)，實(shí)現(xiàn)為在一個(gè)或多個(gè)處理器上運(yùn)行的一個(gè)或多個(gè)程序(例如，實(shí)現(xiàn)為在一個(gè)或多個(gè)微處理器上運(yùn)行的一個(gè)或多個(gè)程序)，實(shí)現(xiàn)為固件，或者實(shí)質(zhì)上實(shí)現(xiàn)為上述方式的任意組合，并且本領(lǐng)域技術(shù)人員根據(jù)本公開，將具備設(shè)計(jì)電路和/或?qū)懭胲浖?或固件代碼的能力。此外，本領(lǐng)域技術(shù)人員將認(rèn)識(shí)到，本公開所述主題的機(jī)制能夠作為多種形式的程序產(chǎn)品進(jìn)行分發(fā)，并且無論實(shí)際用來執(zhí)行分發(fā)的信號(hào)承載介質(zhì)的具體類型如何，本公開所述主題的示例性實(shí)施例均適用。信號(hào)承載介質(zhì)的示例包括但不限于：可記錄型介質(zhì)，如軟盤、硬盤驅(qū)動(dòng)器、緊致盤(CD)、數(shù)字通用盤(DVD)、數(shù)字磁帶、計(jì)算機(jī)存儲(chǔ)器等；以及傳輸型介質(zhì)，如數(shù)字和/或模擬通信介質(zhì)(例如，光纖光纜、波導(dǎo)、有線通信鏈路、無線通信鏈路等)。

雖然已參照幾個(gè)典型實(shí)施例描述了本發(fā)明，但應(yīng)當(dāng)理解，所用的術(shù)語是說明和示例性、而非限制性的術(shù)語。由于本發(fā)明能夠以多種形式具體實(shí)施而不脫離發(fā)明的精神或?qū)嵸|(zhì)，所以應(yīng)當(dāng)理解，上述實(shí)施例不限于任何前述的細(xì)節(jié)，而應(yīng)在隨附權(quán)利要求所限定的精神和范圍內(nèi)廣泛地解釋，因此落入權(quán)利要求或其等效范圍內(nèi)的全部變化和改型都應(yīng)為隨附權(quán)利要求所涵蓋。