對(duì)相鄰超像素（例如圖12A的示例中的S1和S0)以及對(duì)于 每個(gè)梯度量化值，計(jì)數(shù)的整數(shù)、X坐標(biāo)和Y坐標(biāo)被初始化到0。執(zhí)行超像素標(biāo)簽的圖像大小的 2D陣列的光柵掃描。在3x3鄰居的中心與任何周圍環(huán)境不同的每個(gè)光柵位置處，鄰居和梯度 量化值的對(duì)應(yīng)的對(duì)被確定并且被用于指明與每個(gè)對(duì)相對(duì)應(yīng)的數(shù)據(jù)結(jié)構(gòu)中的兩個(gè)位置。對(duì)于 每個(gè)數(shù)據(jù)結(jié)構(gòu)位置，計(jì)數(shù)增加1，并且光柵位置的X和Y坐標(biāo)被分別在數(shù)據(jù)結(jié)構(gòu)中增加 X和Y 值。在光柵掃描之后，數(shù)據(jù)結(jié)構(gòu)中的計(jì)數(shù)值是具有相同量化梯度的一對(duì)超像素的邊界像素 的數(shù)量。最后，通過(guò)利用對(duì)應(yīng)的計(jì)數(shù)進(jìn)行分割來(lái)標(biāo)準(zhǔn)化數(shù)據(jù)結(jié)構(gòu)中的X和Y值?，F(xiàn)在，數(shù)據(jù)結(jié) 構(gòu)中的X和Y值是具有相同量化梯度的一對(duì)超像素的邊界像素的中心。
[0079] 為了確定每個(gè)超像素是否為超像素貨架特征，貨架/標(biāo)簽檢測(cè)引擎205首先從產(chǎn)品 識(shí)別結(jié)果中排除被加標(biāo)簽為帶有內(nèi)圍層的超像素的超像素。貨架/標(biāo)簽檢測(cè)引擎隨后排除 具有帶有顯著邊界的側(cè)邊鄰居(例如左側(cè)或右側(cè)）的超像素。在一個(gè)實(shí)施例中，對(duì)于左側(cè)或 右側(cè)鄰居(帶有被量化的角度〇或180度的鄰居），檢查每個(gè)鄰居的量化的梯度計(jì)數(shù)。如果具 有最大計(jì)數(shù)的索引并不是至少一個(gè)鄰居的小量度索引，則該超像素并不是超像素貨架特征 (例如，鄰居具有顯著的邊界）。其中帶有最大計(jì)數(shù)的索引的鄰居是小量度索引的鄰居是不 帶有顯著邊界的邊側(cè)鄰居。
[0080] 貨架/標(biāo)簽檢測(cè)引擎205隨后從剩余的超像素確定"上側(cè)"和"下側(cè)"的超像素貨架 特征。如果帶有上側(cè)鄰居的邊界處的梯度(例如，當(dāng)?shù)洁従拥慕嵌缺涣炕?5、90或135度） 是垂直的（例如，梯度角度被量化到90或270度），則超像素是"上側(cè)超像素貨架特征"，存在 不帶有顯著邊界的邊側(cè)鄰居，該邊側(cè)鄰居具有帶有相同的梯度索引的不同的上側(cè)鄰居，超 像素的邊界的Y中心及其上側(cè)鄰居和邊側(cè)鄰居的邊界的Y中心及其上側(cè)鄰居相同地位于閾 值內(nèi)（例如，小于5個(gè)低分辨率像素）。如果帶有下側(cè)鄰居的邊界處的梯度(例如，當(dāng)?shù)洁従拥?角度被量化到225、270或315度)是垂直的（例如，梯度角度被量化到90或270度），則超像素 是"下側(cè)超像素貨架特征"，存在不帶有顯著邊界的邊側(cè)鄰居，該邊側(cè)鄰居具有帶有相同的 梯度索引的不同的下側(cè)鄰居，超像素的邊界的Y中心及其下側(cè)鄰居和邊側(cè)鄰居的邊界的Y中 心及其下側(cè)鄰居相同地位于閾值內(nèi)（例如，小于5個(gè)低分辨率像素）。在圖11中示例性地示出 了這種關(guān)系。
[0081] 以下是用于識(shí)別實(shí)際貨架圖圖像中的超像素貨架特征的示例算法：
[0082] 為每個(gè)超像素找到鄰居 [0083]通過(guò)距離和角度分離鄰居
[0084] 獲得鄰居之間的邊界的梯度信息
[0085] 計(jì)算量化的圖像梯度
[0086] 初始化每對(duì)鄰居的數(shù)據(jù)結(jié)構(gòu) [0087]累積計(jì)數(shù)值、X和Y坐標(biāo)
[0088] 標(biāo)準(zhǔn)化X和Y坐標(biāo)
[0089] For每個(gè)超像素(確定其是否為超像素貨架特征）
[0090] if超像素具有來(lái)自特定產(chǎn)品識(shí)別的內(nèi)圍層then
[0091] continue
[0092] if所有邊側(cè)超像素具有顯著邊界then
[0093] continue
[0094] if上側(cè)超像素具有顯著邊界then
[0095] 如果邊界處的最大計(jì)數(shù)梯度是垂直的then
[0096] if不具有顯著邊界的邊側(cè)鄰居
[0097] 具有帶有相同最大計(jì)數(shù)梯度的上側(cè)超像素
[0098] then
[0099] if超像素和側(cè)邊鄰居的Y邊界位置相同
[0100] then
[0101] 超像素是"上側(cè)超像素貨架特征"
[0102] if下側(cè)超像素具有顯著邊界then
[0103] if邊界處的最大計(jì)數(shù)梯度是垂直的then
[0104] if不具有顯著邊界的邊側(cè)鄰居
[0105] 具有帶有相同最大計(jì)數(shù)梯度的下側(cè)超像素
[0106] then
[0107] if超像素和側(cè)邊鄰居的Y邊界位置相同
[0108] then
[0109] 超像素是"下側(cè)超像素貨架特征"
[0110] 圖8示出了被疊加有超像素和示出了作為超像素貨架特征的那些超像素的箭頭的 示例性實(shí)際貨架圖的一部分。通過(guò)從超像素中心向上指向其上側(cè)邊界的箭頭來(lái)示出上側(cè)超 像素貨架特征。通過(guò)從超像素中心向下指向其下側(cè)邊界的箭頭來(lái)示出下側(cè)超像素貨架特 征。如上所述，基于四個(gè)鄰近超像素的邊界來(lái)確定超像素貨架特征。在圖8的示例中，超像素 802是超像素貨架特征，這是因?yàn)槌袼?02及其邊側(cè)鄰居804之間的梯度較小，并且上側(cè)鄰 居806之間的邊界指示水平邊緣(例如，邊界處的最頻繁量化的梯度值是相同的垂直方向和 這些邊界像素的Y中心類似）。
[0111] 返回到圖7的示例，在704處，貨架/標(biāo)簽檢測(cè)模塊205使用特征基于外觀識(shí)別可能 的貨架位置。在一個(gè)實(shí)施例中，貨架/標(biāo)簽檢測(cè)模塊205通過(guò)利用顏色對(duì)超像素貨架特征進(jìn) 行集群、基于線段找到角度、并使用顏色和角度來(lái)搜索超像素以確定貨架位置假設(shè)，來(lái)確定 貨架位置假設(shè)。下面更詳細(xì)地描述該處理。在其他實(shí)施例中，貨架/標(biāo)簽檢測(cè)模塊205通過(guò)確 定對(duì)應(yīng)于貨架邊緣的特征點(diǎn)來(lái)識(shí)別可能的貨架位置。
[0112] 在各個(gè)實(shí)施例中，通過(guò)使用K平均集群、聚合集群(例如Ward集群）、高斯混合模型 (GMM)、其他已知的專屬或公共集群技術(shù)、或用于生成和量化到調(diào)色板的技術(shù)，利用平均顏 色來(lái)對(duì)超像素貨架特征進(jìn)行集群。在一個(gè)實(shí)施例中，貨架/標(biāo)簽檢測(cè)模塊205使用五個(gè)集群 (例如k = 5，5高斯混合模型(GMM)分量）。集群可以基于各種顏色空間，例如RGB或LAB等。在 一個(gè)實(shí)施例中，貨架/標(biāo)簽檢測(cè)模塊205可以可選地忽略被加標(biāo)簽為位于被識(shí)別出的產(chǎn)品邊 界框內(nèi)的超像素貨架特征的顏色。例如，用于被識(shí)別出的產(chǎn)品的邊界框中的超像素被加標(biāo) 簽為顏色0,其他超像素貨架特征被加標(biāo)簽為顏色1、2、3、4或5。類似地，在一些實(shí)施例中可 以忽略懸掛的產(chǎn)品的超像素貨架特征。在一個(gè)實(shí)施例中，貨架/標(biāo)簽檢測(cè)模塊205確定每個(gè) 集群的灰度或亮度值。例如，貨架/標(biāo)簽檢測(cè)模塊205可以從GMM確定平均值，以確定灰度值。 在圖9的示例中，在906中是示出了基于顏色對(duì)超像素貨架特征進(jìn)行集群的示例。
[0113] 為了從由貨架/標(biāo)簽檢測(cè)模塊205識(shí)別出的超像素貨架特征中確定可能的貨架位 置，模塊搜索形成接近水平的線的超像素貨架特征，如圖9的示例中的902中所示。例如，在 一個(gè)示例中，貨架/標(biāo)簽檢測(cè)模塊205以0.005弧度為步長(zhǎng)搜索從-0.3弧度到+0.3弧度的接 近水平的角度(0.3度為步長(zhǎng)的大約-17度到+17度）。貨架/標(biāo)簽檢測(cè)模塊205基于長(zhǎng)水平線 段(例如，具有接近水平范圍內(nèi)的角度的線段，并非位于被識(shí)別出的產(chǎn)品中，并且長(zhǎng)于預(yù)期 的產(chǎn)品）中其出現(xiàn)的頻率以及產(chǎn)品底部邊緣中出現(xiàn)的頻率通過(guò)角度來(lái)進(jìn)行分類。貨架/標(biāo)簽 檢測(cè)模塊205以頻率角優(yōu)先的原則來(lái)對(duì)角度進(jìn)行分類。如果沒(méi)有來(lái)自長(zhǎng)線段或產(chǎn)品的信息， 分類為〇弧度(〇度，水平)優(yōu)先。在說(shuō)明書中，（針對(duì)特定假設(shè)的)特定迭代下的搜索角度被稱 為9(theta)。
[0114] 以下是在theta和寬度上搜索超像素貨架特征的示例算法：
[0115] 對(duì)于角度搜索中的每個(gè)theta
[0116] 將超像素貨架特征坐標(biāo)轉(zhuǎn)動(dòng)theta
[0117] 將超像素貨架特征坐標(biāo)分組到線的倉(cāng)中
[0118] 如果為先前的theta已經(jīng)考慮了組，則繼續(xù)(可選）
[0119] 將表面中心和底部坐標(biāo)轉(zhuǎn)動(dòng)theta(可選）
[0120] 將表面中心和底部坐標(biāo)轉(zhuǎn)換為倉(cāng)索引
[0121] 對(duì)于每個(gè)倉(cāng)
[0122] 通過(guò)顏色、梯度和頂部/底部來(lái)分割超像素貨架特征
[0123] 對(duì)于每個(gè)分割的倉(cāng)
[0124] 對(duì)超像素貨架特征的數(shù)量進(jìn)行計(jì)數(shù)
[0125] 對(duì)具有長(zhǎng)邊緣的超像素貨架特征的數(shù)量進(jìn)行計(jì)數(shù)(可選）
[0126] 對(duì)被識(shí)別出的產(chǎn)品中的超像素貨架特征的數(shù)量進(jìn)行計(jì)數(shù)(可選）
[0127] 對(duì)表面之下的超像素貨架特征的數(shù)量進(jìn)行計(jì)數(shù)(可選）
[0128] 對(duì)于厚度搜索中的每個(gè)厚度
[0129] 當(dāng)前-假設(shè)=基于外觀評(píng)估貨架假設(shè)
[0130] 當(dāng)前-假設(shè)+=基于上下文評(píng)估貨架假設(shè)
[0131] if當(dāng)前-假設(shè)良好：
[0132] if存在先前的良好假設(shè)：
[0133] 融合假設(shè)
[0134] else
[0135] 使用當(dāng)前-假設(shè)作為新的假設(shè)
[0136] 對(duì)于緊密在一起的每對(duì)貨架假設(shè)：
[0137] 去除假設(shè)
[0138] 對(duì)于每個(gè)最佳貨架假設(shè)：
[0139] 獲得貨架邊界的坐標(biāo)
[0140] 找到假設(shè)附近的超像素貨架特征，從未來(lái)考慮中去除(可選）
[0141] 如果貨架邊界良好或如果沒(méi)有更多的超像素貨架特征需要考慮，則中斷(可選）
[0142] 可選地，在一個(gè)實(shí)施例中，貨架/標(biāo)簽檢測(cè)模塊205可以舊的theta值跟蹤超像素貨 架特征的組，并且僅處理給出不同組的角度。
[0143] 貨架/標(biāo)簽檢測(cè)模塊205創(chuàng)建足夠尺寸的倉(cāng)以將相同水平線(其中水平只是在轉(zhuǎn)動(dòng) theta之后水平)上的超像素貨架特征邊界的坐標(biāo)分組為與水平線相對(duì)應(yīng)的倉(cāng)，如圖9的示 例的904中所示。在一個(gè)實(shí)施例中，貨架/標(biāo)簽檢測(cè)模塊205使用六個(gè)低分辨率像素的倉(cāng)大 小。例如，模塊使用50%的重疊的倉(cāng)，從而存在轉(zhuǎn)動(dòng)的Y坐標(biāo)0. .5、3. .8、6. .11、9. .14等的 倉(cāng)。
[0144] 如在這里所述的，貨架的前邊緣的厚度是貨架的頂部邊緣和貨架的底部邊緣之間 的距離。在一個(gè)示例中，貨架/標(biāo)簽?zāi)K搜索從4到20的倉(cāng)索引（對(duì)于具有50%重疊的倉(cāng)而 言，其為以倉(cāng)尺寸為單位的2到10)。在一個(gè)實(shí)施例中，"當(dāng)前-假設(shè)良好"標(biāo)準(zhǔn)基于發(fā)現(xiàn)的標(biāo) 簽的數(shù)量、發(fā)現(xiàn)的貨架的數(shù)量和得分(在一些實(shí)施例中為重要性的量級(jí)）。如果找到標(biāo)簽的 最小數(shù)量(例如3)或如果當(dāng)前假設(shè)優(yōu)于任何之前的假設(shè)，則貨架/標(biāo)簽檢測(cè)模塊205確定"當(dāng) 前-假設(shè)良好"。
[0145] 在一個(gè)實(shí)施例中，當(dāng)融合假設(shè)時(shí)，保持寬度上來(lái)自循環(huán)的所有假設(shè)。或者，當(dāng)找到 接近于其它假設(shè)的假設(shè)時(shí)，融合以類似的方式僅保留它們中的一部分以選擇組中的一個(gè)假 設(shè)，如下所述。
[0146] 在考慮所有厚度之后，貨架/標(biāo)簽?zāi)K205從緊密在一起的每組假設(shè)中選擇一個(gè)假 設(shè)。例如，模塊205通過(guò)考慮假設(shè)對(duì)來(lái)選擇假設(shè)?？紤]各對(duì)，以便首先考慮緊密在一起的對(duì)。 在一個(gè)實(shí)施例中，貨架之間的最小預(yù)期距離用于確定過(guò)分緊密在一起的貨架假設(shè)的對(duì)(例 如，如果上部貨架的底部和下部貨架的頂部之間的距離小于預(yù)期距離的話）。在一個(gè)實(shí)施例 中，貨架/標(biāo)簽檢測(cè)模塊205使用最小的預(yù)期產(chǎn)品的高度作為貨架之間的最小預(yù)期距離。在 預(yù)期的產(chǎn)品（例如，在搜索數(shù)據(jù)庫(kù)中被索引的產(chǎn)品）中找到最小預(yù)期的產(chǎn)品。或者，貨架之間 的最小預(yù)期距離可以是最短的被識(shí)別出的產(chǎn)品的高度?；蛘?，在另一個(gè)實(shí)施例中，最小預(yù)期 的高度可以是最短的被識(shí)別出的產(chǎn)品的高度的分?jǐn)?shù)，例如最短的被識(shí)別出的產(chǎn)品的高度的 一半，以便應(yīng)對(duì)當(dāng)未被識(shí)別出的產(chǎn)品可能短于被識(shí)別出的產(chǎn)品時(shí)的情況。當(dāng)選擇假設(shè)時(shí)，具 有類似厚度(例如差別不大于倉(cāng)尺寸的兩倍）的假設(shè)可以被作為一個(gè)組一起考慮?？蛇x地， 當(dāng)選擇假設(shè)時(shí)，基于如下所述的超像素貨架特征的柱狀圖的比較具有類似外觀的假設(shè)可以 被作為一個(gè)組一起考慮。
[0147] 當(dāng)從過(guò)于緊密在一起的一對(duì)貨架假設(shè)去除一個(gè)假設(shè)時(shí)，如果該對(duì)假設(shè)中的一個(gè)假 設(shè)的評(píng)估基于如下結(jié)合706所述的外觀(例如基于超像素貨架特征得分)并且另一個(gè)假設(shè)的 評(píng)估基于如下接合708所述的上下文（例如表面下的搜索），則去除來(lái)自上下文的一個(gè)。否 貝1J，如果較低假設(shè)更暗得多(更小的灰度值或亮度，例如對(duì)于〇.. 255個(gè)像素大于64)，則將其 去除。否則，可以使用用于評(píng)估如下所述的假設(shè)的其他標(biāo)準(zhǔn)來(lái)確定去除哪個(gè)?；蛘?，如果貨 架/標(biāo)簽檢測(cè)模塊提供與（如下更詳細(xì)描述的)標(biāo)簽的頂部和底部相關(guān)的信息，則標(biāo)簽頂部 和底部位置可以用于對(duì)匹配貨架頂部和底部位置進(jìn)行投票，并且可以去除據(jù)具有較少票數(shù) 的假設(shè)?；蛘?，去除具有較少檢測(cè)到的標(biāo)簽的假設(shè)?；蛘?，可以去除假設(shè)，從而對(duì)于所有剩余 的假設(shè)而言貨架顏色、標(biāo)簽顏色和/或貨架厚度是一致的。
[0148] 在一個(gè)實(shí)施例中，考慮到theta的其他值，去除所選擇的假設(shè)附近的超像素貨架特 征。貨架之間的最小預(yù)期距離用作此情況下附近的閾值?？紤]如果小于超像素貨架特征的 閾值數(shù)(例如6)，在theta上的搜索停止。這應(yīng)對(duì)了當(dāng)圖像中不同貨架的角度不同時(shí)的情況， 如果成像設(shè)備的位置使得貨架并不與圖像平行，則可能出現(xiàn)這樣的情況。
[0149] 在另一個(gè)實(shí)施例中，可以使用貪婪算法，一旦在theta的某個(gè)值處找到標(biāo)簽，則算 法停止。在另一個(gè)實(shí)施例中，在所有的超像素貨架特征上在theta上搜索繼續(xù)，并且使用來(lái) 自最佳theta值的結(jié)果。
[0150] 貨架/標(biāo)簽檢測(cè)模塊從可能的貨架位置(例如上述的假設(shè))確定貨架位置。如下描 述用于評(píng)估和選擇假設(shè)的示例算法：
[0151] 對(duì)于每對(duì)頂部倉(cāng)和底部倉(cāng)：
[0152] 計(jì)算該對(duì)的得分并且找到最佳顏色
[0153] 對(duì)于圖像底部附近的每個(gè)頂部倉(cāng)(可選）：
[0154]僅計(jì)算頂部的得分并且找到最佳顏色
[0155] 對(duì)于圖像頂部附近的每個(gè)底部倉(cāng)(可選）：
[0156] 僅計(jì)算底部的得分并且找到最佳顏色 [0157]刪除最低得分的鄰近對(duì)
[0158] 初始化假設(shè)以與最佳顏色和良好得分進(jìn)行配對(duì)
[0159] 如果顏色匹配并且良好得分，則僅將頂部增加到假設(shè)(可選）
[0160] 如果顏色匹配并且良好得分，則僅將底部增加到假設(shè)(可選）
[0161] 循環(huán)（以查找產(chǎn)品之下的更多的貨架)(可選）
[0162] 找到并不由貨架支撐的所有表面
[0163] if(并非第一次迭代)并且(不存在被支撐的表面)then
[0164] break
[0165] if所有表面都被支撐則
[0166] break
[0167] 找到可能存在一個(gè)貨架的倉(cāng)的范圍
[0168] 找到最佳顏色的范圍內(nèi)的最佳得分
[0169] if找到最佳得分then
[0170] 增加貨架位置假設(shè)
[0171] else
[0172] break
[0173] 獲得與每個(gè)貨架的假設(shè)相對(duì)應(yīng)的超像素貨架特征
[0174] 使用超像素貨架特征獲得貨架邊界的坐標(biāo)
[0175] 找到貨架假設(shè)中的所有超像素
[0176] 檢測(cè)貨架上的標(biāo)簽
[0177] 對(duì)于每個(gè)貨架假設(shè)：
[0178] 對(duì)找到的標(biāo)簽的數(shù)量進(jìn)行計(jì)數(shù)
[0179] 在706處，貨架/標(biāo)簽檢測(cè)模塊205基于外觀評(píng)估貨架位置。通常，如上所述，基于下 述找到貨架假設(shè):超像素貨架特征，該超像素貨架特征代表在線內(nèi)具有相同顏色的兩個(gè)平 行線，并且在表面之下還可以具有長(zhǎng)水平邊緣或具有頂部平行線，或在底部平行線之下具 有更暗的超像素貨架特征?？蛇x地，預(yù)期貨架邊緣比貨架之下的暗區(qū)域較亮，并且暗的超像 素貨架特征并不被考慮作為平行線內(nèi)的超像素貨架特征。對(duì)于5個(gè)集群顏色(帶有0. . .255 的灰度值，其中〇是黑色，255是白色），如果其小于64加上5個(gè)顏色的最小灰度值并且小于64 減去5個(gè)顏色的最大灰度值，則該顏色為暗。
[0180] 在一個(gè)實(shí)施例中，貨架/標(biāo)簽檢測(cè)模塊205如下所述計(jì)算一對(duì)倉(cāng)(a pair of bins) 的得分。對(duì)于每個(gè)顏色(例如，對(duì)于每個(gè)GMM分量1、2、3、4和5)，模塊找到上部倉(cāng)的兩個(gè)垂直 梯度方向的每一個(gè)的最大數(shù)目的頂部超像素貨架特征(例如，被